Modifications for fs profiling tool

Merge branch 'feature/http_server_finalize' into 'master'

Feature add HTTP Web Server component

See merge request idf/esp-idf!2606

Merge branch 'feature/tools_mass_mfg' into 'master'

Add files for mass manufacturing tool

See merge request idf/esp-idf!2716

Merge branch 'bugfix/reclaim_bt_ble_bss' into 'master'

components/bt: Reclaim BT/BTDM BSS in bluetooth memory release function

See merge request idf/esp-idf!2750

Merge branch 'bugfix/bootloader_noreturn_always' into 'master'

bootloader: Ensure bootloader never returns to caller

See merge request idf/esp-idf!2815

Merge branch 'bugfix/secure_boot_padding' into 'master'

secure boot: Fix padding issue allowing unverified data to be mapped into the address space

See merge request idf/esp-idf!2778

Merge branch 'cermak_fuzzer_ci_job' into 'master'

added CI job for AFL fuzzer tests

See merge request idf/esp-idf!2537

Merge branch 'bugfix/coex_pause' into 'master'

fix coex pause cause bluetooth performance decrease

See merge request idf/esp-idf!2741

Merge branch 'feature/test_exclude_components' into 'master'

build: Add TEST_EXCLUDE_COMPONENTS

See merge request idf/esp-idf!2648

Merge branch 'feature/freertos_vtasklist_xcoreid' into 'master'

freertos: Add option to display xCoreID in vTaskList

See merge request idf/esp-idf!2728

Http Server : Add a simple light weight HTTP Server Component.
Also add examples, docs and test apps for the HTTP Server.

added CI job for AFL fuzzer tests

Reclaim BT/BTDM BSS and Data in bluetooth memory release function

1. Modify esp_bt_controller_mem_release() to release BTDM BSS and Data to heap if
ESP_BT_MODE_BTDM mode is passed to it
2. Add a new API esp_bt_mem_release() which internally calls
esp_bt_controller_mem_release() with the provided mode and then if mode
is ESP_BT_MODE_BTDM, releases BT BSS and Data to heap.

Background:
For Wi-Fi and BT/BLE applications, for e.g. the usecase is like when
Bluetooth is used for provisioning and once the device is connected to the Wi-Fi
AP, we can turn off Bluetooth completely. In such scenarios, it should be possible to
reclaim all the memory of Bluetooth. Although, currently this does not
happen.

Experiment:
Made the following modifications to examples/bluetooth/gatt_server :
1. Added support of simple_wifi to it
2. Moved all the bluetooth related code under CONFIG_BT_ENABLED config
option
3. Calculated the free heap in 2 similar scenarios:
   i. Disabled BT (CONFIG_BT_ENABLED undefined) and checked the free
heap after STA connected
   ii. Kept BT enabled and disabled it after STA connected and checked
the free heap
Ideally, the numbers for i., ii. above should have been similar. But
there was a delta of almost 30-31K. (i. > ii.)
4. Through make size-components checked the common BSS for libbta.a and libbtdm_app.a
and found it to be almost 30K. Data is around 1K

Solution:
1. Modified the linker script to mark the BSS and Data for these libraries and
free it when ESP_BT_MODE_BTDM mode is passed to mem release APIs.
2. Verified that the free heap is comparable for i. and ii. above.

Note: It is known that once this is done, Bluetooth can only be used
again post reboot.

Signed-off-by: Hrishikesh Dhayagude <hrishi@espressif.com>

Add files and docs for mass mfg

Merge branch 'bugfix/btdm_bt_remove_device_fail_when_ble_connected' into 'master'

component/bt: Fix bug of remove bond device fail when BLE and BT are connectd at the same time

See merge request idf/esp-idf!2767

Merge branch 'feature/nvs_multipage_blob' into 'master'

nvs-flash: Support for blobs larger than half of SPI Flash sector size

See merge request idf/esp-idf!2182

nvs-flash: Support for blobs larger than half of SPI Flash sector size

This change removes the earlier limitation of 1984 bytes for storing data-blobs.
Blobs larger than the sector size are split and stored on multiple sectors.
For this purpose, two new datatypes (multi-page index and multi-page data) are
added for entries stored in the sectors. The underlying read, write, erase and find
operations are modified to support these large blobs. The change is transparent
to users of the library and no special APIs need to be used to store these large
blobs.

Merge branch 'bugfix/rtc_io_hold_regs' into 'master'

Fix errors in rtc_gpio_desc values

See merge request idf/esp-idf!2765

Merge branch 'bugfix/ulp_example_fix' into 'master'

ulp example: fix for RTC IOs

See merge request idf/esp-idf!2768

bootloader: Ensure bootloader never returns to caller

* Fixes some "noreturn" functions in bootloader utils which did return (causing fatal CPU
  exceptions).
* Marks bootloader entry as "noreturn", preventing "user code done" from stalling boot
  Partial fix for https://github.com/espressif/esp-idf/issues/1814 TW20016
  (Comprehensive fix for this issue will be enabling WDT during bootloader, coming shortly.)

Merge branch 'feature/esp32-pico-kit_v4.1' into 'master'

Added description of ESP32-PICO-KIT V4.1 board

See merge request idf/esp-idf!2762

Added description of ESP32-PICO-KIT V4.1 board

Merge branch 'bugfix/rmt_mem_num_maximum_limit_is_not_accurate' into 'master'

bugfix(rmt): Modify the rmt_mem_num maximum limit value from 15 to 8.

See merge request idf/esp-idf!2734

Merge branch 'bugfix/sdmmc_auto_stop_cmd' into 'master'

sdmmc: enable host auto_stop only for certain commands

See merge request idf/esp-idf!2710

Merge branch 'bugfix/deep_sleep_flush_uart' into 'master'

sleep: fix flushing UARTs when entering deep sleep

See merge request idf/esp-idf!2698

Merge branch 'bugfix/btdm_using_osi_malloc_instead_of_malloc' into 'master'

component/bt: Using osi_malloc instead of malloc

See merge request idf/esp-idf!2748

Merge branch 'bugfix/esp_err_ignore_dirs' into 'master'

esp32: Do not document error codes defined in examples

See merge request idf/esp-idf!2732

fix coex pause cause bluetooth performance decrease

1. it may cause BLE connection unstable
2. it may cause Classic BT connection unstable
3. it may cause BLE/BREDR scan performance decrease

Merge branch 'bugfix/btdm_some_misspell' into 'master'

component/bt: Fix some misspell

See merge request idf/esp-idf!2783

Merge branch 'bugfix/ampdu_duplicate' into 'master'

wifi: fix ampdu duplicate issue

See merge request idf/esp-idf!2742

Merge branch 'bugfix/range_CONFIG_ESP32_RTC_CLK_CAL_CYCLES' into 'master'

soc/clk: Fix range CONFIG_ESP32_RTC_CLK_CAL_CYCLES

See merge request idf/esp-idf!2719

freertos: add configTASKLIST_INCLUDE_COREID

Added: display xCoreID in vTaskList

Merges https://github.com/espressif/esp-idf/pull/2064

Merge branch 'bugfix/time_ut_wakeup_from_deep_sleep' into 'master'

esp32/test: Reduces a unit test execution time

See merge request idf/esp-idf!2776

Merge branch 'bugfix/clear_intr_status_when_enable_intr' into 'master'

driver(gpio): fix the gpio interrupt false triggering issue

See merge request idf/esp-idf!2498

Merge branch 'bugfix/fix_uart_timeout_bug_when_enable_reftick' into 'master'

driver(uart):  Fix uart time_out bug when using ref_tick

See merge request idf/esp-idf!2775

app_update: Don't double-verify secure boot signature during OTA

esp_image_load() already verifies the signature

secure boot: Pad to avoid data after the signature mapping into the address space

Because address space is mapped in 64KB pages, it was possible for unauthenticated data after the
app .bin to become mapped into the flash cache address space.

This problem is solved by 2 changes:

* "esptool elf2image --secure-pad" will pad the image so that the signature block ends close to the
  64KB boundary. Due to alignment constraints it will be 12 bytes too short after signing (but
  with flash encryption, these 12 bytes are still encrypted as part of the last block and can't be
  arbitrarily changed).
* By default, secure boot now requires all app partitions to be a multiple of 64KB in size.

component/bt: Fix some misspell

Using CONFIG_BT_SSP_ENABLE instead if BT_SPP_INCLUDED

Modify the rmt_mem_num maximum limit value from 15 to 8.

esp32/test: Reduces a unit test execution time

wifi: fix ampdu duplicate issue

fix ampdu duplicate issue

Merge branch 'bugfix/tw23835_add_source_ip_route_for_unicast' into 'master'

lwip: add source ip based route for unicast packet

See merge request idf/esp-idf!2757

driver(uart): Fix uart time_out bug when using ref_tick

Merge branch 'bugfix/spi_cs_setup_fulldup' into 'master'

fix(spi_master): allow to use cs_ena_pretrans in full duplex mode without…

See merge request idf/esp-idf!2576

Merge branch 'bugfix/mdns_remove' into 'master'

mdns: Minor fix for mdns_service_remove()

See merge request idf/esp-idf!2760

Merge branch 'bugfix/sh2lib_send_bug' into 'master'

sh2lib: Fix a bug in send

See merge request idf/esp-idf!2656

Merge branch 'bugfix/add_queueset_critical_sections' into 'master'

freertos: Add critical sections to queue sets.

See merge request idf/esp-idf!2761

component/bt: Fix bug of remove bond device fail when BLE and BT are connectd at the same time

Merge branch 'feature/support_for_XM25QU64A' into 'master'

feature(flash): set QIO mode for XM25QU64A(1V8_64M_flash)

See merge request idf/esp-idf!2753

Merge branch 'bugfix/ledc_duty_and_freq' into 'master'

bugfix(ledc): fix bugs reported from unit-test and github.

See merge request idf/esp-idf!2735

Merge branch 'bugfix/secure_boot_regression_partitions' into 'master'

Fix secure boot & flash encryption regression, don't verify partitions as part of secure boot

See merge request idf/esp-idf!2764

Merge branch 'feature/wifi_check_wifi_lib_git_commit_id' into 'master'

check WiFi library git commit id in unit test

See merge request idf/esp-idf!2621

docs: Add more ReST-isms in secure boot & flash encryption docs

(Original version of these docs were in Markdown.)

docs: Add note about bootloader size for flash encryption & secure boot

Merge branch 'bugfix/spi_sdio_sdkconfig_include' into 'master'

sdio_example/spi: fix sdkconfig include issue

See merge request idf/esp-idf!2756

Merge branch 'docs/btdm_refactor_ble_spp_readme' into 'master'

component/bt_refactor_ble_spp_readme

See merge request idf/esp-idf!2717

Merge branch 'bugfix/autoip_compilation' into 'master'

LWIP AutoIP Compilation Fixed by defining IP_IS_V4_VAL()

See merge request idf/esp-idf!2758

Merge branch 'test/print_debug_info_when_test_failed' into 'master'

tiny-test-fw: print debug info when test failed

See merge request idf/esp-idf!2564

Merge branch 'bugfix/btdm_add_profile_descriptor_list_for_spp' into 'master'

component/bt: Add profile descriptor list for SPP

See merge request idf/esp-idf!2691

Merge branch 'feature/btdm_bt_ssp' into 'master'

component/bt: Add Secure Simple Pairing

See merge request idf/esp-idf!2453

ulp example: fix for RTC IOs

- call rtc_gpio_init for pins which aren't configured as RTC by default
- for RTC IOs 16 and 17, read higher part of the input register
- automatically convert GPIO number into RTC IO number
- use ulp_set_wakeup_period instead of writing to register

LWIP AutoIP Compilation Fixed by defining IP_IS_V4_VAL()

esp32/test: set 60s timeout for one deep sleep case

tiny-test-fw: save DUT log in different thread:

We found some SD card on Raspberry Pi could have very bad performance.
It could take seconds to save small amount of data.
If the DUT receives data and save it as log, then it stops receiving data until log is saved.
This could lead to expect timeout. As an workaround to this issue,
``BaseDUT`` class will create a thread to save logs.
Then data will be passed to ``expect`` as soon as received.

tiny-test-fw: fix incorrect wait timeout in expect

tiny-test-fw: filter examples with test level

tiny-test-fw: print expect failure when test fails

Merge branch 'bugfix/fixes_from_github' into 'master'

Fixes from Github

See merge request idf/esp-idf!2730

docs: Update Flash Encryption docs to clarify reflashing options

Fix errors in rtc_gpio_desc values

freertos: Add critical sections to queue sets.

Queue sets are not SMP safe. This commit adds
critical sections to queue sets. Unit tests for
queue sets have also been added.

bootloader: Fix warning building reflashable Secure Boot image

bootloader: Don't verify Partition Table as part of Secure Boot

Partition Tables are still signed for backwards compatibility, but signature is no longer checked as
part of bootloader.

Closes https://github.com/espressif/esp-idf/issues/1641

bootloader: Fix secure boot & flash encryption functionality

Fixes regression in 3e0ac4db79.

lwip: add source ip based route for unicast packet

Add source IP based route for unicast packets forwarding.

Merge branch 'bugfix/crlf_auto_conversion' into 'master'

Convert CRLF (Windows line endings) to LF (Unix style), add CI check

See merge request idf/esp-idf!2119

sdmmc: enable host auto_stop only for certain commands

Perviously host send_auto_stop flag would be set for every data
transfer over 1 block long. This caused stop commands to be sent
after CMD53, which shouldn't be done. Fix by adding an explicit list
of commands for which send_auto_stop should be set.

Merge branch 'fix/bootloader_typedef_enum' into 'master'

bootloader: fix missing typedef on enum defintion

See merge request idf/esp-idf!2718

mdns: Minor fix for mdns_service_remove()

Send the Goodbye packet while removing an mDNS service as an "Authoritative" packet so
that the listeners remove the service from their records immediately.

driver(gpio) : Fixed the gpio related bug for release v3.1.

Merge branch 'feature/ci_support_test_one_case_multiple_times' into 'master'

CI: support test one case multiple times by @bot

See merge request idf/esp-idf!2692

Merge branch 'bugfix/tiny_test_fw_filter_invalid_serial_port' into 'master'

tiny-test-fw: filter out invalid IDF ports

See merge request idf/esp-idf!2745

Tools: Correct line endings in idf_monitor tests

Replace all DOS line endings with Unix

Command run was:
git ls-tree -r HEAD --name-only | xargs dos2unix

ci: Add line endings check for CRLF in repository

check WiFi library git commit id in unit test

bootloader: fix missing typedef on enum defintion

(MINOR CHANGES)
Closes https://github.com/espressif/esp-idf/pull/2140

Merge branch 'bugfix/beacon_info_do_not_update_after_user_scan' into 'master'

Wifi: bugfix of beacon info don't update after user scan

See merge request idf/esp-idf!2749

Merge branch 'bugfix/fix_esp_pthread_h_compatible_with_cpp' into 'master'

pthread: fix esp_pthread.h to compatible with c++

See merge request idf/esp-idf!2739

sdio_example/spi: fix sdkconfig include issue

(MINOR CHANGES)

component/bt_refactor_ble_spp_readme

Merge branch 'fix/sdio_speed_4bit' into 'master'

fix(sdio): update sdio to better run in 4bit HS mode

See merge request idf/esp-idf!2704

Merge branch 'bugfix/rtc_isr_deregister_memory_leak' into 'master'

bugfix/memory leak in rtc_isr_deregister

See merge request idf/esp-idf!2754

feature(flash): support for QIO mode of XM25QU64A

driver: Fix memory leak in rtc_isr_deregister()

Closes #2179

Wifi: bugfix of beacon info don't update after user scan

Merge branch 'bugfix/btdm_err_data_report' into 'master'

component/bt: bugfix for erroneous data reporting always enabled

See merge request idf/esp-idf!2709

component/bt: Using osi_malloc instead of malloc

component/bt: Add profile descriptor list for SPP