esp32: fix some STA certification issues

Fix following WiFi STA certification issues:
1. Add support for STA HT2040 coexist management
2. Add support for WPA2 improvements
3. Disallow HT rate when unicast/mcast cipher is TKIP/WEP

Merge branch 'bugfix/fix_the_PMK_bug_and_wifi_reason_code_v3.1' into 'release/v3.1'

fix the PMK bug and wifi reason code (backport v3.1)

See merge request idf/esp-idf!4895

Merge branch 'bugfix/ci_submodule_paths_v3.1' into 'release/v3.1'

CI - Fix the parsing of submodule paths (backport v3.1)

See merge request idf/esp-idf!4572

Merge branch 'bugfix/nvs_fix_erase_any_v3.1' into 'release/v3.1'

nvs_flash: Multi-page blob erased using nvs_erase_key should be cleaned properly (v3.1)

See merge request idf/esp-idf!4818

Merge branch 'bugfix/fix_iperf_exit_error_v3.1' into 'release/v3.1'

examples:  fix iperf exit error

See merge request idf/esp-idf!4841

nvs_flash: Multi-page blob erased using nvs_erase_key should be cleaned properly

Earlier eraseItem function in Storage class would do lazy cleanup of
multi-page blobs if called using type "ANY" instead of "BLOB". It used to
just delete BLOB data and index would remain as is. Any subsequent read
would delete index entry as well. This however would return a valid
length without error if nvs_get_blob API was just used for finding
length and not reading the complete blob. This change fixes this issue.

Closes https://github.com/espressif/esp-idf/issues/3255

wifi bugfixs:
1. modify wifi reason code
2. fix the bug PMK recal too long

ci: Fix the parsing of submodule paths

Merge branch 'bugfix/adjtime_ut_v3.1' into 'release/v3.1'

newlib: Fix adjtime (v3.1)

See merge request idf/esp-idf!4873

Merge branch 'bugfix/erase_with_vtaskdelay_v3.1' into 'release/v3.1'

spi_flash: Add vTaskDelay while a long erasing (v3.1)

See merge request idf/esp-idf!4874

Merge branch 'bugfix/ci_tag_for_cmake_linter_v3.1' into 'release/v3.1'

ci: A small CI stabilizing fix (backport v3.1)

See merge request idf/esp-idf!4693

Merge branch 'bugfix/mdns_notask_timer_crash_3.1' into 'release/v3.1'

mdns: fix crash after init if no memory for task (Backport 3.1)

See merge request idf/esp-idf!4238

Merge branch 'bugfix/btdm_modify_HCI_GET_CMD_BUF_v3.1' into 'release/v3.1'

Component/bt: modify HCI_GET_CMD_BUF (backport v3.1)

See merge request idf/esp-idf!4600

Merge branch 'bugfix/btdm_fix_warning_when_disable_logs_v3.1' into 'release/v3.1'

components/bt: Fix warning when disable debug logs or in release mode and…

See merge request idf/esp-idf!4622

Merge branch 'bugfix/btdm_abort_if_deinit_spp_without_init_v3.1' into 'release/v3.1'

components/bt: Fix abort if call esp_spp_deinit without calling esp_spp_init

See merge request idf/esp-idf!4863

Merge branch 'bugfix/external_rtc_start_fail_v3.1' into 'release/v3.1'

Bugfix/external rtc start fail (v3.1)

See merge request idf/esp-idf!4661

Fix external start fail

soc/rtc: Bypass touchpad current to external 32k crystal oscillator

Merge branch 'bugfix/add_bootloader_flash_erase_range' into 'release/v3.1'

bootloader: add API for erasing flash region (backport v3.1)

See merge request idf/esp-idf!4858

Merge branch 'feature/btdm_add_ble_link_timeout_config_v3.1' into 'release/v3.1'

Component/bt: add ble link timeout config in menuconfig(backport v3.1)

See merge request idf/esp-idf!4828

Merge branch 'bugfix/wifi_spike_power_v3.1' into 'release/v3.1'

esp32: fix the issue that the spike transmit power of WiFi is higher than configured when WiFi and Bluetooth coexist (backport v3.1)

See merge request idf/esp-idf!4614

spi_flash: Add vTaskDelay while a long erasing

Added Kconfig options to enable yield operation during flash erase.
By default disable.

Closes: https://github.com/espressif/esp-idf/issues/2083
Closes: IDFGH-261

newlib: Fix adjtime

Fixed adjtime function: While using the adjtime() function,
the time correction accumulated an error
when reading the time frequently (using gettimeofday).

components/bt: Fix abort if call esp_spp_deinit without calling esp_spp_init

spi_flash: fix erase_range for block erase check

Erase in block (64k) as much as possible, before falling back
to sector (4k) erase.

Signed-off-by: Mahavir Jain <mahavir@espressif.com>

bootloader: add API for erasing flash region

Signed-off-by: Mahavir Jain <mahavir@espressif.com>
Closes: https://github.com/espressif/esp-idf/issues/2166

fix iperf exit error

Merge branch 'bugfix/mdns_networking_refactoring_3.1_mdns_patch' into 'release/v3.1'

mdns: workarround in 3.1 to fix missing netif re-probing when ip changed in link-local addressing

See merge request idf/esp-idf!4715

Merge branch 'bugfix/remove_second_sha_enable_v3.1' into 'release/v3.1'

esp32/sha: Remove second enabling in esp_sha_lock_engine_common (backport v3.1)

See merge request idf/esp-idf!4781

Component/bt: add ble link timeout config in menuconfig
- add ble link timeout config in menuconfig
- disable background connection when call gatts_open

esp32: fix the issue that the spike transmit power of WiFi is higher
than configured when WiFi and Bluetooth coexist

Merge branch 'test/modify_mesh_ci_v3.1' into 'release/v3.1'

test: updat  mesh test cases for ci (backport v3.1)

See merge request idf/esp-idf!4649

Merge branch 'bugfix/fix_signal_test_bug_v3.1' into 'release/v3.1'

esp32: fix a bug caused by signal test code (backport v3.1)

See merge request idf/esp-idf!4814

esp32: fix a bug caused by signal test code

Fix a WiFi bug caused by signal test code.

test:update mesh test cases for ci(v3.1)

update TC_IT_MESH_EST.yml and TC_IT_MESH_COMM.yml

change mesh ci case form T50 to T12 in gitlab-ci.yml

add some test ENV in components/idf_test/integration_test/TEST_ENV_SSC.yml

Merge branch 'bugfix/bootloader_flash_crypt_cnt_ff_v3.1' into 'release/v3.1'

flash encryption: reduce FLASH_CRYPT_CNT bit width to 7 bits (v3.1)

See merge request idf/esp-idf!4729

esp32/sha: Remove second enabling in esp_sha_lock_engine_common

Merge branch 'feature/add_support_for_signal_test_v3.1' into 'release/v3.1'

esp32: add support for WiFi signal test (backport v3.1)

See merge request idf/esp-idf!4754

esp32: add support for WiFi signal test

Add support for WiFi signal test

Merge branch 'bugfix/regenerate_sdkconfig_fails_v3.1' into 'release/v3.1'

Fix issues with regenerating sdkconfig on modification (backport v3.1)

See merge request idf/esp-idf!4170

Merge branch 'bugfix/increase_block_scan_timeout_value_v3.1' into 'release/v3.1'

esp32: increase block scan timeout value (backport v3.1)

See merge request idf/esp-idf!4692

esp32: increase block scan timeout value

Increase WiFi block scan internal timeout value.

efuse/flash encryption: Reduce FLASH_CRYPT_CNT to a 7 bit efuse field

8th bit is not used by hardware.

As reported https://esp32.com/viewtopic.php?f=2&t=7800&p=40895#p40894

Merge branch 'bugfix/wifi_fix_no_tbtt_after_rx_wrong_beacon_v3.1' into 'release/v3.1'

esp32: fix the bug that no TBTT will be generated anymore after receiving wrong beacon when WiFi and BT coexist. (backport v3.1)

See merge request idf/esp-idf!4718

esp32: fix the bug that no TBTT will be generated anymore after
receiving wrong beacon when WiFi and BT coexist.

Merge branch 'bugfix/coex_bt_disconn_v3.1' into 'release/v3.1'

components/coex: Fix BT disconnecting due to too many reset BB

See merge request idf/esp-idf!4681

mdns: workarround in 3.1 to fix missing netif re-probing when ip changed in link-local addressing

Merge branch 'bugfix/heap_int_oflow_checks_v3.1' into 'release/v3.1'

Backport heap int overflow checks to v3.1

See merge request idf/esp-idf!4582

Merge branch 'fix/spi_on_readonly_pins_v3.1' into 'release/v3.1'

spi: fix the bug of connecting SPI peripheral to read-only pins (backport v3.1)

See merge request idf/esp-idf!4308

ci: Fix runner choice for CMake verification job

components/coex: Fix BT disconnecting due to too many reset BB

Update coex version to 1.1.6

Merge branch 'update/nvs_partition_utility_v3.1' into 'release/v3.1'

Update/nvs partition utility v3.1 (backport v3.1)

See merge request idf/esp-idf!4275

Merge branch 'fix/nvs_part_util' into 'release/v3.1'

nvs_part_util: Fix Readme and disable multipage blob by default

See merge request idf/esp-idf!4631

confgen: disable config override warnings

kconfiglib: allow disabling of config override warnings

Patches ESP-IDF copy of kconfiglib.py with modifications in commit
b65baa47f69ae4c3993876a7edf0da0075aa70ff from kconfiglib repository.

confgen: disable redundant assignment warning

kconfiglib: allow disabling of redundant definition warnings

Patches ESP-IDF copy of kconfiglib.py with modifications in commit
94c63de77c7a3422347e59e168b05174d0b9e84d from kconfiglib repository.

tool: Add unit test for Kconfig gen

docs: remove invalid arg in confgen invocation on docs generation

cmake: only generate sdkconfig on top level project

confgen: base config creation on output type args

spi: fix the bug of connecting SPI peripheral to read-only pins

The requirements of pin capabilites is different for spi master and
slave.  The master needs CS, SCLK, MOSI to be output-able, while slave
needs MISO to be output-able.

Previous code is for master only.

This commit allows to place other 3 pins than MISO on input-only pins
for slaves. Refactoring for spi_common is also included.

Resolves https://github.com/espressif/esp-idf/issues/2455

Merge branch 'bugfix/build_fails_when_editor_assoc_with_py_scripts_v3.1' into 'release/v3.1'

Fix issues with CMake builds when python scripts are associated with an editor (backport v3.1)

See merge request idf/esp-idf!4638

nvs_part_util: Fix Readme and disable multipage blob by default

Merge branch 'bugfix/increase_block_scan_time_v3.1' into 'release/v3.1'

wifi: increase the block scan time (backport v3.1)

See merge request idf/esp-idf!4644

wifi: increase the block scan time because of changing channel will take at 30ms when BT/WiFi coexist

ci: test full build never runs '/usr/bin/env python' or similar

cmake: Fix for Python files executed directly, not via PYTHON variable

nvs_util: Fix to support write of multiple singlepage big blob data

Closes https://github.com/espressif/esp-idf/issues/3011

(cherry picked from commit 60b5cdde)

Merge branch 'mesh/decouple_v3.1' into 'release/v3.1'

mesh: decoupling (backport v3.1)

See merge request idf/esp-idf!4288

Update minimum version for cryptography package required

(cherry picked from commit e1774cb6f90416c7cbbe7b50323d3154dba7de21)
(cherry picked from commit fa40b3d5d0ec3c90a62627ac6a23edc969695670)

components/bt: Fix warning when disable debug logs or in release mode and improve the code structure

mesh: decoupling

Remove dependencies which cause mesh code to be linked even if mesh is not used.

Component/bt: modify HCI_GET_CMD_BUF

mdns: fix crash after init if no memory for task

mdns init first starts timer task, then starts service task. if service task failed to be created, timer task needs to be stopped too.
fixed https://ezredmine.espressif.cn:8765/issues/28466

heap: Add integer overflow checks on MALLOC_CAP_32BIT & MALLOC_CAP_EXEC

Merge branch 'bugfix/nvs_api_usage_in_simple_ota_example_v3.1' into 'release/v3.1'

Minor bugfix in simple ota example (backport v3.1)

See merge request idf/esp-idf!4583

bugfix(simple_ota): Compatible with V3.1 and V3.2

(cherry picked from commit 0fa31d3e311e2e49b4a37ebf7c32cae2ee3070d4)

heap: Add integer overflow checks

Merge branch 'bugfix/sphinx_build_failure_on_rtd_v3.1' into 'release/v3.1'

docs: Upgraded sphinx package version to prevent build failures on readthedocs…

See merge request idf/esp-idf!4555

Merge branch 'test/detect_exception_in_idf_dut_v3.1' into 'release/v3.1'

tiny-test-fw: support detect exception in IDFDUT (backport v3.1)

See merge request idf/esp-idf!4544

Merge branch 'test/fix_unit_test_job_pass_even_no_test_executed_v3.1' into 'release/v3.1'

test: fix CI UT job pass even ut app bootup fail (backport v3.1)

See merge request idf/esp-idf!4387

Merge branch 'bugfix/btdm_fix_no_adv_report_when_scaning_with_sleep_enable_v3.1' into 'release/v3.1'

Component/bt: fix no adv report when scanning with sleep enable (backport v3.1)

See merge request idf/esp-idf!4558

Merge branch 'bugfix/btdm_fix_blufi_prepare_write_crash_v3.1' into 'release/v3.1'

Component/bt: fix blufi prepare write crash (backport v3.1)

See merge request idf/esp-idf!4564

Merge branch 'bugfix/btdm_fix_build_warning_when_bluedroid_disable_log_v3.1' into 'release/v3.1'

Component/bt: fix build warning when bluedroid disable log (backport v3.1)

See merge request idf/esp-idf!4567

Merge branch 'bugfix/esp_tls_const_bytes_field_v3.1' into 'release/v3.1'

esp_tls: Make cacert_pem_bytes field a mutable integer

See merge request idf/esp-idf!4529

Component/bt: fix build warning when bluedroid disable log

Component/bt: fix blufi prepare write crash

Component/bt: fix no adv report when scanning with sleep enable

Merge branch 'bugfix/spiram_linker_wildcards_v3.1' into 'release/v3.1'

esp32 psram: Provide library name for ROM libc objects linked as PSRAM workarounds (backport v3.1)

See merge request idf/esp-idf!4305

Merge branch 'bugfix/mdns_incorrect_semaphore_use_v3.1' into 'release/v3.1'

mdns: use binary semaphore instead of mutex when searching (Backport 3.1)

See merge request idf/esp-idf!4479

Merge branch 'bugfix/ble_assert_8192_v3.1' into 'release/v3.1'

fix the bug assert(8192 0) in rwble.c 234

See merge request idf/esp-idf!4506

docs: Upgraded sphinx package version to prevent build failures on readthedocs site. Upgraded versions of other packages that are used during documentation build. (backport v3.1)

test: handle exception by unit test script:

unit test script will detect exception, we don't need to let test fail
when exception happened.

tiny-test-fw: support translate backtrace in IDFDUT

mdns: use binary semaphore instead of mutex when searching

mdns_search_once_t::lock is used to synchronize tasks (taken by one
task and given by the other) so it should not be a mutex.
Convert to semaphore, and rename to indicate its purpose.

fix the bug assert(8192 0) in rwble.c 234

tiny-test-fw: support detect exception in IDFDUT

esp32 psram: Provide library name for ROM libc objects linked as PSRAM workarounds

Fixes bug reported on forums where any source file ending in *lock.c or *creat.c
was being linked to IRAM.

https://esp32.com/viewtopic.php?f=13&t=8909&p=37362#p37362

esp_tls: Make cacert_pem_bytes field a mutable integer

Ref https://esp32.com/viewtopic.php?f=2&t=9737&p=40278#p40277