mdns: fixed crashes on network change (not properly locked sending packets to queue from timer task), backport 3.1

Merge branch 'doc/nvs_encr_doc_v3.1' into 'release/v3.1'

nvs_flash: Update documentation at different places to indicate NVS encryotion is supported

See merge request idf/esp-idf!3479

nvs_flash: Update documentation at different places to indicate NVS encryption is supported

Merge branch 'ci/only_create_required_jobs_in_pipeline_v3.1' into 'release/v3.1'

CI: only create required jobs in pipeline (backport v3.1)

See merge request idf/esp-idf!3565

CI: only create required jobs when use bot to trigger test:

Gitlab CI now allow us to define if a job need to be created by
varialbes. This commit add label to CI jobs, so we can make some jobs
not created in certain scenarios when we trigger pipeline with @bot.

Merge branch 'feature/34_coding_scheme_v3.1' into 'release/v3.1'

Secure Boot & Flash encryption: Support 3/4 Coding Scheme

See merge request idf/esp-idf!3510

Merge branch 'bugfix/btdm_fix_remove_bond_list_failed_v3.1' into 'release/v3.1'

component/bt: fix remove bond list failed (backport v3.1)

See merge request idf/esp-idf!3516

component/bt: fix remove bond list failed

Secure Boot & Flash encryption: Support 3/4 Coding Scheme

Includes esptool update to v2.6-beta1

Merge branch 'feature/ci_multi_python_v3.1' into 'release/v3.1'

CI: Support switching between various versions of Python (backport v3.1)

See merge request idf/esp-idf!3534

Merge branch 'bugfix/tw26711_fix_wifi_memory_v3.1' into 'release/v3.1'

esp32: fix wifi memory leak (backport v3.1)

See merge request idf/esp-idf!3524

CI: Support switching between various versions of Python

esp32: fix wifi memory leak

Fix a WiFi memory leak bug

Merge branch 'bugfix/coex_hw_blocking_2nd_v3.1' into 'release/v3.1'

coexist : fix coexist bugs related to coex hw blocking

See merge request idf/esp-idf!3415

coexist : fix coexist bugs related to coex hw blocking

1. fix some bugs by previous coex hw blocking bugfix,
   such like, rwble.c (64, 0) line 222
2. fix bug that ble scan performance is very low when software coexist
   is working.
3. update libcoexist version to v1.1.0

Merge branch 'bugfix/tw26696_fix_wifi_timer_v3.1' into 'release/v3.1'

Bugfix/tw26696 fix wifi timer v3.1 (backport v3.1)

See merge request idf/esp-idf!3494

Bugfix/tw26696 fix wifi timer v3.1 (backport v3.1)

Merge branch 'bugfix/fix_random_failure_with_ota_updates_v3.1' into 'release/v3.1'

app_update: fix intermittent failure with firmware updates (backport v3.1)

See merge request idf/esp-idf!3419

Merge branch 'bugfix/several_bugfix_about_ba_session_setup_v3.1' into 'release/v3.1'

esp32: several fixes about BA session setup (backport v3.1)

See merge request idf/esp-idf!3456

Merge branch 'bugfix/misc_v3_1_backports' into 'release/v3.1'

Multiple v3.1 backports

See merge request idf/esp-idf!3378

esp32: several fixes about BA session setup

1. Fix the bug that ESP32 will reject the retry AddBA request frame
   if AddBA response frame is failed to sent by WiFi LMAC
2. Fix the bug that AddBA request retrys too frequently
3. Forbid BA session setup for VO queue related TID

Merge branch 'fix/spi_master_cmd_addr_lsbfirst_v3.1' into 'release/v3.1'

spi_master: fix the command and address field when LSB_FIRST enabled (Backport v3.1)

See merge request idf/esp-idf!3446

Merge branch 'bugfix/no_disconnect_event_report_if_no_correct_status_code_report_v3.1' into 'release/v3.1'

Bugfix of no disconnect event report if no correct status code report( Backport v3.1)

See merge request idf/esp-idf!3386

test: modify the command/address test a bit to test the LSBFIRST feature

spi: move gpio direction config to common func for coinsistence

(MINOR CHANGE)

spi_master: fix the command and address field when LSB_FIRST enabled

Resolves https://github.com/espressif/esp-idf/issues/2444.

Merge branch 'feature/nvs_encr_v3.1' into 'release/v3.1'

nvs_flash: Add support for nvs encryption

See merge request idf/esp-idf!3434

app_update: remove unrequired static attribute from mmap handle

app_update: fix intermittent failure with firmware updates

Routine `spi_flash_cache2phys` sometimes return incorrect value,
resulting in failure in getting currently running ota partition.
This in turn aborts firmware update process.This issue was more
prominent with SPIRAM enabled cases.

Fix ensures proper cache guards during `spi_flash_cache2phys`, and
also for few other similar APIs.

In addition, `esp_ota_get_running_partition` has also been optimized
to save currently running partition for subsequent invocations.

Fixes https://github.com/espressif/esp-idf/issues/2451

Merge branch 'bugfix/disable_coding_scheme_security_features_v3.1' into 'release/v3.1'

bootloader: Don't enable secure boot or flash encryption for 3/4 Coding Scheme (v3.1)

See merge request idf/esp-idf!3421

nvs_flash: Add support for nvs encryption

esptool: Update to v2.5.1

Release notes: https://github.com/espressif/esptool/releases/tag/v2.5.1

Needed to no longer burn keys if 3/4 Coding Scheme is enabled.

bootloader: Don't enable secure boot or flash encryption for 3/4 Coding Scheme

Merge branch 'bugfix/bootloader_gen_secure_boot_digest_v3.1' into 'release/v3.1'

bootloader: Fix secure boot digest generation for image length where (len%128 < 32) (backport v3.1)

See merge request idf/esp-idf!3411

Merge branch 'fix/sdio_slave_reset_ret_queue_v3.1' into 'release/v3.1'

sdio_slave: fix the ret_queue crash issue when being reset by the master (Backport v3.1)

See merge request idf/esp-idf!3394

Merge branch 'bugfix/btdm_watchdog_timeout_after_pair_with_iphone_v3.1' into 'release/v3.1'

component/bt: Fix BTU task watchdog timeout after pair with iphone (backport 3.1)

See merge request idf/esp-idf!3396

Merge branch 'bugfix/btdm_controller_stuck_on_waking_up_for_v3.1' into 'release/v3.1'

bugfix/btdm_controller_stuck_on_waking_up_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3397

bootloader: Fix secure boot digest generation for image length where (len%128 < 32)

Bugfix of no disconnect event report if no correct status code report

Problem Description
The reporduce steps are as follows:

1.This issue can be reproduced with 4 ESP32 devices, 2 for stations (STA1, STA2) and 2 for soft-AP (AP1, AP2)
2.Configure AP1/AP2 to the same SSID (ssid_xxx)
3.The max allowed WiFi connections of AP1 is configured to 1 and STA1 connects to AP1
4.The AP1 is close to STA2 while AP2 is far away from STA2 (but the STA2 can find the AP2 via scan)
5.STA2 connects ssid_xxx with all scan method
6.The problem will happen on STA2 because it fails to connec AP1 and never connects AP2

Phenmenon
STA fail to connect after send auth or assoc with a wrong status code, but no disconnect event report and can not connect the next one in the envrionment
Root Cause
Because there are some same ssid APs in the evnrionment, when do all channel scan, it will collect all the matched AP in rc list, because rc list is not empty, so it would send disconnect event, however, we didn't do other step such as connect to other one
VNC MR 575
closes https://github.com/espressif/esp-idf/issues/2323

component/bt: bugfix that hci down stream datapath is unblocked too early on waking up from sleep

    This issue can cause the controller to stuck after sleep interrupt happens and clock interrupt enabled

Merge branch 'bugfix/btdm_coex_hw_blocking_v3.1' into 'release/v3.1'

component/bt : fix coexist hardware blocking bug

See merge request idf/esp-idf!3363

component/bt: Fix BTU task watchdog timeout after pair with iphone (backport 3.1)

A cherry-pick of MR !3366

Create a new pending queue, then re-submit pending requests in old pending queue,preventing new events being inserted into it.

Closes https://github.com/espressif/esp-idf/issues/2191

sdio_slave: fix the ret_queue crash issue when being reset by the master

component/bt : fix coexist hardware blocking bug

fix the bug following:
1. after disable bluetooth controller, wifi cannot TX/RX any packets.
2. when software coexist working, there's a little ratio cause wifi task
watchdog timeout
3. when software coexist working, there's a little ratio cause bluetooth
cannot receive anything.

feature:
1. add libbtdm_app.a git commit local and remote checking

Known issues:
1. there's still a bug occurs with a very very low ratio cause bluetooth
   cannot receive anything. The reproduce interval may great than 3days
   ~ 1week via 7x24 hours heavy testing.

Merge branch 'feature/backport_mp_support' into 'release/v3.1'

nvs-flash: Support for blobs larger than half of SPI Flash sector size

See merge request idf/esp-idf!3350

Merge branch 'bugfix/btdm_fix_get_bond_list_error_sometimes_v3.1' into 'release/v3.1'

Component/bt: fix get bond list error sometimes(backport v3.1)

See merge request idf/esp-idf!3365

cmake: add app_trace as FreeRTOS dependency

This is needed because FreeRTOSConfig.h includes header file provided
by app_trace when CONFIG_SYSVIEW_ENABLE=y.

cmake: pass repository path to git when doing git describe

Fixes getting IDF version in out-of-tree builds

wpa_supplicant: more wpa2_enterprise fixes

Merges https://github.com/espressif/esp-idf/pull/2386

Closes https://github.com/espressif/esp-idf/issues/2383

Closes https://github.com/espressif/esp-idf/issues/2381

esp32: abort when running on single core chip in dual core mode

Ref. https://esp32.com/viewtopic.php?f=2&t=7307

sleep: keep RTC_SLOW_MEM powered on if RTC_NOINIT is used

Fixes a bug that if application uses RTC_NOINIT variables but doesn’t
use RTC_DATA variables, then RTC_NOINIT variables loose their values
after deep sleep.

Reported in https://esp32.com/viewtopic.php?f=2&t=7045&p=30301#p30299

bt: build unit tests only when CONFIG_BT_ENABLED=1

Component/bt: fix get bond list error sometimes

Merge branch 'bugfix/cmake_lambda_v3.1' into 'release/v3.1'

idf.py: Make the lambda function Python 2 & 3 compatible (backport v3.1)

See merge request idf/esp-idf!3249

Merge branch 'bugfix/btdm_bt_remove_device_fail_when_ble_connected_v3.1' into 'release/v3.1'

component/bt: Fix bug of remove bond device fail when BLE and BT are connectd at…

See merge request idf/esp-idf!3368

Merge branch 'mesh/bugfix_v3.1' into 'release/v3.1'

Mesh/bugfix v3.1 (backport3.1)

See merge request idf/esp-idf!3358

component/bt: Fix bug of remove bond device fail when BLE and BT are connectd at the same time (backport 3.1)

A cherry-pick of MR !2767

mesh: bugfix

1. suppport mesh type, mesh ID, router and IE crypt func&key at any time after mesh is initalized.
2. support modify parent at any time after mesh is configured.
3. modify manual networking example.
4. update header file.
5. fix issues in root conflicts handling.
6. add max length of beacon to menuconfig.
7. fix issue when received a beacon without DSSS.

nvs-flash: Support for blobs larger than half of SPI Flash sector size

This change removes the earlier limitation of 1984 bytes for storing data-blobs.
Blobs larger than the sector size are split and stored on multiple sectors.
For this purpose, two new datatypes (multi-page index and multi-page data) are
added for entries stored in the sectors. The underlying read, write, erase and find
operations are modified to support these large blobs. The change is transparent
to users of the library and no special APIs need to be used to store these large
blobs.

Merge branch 'bugfix/fix_the_bug_create_socket_fail_v3.1' into 'release/v3.1'

lwip: fix the bug that failed to create socket (backport v3.1)

See merge request idf/esp-idf!3311

Merge branch 'bugfix/btdm_fix_crash_when_test_multi_connect_v3.1' into 'release/v3.1'

Component/bt: fix crash when test multi_connect(backport v3.1)

See merge request idf/esp-idf!3313

Merge branch 'bugfix/btdm_fix_save_error_key_in_smp_when_reconnect_v3.1' into 'release/v3.1'

Component/bt: fix save error key in smp when reconnect(backport v3.1)

See merge request idf/esp-idf!3289

Merge branch 'bugfix/btdm_fix_iphoneX_error_when_get_wifi_list_v3.1' into 'release/v3.1'

Component/bt: fix iPhoneX error when getting wifi list (backport v3.1)

See merge request idf/esp-idf!3314

Merge branch 'bugfix/mdns_memory_leak_backport_v3.1' into 'release/v3.1'

feat(mdns): fix bug when clean action memory (backport v3.1)

See merge request idf/esp-idf!3305

lwip: fix the bug that failed to create socket

Fix the bug that failed to create nonblocking TCP or UDP socket after several times socket create/close

Component/bt: fix iPhoneX error when getting wifi list

Component/bt: fix crash when test multi_connect

feat(mdns): fix bug when clean action memory

Merge branch 'bugfix/backport_several_wifi_bugfix_v3.1' into 'release/v3.1'

esp32: backport several WiFi bug fixes to v3.1 (backport v3.1)

See merge request idf/esp-idf!3280

Merge branch 'bugfix/cmake_make_flash_target_v3.1' into 'release/v3.1'

cmake: Fix "make flash" & "ninja flash" targets

See merge request idf/esp-idf!3295

Merge branch 'fix/spi_slave_free_cs_v3.1' into 'release/v3.1'

spi_slave: fix the issue rx dma get broken by master unexpected transaction (backport v3.1)

See merge request idf/esp-idf!3294

Merge branch 'feature/signature_verify_updates_v3.1' into 'release/v3.1'

secure boot: Support signed app verification without hardware secure boot  (backport v3.1)

See merge request idf/esp-idf!3184

cmake: Fix "make flash" & "ninja flash" targets

As reported on forum.

Requires a small CMake wrapper script to pick
up environment variables at flashing time.

spi_slave: fix the issue rx dma get broken by master unexpected transaction

Component/bt: fix save error key in smp when reconnect

Merge branch 'bugfix/btdm_enable_modem_sleep_by_default_for_v3.1' into 'release/v3.1'

bugfix/btdm_enable_modem_sleep_by_default_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3275

Merge branch 'bugfix/btdm_unreserve_scn1_for_hfp_v3.1' into 'release/v3.1'

component/bt: Unlock reserve of SCN 1 for HFP (backport v3.1)

See merge request idf/esp-idf!3285

esp32: backport several WiFi bug fixes to v3.1

Backport following WiFi fixes to v3.1:
1. Fix AMPDU RX sequence compitability bug
2. Optimize scan capability in all channel scan
3. Fix some modem sleep bugs
4. Update API to set CSI channel filter and HT_LTF data generating

component/bt: Unlock reserve of SCN 1 for HFP (backport v3.1)

A cherry-pick of MR !3269

Merge branch 'bugfix/tw24694_dns_request_no_reply_v3.1' into 'release/v3.1'

lwip: add code for sending gratuitous ARP periodically (backport v3.1)

See merge request idf/esp-idf!3195

Merge branch 'bugfix/mdns_service_txt_set_backportv3.1' into 'release/v3.1'

bugfix: mdns_service_txt_set() wasn't allocating memory for TXT records (backport v3.1)

See merge request idf/esp-idf!3254

Merge branch 'bugfix/ble_adv_data_tx_power_v3.1' into 'release/v3.1'

fix TX power value in ble adv data is incorrect

See merge request idf/esp-idf!3187

Merge branch 'bugfix/btdm_controller_enable_failed_in_examples_for_v3.1' into 'release/v3.1'

Bugfix/btdm controller enable failed in examples for v3.1(backport v3.1)

See merge request idf/esp-idf!3266

Merge branch 'doc/btdm_a2dp_source_example_improvement_for_v3.1' into 'release/v3.1'

Doc/btdm a2dp source example improvement for v3.1(backport v3.1)

See merge request idf/esp-idf!3233

Merge branch 'doc/btdm_a2dp_sink_example_improvement_for_v3.1' into 'release/v3.1'

doc/btdm_sink_example_improvement_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3234

Merge branch 'bugfix/btdm_a2dp_role_mixed_up_for_v3.1' into 'release/v3.1'

Bugfix/btdm a2dp role mixed up for v3.1(backport v3.1)

See merge request idf/esp-idf!3267

component/bt: enable bluetooth modem sleep as default setting

bugfix: mdns_service_txt_set() wasn't allocating memory for TXT records

Allocation was happening later, causing possible use of stack variables
of caller function, which could be invalid.

Signed-off-by: Piyush Shah <piyush@espressif.com>

component/bt: stop to inititate AVRC connection when A2DP connection fails to set up

AVRCP connection binds to A2DP in current implementation, despite the two profiles are\
independent according to specification. AVRCP connection is not necessary to set-up \
if A2DP connection fails to establish

component/bt: stop to initiate AVDTP connection on failure of A2DP service discovery

In opening state of AVDTP connection, if SDP client fails to get valid A2DP service record\
from peer SDP server, then do not initiate AVDTP connection request

component/bt: bugfix that A2DP sink device can be connected by another A2DP sink device

In pevious implementation, A2DP sink will register an A2DP source Stream End Point(SEP) although the SEP is not\
supposed to be used. Now remove the unused SEP for source so that only one role of A2DP can be supported at one
time. Service record in local SDP server only includes at most one service for A2DP sink role or source

component/bt: release some controller memory according to the configuration of bluetooth examples

component/bt: bugfix for mismatch of controller mode in sdkconfig.defaults and source code in some examples

test: fix incorrect tx power value in adv

Merge branch 'feature/cmake_make_main_component_again_v3.1_bp' into 'release/v3.1'

cmake: make main a component again (backport v3.1)

See merge request idf/esp-idf!3247

Merge branch 'doc/eclipse_parallel_build_v31' into 'release/v3.1'

docs: Add parallel builds to Eclipse setup (backport v3.1)

See merge request idf/esp-idf!3219

Merge branch 'bugfix/ci_github_deploy_v31' into 'release/v3.1'

ci: Fix spurious pipeline failure when deploying a tag to GitHub (backport v3.1)

See merge request idf/esp-idf!3220

cmake: fix source list issues

cmake: don't add main component Kconfig twice

cmake: use built-in file function to create dummy main