Merge branch 'bugfix/no_disconnect_event_report_if_no_correct_status_code_report_v3.1' into 'release/v3.1'

Bugfix of no disconnect event report if no correct status code report( Backport v3.1)

See merge request idf/esp-idf!3386

Merge branch 'feature/nvs_encr_v3.1' into 'release/v3.1'

nvs_flash: Add support for nvs encryption

See merge request idf/esp-idf!3434

Merge branch 'bugfix/disable_coding_scheme_security_features_v3.1' into 'release/v3.1'

bootloader: Don't enable secure boot or flash encryption for 3/4 Coding Scheme (v3.1)

See merge request idf/esp-idf!3421

nvs_flash: Add support for nvs encryption

esptool: Update to v2.5.1

Release notes: https://github.com/espressif/esptool/releases/tag/v2.5.1

Needed to no longer burn keys if 3/4 Coding Scheme is enabled.

bootloader: Don't enable secure boot or flash encryption for 3/4 Coding Scheme

Merge branch 'bugfix/bootloader_gen_secure_boot_digest_v3.1' into 'release/v3.1'

bootloader: Fix secure boot digest generation for image length where (len%128 < 32) (backport v3.1)

See merge request idf/esp-idf!3411

Merge branch 'fix/sdio_slave_reset_ret_queue_v3.1' into 'release/v3.1'

sdio_slave: fix the ret_queue crash issue when being reset by the master (Backport v3.1)

See merge request idf/esp-idf!3394

Merge branch 'bugfix/btdm_watchdog_timeout_after_pair_with_iphone_v3.1' into 'release/v3.1'

component/bt: Fix BTU task watchdog timeout after pair with iphone (backport 3.1)

See merge request idf/esp-idf!3396

Merge branch 'bugfix/btdm_controller_stuck_on_waking_up_for_v3.1' into 'release/v3.1'

bugfix/btdm_controller_stuck_on_waking_up_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3397

bootloader: Fix secure boot digest generation for image length where (len%128 < 32)

Bugfix of no disconnect event report if no correct status code report

Problem Description
The reporduce steps are as follows:

1.This issue can be reproduced with 4 ESP32 devices, 2 for stations (STA1, STA2) and 2 for soft-AP (AP1, AP2)
2.Configure AP1/AP2 to the same SSID (ssid_xxx)
3.The max allowed WiFi connections of AP1 is configured to 1 and STA1 connects to AP1
4.The AP1 is close to STA2 while AP2 is far away from STA2 (but the STA2 can find the AP2 via scan)
5.STA2 connects ssid_xxx with all scan method
6.The problem will happen on STA2 because it fails to connec AP1 and never connects AP2

Phenmenon
STA fail to connect after send auth or assoc with a wrong status code, but no disconnect event report and can not connect the next one in the envrionment
Root Cause
Because there are some same ssid APs in the evnrionment, when do all channel scan, it will collect all the matched AP in rc list, because rc list is not empty, so it would send disconnect event, however, we didn't do other step such as connect to other one
VNC MR 575
closes https://github.com/espressif/esp-idf/issues/2323

component/bt: bugfix that hci down stream datapath is unblocked too early on waking up from sleep

    This issue can cause the controller to stuck after sleep interrupt happens and clock interrupt enabled

Merge branch 'bugfix/btdm_coex_hw_blocking_v3.1' into 'release/v3.1'

component/bt : fix coexist hardware blocking bug

See merge request idf/esp-idf!3363

component/bt: Fix BTU task watchdog timeout after pair with iphone (backport 3.1)

A cherry-pick of MR !3366

Create a new pending queue, then re-submit pending requests in old pending queue,preventing new events being inserted into it.

Closes https://github.com/espressif/esp-idf/issues/2191

sdio_slave: fix the ret_queue crash issue when being reset by the master

component/bt : fix coexist hardware blocking bug

fix the bug following:
1. after disable bluetooth controller, wifi cannot TX/RX any packets.
2. when software coexist working, there's a little ratio cause wifi task
watchdog timeout
3. when software coexist working, there's a little ratio cause bluetooth
cannot receive anything.

feature:
1. add libbtdm_app.a git commit local and remote checking

Known issues:
1. there's still a bug occurs with a very very low ratio cause bluetooth
   cannot receive anything. The reproduce interval may great than 3days
   ~ 1week via 7x24 hours heavy testing.

Merge branch 'feature/backport_mp_support' into 'release/v3.1'

nvs-flash: Support for blobs larger than half of SPI Flash sector size

See merge request idf/esp-idf!3350

Merge branch 'bugfix/btdm_fix_get_bond_list_error_sometimes_v3.1' into 'release/v3.1'

Component/bt: fix get bond list error sometimes(backport v3.1)

See merge request idf/esp-idf!3365

Component/bt: fix get bond list error sometimes

Merge branch 'bugfix/cmake_lambda_v3.1' into 'release/v3.1'

idf.py: Make the lambda function Python 2 & 3 compatible (backport v3.1)

See merge request idf/esp-idf!3249

Merge branch 'bugfix/btdm_bt_remove_device_fail_when_ble_connected_v3.1' into 'release/v3.1'

component/bt: Fix bug of remove bond device fail when BLE and BT are connectd at…

See merge request idf/esp-idf!3368

Merge branch 'mesh/bugfix_v3.1' into 'release/v3.1'

Mesh/bugfix v3.1 (backport3.1)

See merge request idf/esp-idf!3358

component/bt: Fix bug of remove bond device fail when BLE and BT are connectd at the same time (backport 3.1)

A cherry-pick of MR !2767

mesh: bugfix

1. suppport mesh type, mesh ID, router and IE crypt func&key at any time after mesh is initalized.
2. support modify parent at any time after mesh is configured.
3. modify manual networking example.
4. update header file.
5. fix issues in root conflicts handling.
6. add max length of beacon to menuconfig.
7. fix issue when received a beacon without DSSS.

nvs-flash: Support for blobs larger than half of SPI Flash sector size

This change removes the earlier limitation of 1984 bytes for storing data-blobs.
Blobs larger than the sector size are split and stored on multiple sectors.
For this purpose, two new datatypes (multi-page index and multi-page data) are
added for entries stored in the sectors. The underlying read, write, erase and find
operations are modified to support these large blobs. The change is transparent
to users of the library and no special APIs need to be used to store these large
blobs.

Merge branch 'bugfix/fix_the_bug_create_socket_fail_v3.1' into 'release/v3.1'

lwip: fix the bug that failed to create socket (backport v3.1)

See merge request idf/esp-idf!3311

Merge branch 'bugfix/btdm_fix_crash_when_test_multi_connect_v3.1' into 'release/v3.1'

Component/bt: fix crash when test multi_connect(backport v3.1)

See merge request idf/esp-idf!3313

Merge branch 'bugfix/btdm_fix_save_error_key_in_smp_when_reconnect_v3.1' into 'release/v3.1'

Component/bt: fix save error key in smp when reconnect(backport v3.1)

See merge request idf/esp-idf!3289

Merge branch 'bugfix/btdm_fix_iphoneX_error_when_get_wifi_list_v3.1' into 'release/v3.1'

Component/bt: fix iPhoneX error when getting wifi list (backport v3.1)

See merge request idf/esp-idf!3314

Merge branch 'bugfix/mdns_memory_leak_backport_v3.1' into 'release/v3.1'

feat(mdns): fix bug when clean action memory (backport v3.1)

See merge request idf/esp-idf!3305

lwip: fix the bug that failed to create socket

Fix the bug that failed to create nonblocking TCP or UDP socket after several times socket create/close

Component/bt: fix iPhoneX error when getting wifi list

Component/bt: fix crash when test multi_connect

feat(mdns): fix bug when clean action memory

Merge branch 'bugfix/backport_several_wifi_bugfix_v3.1' into 'release/v3.1'

esp32: backport several WiFi bug fixes to v3.1 (backport v3.1)

See merge request idf/esp-idf!3280

Merge branch 'bugfix/cmake_make_flash_target_v3.1' into 'release/v3.1'

cmake: Fix "make flash" & "ninja flash" targets

See merge request idf/esp-idf!3295

Merge branch 'fix/spi_slave_free_cs_v3.1' into 'release/v3.1'

spi_slave: fix the issue rx dma get broken by master unexpected transaction (backport v3.1)

See merge request idf/esp-idf!3294

Merge branch 'feature/signature_verify_updates_v3.1' into 'release/v3.1'

secure boot: Support signed app verification without hardware secure boot  (backport v3.1)

See merge request idf/esp-idf!3184

cmake: Fix "make flash" & "ninja flash" targets

As reported on forum.

Requires a small CMake wrapper script to pick
up environment variables at flashing time.

spi_slave: fix the issue rx dma get broken by master unexpected transaction

Component/bt: fix save error key in smp when reconnect

Merge branch 'bugfix/btdm_enable_modem_sleep_by_default_for_v3.1' into 'release/v3.1'

bugfix/btdm_enable_modem_sleep_by_default_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3275

Merge branch 'bugfix/btdm_unreserve_scn1_for_hfp_v3.1' into 'release/v3.1'

component/bt: Unlock reserve of SCN 1 for HFP (backport v3.1)

See merge request idf/esp-idf!3285

esp32: backport several WiFi bug fixes to v3.1

Backport following WiFi fixes to v3.1:
1. Fix AMPDU RX sequence compitability bug
2. Optimize scan capability in all channel scan
3. Fix some modem sleep bugs
4. Update API to set CSI channel filter and HT_LTF data generating

component/bt: Unlock reserve of SCN 1 for HFP (backport v3.1)

A cherry-pick of MR !3269

Merge branch 'bugfix/tw24694_dns_request_no_reply_v3.1' into 'release/v3.1'

lwip: add code for sending gratuitous ARP periodically (backport v3.1)

See merge request idf/esp-idf!3195

Merge branch 'bugfix/mdns_service_txt_set_backportv3.1' into 'release/v3.1'

bugfix: mdns_service_txt_set() wasn't allocating memory for TXT records (backport v3.1)

See merge request idf/esp-idf!3254

Merge branch 'bugfix/ble_adv_data_tx_power_v3.1' into 'release/v3.1'

fix TX power value in ble adv data is incorrect

See merge request idf/esp-idf!3187

Merge branch 'bugfix/btdm_controller_enable_failed_in_examples_for_v3.1' into 'release/v3.1'

Bugfix/btdm controller enable failed in examples for v3.1(backport v3.1)

See merge request idf/esp-idf!3266

Merge branch 'doc/btdm_a2dp_source_example_improvement_for_v3.1' into 'release/v3.1'

Doc/btdm a2dp source example improvement for v3.1(backport v3.1)

See merge request idf/esp-idf!3233

Merge branch 'doc/btdm_a2dp_sink_example_improvement_for_v3.1' into 'release/v3.1'

doc/btdm_sink_example_improvement_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3234

Merge branch 'bugfix/btdm_a2dp_role_mixed_up_for_v3.1' into 'release/v3.1'

Bugfix/btdm a2dp role mixed up for v3.1(backport v3.1)

See merge request idf/esp-idf!3267

component/bt: enable bluetooth modem sleep as default setting

bugfix: mdns_service_txt_set() wasn't allocating memory for TXT records

Allocation was happening later, causing possible use of stack variables
of caller function, which could be invalid.

Signed-off-by: Piyush Shah <piyush@espressif.com>

component/bt: stop to inititate AVRC connection when A2DP connection fails to set up

AVRCP connection binds to A2DP in current implementation, despite the two profiles are\
independent according to specification. AVRCP connection is not necessary to set-up \
if A2DP connection fails to establish

component/bt: stop to initiate AVDTP connection on failure of A2DP service discovery

In opening state of AVDTP connection, if SDP client fails to get valid A2DP service record\
from peer SDP server, then do not initiate AVDTP connection request

component/bt: bugfix that A2DP sink device can be connected by another A2DP sink device

In pevious implementation, A2DP sink will register an A2DP source Stream End Point(SEP) although the SEP is not\
supposed to be used. Now remove the unused SEP for source so that only one role of A2DP can be supported at one
time. Service record in local SDP server only includes at most one service for A2DP sink role or source

component/bt: release some controller memory according to the configuration of bluetooth examples

component/bt: bugfix for mismatch of controller mode in sdkconfig.defaults and source code in some examples

test: fix incorrect tx power value in adv

Merge branch 'feature/cmake_make_main_component_again_v3.1_bp' into 'release/v3.1'

cmake: make main a component again (backport v3.1)

See merge request idf/esp-idf!3247

Merge branch 'doc/eclipse_parallel_build_v31' into 'release/v3.1'

docs: Add parallel builds to Eclipse setup (backport v3.1)

See merge request idf/esp-idf!3219

Merge branch 'bugfix/ci_github_deploy_v31' into 'release/v3.1'

ci: Fix spurious pipeline failure when deploying a tag to GitHub (backport v3.1)

See merge request idf/esp-idf!3220

cmake: fix source list issues

cmake: don't add main component Kconfig twice

cmake: use built-in file function to create dummy main

cmake: make main a component again

fix TX power value in ble adv data is incorrect

refence to https://github.com/espressif/esp-idf/issues/2284
Before fixing, the tx power in adv data is always 0xeb(-21dbm).

restriction:
    If change BLE advertising TX power, please call esp_ble_gap_config_adv_data()
    after BLE adv TX power changed.

    Later, will implement set BLE advertising TX power via HCI, then the
    TX power value in adv data can be update automatically after BLE adv
    TX power changed.

idf.py: Make the lambda function Python 2 & 3 compatible

component/bt: fix the format and add more content to A2DP source example document and source code

component/bt: fix the format and add more content to A2DP sink example document and source code

add code for sending gratuitous ARP periodically

Merge branch 'bugfix/fix_the_bug_when_gateway_zero_v3.1' into 'release/v3.1'

esp32: fix the bug that SYSTEM_EVENT_STA_GOT_IP is forbidden when gateway is 0.0.0.0 (backport v3.1)

See merge request idf/esp-idf!3238

esp32: fix the bug that SYSTEM_EVENT_STA_GOT_IP is forbidden when gateway is 0.0.0.0

Merge branch 'fix/sdio_slave_recv_isr_load_v3.1' into 'release/v3.1'

sdio_slave: fix the recv crash when trans finish and load at the same time (backport v3.1)

See merge request idf/esp-idf!3232

sdio_slave: fix the recv crash when trans finish and load at the same time

ci: Fix spurious pipeline failure when deploying a tag to GitHub

Everything succeeds, but because [ -z ${CI_COMMIT_TAG} ] on the last line returns non-zero, it
fails the job.

Merge branch 'feature/btdm_legacy_paring_v3.1' into 'release/v3.1'

component/bt: Add Legacy Pairing (backport 3.1)

See merge request idf/esp-idf!3193

doc: translate parallel build in Eclipse

doc: Add parallel builds to the Eclipse setup guide

Merge branch 'test/split_test_env_for_integration_test_v3.1' into 'release/v3.1'

test: split CI test environment (backport v3.1)

See merge request idf/esp-idf!3211

Merge branch 'bugfix/btdm_hfp_invalid_hci_sync_pkt_len_for_v3.1' into 'release/v3.1'

bugfix/btdm_hfp_invalid_hci_sync_pkt_len_for_v3.1(backport v3.1)

See merge request idf/esp-idf!3188

test: split CI test environment:

Currently CI test environment is complicated, usually includes NIC, AP.
These devices are not used for a lot test cases. Therefore we split the
test environment, remove unnecessary devices. Then it will be easier to
create CI runners.

Merge branch 'bugfix/btdm_discovery_ble_v3.1' into 'release/v3.1'

component/bt : fix bug that set discovery mode will stop ble adv

See merge request idf/esp-idf!3189

Merge branch 'bugfix/tw25969_esp_derive_local_mac_missing_v3.1' into 'release/v3.1'

defination: fix the bug that esp_derive_local_mac() defination missing (backport v3.1)

See merge request idf/esp-idf!3199

defination: fix the bug that esp_derive_local_mac() defination missing

component/bt: Add Legacy Pairing (backport 3.1)

A cherry-pick of MR !3057

component/bt : fix bug that set discovery mode will stop ble adv

As the bluedroid original implmentation of BR/EDR and BLE dual mode about discovery mode,
when set discovery mode for BR/EDR, it will stop ble advertising.

Reference to https://github.com/espressif/esp-idf/issues/2306

component/bt: bugfix for incorrect length of HCI SCO packet size in HFP resulted from uninitialized data buffer length

docs/en/security: Add documentation for signed apps without hardware secure boot feature

secure boot: Support secure boot signatures without hardware secure boot

Allows OTA updates to be secured via signature checks, without requiring the overhead or complexity
of a full secure boot implementation.

Uses same signing mechanisms (build system and/or espsecure.py as Secure Boot).

Requires:
* [ ] More testing
* [ ] Documentation

Merge branch 'bugfix/esp_wifi_disconnect_fail_v3.1' into 'release/v3.1'

update wifi lib to fix two bugs (backport v3.1)

See merge request idf/esp-idf!3158

Merge branch 'bugfix/btdm_update_private_address_v3.1' into 'release/v3.1'

component/bt: Update BLE private address after it's private address interval (backport 3.1)

See merge request idf/esp-idf!3170

Merge branch 'bugfix/btdm_rfcomm_test_command_cause_crash_v3.1' into 'release/v3.1'

component/bt: Fix bug rfcomm test command cause crash (backport 3.1)

See merge request idf/esp-idf!3169

Merge branch 'bugfix/btdm_find_remote_service_by_uuid_always_return_success_v3.1' into 'release/v3.1'

component/bt: Fix bug of SDP find services by uuid always return success (backport 3.1)

See merge request idf/esp-idf!3164

Merge branch 'mesh/rewrite_docs_backport_v3.1' into 'release/v3.1'

docs/rewrite_mesh_docs (backport v3.1)

See merge request idf/esp-idf!3168

component/bt: Update BLE private address after it's private address interval (backport 3.1)

A cherry-pick of MR !2987

component/bt: Fix bug rfcomm test command cause crash (backport 3.1)

A cherry-pick of MR !3080

docs/rewrite_mesh_docs

The following commit rewrites the ESP-MESH docs. This commit includes
new diagrams and a structure approach to the mesh docs. Some mesh api references
have also been modified.