nvs_util: Add Python2 and Python3 compatible

nvs_part_gen: Add changes to partition size input

nvs_part_gen: Update to make python version compatible

(cherry picked from commit 3506b2d60792e5d4ed4f744b28f2da6733c6aae7)

mfg_gen: Add changes to make Python2 and Python3 compatible

Update mfg utility as per updated nvs partition util

nvs_util: Add Python2 and Python3 compatible

nvs_part_gen: Add changes to partition size input

nvs_part_gen: Update to make python version compatible

(cherry picked from commit 3506b2d60792e5d4ed4f744b28f2da6733c6aae7)

mfg_gen: Add changes to make Python2 and Python3 compatible

Update mfg utility as per updated nvs partition util

Merge branch 'bugfix/several_bugfix_about_ba_session_setup' into 'master'

esp32: several fixes/optimizations about BlockAck(BA) setup

See merge request idf/esp-idf!3374

Merge branch 'feature/unified_provisioning' into 'master'

provisioning: This patch adds the unified provisioning support

See merge request idf/esp-idf!2812

Merge branch 'doc/nvs_encr_doc' into 'master'

nvs_flash: Update documentation at various places to indicate NVS encryotion is supported

See merge request idf/esp-idf!3431

Merge branch 'feature/bss_seg_in_external_memory' into 'master'

memory:   support .bss segment can be in psram

See merge request idf/esp-idf!2236

Merge branch 'feature/error_check_without_abort' into 'master'

esp32: Add macro to check a condition without abort

See merge request idf/esp-idf!3348

Merge branch 'bugfix/fix_psram_eid' into 'master'

bugfix(psram): fix psram eid

See merge request idf/esp-idf!3392

Merge branch 'bugfix/httpd_default_content_type' into 'master'

HTTP Server : Default content type of response should be HTTPD_TYPE_TEXT

See merge request idf/esp-idf!3443

Merge branch 'bugfix/httpd_chunked_content_len' into 'master'

Remove Content-Length from chunked encoding

See merge request idf/esp-idf!3442

Merge branch 'feature/docs_update_mcpwm_api' into 'master'

MCPWM API doc update

See merge request idf/esp-idf!1602

MCPWM API doc update

Merge branch 'bugfix/btdm_fix_connect_interval_error_in_slave_adv_params' into 'master'

Component/bt: fix connection interval error in slave adv params

See merge request idf/esp-idf!3407

esp32: Add macro to check a condition without abort

Closes https://github.com/espressif/esp-idf/issues/2325

esp32: several fixes about BA session setup

1. Fix the bug that ESP32 will reject the retry AddBA request frame
   if AddBA response frame is failed to sent by WiFi LMAC
2. Fix the bug that AddBA request retrys too frequently
3. Forbid BA session setup for VO queue related TID

Merge branch 'bugfix/downgrade_future' into 'master'

Change python-future to 0.15.2 (again)

See merge request idf/esp-idf!3423

Merge branch 'bugfix/fix_close_socket_crash_bug' into 'master'

lwip: fix the crash when close socket

See merge request idf/esp-idf!3384

HTTP Server : Default content type of response should be HTTPD_TYPE_TEXT

Closes https://github.com/espressif/esp-idf/issues/2527

bugfix(psram): fix psram driver

1. remove use EID to distinguish psram voltage
2. 1V8 64Mbit psram and 3V3 64Mbit psram use the same psram driver(standard spi interface)
3. set cs hold time register as 1

Remove Content-Length from chunked encoding

Content-Length header should not be included when using chunked encoding.
Some browsers will close the socket after seeing the 0 sized response instead of
reading the chunks.

Merges https://github.com/espressif/esp-idf/pull/2458

Merge branch 'test/spi_slave_psram_disable' into 'master'

test: disable the spi slave startup test when psram is enabled

See merge request idf/esp-idf!3373

Merge branch 'fix/spi_master_cmd_addr_lsbfirst' into 'master'

spi_master: fix the command and address field when LSB_FIRST enabled

See merge request idf/esp-idf!3398

Merge branch 'bugfix/no_disconnect_event_report_if_no_correct_status_code_report' into 'master'

WiFi: bugfix of no disconnect event report if no correct status code report

See merge request idf/esp-idf!3370

Merge branch 'feature/global_ca_store' into 'master'

esp_tls: Support for global CA store.

See merge request idf/esp-idf!3432

Merge branch 'feature/ethernet_example_iperf' into 'master'

ethernet: add iperf example to test real bandwidth

See merge request idf/esp-idf!3332

ethernet: add iperf example to test real bandwidth

1. Add command for Ethernet based on console component.
2. Make cmd_system and iperf a component that can be referenced by other examples
3. Add "version" command to cmd_system.c
4. Clean up the README.md in all ethernet examples[TW#26525]

Merge branch 'doc/rmt_readme_typo_fix' into 'master'

doc(rmt): fixed some typos in rmt example readme file

See merge request idf/esp-idf!3283

Feature: Support for global CA store.

Added a new API esp_tls_set_global_ca_store(esp_tls_cfg_t *cfg) which creates a global_cacert which can be used by multiple connections by setting the use_global_ca_store variable to true in their respective structure of esp_tls_cfg_t. Also changed the cacert in the structure of esp_tls_t to a pointer.

nvs_flash: Update documentation at different places to indicate NVS encryotion is supported

Merge branch 'bugfix/rom_export_functions' into 'master'

esp32, bootloader: fix issues related to linking order

See merge request idf/esp-idf!3375

Merge branch 'feature_add_path_tools_pr2410' into 'master'

add_path.sh: cmake: add tools folder to the path

See merge request idf/esp-idf!3344

Merge branch 'test/enhanced_unit_test_config_dependency' into 'master'

test: enhanced config dependency support for CI

See merge request idf/esp-idf!3383

Merge branch 'bugfix/windows_msys2_updates' into 'master'

Windows: Update MSYS2 environment, catch some MSYS2 Python quirks

See merge request idf/esp-idf!3417

test: modify the command/address test a bit to test the LSBFIRST feature

spi: move gpio direction config to common func for coinsistence

(MINOR CHANGE)

spi_master: fix the command and address field when LSB_FIRST enabled

Resolves https://github.com/espressif/esp-idf/issues/2444.

Merge branch 'feature/transpost_methods_renamed_no_collision' into 'master'

Renamed transport header files to esp_ prefixed

See merge request idf/esp-idf!3359

Merge branch 'bugfix/esp_error_check_silent' into 'master'

esp_err: Don't compile in error message strings in "silent assertions" mode

See merge request idf/esp-idf!3418

Merge branch 'feature/sigmadelta-example-update-readme' into 'master'

Updated sigma-delta example description to the latest template

See merge request idf/esp-idf!3388

Docs : Added Provisioning and Protocomm related docs

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

Examples : Added provisioning examples, tests and client tool.
* BLE and softAP provisioning examples added along with tests.
* An application specific example added for demonstrating custom provisioning scheme.
* tools/esp_prov/esp_prov.py can be used as a provisioning client for SoftAP, BLE and CLI based transports.

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

WiFi Provisioning : Added component providing framework for configuring WiFi credentials during provisioning

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

Protocomm : Added support for choice of transport - WiFi (SoftAP+HTTPD), BLE, Console (development friendly transport)

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

Protocomm : Added unit tests and protobuf-c generated files

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

Protocomm : Added component core for protocol communication

* This manages secure sessions and provides framework for multiple transports.
* The application can use protocomm layer directly to have application specific extensions for provisioning (or non-provisioning) use cases.
* Following features are available for provisioning :

  * Security - Security0 (no security), Security1 (curve25519 key exchange + AES-CTR encryption)
  * Proof-of-possession support for Security1

* Protocomm requires specific protocol buffer modules for compilation which can be generated from the `.proto` files in the `proto` directory using make.

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

protobuf-c : Added Google's protocol buffer C library as sub-module
Source https://github.com/protobuf-c/protobuf-c

Co-Authored-By: Amey Inamdar <amey@espressif.com>
Co-Authored-By: Anurag Kar <anurag.kar@espressif.com>

tcp_transport: transport set handle refactoring, web socket client name updated

tcp_transport: renamed possibly generic function names to be esp_ prefixed and not to colide with user namespace

tcp_transport: Use getrandom() instead of rand() in the entire esp-mqtt

Signed-off-by: David Cermak <cermak@espressif.com>

tcp_transport: Fix warning, put in order the nearest code, replace sprintf with snprintf

Signed-off-by: David Cermak <cermak@espressif.com>

tcp_transport: renamed transport related header files to esp_ prefixed to avoid collisions

tcp_transport component used public header files such as 'transport.h', etc. which are too generic and might collide with user or user libraries headers
This change closes #2417

esp_err: Don't compile in error message strings in "silent assertions" mode

Reported on forum https://esp32.com/viewtopic.php?f=13&t=7396&p=31419#p31419

Merge branch 'bugfix/bootloader_gen_secure_boot_digest' into 'master'

bootloader: Fix secure boot digest generation for image length where (len%128 < 32)

See merge request idf/esp-idf!3410

Change python-future to 0.15.2 (again)

Merges https://github.com/espressif/esp-idf/pull/2492

bootloader: Fix secure boot digest generation for image length where (len%128 < 32)

esp32: remove ROM functions redefined in IDF from LD script

In some cases, linker could choose to use ROM functions instead of the
ones defined in IDF.
For functions used in ROM stub table, this would lead to infinite
recursion when the corresponding function was called from ROM.
For crypto functions, some of these were modified in IDF, and
incompatible with ROM counterparts.

bootloader_support: exclude bootloader_init.c when building app

Depending on link order of libraries, bootloader implementation of
__assert_func could be linked instead of the one provided by newlib.

Merge branch 'bugfix/disable_coding_scheme_security_features' into 'master'

bootloader: Don't enable secure boot or flash encryption for 3/4 Coding Scheme

See merge request idf/esp-idf!3369

Merge branch 'bugfix/rtc_fastmem_data_init' into 'master'

esp32: fixes related to CONFIG_ESP32_RTCDATA_IN_FAST_MEM

See merge request idf/esp-idf!3403

windows: Special check for some MSYS2 Python packages

MSYS2 MINGW requires some particular MSYS2-specific packages.

Closes https://github.com/espressif/esp-idf/issues/2480
Closes https://github.com/espressif/esp-idf/issues/2474
Closes https://github.com/espressif/esp-idf/issues/2486

windows: Update MSYS2 environment, add Python requirements to setup script

Merge branch 'bugfix/win_toolchain_version' into 'master'

build: Fix checking the toolchain version on Windows

See merge request idf/esp-idf!3356

Merge branch 'bugfix/workaround_free_peripherals_isr_when_using_dual_core' into 'master'

driver(interrupt): fix the issue that interrupt might be allocated and freed on different cores.

See merge request idf/esp-idf!3152

Component/bt: fix connection interval error in slave adv params

Merge branch 'bugfix/btdm_watchdog_timeout_after_pair_with_iphone' into 'master'

component/bt: Fix BTU task watchdog timeout after pair with iphone

See merge request idf/esp-idf!3366

Merge branch 'bugfix/btdm_controller_stuck_on_waking_up' into 'master'

bugfix/btdm_controller_stuck_on_waking_up

See merge request idf/esp-idf!3395

Merge branch 'bugfix/btdm_add_sequential_check_when_add_include_service' into 'master'

component/bt: add sequential check when add include service

See merge request idf/esp-idf!3277

component/bt: add sequential check when add include service

Merge branch 'bugfix/btdm_add_ESP_BLE_SM_ONLY_ACCEPT_SPECIFIED_SEC_AUTH_in_set_security_param_API' into 'master'

Component/bt: add only accept sepecified authentication function for SMP

See merge request idf/esp-idf!3385

Merge branch 'docs/wifi_correct_mistake_in_csi_doc' into 'master'

esp32: correct a mistake about secondary channel of CSI in wifi.rst

See merge request idf/esp-idf!3405

Merge branch 'doc/can_remove_disclaimer' into 'master'

can: remove license disclaimer

See merge request idf/esp-idf!3381

Component/bt: add only accept sepecified Authentication

Merge branch 'bugfix/btdm_add_service_source_param_for_ESP_GATTC_SEARCH_CMPL_EVT' into 'master'

Component/bt: add “service from” param for ESP_GATTC_SEARCH_CMPL_EVT

See merge request idf/esp-idf!3399

Merge branch 'bugfix/btdm_fix_service_change_cannot_read_write_and_no_descr' into 'master'

Component/bt: fix service change char can’t read and write and no descr

See merge request idf/esp-idf!3402

WiFi: bugfix of no disconnect event report if no correct status code report

Problem Description

The reporduce steps are as follows:
1. put more than one same ssid AP in the environment;
2. set the STA mac address in one of the APs blacklist, and make sure the AP is closest to STA;
3. set the scan method in station config as all channel scan;
4. try to connect the AP which set STA in blacklist

Phenmenon

STA fail to connect after send auth or assoc with a wrong status code, but no disconnect event report and can not connect the next one in the envrionment

Root Cause

Because there are some same ssid APs in the evnrionment, when do all channel scan, it will collect all the matched AP in rc list, because rc list is not empty, so it would send disconnect event, however, we didn't do other step such as connect to other one

VNC MR 570

closes https://github.com/espressif/esp-idf/issues/2323

esp32: correct a mistake about secondary channel of CSI in wifi.rst

sleep: fix checking length of RTC data sections

_rtc_data_{start,end} can now describe data placed into RTC_FAST
segment, if CONFIG_ESP32_RTCDATA_IN_FAST_MEM is enabled.
Use new _rtc_slow_length symbol instead.

esp32: fix placement of .rtc_noinit

When CONFIG_ESP32_RTCDATA_IN_FAST_MEM is enabled, .rtc_noinit should
be in RTC_FAST memory, same as .rtc.data

esp32/test: split rtc_fast test cases

Move runtime behaviour test cases into test_reset_reason.c, move
placement test cases into test_rtc_fast.c

bootloader: don’t reload RTC_FAST DRAM after deep sleep

When CONFIG_ESP32_RTCDATA_IN_FAST_MEM is enabled, RTC data is placed
into RTC_FAST memory region, viewed from the data bus. However the
bootloader was missing a check that this region should not be
overwritten after deep sleep, which caused .rtc.bss segment to loose
its contents after wakeup.

Merge branch 'ci/adjust_expire_time_for_artifacts' into 'master'

ci: adjust expire time for CI artifacts:

See merge request idf/esp-idf!3327

ci: adjust expire time for CI artifacts:

set shorter time to save some space on server. For those artifacts need
to be stored for long time, we can manually press "keep" button in job page.

Also add a CI job to check if all artifacts have set expire time.

Component/bt: add “service from” param for ESP_GATTC_SEARCH_CMPL_EVT

Component/bt: fix service change char can’t read and write and no descr

Implemented the first round of review comments

Updated sigma-delta example description to the latest template

component/bt: bugfix that hci down stream datapath is unblocked too early on waking up from sleep

This issue can cause the controller to stuck after sleep interrupt happens and clock interrupt enabled

Merge branch 'bugfix/regression_in_light_sleep_mode' into 'master'

esp32: fix regression introduced in automatic light sleep pm

See merge request idf/esp-idf!3371

Merge branch 'fix/sdio_slave_reset_ret_queue' into 'master'

sdio_slave: fix the ret_queue crash issue when being reset by the master

See merge request idf/esp-idf!3360

lwip: fix the crash when close socket

test: enhanced config dependency support for CI:

allow define complex conditions for the dependency of each tag.

docs, scripts: Correct the priority of the PATH setting