Enable secure boot only after encrypting flash

This prevents a device from being bricked in case when both secure boot & flash encryption are enabled and encryption gets interrupted during first boot. After interruption, all partitions on the device need to be reflashed (including the bootloader).

List of changes:
* Secure boot key generation and bootloader digest generation logic, implemented inside function esp_secure_boot_permanently_enable(), has been pulled out into new API esp_secure_boot_generate_digest(). The enabling of R/W protection of secure boot key on EFUSE still happens inside esp_secure_boot_permanently_enable()
* Now esp_secure_boot_permanently_enable() is called only after flash encryption process completes
* esp_secure_boot_generate_digest() is called before flash encryption process starts

Merge branch 'bugfix/http_client_redirection' into 'master'

Fix url redirection issue

See merge request idf/esp-idf!4623

Fix url redirection issue.

Operation:
In `esp_http_client_set_url`, we check for if old_host is same as new_host.
Delete and open new connection if host is different.

Issue:
We just pointed `client->connection_info.host` to `old_host` and reassigned it.
This made old_host and new_host always point to same location and hence, using old_host with new request.

Fix:
Made a separate copy for old_host using strdup.

Closes https://github.com/espressif/esp-idf/issues/2631

Signed-off-by: Vikram Dattu <vikram.dattu@espressif.com>

Merge branch 'bugfix/make_bootloader_depends_on_target' into 'master'

make bootloader depend on IDF_TARGET

See merge request idf/esp-idf!4704

Merge branch 'bugfix/increase_block_scan_timeout_value' into 'master'

esp_wifi: increase block scan timeout value

Closes WIFI-396

See merge request idf/esp-idf!4695

Merge branch 'bugfix/ws_transport_crash_on_connect_fail' into 'master'

transport_ws: Stop connecting when the parent's connect call has failed

See merge request idf/esp-idf!4701

Merge branch 'bugfix/prov_fix_conn_id' into 'master'

Unified Provisioning: Miscellaneous fixes in BLE

See merge request idf/esp-idf!4691

esp_wifi: increase WiFi block scan timeout value

Increase WiFi block scan internal timeout value.

Merge branch 'fix/mfg_util_todo_leftback' into 'master'

mfg_util: Remove to-do line leftback

See merge request idf/esp-idf!4707

Merge branch 'bugfix/bootloader_flash_crypt_cnt_ff' into 'master'

flash encryption: reduce FLASH_CRYPT_CNT bit width to 7 bits

See merge request idf/esp-idf!4642

Merge branch 'bugfix/wifi_fix_no_tbtt_after_rx_wrong_beacon' into 'master'

esp_wifi: fix the bug that no TBTT will be generated anymore after receiving wrong beacon when WiFi and BT coexist.

Closes IDF-589

See merge request idf/esp-idf!4716

make bootloader depend on IDF_TARGET

esp_wifi: fix the bug that no TBTT will be generated anymore after receiving
wrong beacon when WiFi and BT coexist.

Unified Provisioning: Miscellaneous fixes in BLE

1. Pass the correct conn_id to protocomm_req_handle
In transport_simple_ble_write(), passing param->exec_write.conn_id would
be invalid. Instead param->write.conn_id should be passed
Similar change in transport_simple_ble_exec_write() to use
param->exec_write.conn_id

2. simple_ble_start() assumes that the mode is BLE only and enables
Bluetooth controller accordingly. For, cases having BT + BLE like Alexa
(Provisioning over BLE + Audio over classic BT), this assumption should
be removed.

Merge branch 'feature/common_fragment_grammar' into 'master'

ldgen: Common fragment grammar

See merge request idf/esp-idf!4576

transport_ws: Stop connecting when the parent's connect call has failed

Merges https://github.com/espressif/esp-idf/pull/3164

Merge branch 'bugfix/coex_bt_disconn' into 'master'

components/coex: Fix BT disconnecting due to too many reset BB

See merge request idf/esp-idf!4675

Merge branch 'bugfix/btdm_fix_warning_when_disable_logs' into 'master'

components/bt: Fix warning when disable debug logs or in release mode and improve the code structure

See merge request idf/esp-idf!4618

Merge branch 'bugfix/btdm_disconn_with_apple_device' into 'master'

components/bt: Fix disconnect with apple device

See merge request idf/esp-idf!4665

ldgen: add backward-compatibility with previous mapping fragment style

docs: update linker script generation docs

mfg_util: Remove todo line leftback

ldgen: update component linker fragment files

ldgen: update tests for common fragment parsing

ldgen: implement common fragment parsing

Merge branch 'doc/fix-an-important-typo-in-Getting-Started-Guide' into 'master'

Fixed a typo that cannot wait

See merge request idf/esp-idf!4685

Merge branch 'update/mfg_util' into 'master'

mfg_util: Add changes to mfg_util as per changes in nvs_util

See merge request idf/esp-idf!3573

Merge branch 'bugfix/httpd_accept_conn' into 'master'

esp_http_server : Only accept new connections if server has capacity to handle more

Closes IDFGH-749

See merge request idf/esp-idf!4655

Merge branch 'feature/micro-ecc-only-in-bootloader' into 'master'

Use micro_ecc library only in bootloader

See merge request idf/esp-idf!4082

Merge branch 'feature/misc_adjustment_of_esp32' into 'master'

misc adjustment of esp32 component

Closes IDF-36

See merge request idf/esp-idf!4627

Merge branch 'bugfix/soc_register_struct_names' into 'master'

soc:Added names to anonymous register structs

See merge request idf/esp-idf!4668

esp_http_server : Test added to check limit on max_open_sockets config option

esp_http_server : Only accept new connections if server has capacity to handle more

This fix prevents HTTP server from accepting new connections when the total count of connected
sockets has reached the max_open_sockets limit set during configuration. The pending connections
are kept in backlog until atleast one of the connected sockets is closed. The maximum number of
connection requests that can kept in backlog is specified as backlog_conn configuration option.
Note that this modification has no effect when LRU purge is enabled.

Also added sanity check on setting for max_open_sockets during configuration.

Solution suggested by jimparis https://github.com/espressif/esp-idf/issues/3183#issue-421234265

Closes https://github.com/espressif/esp-idf/issues/3183

components/coex: Fix BT disconnecting due to too many reset BB

Update coex version to 1.1.6

misc adjustment of esp32 component

Fix a very important typo that cannot wait

components/bt: Fix disconnect with apple device

    1. Fix disconnect with apple device
    2. Fix hci_refresh_enc_key_cmd will be ignored
    3. Fix hci_refresh_enc_key_cmd will crash

    Closes https://github.com/espressif/esp-idf/issues/3140

mfg_util: Add changes to mfg_util as per changes in nvs_util

revert changeson this file

Update README for mfg util

Update to correct coding style of script

Merge branch 'feature/support_comments_in_csv' into 'master'

nvs_util: Add support to include comments in csv file

See merge request idf/esp-idf!4656

soc:Added names to anonymous register structs

For typedef volatile struct in components/soc/esp32/include/soc

Merges https://github.com/espressif/esp-idf/pull/3199

efuse/flash encryption: Reduce FLASH_CRYPT_CNT to a 7 bit efuse field

8th bit is not used by hardware.

As reported https://esp32.com/viewtopic.php?f=2&t=7800&p=40895#p40894

Merge branch 'doc/translate_404_page' into 'master'

Add translation for 404 page

See merge request idf/esp-idf!4635

Merge branch 'bugfix/fix_some_sta_certification_issues' into 'master'

esp32: fix some STA certification issues

Closes WIFI-295, WIFI-299, WIFI-305, WIFI-306, WIFI-358, WIFI-367, and WIFI-368

See merge request idf/esp-idf!4434

Merge branch 'bugfix/undefined_partition_table_bin_warning' into 'master'

make: fix undefined variables warning for PARTITION_TABLE_BIN

Closes IDFGH-685

See merge request idf/esp-idf!4633

Merge branch 'feature/derive_esp_wifi_from_esp32' into 'master'

derive esp_wifi from esp32 component

See merge request idf/esp-idf!4602

Merge branch 'bugfix/external_rtc_start_fail' into 'master'

Bugfix/external rtc start fail

See merge request idf/esp-idf!4374

Merge branch 'feature/sysview_heap_tracing' into 'master'

SystemView based heap and log tracing

See merge request idf/esp-idf!3952

apptrace: Adds test for logtrace_proc script

sys_view: Adds heap & log tracing example

docs: Adds host-based heap tracing description

sys_view: Adds processing scripts for heap & log traces

sys_view: Adds heap tracing API

Merge branch 'feature/btdm_add_mesh_adv_type_and_srv_uuid_for_dup_scan_except' into 'master'

Component/bt: add mesh beacon adv and svc uuid for duplicate scan exceptional list

See merge request idf/esp-idf!4592

esp32: fix some STA certification issues

Fix following STA WFA certification issues:
1. STA HT2040 coexist
2. Disallow WEP/TKIP with HT rates
3. WPA2 improvement
4. Minor refactor for WiFi internal global variable auth_type

heap: Separate standalone and common part of tracing module

apptrace: Adds checks for user arguments in apptrace API

apptrace: Fixes tracing xQueueGiveFromISR

Merge branch 'feature/spiffs_image_generator' into 'master'

SPIFFS Image Generator

See merge request idf/esp-idf!4156

derive esp_wifi from esp32 component

nvs_util: Add support to include comments in csv file

Closes https://github.com/espressif/esp-idf/issues/2965

ci: Fix the cleaning stale submodule script to support difference in sub-pathes

app_update: remove redundant (additional) check for signature verification

Call `esp_image_verify` takes care of validating image signature.

fix cmake build for bootloader

bootloader: use mbedTLS for secure boot verification in firmware

micro-ecc: move into booloader directory

Merge branch 'bugfix/increase_block_scan_time' into 'master'

wifi: increase the block scan time

Closes WIFI-378 and WIFI-379

See merge request idf/esp-idf!4645

Merge branch 'bugfix/http_server_lf_term_hdr' into 'master'

HTTP Server : Fix for tolerating LF terminated headers

Closes IDFGH-748

See merge request idf/esp-idf!4588

wifi: increase the block scan time because of changing channel will take at 30nm when BT/WiFi coexist

Merge branch 'bugfix/coap_gcc8_format_error' into 'master'

coap: fix format error with GCC 8, define WITH_POSIX in the port header

See merge request idf/esp-idf!4639

Merge branch 'doc/review_get_st_wrover_kit_rm' into 'master'

Delete a file which accidentally ended up in the idf's root derictory. Its…

See merge request idf/esp-idf!4632

Updated 404 page not found pages, both Chinese and English versions.

coap: define WITH_POSIX in coap_config.h instead of globally

coap: silence format truncation warning (appears with GCC 8)

Merge branch 'docs/translate-getting-started-guides-devkitc2' into 'master'

Add translation for Devkitc guides and index files

See merge request idf/esp-idf!4522

Merge branch 'update/nvs_partition_util' into 'master'

Update for creation of unique filename for encryption keys

See merge request idf/esp-idf!3808

Component/bt: add mesh beacon adv and svc uuid for duplicate scan exceptional list

Merge branch 'feature/separate_xtensa_from_esp32' into 'master'

separate xtensa from esp32

See merge request idf/esp-idf!4625

nvs_util: Add support for creation of unique encryption keys

Merge branch 'bugfix/restore_deleted_factory_offset' into 'master'

partition_table: restore needed factory offset variable

See merge request idf/esp-idf!4601

add translation for devkitc guides and index files

Merge branch 'feature/docs_provide_404_page' into 'master'

docs: Introduced custom 404 page in readthedocs documentation to replace…

See merge request idf/esp-idf!4541

docs: Introduced custom 404 page in readthedocs documentation to replace…

make: fix undefined variables warning for PARTITION_TABLE_BIN

Closes https://github.com/espressif/esp-idf/issues/3136

create xtensa component

1. move xtensa specific files out of esp32 component
2. merge xtensa-debug-module component into xtensa

Merge branch 'feature/mqtt_weekend_tests' into 'master'

introducing weekend tests for mqtt and fuzzer test (mdns, LWIP)

Closes IDF-540

See merge request idf/esp-idf!4230

Delete a file which accidentally ended up in the idf's root derictory. Its original copy is safe and sound where it should be and is up to date.

Merge branch 'feature/common_parts_into_esp_common' into 'master'

move common include files from esp32 into esp_common

See merge request idf/esp-idf!4515

Merge branch 'bugfix/modify_wifi_reason_code' into 'master'

wifi: modify wifi reason code

Closes WIFI-268 and WIFI-388

See merge request idf/esp-idf!4604

Merge branch 'bugfix/btdm_modify_HCI_GET_CMD_BUF' into 'master'

Component/bt: modify HCI_GET_CMD_BUF

See merge request idf/esp-idf!4465

Merge branch 'bugfix/btdm_add_new_param_for_update_whitelist_api' into 'master'

Component/bt: add new param for update_whitelist API

See merge request idf/esp-idf!4493

docs: Add documentation for spiffsgen

example: Add SPIFFS image generation from build system example

Merge branch 'feature/move_hwcrypto_to_mbedtls' into 'master'

move hwcrypto from esp32 to mbedtls

See merge request idf/esp-idf!4610

HTTP Server : Added example tests for verifying parser behavior on arbitrary HTTP terminations (LF, CRLF, etc.)

HTTP Server : Fix for tolerating LF terminated headers

List of changes:
* When parsing requests, count termination from LF characters only
* Correct memcpy() length parameter in httpd_unrecv() (pointed out by jimparis in GitHub issue thread)
* Use ssize_t to store results of length subtractions during parsing
* Modify some comments to reduce ambiguity

Closes https://github.com/espressif/esp-idf/issues/3182

move hwcrypto from esp32 to mbedtls

Merge branch 'doc/review_get_st_wrover_kit' into 'master'

Doc/review get st wrover kit

See merge request idf/esp-idf!4579

Doc/review get st wrover kit

Merge branch 'doc/review_get_st_pico' into 'master'

Doc/review get st pico

See merge request idf/esp-idf!4603

Doc/review get st pico