tools: add fallback tools.json for IDF v3.x

docs: update CMake getting started guide to use install.bat and export.bat

tools: new installer for Windows

tools: {install,export}.{bat,sh} tools

tools.json: add idf.py.exe

idf.py.exe wrapper program for Windows

idf_tools: print additional info when download verification fails

Merge branch 'bugfix/fix_nimble_flake_issue' into 'master'

Fix failure in flake8 due to incorrect NimBLE path

See merge request idf/esp-idf!5415

Fix failure in flake8 due to incorrect NimBLE path

Merge branch 'enhancement/move_bt_examples' into 'master'

Bluetooth examples restructuring

See merge request idf/esp-idf!4025

Bluetooth examples restructuring

The existing Bluetooth examples are split as:

1. examples/bluetooth/bluedroid - Bluedroid Host (BT + BLE) examples
   a. examples/bluetooth/bluedroid/classic_bt - Classic BT examples
   b. examples/bluetooth/bluedroid/ble - BLE examples
   c. examples/bluetooth/bluedroid/coex - Classic BT and BLE coex examples
   d. examples/bluetooth/bluedroid/hci - VHCI and HCI UART examples
      i. Rename ble_adv to controller_vhci_ble_adv and move it in hci folder
2. examples/bluetooth/nimble - NimBLE BLE Host + NimBLE Mesh examples
3. examples/bluetooth/esp_ble_mesh - ESP BLE Mesh examples
4. Update documentation references

Merge branch 'bugfix/win_flash_app_cmd' into 'master'

tools: Accept CTRL-T + A for app-flash in idf_monitor

Closes IDF-736

See merge request idf/esp-idf!5376

Merge branch 'bugfix/make_ccache_opt_in' into 'master'

cmake: make use of ccache opt-in

See merge request idf/esp-idf!5368

Merge branch 'bugfix/confgen_windows_command_line' into 'master'

cmake kconfig: Pass environment variables to confgen.py via a file

Closes IDF-711

See merge request idf/esp-idf!5356

cmake: Use environment variables file for all config binaries

cmake kconfig: Pass environment variables to confgen.py via a file

Works around "command line too long" errors when using Windows
and CMake < 3.11

Closes IDF-711

Merge branch 'feature/mconf_simple_expand' into 'master'

mconf-idf: Use same 'simple expand' logic, same as kconfig-frontends

See merge request idf/esp-idf!5390

mconf-idf: Use same 'simple expand' logic, same as kconfig-frontends

Previously, wordexp() was used. However for providing Windows builds
of mconf-idf we can't use wordexp() so we use this simplified
environment variable expansion code instead.

The reasoning here is to make the behaviour consistent across Windows
(CMake vs GNU Make), Linux & macOS mconf.

Merge branch 'feature/btdm_avrcp_volume' into 'master'

components/bt: Add AVRCP feature about volume

See merge request idf/esp-idf!5209

Merge branch 'refactor/new_bt_component' into 'master'

Bluetooth component refactoring

See merge request idf/esp-idf!5366

Bluetooth component refactoring

Merge branch 'feature/move_supplicant_to_idf_new' into 'master'

supplicant/wifi: move supplicant to idf

Closes IDFGH-1233 and WIFI-392

See merge request idf/esp-idf!5219

components/bt: Add AVRCP feature about volume

supplicant/esp_wifi: move supplicant to idf

Move supplicant to idf and do following refactoring:
1. Make the folder structure consitent with supplicant upstream
2. Remove duplicated header files and minimize the public header files
3. Refactor for WiFi/supplicant interfaces

cmake: make use of ccache opt-in

Merge branch 'bugfix/idf_py_fix_subcommand_options' into 'master'

idf.py: Fix subcommand options

Closes IDF-740

See merge request idf/esp-idf!5386

Merge branch 'bugfix/ci_fix_mirror-submodule-update' into 'master'

tools: Keep script behaviour

See merge request idf/esp-idf!5362

Merge branch 'bugfix/make_V_flag' into 'master'

gnu make: Make V= behaviour consistent with V=0

Closes IDFGH-1175

See merge request idf/esp-idf!5334

idf.py: Fix subcommand options

Merge branch 'bugfix/fix_secure_boot_support' into 'master'

Fixes to secure boot support in CMake

See merge request idf/esp-idf!4977

Merge branch 'bugfix/cmake_project_vars_not_set_by_redefinition' into 'master'

cmake: set variables set by project call

See merge request idf/esp-idf!5187

Merge branch 'feature/nvs_util_decryption' into 'master'

nvs_util: Add NVS decryption feature + Optimisations

See merge request idf/esp-idf!5003

Merge branch 'feature/add_limitation_for_max_tx_power' into 'master'

esp_wifi: add limitation for setting maximum WiFi TX power

See merge request idf/esp-idf!5331

tools: Keep script behaviour

ci: test fail on build time works

cmake: fix issue with fail at build time

Fix issue that next build retry does not succeed once the requirement is
satisfied.

docs: remove secure boot and flash encryption from CMake pending features

esptool_py: do not generate flasher arg files on bootloader build

bootloader: fix secure boot issues

Do not include bootloader in flash target when secure boot is enabled.
Emit signing warning on all cases where signed apps are enabled (secure
boot and signed images)
Follow convention of capital letters for SECURE_BOOT_SIGNING_KEY variable, since it is
relevant to other components, not just bootloader.
Pass signing key and verification key via config, not requiring
bootloader to know parent app dir.
Misc. variables name corrections

components: restore dependency of extra bins on flash target

partition_table: move establishing dependencies to respective components

partition_table: move establishing dependencies to respective components

esptool_py: fix issue with variable for esptool args

elf2image-only arguments are being added to esptool args meant for
flashing

bootloader_support: move embedding key after component registration

Bootloader build requires verification key to be embedded in the binary.
Under specific configs, this key is generated during build time from the
signing key. Move the key generation to after the component
registration, since non scriptable commands are used in the process
(during early expansion)

Merge branch 'bugfix/i2s_apll_clock_fix' into 'master'

driver/i2s: fix apll_clock_rate for different sample rates

See merge request idf/esp-idf!5159

Merge branch 'feature/refactor_etherent_driver' into 'master'

add esp_eth component

Closes IDF-324, IDF-637, and IDFGH-1139

See merge request idf/esp-idf!5111

Merge branch 'feature/esp_flash_init_functions' into 'master'

esp_flash: add initialization interface for SPI devices

See merge request idf/esp-idf!5306

Merge branch 'bugfix/bootloader_header_cxx_guards' into 'master'

bootloader_support: Add C++ header guards

See merge request idf/esp-idf!5349

tools: Accept CTRL-T + A for app-flash in idf_monitor

"CTRL-A" cannot be captured in Windows command line, so "A" can be used
instead.

esp_wifi: add limitation for setting maximum WiFi TX power

Limit the WiFi TX power range to 10dBm ~ 20.5 dBm

Merge branch 'bugfix/pc_ble_prep_buf_memcpy' into 'master'

protocomm_ble : Bugfix for unbound memcpy on prepare write buffer

Closes IDFGH-1350

See merge request idf/esp-idf!5284

Merge branch 'bugfix/btdm_fail_to_config_url_in_eir' into 'master'

components/bt: Fix fail to config URL in EIR

See merge request idf/esp-idf!5352

nvs_util: Add NVS decryption feature

esp_flash: add initialization interface for SPI devices

spi_common: add interface to get whether the bus is on IOMUX

spi_common: deprecate some public APIs

spi_master: move the spi_bus_init function into common header

Merge branch 'feature/ringbuffer_static_allocation' into 'master'

Ringbuffers: Add static allocation, refactor, and update API reference

Closes IDFGH-639 and IDFGH-902

See merge request idf/esp-idf!4426

Merge branch 'feature/remove_mbedtls_cmake_workarounds' into 'master'

mbedtls: remove component CMake file workarounds

Closes #78

See merge request idf/esp-idf!5341

Merge branch 'feature/idf_py_add_positional_args_to_subcommands' into 'master'

idf.py: Make subcommand arguments more flexible

See merge request idf/esp-idf!5198

Merge branch 'bugfix/cmake_esptool_args_path' into 'master'

esptool+cmake: Fix path generation for args.in2 file

Closes IDFGH-1409

See merge request idf/esp-idf!5353

esptool+cmake: Fix path generation for args.in2 file

Path was accidentally generated as build/<absolute path to input file> which creates unexpected path structure on Linux/macOS and breaks Windows (as can't have a directory named "C:".

Regression in e8582e9aa441c3b2d988c73b582b2985f41042ac

Closes https://github.com/espressif/esp-idf/issues/3687
Closes IDFGH-1409

Merge branch 'bugfix/bt_typo' into 'master'

Fix typo from the commit "Reduce the size of DRAM"

See merge request idf/esp-idf!5347

Fix typo from the commit "Reduce the size of DRAM"

Merge branch 'doc/add_Chinese_translation_for_power_management_in_api_references' into 'master'

Add Chinese translation to api-reference/system/power-management.rst

See merge request idf/esp-idf!5265

Add Chinese translation to api-reference/system/power-management.rst

1. Add translation to docs/zh_CN/api-reference/system/power_management.rst
2. Add a link to docs/en/api-reference/system/power_management.rst

Merge branch 'doc/add_Chinese_translation_for_external-ram_in_api-guides' into 'master'

Add Chinese translation for exteral-ram.rst in api-guides:

See merge request idf/esp-idf!5078

Add Chinese translation for exteral-ram.rst in api-guides:

- The draft should be first reviewed by Technical Reviewers;
- Then by Language Reviewer.

Merge branch 'bugfix/btdm_fix_hci_enhance_conn_complete_evt_unpack_error' into 'master'

component/bt: fix hci enhance connection complete event unpack error

See merge request idf/esp-idf!4889

mbedtls: remove component CMake file workarounds

esp_ringbuf: Add static allocation, refactor, and update API reference

This commit updates does the following:
    - xRingbufferCreateStatic() added to allow ringbuffers via to be statically
      allocated. Docs and unit tests update accordingly. Closes #3064

    - Fix doc typos, closes #3248. Updated API reference regarding to mention
      item size limits of no-split buffers when calling
      xRingbufferGetCurFreeSize() or xRingbufferGetMaxItemSize(), closes #3117.

    - Remove the following deprecated types/functions for v4.0
        - xRingbufferIsNextItemWrapped()
        - xRingbufferAddToQueueSetWrite()
        - xRingbufferRemoveFromQueueSetWrite()

Merge branch 'bugfix/btdm_add_readme_for_BLE_demos' into 'master'

Component/bt: add readme doc for BLE demos

See merge request idf/esp-idf!4890

Add subcomand options that become global

idf.py: Add positional arguments to subcommands

Merge branch 'feature/sntp_update_delay' into 'master'

sntp/l_ip: Add SNTP_UPDATE_DELAY option in Kconfig

Closes IDFGH-337

See merge request idf/esp-idf!5271

Merge branch 'feature/btdm_add_ble_ancs_demo' into 'master'

Component/bt: add ble ancs demo

See merge request idf/esp-idf!4688

Merge branch 'feature/fatfs_r013cp4' into 'master'

FatFS: update to R0.13c patch 4

Closes IDF-698, IDFGH-1012, and IDFGH-1017

See merge request idf/esp-idf!5297

Merge branch 'feature/prov_wifi_scan_list' into 'master'

Wi-Fi Provisioning  : Feature Wi-Fi Scan List

See merge request idf/esp-idf!4855

Merge branch 'bugfix/btdm_intr_wdt_after_controller_disable_then_enable' into 'master'

bugfix/btdm_intr_wdt_after_controller_disable_then_enable

See merge request idf/esp-idf!5301

wifi_provisioning : Added Wi-Fi Scan list feature to Provisioning Manager

List of changes in components/wifi_provisioning:
* Manager version is now v1.1
* .proto files and protocomm handler added for sending Wi-Fi scan command and receiving scan results
* Implemented handlers for wifi_scan protocomm endpoint
* Update manager context data structure to hold scan state and results
* scheme_softap now runs Wi-Fi in APSTA mode
* Wi-Fi is started in AP mode when provisioning is started. This is necessary for scan list to work
* Docs updates with information about new wifi_scan endpoint

List of changes in tools/esp_prov:
* Added functions for sending and receiving protobuf messages compatible with wifi_scan protocomm endpoint
* Added feature to display/refresh scan results and accept user selection at runtime
* New functions:
  * get_version() : only returns the protocol version string
  * has_capability() : check is a capability is present according to proto-ver response
* wifi_scan feature is provided only if the `wifi_scan` capability is present

Other changes:
* Replace recursive mutex with plain mutex
* assert on return value of mutex give / take calls
* replace all calls with macros ACQUIRE_LOCK and RELEASE_LOCK
* some checks added in scanning related private APIs
* free and nullify scanning context and state if service is stopped while ongoing scan

components/bt: Fix fail to config URL in EIR

add esp_eth component

Merge branch 'bugfix/stdoutflush' into 'master'

Stdoutflush: Flushing stdout to avoid issues with 64k char limits

See merge request idf/esp-idf!4698

bootloader_support: Add C++ header guards

As reported on forum https://esp32.com/viewtopic.php?f=13&t=11173&p=45470

Merge branch 'feature/flash_encryption' into 'master'

Change flash encryption workflow to development / release

See merge request idf/esp-idf!4125

Merge branch 'bugfix/esp_https_ota_heap_failure' into 'master'

HTTPS OTA: Removed unnecessary free()

See merge request idf/esp-idf!5048

Merge branch 'feature/esp_tls_server' into 'master'

esp_tls: Add support for server side SSL/TLS connection

See merge request idf/esp-idf!5091

Addressing PR comments

Stdoutflush: Flushing stdout to avoid issues with 64k char limits

Merge branch 'feature/upgrade_mbedtls_to_v2.16.1' into 'master'

mbedtls: upgrade to v2.16.2 release

Closes IDF-664

See merge request idf/esp-idf!5130

Merge branch 'feature/ci_relative_submodules' into 'master'

ci: Use relative submodules and a new cleaning working tree feature

See merge request idf/esp-idf!4877

example/https_server: Add default sdkconfig

esp_https_server: Add support for esp-tls server APIs

esp_tls: Add support for server side SSL/TLS connection

Currently, esp-tls supports creation of SSL/TLS connection on the client side.

This commit includes support for creating SSL/TLS connection on the server side.

example/simple_ota_example: Fix python formatting and KConfig

example/simple_ota_example: Add support for skipping OTA server certificate CN field

esp_http_client: Add support to disable validation of certificate's CN field

tcp_transport: Add API to allow skipping of certificate CN validation

example/simple_ota_example: Add example test

esp_https_ota: Removed unnecessary free()

Closes https://github.com/espressif/esp-idf/issues/3504

Merges https://github.com/espressif/esp-idf/pull/3513

Signed-off-by: Jitin George <jitin@espressif.com>

Improve flash encryption documentation and add Development & Release modes

This MR improves existing flash encryption document to provide simplified steps
Adds two new modes for user: Development & Release
Adds a simple example
Supports encrypted write through make command