Merge branch 'fix/nvs_util_key_len' into 'master'

nvs_util: Add check for key len in input csv file

See merge request espressif/esp-idf!5392

Merge branch 'feature/mfg_util_optimise' into 'master'

mfg_util: Optimise by adding subparser changes w.r.t similar changes in nvs util changes

See merge request espressif/esp-idf!5336

mfg_util: Optimise by adding subparser changes w.r.t similar changes in nvs util changes

nvs_util: Add check for key len in input csv file

Closes https://github.com/espressif/esp-idf/issues/3113

Merge branch 'bugfix/tcp_transport_use_without_list' into 'master'

tcp transport: fix minor memory leak when ssl transport used separately

See merge request espressif/esp-idf!5206

Merge branch 'feature/nimble_example_tests' into 'master'

Add NimBLE bleprph,blecent,blehr example tests

See merge request espressif/esp-idf!4420

Add NimBLE bleprph,blecent,blehr example tests

Merge branch 'bugfix/confgen_avoid_write_to_conf' into 'master'

tools: avoid using directly _write_to_conf from Kconfiglib

Closes IDFGH-1246

See merge request espressif/esp-idf!5423

Merge branch 'bugfix/confgen_hex_value' into 'master'

tools: Fix hex parsing in confgen.py

Closes IDFGH-1273

See merge request espressif/esp-idf!5439

Merge branch 'bugfix/fix_tools_idf_tools_exception_with_python3' into 'master'

CI: fix CI tools exception with python3

Closes IDF-769

See merge request espressif/esp-idf!5443

Merge branch 'feature/support_spi_ethernet' into 'master'

ethernet: support dm9051

Closes IDFGH-1443 and IDFGH-1439

See merge request espressif/esp-idf!5345

Merge branch 'feature/wifi_refactor_smartconfig_to_esp_event' into 'master'

esp_wifi: refactor smartconfig callback to use esp event

Closes IDF-268

See merge request espressif/esp-idf!4806

ethernet: support dm9051

1. move resource allocation from xxx_init to xxx_new
2. fix enabling tx checksum insertion by mistake
3. iperf example: enlarge max arguments
4. add examples for spi-ethernet

Closes https://github.com/espressif/esp-idf/issues/3715
Closes https://github.com/espressif/esp-idf/issues/3711

Merge branch 'bugfix/btdm_conn_fail_with_some_speaker' into 'master'

components/bt: Fix connect fail with some speakers

See merge request espressif/esp-idf!5358

esp_wifi: refactor smartconfig callback to use esp event

esp_transport_destroy: Fix memory leak

if tcp_transport component was used separately (e.g. using tranpsort_ssl.h directly without building list of transport) then it leaks memory on unitialization

Merges https://github.com/espressif/esp-idf/pull/3541
Closes https://github.com/espressif/esp-idf/issues/3531

Signed-off-by: David Cermak <cermak@espressif.com>

tcp_transport: added basic unit tests for init/destroy transports in lists or when used separately

tools: avoid using directly _write_to_conf from kconfiglib

Closes https://github.com/espressif/esp-idf/issues/3543

tools: Fix hex parsing in confgen.py

Closes https://github.com/espressif/esp-idf/issues/3568

tools: fix exception in checkout ref script:

decode bytes before searching with RegEx

tools: fix idf_tools.py exception with python3

use `subprocess.Popen` when catch TypeError:

```
Traceback (most recent call last):
  File "tools/idf_tools.py", line 1249, in <module>
    main(sys.argv[1:])
  File "tools/idf_tools.py", line 1245, in main
    action_func(args)
  File "tools/idf_tools.py", line 1038, in action_install
    tool_obj.find_installed_versions()
  File "tools/idf_tools.py", line 468, in find_installed_versions
    ver_str = self.check_version()
  File "tools/idf_tools.py", line 426, in check_version
    version_cmd_result = run_cmd_check_output(cmd, None, extra_paths)
  File "tools/idf_tools.py", line 176, in run_cmd_check_output
    result = subprocess.run(cmd, capture_output=True, check=True, input=input_text)
  File "/opt/pyenv/pyenv-1.2.6/versions/3.5.5/lib/python3.5/subprocess.py", line 383, in run
    with Popen(*popenargs, **kwargs) as process:
TypeError: __init__() got an unexpected keyword argument 'capture_output'
```

Merge branch 'doc/fatal_errors_zh_CN' into 'master'

zh_CN translation of fatal-errors

See merge request espressif/esp-idf!4418

zh_CN translation of fatal_error

Merge branch 'bugfix/cmake_mconf_build' into 'master'

cmake: Fix some bugs building mconf-idf from scratch

See merge request espressif/esp-idf!5413

Merge branch 'doc/merge_make-related_documents' into 'master'

Merge make-related documents:

See merge request espressif/esp-idf!5304

Merge make-related documents:

1. Moved get-started files, 7 documents in total, from get-started-cmake folder to hw-reference folder;
2. Deleted get-started files, 7 documents in total, in get-started folder;
3. Updated links in get-started-cmake/index.rst and in get-started/index.rst;
4. Modified descriptions for build system in these files.

Merge branch 'feature/optimize_ci_config_file' into 'master'

CI: use features from latest Gitlab in CI config file

See merge request idf/esp-idf!4896

Merge branch 'feature/local_ctrl_no_sec' into 'master'

ESP Local Ctrl Feature Added

See merge request idf/esp-idf!5348

ESP Local Control Feature Added

List of changes:
* New component esp_local_ctrl added
* Example added under examples/protocols/esp_local_ctrl
* Documentation added under protocols/esp_local_ctrl
* Demo client side app esp_local_ctrl.py added under examples/protocols/esp_local_ctrl/scripts
* protocomm_ble : protocomm_ble_config_t given struct name for allowing forward declaration
* esp_prov/transport_softap renamed to transport_http
* transport_http module supports verification of server certificate
* transport_http module performs name resolution before connection

Merge branch 'bugfix/vfs_kconfig' into 'master'

VFS: Fix Kconfig prefix

See merge request idf/esp-idf!5431

Merge branch 'bugfix/bt_config_option_test' into 'master'

Fix the irrelevant characters added to test the config options

See merge request idf/esp-idf!5436

Fix the irrelevant characters added to test the config options

CI: use `include` to split large CI config file

CI: try to use the correct branch of other projects used in CI:

1. revision defined in bot message
2. branch name (or tag name) of current IDF
3. CI_MERGE_REQUEST_TARGET_BRANCH_NAME
4. branch name parsed from `git describe`
5. default branch

CI: use parallel attribute in CI config file

Merge branch 'bugfix/idf_py_reconfigure_for_ccache_flag' into 'master'

idf.py: Run reconfigure on ccache option change.make --no-ccache default

See merge request idf/esp-idf!5429

Merge branch 'bugfix/uuid_value' into 'master'

Correct UUID value for ESP_GATT_UUID_ENVIRONMENTAL_SENSING_SVC

See merge request idf/esp-idf!5409

Correct UUID value for ESP_GATT_UUID_ENVIRONMENTAL_SENSING_SVC

cmake: Fix some bugs building mconf-idf from scratch

- Makefile didn't quite work with out-of-tree build unless there was already an in-tree build done.
- CMake needs to delete some of the in-tree build artifacts or they're used instead of the correct
 files.

Merge branch 'bugfix/from_github' into 'master'

docs: PRs from GitHub containing documentation bug fixes and corrections

See merge request idf/esp-idf!5367

Merge branch 'bugfix/btdm_wrong_bt_lib' into 'master'

components/bt: Fix Wrong bt lib from commit "Bluetooth component refactoring"

See merge request idf/esp-idf!5420

components/bt: Fix Wrong bt lib from commit "Bluetooth component refactoring"

Merge branch 'fix/sdio_slave_reset_infloop_leak' into 'master'

sdio_slave: fix the send_flush infinite loop issue

See merge request idf/esp-idf!5365

VFS: Fix Kconfig prefix

Merge branch 'feature/ext_flash_partition' into 'master'

Support for partitions in external flash

See merge request idf/esp-idf!5277

ci: add unit test job

Replace hardcoded links with link roles

Fix broken link to components/wifi_provisioning/proto

Merges https://github.com/espressif/esp-idf/pull/3668

idf.py Run reconfigure on ccache option change.make --no-ccache default

Correct links

Closes https://github.com/espressif/esp-idf/issues/3723

Implement review comments

Fix reference in jtag debugging section

Merges https://github.com/espressif/esp-idf/pull/3617

Signed-off-by: Stefan Venz <stefan.venz@protonmail.com>

example/wifi/scan: fix README grammar

Merges https://github.com/espressif/esp-idf/pull/3678

Typo correction

Merges https://github.com/espressif/esp-idf/pull/3604

nvs: minor host test fixes

Fixes the tests to pass when some files already exist.
Fixes clean target.
Moves CONFIG_NVS_ENCRYPTION definition into sdkconfig.h.

spi_flash: use same argument types in .h and .c files

Fixes compilations on targets where size_t != uint32_t

spi_flash: support for partitions in external flash

host tests: correct definition of CONFIG_SPI_FLASH_USE_LEGACY_IMPL

Merge branch 'bugfix/sec_boot_ota_fail' into 'master'

Bugfix: ota fails with secure boot on for image size greater than 3.2MB

See merge request idf/esp-idf!5263

Merge branch 'feature/nimble-provisioning' into 'master'

NimBLE-Provisioning: Add NimBLE support to existing BLE variant of unified provisioning

See merge request idf/esp-idf!5319

NimBLE-provisioning: Add NimBLE support to unified provisioning framework

- Adds NimBLE stack support to existing BLE variant of unified provisioning.
- Uses scan response to send device name, 128 bit custom UUIDs based on service
  UUID.
- Minimal changes to `app_prov.c`, component.mk, CMakeLists.txt and
  `protocomm_ble.h` to accomodate NimBLE stack for provisioning.

Merge branch 'bugfix/esp_timer_delete_from_cb' into 'master'

esp_timer: handle esp_timer_delete in timer task

Closes IDFGH-1143

See merge request idf/esp-idf!5037

Merge branch 'nimble/update_submodule' into 'master'

NimBLE: Update nimble submodule

See merge request idf/esp-idf!5419

NimBLE: update nimble submodule

- Update submodule to fix https://jira.espressif.com:8443/browse/BT-192.
- Upstream PR: https://github.com/apache/mynewt-nimble/pull/427

Merge branch 'feature/ringbuffer_support_allocate_memory' into 'master'

ringbuffer: support allocate memory in the ringbuffer before actually send

See merge request idf/esp-idf!5252

Merge branch 'bugfix/add_extern_c_for_sntp' into 'master'

lwip/sntp: Added extern "C"

See merge request idf/esp-idf!5398

Add mmu pages available check in non-secure image hash check path.

Made MMU pages available check in `esp_image_format.c`
This now makes it possible to map and process bootoader image as well in chunks when image doesn't fit completely into available free pages.

Signed-off-by: Vikram Dattu <vikram.dattu@espressif.com>

Changed log level for spi_master

There are lot of prints of `Allocate TX buffer for DMA`
Changed these from `ESP_LOGI` to `ESP_LOGD`

Signed-off-by: Vikram Dattu <vikram.dattu@espressif.com>

Bugfix: ota fails with secure boot on for image size greater than 3.2MB

When an OTA image size is larger than 50 MMU pages (approx. 3.2 MB), secure_boot_generate fails while trying to map it into memory:
https://gitlab.espressif.cn:6688/idf/esp-idf/blob/master/components/bootloader_support/src/esp32/secure_boot.c#L72
Instead of trying to map the whole image, secure boot code should split the image into chunks and map them one by one, like it is done in esp_image_format.c:
https://gitlab.espressif.cn:6688/idf/esp-idf/blob/master/components/bootloader_support/src/esp_image_format.c#L372

Closes https://jira.espressif.com:8443/browse/IDF-709

Signed-off-by: Vikram Dattu <vikram.dattu@espressif.com>

Merge branch 'feature/idf_tools_dir_user_facing' into 'master'

IDF Tools directory: user facing changes

Closes IDF-61

See merge request idf/esp-idf!4808

mconf-idf: update to v4.6.0.0-idf-20190603

tools: add fallback tools.json for IDF v3.x

docs: update CMake getting started guide to use install.bat and export.bat

tools: new installer for Windows

tools: {install,export}.{bat,sh} tools

tools.json: add idf.py.exe

idf.py.exe wrapper program for Windows

idf_tools: print additional info when download verification fails

Merge branch 'bugfix/fix_nimble_flake_issue' into 'master'

Fix failure in flake8 due to incorrect NimBLE path

See merge request idf/esp-idf!5415

Fix failure in flake8 due to incorrect NimBLE path

Merge branch 'enhancement/move_bt_examples' into 'master'

Bluetooth examples restructuring

See merge request idf/esp-idf!4025

Bluetooth examples restructuring

The existing Bluetooth examples are split as:

1. examples/bluetooth/bluedroid - Bluedroid Host (BT + BLE) examples
   a. examples/bluetooth/bluedroid/classic_bt - Classic BT examples
   b. examples/bluetooth/bluedroid/ble - BLE examples
   c. examples/bluetooth/bluedroid/coex - Classic BT and BLE coex examples
   d. examples/bluetooth/bluedroid/hci - VHCI and HCI UART examples
      i. Rename ble_adv to controller_vhci_ble_adv and move it in hci folder
2. examples/bluetooth/nimble - NimBLE BLE Host + NimBLE Mesh examples
3. examples/bluetooth/esp_ble_mesh - ESP BLE Mesh examples
4. Update documentation references

Merge branch 'bugfix/win_flash_app_cmd' into 'master'

tools: Accept CTRL-T + A for app-flash in idf_monitor

Closes IDF-736

See merge request idf/esp-idf!5376

Merge branch 'bugfix/make_ccache_opt_in' into 'master'

cmake: make use of ccache opt-in

See merge request idf/esp-idf!5368

Merge branch 'bugfix/confgen_windows_command_line' into 'master'

cmake kconfig: Pass environment variables to confgen.py via a file

Closes IDF-711

See merge request idf/esp-idf!5356

cmake: Use environment variables file for all config binaries

cmake kconfig: Pass environment variables to confgen.py via a file

Works around "command line too long" errors when using Windows
and CMake < 3.11

Closes IDF-711

ringbuffer: support to allocate memory on the ringbuffer before send

ringbuffer: seperate acquire from send

Merge branch 'feature/mconf_simple_expand' into 'master'

mconf-idf: Use same 'simple expand' logic, same as kconfig-frontends

See merge request idf/esp-idf!5390

mconf-idf: Use same 'simple expand' logic, same as kconfig-frontends

Previously, wordexp() was used. However for providing Windows builds
of mconf-idf we can't use wordexp() so we use this simplified
environment variable expansion code instead.

The reasoning here is to make the behaviour consistent across Windows
(CMake vs GNU Make), Linux & macOS mconf.

Merge branch 'feature/btdm_avrcp_volume' into 'master'

components/bt: Add AVRCP feature about volume

See merge request idf/esp-idf!5209

Merge branch 'refactor/new_bt_component' into 'master'

Bluetooth component refactoring

See merge request idf/esp-idf!5366

Bluetooth component refactoring

Merge branch 'feature/move_supplicant_to_idf_new' into 'master'

supplicant/wifi: move supplicant to idf

Closes IDFGH-1233 and WIFI-392

See merge request idf/esp-idf!5219

components/bt: Add AVRCP feature about volume

supplicant/esp_wifi: move supplicant to idf

Move supplicant to idf and do following refactoring:
1. Make the folder structure consitent with supplicant upstream
2. Remove duplicated header files and minimize the public header files
3. Refactor for WiFi/supplicant interfaces

cmake: make use of ccache opt-in

Merge branch 'bugfix/idf_py_fix_subcommand_options' into 'master'

idf.py: Fix subcommand options

Closes IDF-740

See merge request idf/esp-idf!5386

Merge branch 'bugfix/ci_fix_mirror-submodule-update' into 'master'

tools: Keep script behaviour

See merge request idf/esp-idf!5362