Add subcomand options that become global

idf.py: Add positional arguments to subcommands

Merge branch 'feature/sntp_update_delay' into 'master'

sntp/l_ip: Add SNTP_UPDATE_DELAY option in Kconfig

Closes IDFGH-337

See merge request idf/esp-idf!5271

Merge branch 'feature/btdm_add_ble_ancs_demo' into 'master'

Component/bt: add ble ancs demo

See merge request idf/esp-idf!4688

Merge branch 'feature/fatfs_r013cp4' into 'master'

FatFS: update to R0.13c patch 4

Closes IDF-698, IDFGH-1012, and IDFGH-1017

See merge request idf/esp-idf!5297

Merge branch 'feature/prov_wifi_scan_list' into 'master'

Wi-Fi Provisioning  : Feature Wi-Fi Scan List

See merge request idf/esp-idf!4855

Merge branch 'bugfix/btdm_intr_wdt_after_controller_disable_then_enable' into 'master'

bugfix/btdm_intr_wdt_after_controller_disable_then_enable

See merge request idf/esp-idf!5301

wifi_provisioning : Added Wi-Fi Scan list feature to Provisioning Manager

List of changes in components/wifi_provisioning:
* Manager version is now v1.1
* .proto files and protocomm handler added for sending Wi-Fi scan command and receiving scan results
* Implemented handlers for wifi_scan protocomm endpoint
* Update manager context data structure to hold scan state and results
* scheme_softap now runs Wi-Fi in APSTA mode
* Wi-Fi is started in AP mode when provisioning is started. This is necessary for scan list to work
* Docs updates with information about new wifi_scan endpoint

List of changes in tools/esp_prov:
* Added functions for sending and receiving protobuf messages compatible with wifi_scan protocomm endpoint
* Added feature to display/refresh scan results and accept user selection at runtime
* New functions:
  * get_version() : only returns the protocol version string
  * has_capability() : check is a capability is present according to proto-ver response
* wifi_scan feature is provided only if the `wifi_scan` capability is present

Other changes:
* Replace recursive mutex with plain mutex
* assert on return value of mutex give / take calls
* replace all calls with macros ACQUIRE_LOCK and RELEASE_LOCK
* some checks added in scanning related private APIs
* free and nullify scanning context and state if service is stopped while ongoing scan

Merge branch 'bugfix/stdoutflush' into 'master'

Stdoutflush: Flushing stdout to avoid issues with 64k char limits

See merge request idf/esp-idf!4698

Merge branch 'feature/flash_encryption' into 'master'

Change flash encryption workflow to development / release

See merge request idf/esp-idf!4125

Merge branch 'bugfix/esp_https_ota_heap_failure' into 'master'

HTTPS OTA: Removed unnecessary free()

See merge request idf/esp-idf!5048

Merge branch 'feature/esp_tls_server' into 'master'

esp_tls: Add support for server side SSL/TLS connection

See merge request idf/esp-idf!5091

Addressing PR comments

Stdoutflush: Flushing stdout to avoid issues with 64k char limits

Merge branch 'feature/upgrade_mbedtls_to_v2.16.1' into 'master'

mbedtls: upgrade to v2.16.2 release

Closes IDF-664

See merge request idf/esp-idf!5130

Merge branch 'feature/ci_relative_submodules' into 'master'

ci: Use relative submodules and a new cleaning working tree feature

See merge request idf/esp-idf!4877

example/https_server: Add default sdkconfig

esp_https_server: Add support for esp-tls server APIs

esp_tls: Add support for server side SSL/TLS connection

Currently, esp-tls supports creation of SSL/TLS connection on the client side.

This commit includes support for creating SSL/TLS connection on the server side.

example/simple_ota_example: Fix python formatting and KConfig

example/simple_ota_example: Add support for skipping OTA server certificate CN field

esp_http_client: Add support to disable validation of certificate's CN field

tcp_transport: Add API to allow skipping of certificate CN validation

example/simple_ota_example: Add example test

esp_https_ota: Removed unnecessary free()

Closes https://github.com/espressif/esp-idf/issues/3504

Merges https://github.com/espressif/esp-idf/pull/3513

Signed-off-by: Jitin George <jitin@espressif.com>

Improve flash encryption documentation and add Development & Release modes

This MR improves existing flash encryption document to provide simplified steps
Adds two new modes for user: Development & Release
Adds a simple example
Supports encrypted write through make command

ci: Use relative submodule URLs over IDF. Correct CI accordindly

    Clean up `before_script`s

    Update `check_submodule_sync`

    Remove tools/ci/mirror* stuff

ci: Remove unused IS_PRIVATE and IS_PUBLIC environment

Merge branch 'feature/add_nimble_ssc' into 'master'

test: modify test cases for bluedroid

See merge request idf/esp-idf!5208

test: modify test cases for bluedroid

fatfs: reduce rawflash tests run time

Don't flash fatfs.img on every test run. Comparing the content is
faster than flashing.

fatfs: create separate ffsystem.c for host side testing

fatfs: update diskio and vfs for FatFS changes

- do to not rely on integer.h types
- ffsystem.c does not define ff_memcalloc, replace with ff_memalloc +
  memset.

fatfs: update to R0.13c patch 4

Breaking change: integer.h does not exist in FatFS anymore

fatfs: separate IDF-specific files from the original FatFS code

This is a breaking change: applications which used diskio.h to
call ff_diskio_register, will now need to include diskio_impl.h.
Including diskio.h will include the original diskio.h header from
FatFS library.

Merge branch 'bugfix/fix_ble_examples_build' into 'master'

Fix build issues

See merge request idf/esp-idf!5343

ci: sort list of flake8 submodule excludes

ci: exclude nimble submodule from python style check

bt: fix build issue

Source files and include directories were appended to variables
used by the previous component registration command.

Merge branch 'fix/update_curr_page_state' into 'master'

nvs_util: Set previous page state to full before creating new page

See merge request idf/esp-idf!5325

Merge branch 'feature/gcc_8_msys_update_simple' into 'master'

update MSYS package for esp32-2019r1 toolchain

See merge request idf/esp-idf!5199

Merge branch 'bugfix/idfpy_print_filter' into 'master'

tools: Port the filtering option of IDF Monitor to the idf.py toolchain

Closes IDF-543

See merge request idf/esp-idf!4416

Merge branch 'feature/use_new_component_registration_apis' into 'master'

Use new component registration API

See merge request idf/esp-idf!4898

Merge branch 'bugfix/legacy_header_bootloader_build' into 'master'

bootloader: pass legacy header config variable to subproject

See merge request idf/esp-idf!4966

Merge branch 'bugfix/kconfig_source_comment' into 'master'

tools: Fix Kconfig checker for comments and source after help

See merge request idf/esp-idf!5275

Merge branch 'feature/nimble' into 'master'

Port NimBLE Host Stack on ESP-IDF

See merge request idf/esp-idf!5182

Port NimBLE Host Stack on ESP-IDF

nvs_util: Set previous page state to full before creating new page

Merge branch 'doc/review_api-ref_periph-sdmmc-host' into 'master'

Review the file api-reference/peripherals/sdmmc_host.rst

See merge request idf/esp-idf!5261

Review the file api-reference/peripherals/sdmmc_host.rst

Merge branch 'feature/idf_size_json' into 'master'

idf_size: Support JSON output

Closes IDF-264

See merge request idf/esp-idf!4987

Merge branch 'feature/add_doc_about_app_desc_t' into 'master'

docs: Add description about the app image

Closes IDF-597

See merge request idf/esp-idf!4912

Merge branch 'feature/ble_mesh_feature' into 'master'

component/ble_mesh: Add BLE Mesh Stack onto ESP-IDF

See merge request idf/esp-idf!4079

mbedtls: upgrade to v2.16.2 release

For detailed release notes please refer to:
https://github.com/ARMmbed/mbedtls/releases/tag/mbedtls-2.16.2

docs: Add description

component/ble_mesh: ESP BLE Mesh release

1. BLE Mesh Core

* Provisioning: Node Role
    * Advertising and GATT bearer
    * Authentication OOB

* Provisioning: Provisioner Role
    * Advertising and GATT bearer
    * Authentication OOB

* Networking
    * Relay
    * Segmentation and Reassembly
    * Key Refresh
    * IV Update

* Proxy Support

* Multiple Client Models Run Simultaneously
    * Support multiple client models send packets to different nodes simultaneously
    * No blocking between client model and server

* NVS Storage
    * Store Provisioning Data of BLE Mesh Nodes in Flash

2. BLE Mesh Applications

* BLE Mesh Node & Provisioner
    * Node Example
    * Provisioner Example
    * Node + Generic OnOff Client Example

* Fast Provisioning
    * Vendor Fast Prov Server Model
    * Vendor Fast Prov Client Model
    * Examples

* Wi-Fi & BLE Mesh Coexistence
    * Example

* BLE Mesh Console Commands
    * Example

3. BLE Mesh Models

* Foundation Models
    * Configuration Server Model
    * Configuration Client Model
    * Health Server Model
    * Health Client Model

* Generic Client Models
    * Generic OnOff Client
    * Generic Level Client
    * Generic Location Client
    * Generic Default Transition Timer Client
    * Generic Power OnOff Client
    * Generic Power Level Client
    * Generic Battery Client
    * Generic Property Client

* Generic Server Models
    * Generic OnOff Server (Example)

* Lighting Client Models
    * Light Lightness Client
    * Light CTL Client
    * Light HSL Client
    * Light xyL Client
    * Light LC Client

* Sensor Client Model
    * Sensor Client

* Time and Scenes Client Models
    * Time Client
    * Scene Client
    * Scheduler Client

Merge branch 'feature/btdm_add_gattc_gatts_coex_example' into 'master'

Component/bt: add gattc and gatts coex example

See merge request idf/esp-idf!5087

Merge branch 'refactor/bluedroid' into 'master'

Refactor/bluedroid

See merge request idf/esp-idf!4027

Merge branch 'doc/review_ext_ram' into 'master'

Review the file api-guides/external-ram.rst

See merge request idf/esp-idf!5156

Review the file api-guides/external-ram.rst

Merge branch 'doc/review_modules-and-boards' into 'master'

Review the file hw-reference/modules-and-boards.rst

See merge request idf/esp-idf!5157

Review the file hw-reference/modules-and-boards.rst

Merge branch 'doc/review_api-ref_periph-touchpad' into 'master'

Review the file api-reference/peripherals/touch_pad.rst

See merge request idf/esp-idf!5259

Review the file api-reference/peripherals/touch_pad.rst

cmake: some formatting fixes

Do not include bootloader in flash target when secure boot is enabled.
Emit signing warning on all cases where signed apps are enabled (secure
boot and signed images)
Follow convention of capital letters for SECURE_BOOT_SIGNING_KEY
variable, since it is
relevant to other components, not just bootloader.
Pass signing key and verification key via config, not requiring
bootloader to know parent app dir.
Misc. variables name corrections

tools: update make converter to use new component registration api

tools: use new component registration api for unit test app

examples: use new component registration api

components: use new component registration api

esptool_py: use passed offset and image when template is given

esptool_py defines command `esptool_py_flash_project_args` that
generates arg file for esptool.py. Two of the arguments are the offset
and image, which are not being used when a template file is given.
This commit makes variables OFFSET and IMAGE available to the template
file, which will holds the value of the offset and image arguments to
`esptool_py_flash_project_args`.

bootloader: Move some structs to separated file

Moved structures which describe the app image to separated file.

Closes: IDF-597

Merge branch 'bugfix/misc_cmake_changes' into 'master'

Follow up CMake changes/fixes

See merge request idf/esp-idf!5267

Merge branch 'feature/add_ability_to_specify_spiffsgen_dependencies' into 'master'

Add ability to specify dependencies for spiffsgen

See merge request idf/esp-idf!4933

Merge branch 'bugfix/spi_flash_remove_include_chain_in_host_drv' into 'master'

esp_flash: support C++ and improve the document

See merge request idf/esp-idf!5287

Merge branch 'bugfix/malloc_warnings_mdns' into 'master'

mdns: fix static analysis warnings

See merge request idf/esp-idf!5143

components/bt: Optimization and bugfix of previous commits

Merge branch 'feature/docs_for_updated_idf_argparsing' into 'master'

docs: Update order of arguments for idf.py and add click linux package

Closes IDF-501

See merge request idf/esp-idf!5166

spiffs,make: change spiffsgen build API

spiffs: add ability to specify dependencies when dirs themselves are generated

Merge branch 'feature/netif_custom_name' into 'master'

Allow setting netif hostname via lw/ip component config menu item (IDFGH-1342)

See merge request idf/esp-idf!5262

Merge branch 'feature/example_ethernet2wifi_ap' into 'master'

add ethernet to wifi-ap example

See merge request idf/esp-idf!5053

ethernet: add eth2ap example

This example illustrates how to do Layer2 packet forwarding bussiness between Wi-Fi and Ethernet.

Merge branch 'test/fix_some_error_wifi_cases' into 'master'

test: fix some wifi case issues

See merge request idf/esp-idf!5226

Merge branch 'refactor/vfs_uart_multichip_support' into 'master'

vfs_uart & uart: add multichip support

See merge request idf/esp-idf!5298

component/bt: clear BT/BLE interrupts after controller_disable to overwrite the default non-zero value of intcntl registers

components/bt: Add more functions for memory debug.

Support timeout of fixed_queue and osi_thread

1. remove fixed_queue_try_dequeue and fixed_queue_try_enqueue,
2. add timeout parameter for fixed_queue_enqueue and fixed_queue_dequeue
3. replace where call fixed_queue_try_dequeue/enqueue to fixed_queue_dequeue/enqueue(..., timeout = 0)
4. replace where call fixed queue_enqueue/dequeue to fixed_queue_enqueue/dequeue( ..., timeout = FIXED_QUEUE_MAX_TIMEOUT)
5. modify the blocking_type of osi_thread_post to timeout.

components/bt: Optimization and bugfix of previous commit

components/bt: Separation of BT and BLE

Merge branch 'feature/spi_driver_support_multi_chip' into 'master'

spi: multichip support

See merge request idf/esp-idf!5234

Merge branch 'bugfix/ut_ci_test_fail_because_failed_to_reset' into 'master'

ci: fix random unit test CI failure

See merge request idf/esp-idf!5264

cmake: clarify build trimming docs

How idf_build_component and the COMPONENTS argument to idf_build_process
interact is not clear/misleading. Clarify their interaction in the docs.

Closes: https://github.com/espressif/esp-idf/issues/3630

esptool_py: better display logs when generating binary

Since OUTPUT argument of custom command does not currently support
generator expressions, the project image is only generated as a side
effect. The primary generated file is a timestamp file. Unfortunately as a consequence
the output logs when the
binary is about to be generated is not as helpful anymore.

Set a custom comment that is more descriptive of what is happening,
and provide more feedback as to what has been generated.

cmake: fix issues with build process

Fix issue when COMPONENTS are is not specified for idf_build_process,
no component is included in the build.

cmake: export IDF_TARGET to menuconfig

Pass value of IDF_TARGET to menuconfig invocation.

cmake: set CONFIG_DIR build property

Add CONFIG_DIR as a build property, so that components don't have to
derive it from one of the generated config files.

components/bt: Combine A2DP sink task and A2DP source task into btc task

components/bt: Combine two hci task into one

component/bt: Add functions for heap memory debug

component/bt: reduce the size of DRAM

DRAM.data:   506B -->  196B
DRAM.bss : 26857B --> 2170B