ldgen: use user input filename for processed template

Previously ldgen determines the output file name on its own. This commit
makes it so that user can dictate what the output file name will be
for the processed template, if the user needs it for something else.

mbedtls: component CMakeLists.txt corrections

Since !4452 the common component requirements automatically get
privately linked to libraries built under ESP-IDF build system (this
includes targets from third-party libraries). This removes a variable
that was used for that purpose before !4452.

Since the internal target names were changed, the compile definition for
warning on using deprecated functions is not being passed. Since using
the internal name is unreliable, prefer passing this compile definition
from the test itself.

cmake: evaluate component requirements in one go

!4452 simplified early expansion by using an early expansion script that
only does one thing: get the public and private requirements for each
component, albeit one by one. This was also dependent on parsing
the command output of the expansion script.  This commit makes it so that a list of all
components to be processed to passed to the expansion script, generating a cmake
file that sets each component requirements in one go.

This also makes sure that only components that registered themselves get
included in the final build list.

cmake: expand build components before generating config

!4452 had config generation first before building the component list
to be used in the build. This proved to be detrimental when a new target
is added as config generation would consider configs from both targets.

Merge branch 'bugfix/check_for_new_cmakecache_vars' into 'master'

idf.py: Add check for new cmake cache values

Closes IDF-658

See merge request idf/esp-idf!5106

Merge branch 'bugfix/confgen_compat_defs' into 'master'

confgen.py: don't output compatibility definitions for options which are not defined

See merge request idf/esp-idf!5162

Merge branch 'feature/prov_mgr' into 'master'

Wi-Fi Provisioning Manager

See merge request idf/esp-idf!4805

Merge branch 'fix/mfg_util' into 'master'

mfg_util: Fix incorrect number of csv files creation for multiple values with REPEAT tags

See merge request idf/esp-idf!5044

Merge branch 'bugfix/ticks_to_wait_for_uart_and_i2c' into 'master'

driver: Fix ticks_to_wait for uart and i2c

Closes IDFGH-964

See merge request idf/esp-idf!5021

Merge branch 'feature/console_nvs_iterators' into 'master'

Feature/nvs iterators

Closes IDF-92

See merge request idf/esp-idf!3846

Merge branch 'bugfix/remove_secure_boot_test_mode' into 'master'

remove secure boot test mode

See merge request idf/esp-idf!5059

Merge branch 'doc/update_translation_for_get-started-cmake' into 'master'

Update Chinese translation of .rst files in get-started-guide according to the...

See merge request idf/esp-idf!4935

Update Chinese translation of .rst files in get-started-guide according to the changes made in English files in these months.

Merge branch 'doc/add_ulp_cmake_translation' into 'master'

Doc/add ulp cmake translation

See merge request idf/esp-idf!4163

add translation for ulp cmake

fix formatting

update translation

update translation

formatting

Added support for NVS iterators
Closes https://github.com/espressif/esp-idf/issues/129

Merge branch 'bugfix/cmake_check_crosstool_ng_version' into 'master'

cmake: fix crosstool-NG version check regex

See merge request idf/esp-idf!5163

mfg_util: Fix unnecessary csv files creation for values with REPEAT tags

cmake: fix crosstool-NG version check regex

esp_prov : Support new JSON format of version string while maintaining backward compatibility

Other changes:
* Version check only happens if command line argument is specified
* Minor bugfix in processing apply_config response

Provisioning : Added Wi-Fi Provisioning Manager example and test script

wifi_provisioning : Docs updated with information about new provisioning manager

wifi_provisioning : Wi-Fi Provisioning Manager added

Merge branch 'bugfix/cmake_ndebug' into 'master'

cmake: fix setting NDEBUG definition

Closes IDFGH-1305

See merge request idf/esp-idf!5165

confgen.py: don't output compatibility definitions for options which are not defined

For example, if a renamed option CONFIG_NEW is a bool with value “n”,
kconfiglib will not generate a define for it in the Kconfig file. The
define (#define CONFIG_NEW 1) will only be generated if the option is
“y” or “m”. However the compatibility definition was always
generated: #define CONFIG_OLD CONFIG_NEW. This broke the #ifdef
checks which depended on the old option names.

This commit wraps each compatibility definition:

    #ifdef CONFIG_NEW
    #define CONFIG_OLD CONFIG_NEW
    #endif

so that the CONFIG_OLD definition is only generated if CONFIG_NEW is
defined.

Merge branch 'bugfix/cmake_build_system_test' into 'master'

ci: fix idf.py syntax in new build system tests

See merge request idf/esp-idf!5167

Merge branch 'feature/config_option_for_mbedtls_debug_level' into 'master'

mbedtls: add config option for setting debug level

See merge request idf/esp-idf!5154

Merge branch 'bugfix/stack_protection_crash_due_to_incorrect_cflag' into 'master'

esp_common: fix stack protection crash due to incorrect CFLAG

See merge request idf/esp-idf!5155

ci: fix idf.py syntax in new build system tests

cmake: fix setting NDEBUG definition

Closes https://github.com/espressif/esp-idf/issues/3596

Merge branch 'bugfix/target_test_no_setup_tools' into 'master'

ci: don't do idf_tools.py install in target_test stage

See merge request idf/esp-idf!5158

Merge branch 'bugfix/cmake_extra_component_dirs' into 'master'

CI: additional CMake build system tests wrt EXTRA_COMPONENT_DIRS

See merge request idf/esp-idf!5104

Merge branch 'bugfix/psram_io_struct_uninitialized' into 'master'

Make sure the psram_io struct is initialized

See merge request idf/esp-idf!5147

ci: don't do idf_tools.py install in target_test stage

Merge branch 'feature/action_specific_flags' into 'master'

idf.py: add support for action specific options

Closes IDF-501, IDFGH-1276, and IDFGH-1275

See merge request idf/esp-idf!5029

esp_common: fix stack protection crash due to incorrect CFLAG

mbedtls: add config option for setting debug level

Closes https://github.com/espressif/esp-idf/issues/3521

Merge branch 'feature/docs_get-started_ESP32-Ethernet-Kit' into 'master'

Provide getting started guide for 'ESP32-Ethernet-Kit' board

See merge request idf/esp-idf!4981

Merge branch 'feature/fixed_static_dram_size_pr3222' into 'master'

esp32: Allow fixed static RAM size and DRAM heap size

Closes IDFGH-780

See merge request idf/esp-idf!5043

Make unknown psram package version more obvious

esp32: Allow fixed static RAM size and DRAM heap size

Merges https://github.com/espressif/esp-idf/pull/3222

add translation for ESP32-Ethernet-Kit Getting Started Guide

Provide getting started guide for 'ESP32-Ethernet-Kit' board

Merge branch 'feature/net_test_suite' into 'master'

execute net test suite for esp32 network stack in ci as weekend tests

Closes IDF-210

See merge request idf/esp-idf!3439

Merge branch 'bugfix/idf_tools_noninteractive' into 'master'

tools, ci: Use non-interactive mode for idf_tools in CI

See merge request idf/esp-idf!5129

Make sure the psram_io struct is initialized

Closes https://github.com/espressif/esp-idf/issues/3591

Merge branch 'bugfix/support_tcp_window_scale' into 'master'

esp_wifi/tcpip: support TCP window scale

See merge request idf/esp-idf!5102

 idf.py: Add check for new cmake cache values

Merge branch 'bugfix/keep_sco_data_path_on_hci_reset' into 'master'

Bugfix/keep_sco_data_path_on_hci_reset

See merge request idf/esp-idf!4949

tools, ci: Use non-interactive mode for idf_tools in CI

Merge branch 'feature/gcc_8' into 'master'

Switch GCC to 8.2 (esp32-2019r1 toolchain release)

Closes IDF-103

See merge request idf/esp-idf!5068

Merge branch 'feature/mqtt_support_event_loop' into 'master'

MQTT: Support for esp event loop

See merge request idf/esp-idf!4815

driver: Add uart and i2c UTs to check ticks_to_wait in some functions

docs/idf_monitor: remove the mention of addr2line bug

Related to https://github.com/espressif/esp-idf/issues/2149.
Since the new toolchain includes the updated version of binutils,
remove the mention of this bug.

update toolchain to esp32-2019r1 release

Closes https://github.com/espressif/esp-idf/issues/1445 (std::to_string)
Closes https://github.com/espressif/esp-idf/issues/1876 (std::chrono_steady_clock)
Closes https://github.com/espressif/esp-idf/issues/1995 (std::timed_mutex)
Closes https://github.com/espressif/esp-idf/issues/2149 (addr2line)
Closes https://github.com/espressif/esp-idf/issues/2308 (lsiu/lsip)
Closes https://github.com/espressif/esp-idf/issues/2449 (c++17)
Closes https://github.com/espressif/esp-idf/issues/3258 (objdump)

ci: use the toolchain from tools.json

component/bt: Allow configuration of default SCO_DATA_PATH in bluetooth controller

Merge branch 'bugfix/btdm_a2dp_src_pkt_overflow' into 'master'

component/bt: fix some performance issues in A2DP source data flow control

See merge request idf/esp-idf!4932

ci: added standard set of network suite for lwip as a part of weekend test

esp_wifi/lwip: support TCP window scale

Support enable/disable TCP Window scale feature via menuconfig

mqtt: added support for esp event loop, updating examples to register and use event loop handler

ci: additional Cmake tests for EXTRA_COMPONENT_DIRS

Tests from
https://gitlab.espressif.cn:6688/idf/esp-idf/merge_requests/4253

Merge branch 'bugfix/httpd_open_fn' into 'master'

HTTP Server : Close new session immediately if `open_fn` fails

Closes IDFGH-1165

See merge request idf/esp-idf!5019

Merge branch 'feature/add_xxx_periph_h' into 'master'

soc: Add xxx_periph.h for all modules

Closes IDF-192

See merge request idf/esp-idf!4952

Merge branch 'bugfix/cmake_wifi_ut_md5' into 'master'

esp_wifi: fix MD5 unit tests with CMake

See merge request idf/esp-idf!5090

Merge branch 'bugfix/set_default_eth_handler' into 'master'

esp_event: fix bug in set_default_eth_handler

See merge request idf/esp-idf!5103

uart: Fix ticks_to_wait when 0 or expired

Closes: https://github.com/espressif/esp-idf/issues/3301
Closes: IDFGH-964

i2c: Fix ticks_to_wait when 0 or time expired

Closes: https://github.com/espressif/esp-idf/issues/3301
Closes: IDFGH-964

Merge branch 'bugfix/libgcc_fpu_functions' into 'master'

esp32: Use FPU for floating point divide, power, complex multiplications

See merge request idf/esp-idf!5005

Merge branch 'bugfix/cmake_menuconfig' into 'master'

Tools: Fix CMake menuconfig used with combination of MSYS and CMD

Closes IDFGH-1248

See merge request idf/esp-idf!5089

Merge branch 'bugfix/event_minor_leak' into 'master'

esp_event: fix minor memory leak when overwriting already registered handler

See merge request idf/esp-idf!5108

Merge branch 'bugfix/wpa2_ent_vulnerability' into 'master'

esp_wifi: wpa2 enterprise vulnerability

See merge request idf/esp-idf!4992

Merge branch 'bugfix/set_ccount_overflow' into 'master'

clk: Fix the overflow when setting ccount

See merge request idf/esp-idf!4309

idf.py: Add support for action specific options

Changes argument parsing mechanism from argparse to a new one, that provides better support for extensions and options that are only applicable to specific subcommands,

Breaking changes:

1. All global options should go before subcommands, i.e. `idf.py build -C ~/some/project` will not work anymore, only `idf.py -C ~/some/project build` is acceptable
2. To provide multiple values to an option like `--define-cache-entry` it's necessary to repeat option many times, i.e. `idf.py -D entry1 entry2 entry3` will not work, right way is: `idf.py -D entry1 -D entry2 -D entry3`
At the moment there are 3 options like this:  `--define-cache-entry` in base list and `--test-components` and `--test-exclude-components` in the unit test extensions
3. Drops `defconfig` and `bootloader-clean` subcommands

Closes https://github.com/espressif/esp-idf/issues/3570
Closes https://github.com/espressif/esp-idf/issues/3571

clk: Fix the overflow when setting ccount

The multiplication will be overflow when using 160 or 240 MHz, this can lead the inaccuracy of log time stamp in startup.

Merge branch 'feature/multiple_github_prs' into 'master'

Fixes from github PRs

See merge request idf/esp-idf!5040

all: Using xxx_periph.h

Using xxx_periph.h in whole IDF instead of xxx_reg.h, xxx_struct.h, xxx_channel.h ... .

Cleaned up header files from unnecessary headers (releated to soc/... headers).

soc: Add xxx_periph.h for all modules

The "xxx_periph" header file includes all SOC-level definitions for that peripheral.

Closes: IDF-192

Merge branch 'bugfix/pc_ble_example_uuid' into 'master'

protocomm_ble : Example updated to use custom 128bit service UUID

See merge request idf/esp-idf!5100

Merge branch 'bugfix/protocomm_sec_mult_inst' into 'master'

Protocomm : Session security now supports multiple instances of the same type

See merge request idf/esp-idf!4756

Merge branch 'bugfix/protocomm_minor' into 'master'

Protocomm : Minor fixes

See merge request idf/esp-idf!5094

add missing source files to CMakeLists for HFP

Merge branch 'feature/btdm_modem_sleep_with_32K_XTAL_under_light_sleep' into 'master'

Feature/btdm modem sleep with 32 k xtal under light sleep

See merge request idf/esp-idf!4744

Merge branch 'bugfix/docs_rtd_failure_on_missing_submodule' into 'master'

docs: Add mqtt submodule to RTD build configuration. Now any submodule included in...

See merge request idf/esp-idf!5096

Merge branch 'feature/config_spi_pins_based_on_efuse_value' into 'master'

feat(psram): config SPI psram pins based on efuse value

See merge request idf/esp-idf!4950

esp_event: fix bug in set_default_eth_handler

esp_event: fix minor memory leak when overwriting alredy registered handler

esp_event: extend register/unregister test case to cover overwriting existing handler works as expected

esp_wifi: fix wpa2 enterprise vulnerability issues

Fix following wpa2 enterprise vulnerability issues:
1. The station can complete 4-way handshake after EAP-FAIL is received
2. The station crashes if EAP-SUCCESS is received before PMK is setup

esp_wifi: fix MD5 unit tests with CMake

Merge branch 'feature/kconfig_format_docs' into 'master'

docs: Kconfig formatting rules and backward compatibility of options

See merge request idf/esp-idf!5052

Add floating point performance test

docs: Kconfig formatting rules and backward compatibility of options

Tools: Fix CMake menuconfig used with combination of MSYS and CMD

Delete unneeded code fragments from GPIO-example

Closes https://github.com/espressif/esp-idf/pull/2822

Update i2c.rst

I2C mode is set during configuration, not the 'op(eration) mode'

Closes https://github.com/espressif/esp-idf/pull/3452

Improve Linux cmake getting started documentation

Closes https://github.com/espressif/esp-idf/pull/3347

Minor fix on Scheduler Suspension subtitle

Closes https://github.com/espressif/esp-idf/pull/3343

Correct seconds calculation from TLM data field

The SEC_CNT field in the eddystone TLM frame represents the number of centiseconds
elapsed since reboot. A divisor of 10 has been placed within the code to derive seconds from SEC_CNT.

Closes https://github.com/espressif/esp-idf/pull/3300

Update esp_eddystone_api.h

Change incorrect bitshifts in big_endian_read_32() function.
This was giving wrong values of of the 4 byte fieldswithin the eddystone TLM message, namely 'ADV_CNT' and 'SEC_CNT'