Merge branch 'bugfix/btdm_osi' into 'master'

component/bt : add osi_is_in_isr && fix vhci delay

See merge request !1054

Merge branch 'feature/tw13968_optimize_for_tcp_close' into 'master'

lwip: optimize TCP close

See merge request !1022

Merge branch 'feature/docs_jtag_debugging' into 'master'

Update and extension of Debugging documentation

See merge request !850

docs: add OpenOCD/JTAG instructions for macOS

lwip: optimize TCP close

Optimize TCP close:
1. Not remove TCP pcb when IP address is changed since the lwip netconn still need the pcb
2. If the TCP connection is in TCP_FIN_WAIT_1 for too long time, remove it

Merge branch 'feature/add_menuconfig_option_for_ba_window' into 'master'

esp32: add menuconfig options to configure BA window

See merge request !915

Merge branch 'feature/esp-wrover-kit-rvb_note' into 'master'

Add a note what is different about ESP-WROVER-KIT RVB

See merge request !1008

Updated links to binary distributions of OpenOCD

docs: Flashing over JTAG was added

JTAG Debugging - revamping of Debugging documentation

Merge branch 'feature/sdspi_driver' into 'master'

SD SPI mode driver

This MR adds functionality to support SD cards connected via SPI interface.
Additionally, two bugs are fixed:
- Definition of `SPI_TRANS_MODE_DIOQIO_ADDR` in spi_master driver
- SD card probing frequency was 4000kHz instead of 400kHz as required by the standard

See merge request !727

Merge branch 'feature/make_tcp_udp_receive_mbox_configurable' into 'master'

lwip: Make UDP/TCP receive mail box configurable

See merge request !1051

Merge branch 'bugfix/tw14130_fix_emac_rx_buf_err' into 'master'

lwip/ethernet: fix emac rx buf err

See merge request !1037

component/bt : add osi_is_in_isr && fix vhci delay

lwip: Make UDP/TCP receive mail box configurable

Different application may require different TCP/UDP receiv mail box size,
so make them configurable.

esp32: add menuconfig options to configure BA window

Make AMPDU Block Ack Window configurable in menuconfig because we need to configure it
in some special cases, such as iperf test etc

lwip/ethernet: fix emac rx buf err

1. Lwip not free the ethernet buf in lwip layer
2. Fix emac counter error

Merge branch 'bugfix/uart_tx_glitch' into 'master'

bugfix(uart): fix signal glitch on tx pin

See merge request !1032

Merge branch 'feature/tw12244_add_more_comments_for_wifi_api' into 'master'

docs: add wifi.rst

See merge request !880

Merge branch 'bugfix/btdm_blufi_aes_cfb128' into 'master'

component/bt : comment out set_key_dec for res cfb128(software crypt)

See merge request !971

Merge branch 'bugfix/btdm_rx_losing' into 'master'

Bugfix/btdm rx losing

See merge request !1034

docs: add wifi.rst

Add more documents about WiFi API/Event Mechanism/State Machine etc

Merge branch 'bugfix/ci_examples_list_order' into 'master'

Make the list of examples permanent between jobs
because the results of the 'find' command are not sorted by name.

Fix the identified problem on master

See merge request !1036

examples: add missing nvs_flash.h include

CI: Make the list of examples permanent between jobs

Because the results of the 'find' command are not sorted by name.

component/bt : fix RX packets losing bug

Merge branch 'feature/btdm_ble_tx_power_new' into 'master'

component/bt : add ble tx power && fix controller deinit mem leak

See merge request !1018

bugfix(uart): fix signal glitch on tx pin

gpio_matrix_out function will set output enable for GPIO, seems in gpio_matrix_out there will be a short moment that the chip will output GPIO level.
So we can set GPIO as high before gpio_matrix_out function.

Merge branch 'bugfix/init_nvs_in_bluetooth' into 'master'

bt: call nvs_flash_init in examples, show error if NVS is not initialized

See merge request !1003

driver: SD protocol driver for SPI peripheral

sdmmc: add support for SPI protocol commands

sdmmc: fix probing clock frequency

Probing clock frequency should be 400kHz, not 4MHz.

spi_master: fix duplicate bit mask for SPI_TRANS_MODE_DIOQIO_ADDR

Merge branch 'bugfix/example_adc_pin' into 'master'

Changed adc GPIO pin 32, that is not jumped to header in ESP-WROVER-KIT,
to 34

See merge request !1020

Merge branch 'bugfix/exception_lomem_heap_init' into 'master'

heap_caps: Allow for possibility a region is too small to register a heap

See merge request !1024

Merge branch 'bugfix/project_makefile_recompile' into 'master'

build system: Updating project Makefile should trigger a full rebuild

See merge request !990

Merge branch 'feature/boot_time_optimisation' into 'master'

Optimise boot times, calculate SHA-256 hash of image during boot

See merge request !939

bootloader: Remove unnecessary KEEP on data/bss sections, save static RAM

bootloader: Add option to build with Link Time Optimisation enabled

bootloader: Calculate SHA256 hash of image on every boot

Makes app image booting more reliable (256-bit rather than 8-bit verification.)

Some measurements, time to boot a 655KB app.bin file and run to app_main() execution.

(All for rev 1 silicon, ie no 340ms spurious WDT delay.)

80MHz QIO mode:
before = 300ms
after = 140ms

40MHz DIO mode:
before = 712ms
after = 577ms

40MHz DIO mode, secure boot enabled
before = 1380ms
after = 934ms

(Secure boot involves two ECC signature verifications (partition table, app) that take approx 300ms each with 80MHz CPU.)

esp_image_format: ESP32 additional header does not contain an encrypt flag

bootloader: Calculate SHA-256 of image while loading/verifying

bootloader: Obfuscate loaded memory until verification is complete

bootloader: Combine loading from flash & verifying to save boot time

Still needs updating to account for secure boot.

Merge branch 'feature/esptool_image_padding' into 'master'

esptool: Optimise app image size by using RAM-loaded data for padding

See merge request !1017

linker script: Add some comments about significance of 0x18 byte offset

heap_caps: Allow for possibility a region is too small to register a heap

May happen due to sdkconfig, static allocation of RAM.

Closes https://github.com/espressif/esp-idf/issues/802

linker scripts: Limit DROM/IROM section lengths correctly

esptool: Optimise generated image size by using RAM-loaded data for padding

Can save almost 128KB from some images.

Merge branch 'feature/flash_qio_wp_pin' into 'master'

bootloader: Flash QIO configuration feature & fix

See merge request !895

bootloader flash QIO mode: Restore DIO/DOUT mode if enabling quad fails

Previously, flash was degraded to single I/O mode.

bootloader: When customising SPI flash pins in efuse, set WP pin in menuconfig

Allows custom configurations for QIO/QOUT mode.

Merge branch 'feature/component_include_order' into 'master'

build system: Order private include directories before public ones

See merge request !955

Merge branch 'feature/component_discovery' into 'master'

build system: Improvements to component discovery

See merge request !902

build system: Don't error out if an already-build project or IDF directory has moved

build system: Use component.mk for all components, refactor bootloader build

For config-only components, component.mk should now contain "COMPONENT_CONFIG_ONLY := 1"

Also refactored some of the generation of linker paths, library list. This required cleaning up the way the bootloader
project works, it's now mostly independent from the parent.

build system docs: Add some notes about project-level variables

build system: Make component searching more explicit, obsolete SRCDIRS

Each COMPONENT_DIRS directory can now either be a component directory, or a parent directory containing component
subdirectories.

When searching for components, skip any directory which doesn't have component.mk, Kconfig.projbuild, or
Makefile.projbuild in it. This helps with debugging, list-components output, etc.

build system: Add list-components target for debugging component discovery

Changed adc GPIO pin 32, that is not broken out on header in ESP-WROVER-KIT, to 34

component/bt : add ble tx power && fix controller deinit mem leak

1. add ble tx power functions
2. add more osi functions.
3. modify bluetooth controller task procedure
4. fix a memory leak when controller deinit
5. add controller disable return value.

Merge branch 'feature/mmap_unordered_flash_pages' into 'master'

Add function to map non-contiguous flash pages to contiguous memory space.

See merge request !873

Merge branch 'feature/high_level_interrupts' into 'master'

Break out high-level interrupts so a component can override them

See merge request !675

Merge branch 'bugfix/rom_gpio_typo' into 'master'

bugfix(typo): fix typo in rom/gpio.h

See merge request !1009

bt: call nvs_flash_init in examples, show error if NVS is not initialized

NVS is used to store PHY calibration data, WiFi configuration, and BT
configuration. Previously BT examples did not call nvs_flash_init,
relying on the fact that it is called during PHY init. However PHY init
did not handle possible NVS initialization errors.

This change moves PHY init procedure into the application, and adds
diagnostic messages to BT config management routines if NVS is not
initialized.

Merge branch 'bugfix/rom_doc_toc' into 'master'

doc: Move romconsole doc sub-headings to sub-headings

See merge request !994

Merge branch 'bugfix/wl_write' into 'master'

wear_levelling: fix write and read length for single access was wrong.

See merge request !993

wear_levelling: fix write and read length for single access was wrong.

bugfix(typo): fix typo in rom/gpio.h

Merge branch 'bugfix/nghttp2_build_submodules' into 'master'

nghttp2: Add submodule to COMPONENT_SUBMODULES, update to v1.24

See merge request !977

Merge branch 'bugfix/bootloader_stack_smash' into 'master'

Fix crashes when >approx 185KB of DRAM is statically allocated

See merge request !983

Merge branch 'bugfix/dont_link_unused_data_sections' into 'master'

ld: Save RAM by removing unused .data sections at link time

See merge request !985

Add a note what is different about ESP-WROVER-KIT RVB

Merge branch 'feature/some_refactor_for_tcpip_adapter' into 'master'

tcpip_adapter: not remove netif when tcpip adapter is stopped

See merge request !943

Merge branch 'bugfix/btdm_modify_BTA_GATTC_KNOWN_SR_MAX_for_Multi-connection' into 'master'

component/bt: modify BTA_GATTC_KNOWN_SR_MAX for Multi-connection bug

See merge request !992

tcpip_adapter: not free netif when tcpip adapter is stopped

When tcpip adapter is stop, don't free the netif

Merge branch 'feature/silent_assertions' into 'master'

Add "silent" assertion option

See merge request !984

Component/bt: modify BTA_GATTC_KNOWN_SR_MAX for Multi-connection bug

Merge branch 'bugfix/mbedtls_ecp_failure_memory_leak' into 'master'

mbedtls: Fix memory leak in initial ECDH exchange if OOM/failure occurs

See merge request !987

doc: Move romconsole doc sub-headings to sub-headings

Removes them from the API guides ToC.

Merge branch 'bugfix/btdm_update_connect_params_for_gattc' into 'master'

component/bt: bugfix update connect params for gattc

See merge request !991

Merge branch 'bugfix/tw13744_make_low_rate_work' into 'master'

esp32: update wifi lib to make low rate work

See merge request !965

Merge branch 'feature/enable_brownout_detector' into 'master'

Enable brownout detector

See merge request !811

build system: Updating project Makefile should trigger a full rebuild

Project Makefile can set CFLAGS, macro defines, etc.

Merge branch 'bugfix/make_size_windows' into 'master'

make size: Fix map file parsing error on Windows

See merge request !932

Merge branch 'feature/ip_route_base_on_source_ip' into 'master'

Broadcast IP route based on source IP address.

See merge request !942

assertions: Add "silent" option

Reduces assertion codesize overhead by approximately 35%

Merge branch 'bugfix/gdbstub_handler_noreturn' into 'master'

gdbstub: Mark the panic handler entry as noreturn

See merge request !975

mbedtls: Fix memory leak in initial ECDH exchange if OOM/failure occurs

In ecp_mul_comb(), if (!p_eq_g && grp->T == NULL) and ecp_precompute_comb() fails (which can happen due to OOM), then the new array of points T was leaked.

Merge branch 'doc/esp_random' into 'master'

esp_random: Add some documentation about using before RF subsystem is on

See merge request !976

Merge branch 'bugfix/freertos_malloc_regression' into 'master'

pvPortMalloc: Fix regression when changing to new heap implementation

See merge request !982

startup: Add assertion checks around various initialisation sequences

These may fail if close to 192KB of static RAM is allocated (remaining early heap RAM is too small.)

bootloader/early boot: Error out if >192KB of static DRAM is allocated (temporary fix)

Currently the last 128KB of DRAM is reserved for the bootloader & early boot stacks. This means if >192KB of static DRAM
is allocated, the only available heap is this region - which is disabled until the scheduler starts. As a result, you
get either heap corruption on early boot if the static data overlaps startup heap (leading to very weird errors), or
FreeRTOS will fail to start when it can't malloc() anything.

Long term fix is to move the stacks & bootloader data to the very end of RAM, and only reserve that part for early
boot. This is a little fiddly because of also wanting to make sure this memory is not preemptively fragmented when it
gets reintroduced to the heap. This will become more important if/when we have more static allocation options in the
future.

For now, these errors make it clear why the boot has failed.

Ref TW13909

ld: Remove unused .data sections at link time

Reduces static RAM, code size.

nghttp2: Add submodule to COMPONENT_SUBMODULES, update to release v1.24

Removes need for -DNDEBUG hack in component.mk (fixed upstream).

pvPortMalloc: Fix regression when changing to new heap implementation

Merge branch 'feature/multi_heap' into 'master'

Separate the heap implementation from FreeRTOS

See merge request !731

Merge branch 'bugfix/minimal_stack_size' into 'master'

freertos: Bump idle stack size to 1KB, min stack to 768 bytes, make configurable

See merge request !979

freertos: Bump idle stack size to 1KB, min stack to 768 bytes, make configurable

Reverts regression mentioned at
https://github.com/espressif/esp-idf/commit/3fe0022efafb4c11dd6e3dc24b92ff9976e59a77#commitcomment-23013504

esp_random: Add some documentation about using before RF subsystem is on