Merge branch 'bugfix/nvs_leaks' into 'master'

nvs: fix memory leaks in HashList and nvs_close

Fixes TW8162.
Associated test case is run under Instruments on macOS, until I set up valgrind to test this automatically on Linux.

See merge request !150

Merge branch 'test/clean_ci_fails' into 'master'

Test/clean ci fails

See merge request !159

Merge branch 'feature/crosscore_int' into 'master'

Add cross-core int to accelerate task being awoken from another CPU.

This adds a per-CPU interrupt that can be used to poke the CPU to go do something. In this case all that is implemented is a request to yield the current task, used in case a CPU unblocks a task that runs on another CPU. This gets rid of the limitation that inter-CPU communication using queues, muxes etc can take up to a FreeRTOS tick to happen.

Specs!
Sending an in in a queue of length 1 (essentially a semaphore) as quickly as possible (just a small delay in the sender, to make sure the receiver task gets swapped out) for 10 seconds. Number indicates the amount of ints transferred

Old code:

CPU0->CPU0: 42986

CPU0->CPU1,: 2999

New code:

CPU0->CPU0: 42868

CPU0->CPU1: 62073

See merge request !155

Remove redundant volatile keyword

Merge branch 'bugfix/int-wdt-fix' into 'master'

Fix the things that broke when adding the new WDTs

Seemingly, I broke a bunch of things when adding the interrupt WDTs and moved the panic handler to the esp32 directory. This fixes that, as well as the issue where flashing would trigger the int wdt. It also bodges in a fix for a merge artifact breaking the halt-on-first-thread-when-openocd-is-connected; that fix should be refined later.

See merge request !157

set default interrupt watchdog timeout to 300ms

10ms is too low for openocd/gdb to work, so it's not a very useful default value.

vfs: fix adding CR

Merge branch 'feature/support_max_16_sockets' into 'master'

lwip: support max 16 sockets

Since the customers need more sockets in their application, support max 16 sockets,
in other words, the total socket number of UDP/TCP/RAW sockets should not exceed 16.

See merge request !156

Also call tick hook on app cpu when scheduler is suspended

Re-add panic.o to IRAM/DRAM.

freertos: fix calling first task hook

lwip: rework comments according to review

lwip: add prompt when configure max sockets number in menuconfig

Fix int wdt iram, fix some fallout of moving panic stuff to esp32

lwip: support max 16 sockets

Since the customers need more sockets in their application, support max 16 sockets,
in other words, the total socket number of UDP/TCP/RAW sockets should not exceed 16.

Merge branch 'feature/partition_api' into 'master'

high level partition api

This MR adds API for other components and application to access partition information, read, write, erase, and mmap them.

ref. TW6701

See merge request !67

spi_flash: update comment blocks

partition API: separate type and subtype into two enums

spi_flash: change pointer type to void*

spi_flash: improve documentation

spi_flash: check physical address in mmap against flash chip size

spi_flash: implement partition API, drop trivial wrappers

This implements esp_partition_read, esp_partition_write, esp_partition_erase_range, esp_partition_mmap.
Also removed getters which didn't add much sugar after all.

spi_flash: change argument types

spi_flash_read and spi_flash_write currently have a limitation that source and destination must be word-aligned.
This can be fixed by adding code paths for various unaligned scenarios, but function signatures also need to be adjusted.
As a first step (since we are pre-1.0 and can still change function signatures) alignment checks are added, and pointer types are relaxed to uint8_t.
Later we will add handling of unaligned operations.
This change also introduces spi_flash_erase_range and spi_flash_get_chip_size functions.

We probably need something like spi_flash_chip_size_detect which will detect actual chip size.
This is to allow single application binary to be used on a variety of boards and modules.

spi_flash: implement partition API

freertos: move panic handler data to DRAM

Fixes https://ezredmine.espressif.com/issues/7817

spi_flash: implement mmap/munmap

spi_flash: move cache operations into separate file

bootloader: move useful structures to esp32 component

components/spi_flash: add high level partition api header

TW6701

Merge branch 'feature/vfs' into 'master'

Virtual filesystem APIs

This changeset adds virtual filesystem APIs. As an example, UART devices are mapped to `/dev/uart/x`.
Also fixes an issue with per-task FILE descriptors.

See merge request !149

vfs: code review fixes

- fix typo in readme
- remove unneeded extern declaration
- fix header guard macro
- tabs->spaces in syscalls.c
- spaces->tabs in tasks.c

vfs: add readme file

vfs and newlib: small fixes

- spaces->tabs in tasks.c
- update vfs_uart.c to use per-UART locks
- add license to vfs_uart.c
- allocate separate streams for stdout, stdin, stderr, so that they can be independently reassigned
- fix build system test failure
- use posix off_t instead of newlib internal _off_t

vfs: code review fixes

- fix typo in readme
- remove unneeded extern declaration
- fix header guard macro
- tabs->spaces in syscalls.c (+1 squashed commit)
- fix minor typos

vfs and newlib: small fixes

- spaces->tabs in tasks.c
- update vfs_uart.c to use per-UART locks
- add license to vfs_uart.c
- allocate separate streams for stdout, stdin, stderr, so that they can be independently reassigned
- fix build system test failure

vfs: add UART device

This should be integrated with UART driver once everything is merged

vfs: initial version of virtual filesystem API

Merge branch 'feature/wdts' into 'master'

Feature/wdts

This adds two watchdogs to  esp-idf:

- An interrupt watchdog. Kicks in if the FreeRTOS timer interupt on either the PRO_CPU or (when configured) the APP CPU isn't called for a configurable time. Panics, displaying which CPU caused the problem and the registers that may lead to the offending code.
- A task watchdog. A task has to feed it every once in a while. If not, it will print the name of the offending tasks, as well as the tasks currently running on both CPUs, and optionally panic.

Also adds a panic reason to the panic call, as well as fixes the panic code a bit.

See merge request !148

Only init crosscore when FreeRTOS runs in multicore mode, add warnings that cross_int calls are private.

Merge latest master in

Add checks for tasks woken up on other CPUs where needed, make xYieldPending and xPendingReadyList per-processor, add configurable ISR stack size to Kconfig, in general fix the entire wake-up-task-on-other-cpu-by-interrupt implementation

Merge branch 'feature/refractor_for_lwip' into 'master'

lwip: refactoring for lwip

1. All espressif specific code are prefix with ESP_
2. Define all ESP_ options in lwipopts.h
3. Remove useless code added in 8266

See merge request !154

lwip: refractor for lwip

1. All espressif specific code are prefix with ESP_
2. Define all ESP_ options in lwipopts.h
3. Remove useless code added in 8266

Merge branch 'feature/freertos_static_buffers' into 'master'

Backport the static allocation feature from FreeRTOS V9.0.0

This feature allows to use static buffers (or from a pool of memory which is not
controlled by FreeRTOS).
In order to reduce the impact of the changes, the static feature has only been added
to the queus (and in consequence to the semaphores and the mutexes) and the tasks.
The Timer task is always dynamically allocated and also the idle task(s), which in the
case of the ESP-IDF is ok, since we always need to have dynamic allocation enabled.

Original PR on Github: https://github.com/espressif/esp-idf/pull/21

See merge request !107

Merge branch 'master' into feature/freertos_static_buffers

esp32: update libs for changes in FreeRTOS header files

Fix int clear, actually call int init code

Merge branch 'feature/add_api_to_get_ap_info' into 'master'

esp32: add esp_wifi_sta_get_ap_info

The customers need to get information about AP that associated with ESP32 station,
these information includes RSSI, channel number etc, so add this new API

See merge request !153

Fix panic config ifdefs, un-stall app cpu on boot so it restarts after panic

esp32: add esp_wifi_sta_get_ap_info

The customers need to get information about AP that associated with ESP32 station,
these information includes RSSI, channel number etc, so add this new API

Merge remote-tracking branch 'origin/master' into feature/wdts

Merge branch 'feature/refractor_for_some_wifi_APIs' into 'master'

Feature/refractor for some wifi ap is

    1. Modify esp_wifi_get_station_list to esp_wifi_ap_get_sta_list
    2. Modify tcpip_adapter_get_station_list to tcpip_adapter_get_sta_list
    3. Remove esp_wifi_free_station_list
    4. Remove tcpip_adapter_free_station_list
    5. Modify related data struct accordingly
    6. Move soft watchdog from wifi lib to IDF

See merge request !152

Change inline to static inline functions. Ref Github issue 62.

Merge branch 'feature/add_per_socket_tcp_window' into 'master'

components/lwip - add per socket tcp window

Add code to support per socket tcp window and tcp send buffer size configuration.

See merge request !145

components/esp32: refractor according to review comments

modify esp_wifi_kick_sta to esp_wifi_deauth_sta

Most code written. Interrupts still do not fire yet.

esp32/tcpip_adapter: rework according to review comments

1. Modify sta to station in comments
2. Modify esp_wifi_get_ap_num to esp_wifi_scan_get_ap_num
3. Modify esp_wifi_get_ap_list to esp_wifi_scan_get_ap_records

components/esp32: udpate wifi lib

1. cc5a5e29 - refractor for some wifi APIs
2. 8d787147 - move soft wdt to idf

esp32/tcpip_adapter: refractor for some wifi APIs

1. Modify esp_wifi_get_station_list to esp_wifi_ap_get_sta_list
2. Modify tcpip_adapter_get_station_list to tcpip_adapter_get_sta_list
3. Remove esp_wifi_free_station_list
4. Remove tcpip_adapter_free_station_list
5. Modify related data struct accordingly

Merge branch 'feature/add_internal_api_header' into 'master'

Feature/add internal api header

    1. Add esp_wifi_internal.h
    2. Rename system_pp_recycle_rx_pkt to esp_wifi_internal_free_rx_buffer
    3. rename esp_wifi_tx_is_stop to esp_wifi_internal_tx_is_stop
    4. rename ieee80211_output to esp_wifi_internal_tx

See merge request !151

Move write key and stage action select constants into headers

components esp32/lwip: modify code according to review comments

1. Modify comments for esp_wifi_internal_tx
2. Fix delay time error in esp32_tx_flow_ctrl which is found in code review,
   modify _wait_delay init value from 0 to 1

components/esp32: update wifi lib

6ce01d76: rename some wifi internal APIs
aa4d2aa9: last rx buffer is reserved for mgmt frame
bb0ff4a8: tw7775 fix assert when rx auth frame before create bss

lwip/esp32: move the extern wifi calls into esp_wifi_internal.h

1. Add esp_wifi_internal.h
2. Rename system_pp_recycle_rx_pkt to esp_wifi_internal_free_rx_buffer
3. rename esp_wifi_tx_is_stop to esp_wifi_internal_tx_is_stop
4. rename ieee80211_output to esp_wifi_internal_tx

nvs: fix memory leaks in HashList and nvs_close

Fixes TW8162.
Associated test case is run under Instruments on macOS, until I set up valgrind to test this automatically on Linux.

Remove superfluous backup files

Move panic handler and gdbstub into esp32 component, clean up wdt according to merge req suggestions

Move panic handler code from FreeRTOS to esp32 component

Merge in master updates

Add licenses, docbook, general cleanup

Make CPU1 int wdt / idle task wdt configurable, panic now properly disables other cpu, tick handler now also is called on cpu1, task wdt prints currently running tasks.

Disable brown-out WDT, fix thread WDT, add panic reason indication to _xt_panic()

Merge branch 'bugfix/tw7458_dhcps_wrong_after_mode_switch' into 'master'

component/tcpip_adapter: not update dhcps status when it is stopped after mode switch

When switch the mode from WIFI_MODE_STA/WIFI_MODE_NULL to WIFI_MODE_AP/WIFI_MODE_APSTA,
if the dhcp server is STOPPED, then dhcp server will not start automatically.

See merge request !147

component/tcpip_adapter: not update dhcps status when it is stopped after mode switch

When switch the mode from WIFI_MODE_STA/WIFI_MODE_NULL to WIFI_MODE_AP/WIFI_MODE_APSTA,
if the dhcp server is STOPPED, then dhcp server will not start automatically.

fix bug for case WIFI_CONN_0102:

after set AP, STA will disconnected and do reconnect. scan could fail as reconnect also use scan

add know issue ^WIFI_CONN_0601:

in STA+AP mode, when STA reconencting to enternal AP, external STA can't connect to AP

Merge branch 'bugfix/esptool_write_protect' into 'master'

Fix flash write protect bug

As reported in github #50 and on forum.

Incorporates other esptool.py changes:
https://github.com/themadinventor/esptool/compare/197ba605...5c6962e8

See merge request !144

components/lwip - add per socket tcp window

Add code to support per socket tcp window and tcp send buffer size configuration.

Brownout works (in as far brownout can work...), int wdt works.

Merge branch 'feature/trax' into 'master'

Feature/trax

Add Trax support to esp-idf. OpenOCD already has trax support, this allows an esp-idf program to also trigger this when needed. Also included: some more logic to correctly reserve memory blocks for Trax.

See merge request !73

Add licenses to Trax files

Initial addition of wdt and brownout code

Merge branch 'feature/component_hostcc_hostld_etc' into 'master'

Also export HOSTCC etc for components

As title says :)

See merge request !143

Remove SPIUnlock from linker script symbols

Add a comment about why it was removed and where it went.

Bootloader: Export IS_BOOTLOADER_BUILD during make process

Replace ROM SPIUnlock function with a version that can't lock flash

Avoid bug where a bad status read is copied back to flash and can set
lock bits.

bootloader, menuconfig: add flash size setting support

Bump esptool version

Incorporates fix for locked flash #50

Merge branch 'feature/release_build' into 'master'

Add menuconfig setting for optimization level

This change adds two options (Debug/Release) for optimization level.
- Debug (default) enables -O0
- Release enables -Os and adds `-DNDEBUG`, which removes all assert() statements

These options may be overriden at project level by adding necessary flags to CFLAGS/CXXFLAGS.

Debugging symbols are kept in both cases, although we may add an option to strip output file if necessary.

Also we used to define all common compiler flags in CPPFLAGS, and then prepended them to CFLAGS/CXXFLAGS.
It made it impossible to add preprocessor macros to CPPFLAGS at component level (one had to use CFLAGS/CXXFLAGS instead).
Some third party libraries are not compatible with this approach. Changed to the more common way of using these variables.

CI will build both debug (default) and release.

See merge request !138

rom/spi_flash.h: Remove first parameter of SPI_read_status_high()

Corrects the prototype to match the one compiled into ROM.

Also export HOSTCC etc for components

build system: fix setting C**FLAGS from project makefile

add known issue exception when setting mac address:

WIFI_ADDR_0101,^WIFI_ADDR_0101

build system: use -Og instead of -O0 for debug builds, expand help text in menuconfig

Merge branch 'bugfix/build_dir_base' into 'master'

Build system: Fix BUILD_DIR_BASE out of tree

See github issue https://github.com/espressif/esp-idf/issues/38

See merge request !130

Merge branch 'feature/faster_task_switching' into 'master'

Optimize task switching

xPortGetCoreID to inline assembly: 32 to 25 uS

Spinlock optimizations: another 1.5uS.

See merge request !139

modify TCPIP_DHCP_0211:

delay 30s to make sure STA got enough time to disconnect and reconnect.

Change inline assembly bits from macros to inline functions

update following know issues:

1. ^WIFI_CONN_0801: auth change event not correct
2. WIFI_SCAN_0303: scan interact with JAP not correct
3. ^WIFI_SCAN_0103,^WIFI_SCAN_0105: no scan done event
4. ^TCPIP_UDP_0304,TCPIP_UDP_0104: UDP poor performance

fix bug for WIFI_SCAN_0304: need to set AP config first