components/spi_flash: add high level partition api header

TW6701

Merge branch 'feature/vfs' into 'master'

Virtual filesystem APIs

This changeset adds virtual filesystem APIs. As an example, UART devices are mapped to `/dev/uart/x`.
Also fixes an issue with per-task FILE descriptors.

See merge request !149

vfs: code review fixes

- fix typo in readme
- remove unneeded extern declaration
- fix header guard macro
- tabs->spaces in syscalls.c
- spaces->tabs in tasks.c

vfs: add readme file

vfs and newlib: small fixes

- spaces->tabs in tasks.c
- update vfs_uart.c to use per-UART locks
- add license to vfs_uart.c
- allocate separate streams for stdout, stdin, stderr, so that they can be independently reassigned
- fix build system test failure
- use posix off_t instead of newlib internal _off_t

vfs: code review fixes

- fix typo in readme
- remove unneeded extern declaration
- fix header guard macro
- tabs->spaces in syscalls.c (+1 squashed commit)
- fix minor typos

vfs and newlib: small fixes

- spaces->tabs in tasks.c
- update vfs_uart.c to use per-UART locks
- add license to vfs_uart.c
- allocate separate streams for stdout, stdin, stderr, so that they can be independently reassigned
- fix build system test failure

vfs: add UART device

This should be integrated with UART driver once everything is merged

vfs: initial version of virtual filesystem API

Merge branch 'feature/wdts' into 'master'

Feature/wdts

This adds two watchdogs to  esp-idf:

- An interrupt watchdog. Kicks in if the FreeRTOS timer interupt on either the PRO_CPU or (when configured) the APP CPU isn't called for a configurable time. Panics, displaying which CPU caused the problem and the registers that may lead to the offending code.
- A task watchdog. A task has to feed it every once in a while. If not, it will print the name of the offending tasks, as well as the tasks currently running on both CPUs, and optionally panic.

Also adds a panic reason to the panic call, as well as fixes the panic code a bit.

See merge request !148

Merge branch 'feature/refractor_for_lwip' into 'master'

lwip: refactoring for lwip

1. All espressif specific code are prefix with ESP_
2. Define all ESP_ options in lwipopts.h
3. Remove useless code added in 8266

See merge request !154

lwip: refractor for lwip

1. All espressif specific code are prefix with ESP_
2. Define all ESP_ options in lwipopts.h
3. Remove useless code added in 8266

Merge branch 'feature/freertos_static_buffers' into 'master'

Backport the static allocation feature from FreeRTOS V9.0.0

This feature allows to use static buffers (or from a pool of memory which is not
controlled by FreeRTOS).
In order to reduce the impact of the changes, the static feature has only been added
to the queus (and in consequence to the semaphores and the mutexes) and the tasks.
The Timer task is always dynamically allocated and also the idle task(s), which in the
case of the ESP-IDF is ok, since we always need to have dynamic allocation enabled.

Original PR on Github: https://github.com/espressif/esp-idf/pull/21

See merge request !107

Merge branch 'master' into feature/freertos_static_buffers

esp32: update libs for changes in FreeRTOS header files

Merge branch 'feature/add_api_to_get_ap_info' into 'master'

esp32: add esp_wifi_sta_get_ap_info

The customers need to get information about AP that associated with ESP32 station,
these information includes RSSI, channel number etc, so add this new API

See merge request !153

Fix panic config ifdefs, un-stall app cpu on boot so it restarts after panic

esp32: add esp_wifi_sta_get_ap_info

The customers need to get information about AP that associated with ESP32 station,
these information includes RSSI, channel number etc, so add this new API

Merge remote-tracking branch 'origin/master' into feature/wdts

Merge branch 'feature/refractor_for_some_wifi_APIs' into 'master'

Feature/refractor for some wifi ap is

    1. Modify esp_wifi_get_station_list to esp_wifi_ap_get_sta_list
    2. Modify tcpip_adapter_get_station_list to tcpip_adapter_get_sta_list
    3. Remove esp_wifi_free_station_list
    4. Remove tcpip_adapter_free_station_list
    5. Modify related data struct accordingly
    6. Move soft watchdog from wifi lib to IDF

See merge request !152

Change inline to static inline functions. Ref Github issue 62.

Merge branch 'feature/add_per_socket_tcp_window' into 'master'

components/lwip - add per socket tcp window

Add code to support per socket tcp window and tcp send buffer size configuration.

See merge request !145

components/esp32: refractor according to review comments

modify esp_wifi_kick_sta to esp_wifi_deauth_sta

esp32/tcpip_adapter: rework according to review comments

1. Modify sta to station in comments
2. Modify esp_wifi_get_ap_num to esp_wifi_scan_get_ap_num
3. Modify esp_wifi_get_ap_list to esp_wifi_scan_get_ap_records

components/esp32: udpate wifi lib

1. cc5a5e29 - refractor for some wifi APIs
2. 8d787147 - move soft wdt to idf

esp32/tcpip_adapter: refractor for some wifi APIs

1. Modify esp_wifi_get_station_list to esp_wifi_ap_get_sta_list
2. Modify tcpip_adapter_get_station_list to tcpip_adapter_get_sta_list
3. Remove esp_wifi_free_station_list
4. Remove tcpip_adapter_free_station_list
5. Modify related data struct accordingly

Merge branch 'feature/add_internal_api_header' into 'master'

Feature/add internal api header

    1. Add esp_wifi_internal.h
    2. Rename system_pp_recycle_rx_pkt to esp_wifi_internal_free_rx_buffer
    3. rename esp_wifi_tx_is_stop to esp_wifi_internal_tx_is_stop
    4. rename ieee80211_output to esp_wifi_internal_tx

See merge request !151

Move write key and stage action select constants into headers

components esp32/lwip: modify code according to review comments

1. Modify comments for esp_wifi_internal_tx
2. Fix delay time error in esp32_tx_flow_ctrl which is found in code review,
   modify _wait_delay init value from 0 to 1

components/esp32: update wifi lib

6ce01d76: rename some wifi internal APIs
aa4d2aa9: last rx buffer is reserved for mgmt frame
bb0ff4a8: tw7775 fix assert when rx auth frame before create bss

lwip/esp32: move the extern wifi calls into esp_wifi_internal.h

1. Add esp_wifi_internal.h
2. Rename system_pp_recycle_rx_pkt to esp_wifi_internal_free_rx_buffer
3. rename esp_wifi_tx_is_stop to esp_wifi_internal_tx_is_stop
4. rename ieee80211_output to esp_wifi_internal_tx

Remove superfluous backup files

Move panic handler and gdbstub into esp32 component, clean up wdt according to merge req suggestions

Move panic handler code from FreeRTOS to esp32 component

Merge in master updates

Add licenses, docbook, general cleanup

Make CPU1 int wdt / idle task wdt configurable, panic now properly disables other cpu, tick handler now also is called on cpu1, task wdt prints currently running tasks.

Disable brown-out WDT, fix thread WDT, add panic reason indication to _xt_panic()

Merge branch 'bugfix/tw7458_dhcps_wrong_after_mode_switch' into 'master'

component/tcpip_adapter: not update dhcps status when it is stopped after mode switch

When switch the mode from WIFI_MODE_STA/WIFI_MODE_NULL to WIFI_MODE_AP/WIFI_MODE_APSTA,
if the dhcp server is STOPPED, then dhcp server will not start automatically.

See merge request !147

component/tcpip_adapter: not update dhcps status when it is stopped after mode switch

When switch the mode from WIFI_MODE_STA/WIFI_MODE_NULL to WIFI_MODE_AP/WIFI_MODE_APSTA,
if the dhcp server is STOPPED, then dhcp server will not start automatically.

Merge branch 'bugfix/esptool_write_protect' into 'master'

Fix flash write protect bug

As reported in github #50 and on forum.

Incorporates other esptool.py changes:
https://github.com/themadinventor/esptool/compare/197ba605...5c6962e8

See merge request !144

components/lwip - add per socket tcp window

Add code to support per socket tcp window and tcp send buffer size configuration.

Brownout works (in as far brownout can work...), int wdt works.

Merge branch 'feature/trax' into 'master'

Feature/trax

Add Trax support to esp-idf. OpenOCD already has trax support, this allows an esp-idf program to also trigger this when needed. Also included: some more logic to correctly reserve memory blocks for Trax.

See merge request !73

Add licenses to Trax files

Initial addition of wdt and brownout code

Merge branch 'feature/component_hostcc_hostld_etc' into 'master'

Also export HOSTCC etc for components

As title says :)

See merge request !143

Remove SPIUnlock from linker script symbols

Add a comment about why it was removed and where it went.

Bootloader: Export IS_BOOTLOADER_BUILD during make process

Replace ROM SPIUnlock function with a version that can't lock flash

Avoid bug where a bad status read is copied back to flash and can set
lock bits.

bootloader, menuconfig: add flash size setting support

Bump esptool version

Incorporates fix for locked flash #50

Merge branch 'feature/release_build' into 'master'

Add menuconfig setting for optimization level

This change adds two options (Debug/Release) for optimization level.
- Debug (default) enables -O0
- Release enables -Os and adds `-DNDEBUG`, which removes all assert() statements

These options may be overriden at project level by adding necessary flags to CFLAGS/CXXFLAGS.

Debugging symbols are kept in both cases, although we may add an option to strip output file if necessary.

Also we used to define all common compiler flags in CPPFLAGS, and then prepended them to CFLAGS/CXXFLAGS.
It made it impossible to add preprocessor macros to CPPFLAGS at component level (one had to use CFLAGS/CXXFLAGS instead).
Some third party libraries are not compatible with this approach. Changed to the more common way of using these variables.

CI will build both debug (default) and release.

See merge request !138

rom/spi_flash.h: Remove first parameter of SPI_read_status_high()

Corrects the prototype to match the one compiled into ROM.

Also export HOSTCC etc for components

build system: fix setting C**FLAGS from project makefile

build system: use -Og instead of -O0 for debug builds, expand help text in menuconfig

Merge branch 'bugfix/build_dir_base' into 'master'

Build system: Fix BUILD_DIR_BASE out of tree

See github issue https://github.com/espressif/esp-idf/issues/38

See merge request !130

Merge branch 'feature/faster_task_switching' into 'master'

Optimize task switching

xPortGetCoreID to inline assembly: 32 to 25 uS

Spinlock optimizations: another 1.5uS.

See merge request !139

Change inline assembly bits from macros to inline functions

Build tests: Use & document clean_build_dir

Merge branch 'master' into bugfix/build_dir_base

Warn user if trax is disabled in menuconfig but functions are called anyway.

Merge branch 'bugfix/build_bootloader' into 'master'

build system tests: Verify bootloader doesn't build any files outside build/bootloader & config

See TW7505. Looks like bug was fixed via prior refactors, but adding the
test ensures it will stay fixed.

See merge request !137

Some more optimizations, mostly in involuntary task switches. Doesn not really help here, but might in other cases.

Detect success before errors in vPortCPUReleaseMutex. Shaves off another half uS.

Make uxPortCompareSet into a macro. 25uS -> 24uS

Optimize xPortGetCoreID to 2-instruction inline assembly.

Merge branch 'master' into feature/freertos_static_buffers

smartconfig: update to match new FreeRTOS header files

build system: fix typo, move -ggdb to OPTIMIZATION_FLAGS

Add test for compiling in release mode, fix warnings and errors which appeared

build system: add menuconfig choice for optimization level, reorganize C*FLAGS

This change adds two options (Debug/Release) for optimization level.
Debug enables -O0, release enables -Os and adds -DNDEBUG (which removes all assert() statements).
Debugging symbols are kept in both cases, although we may add an option to strip output file if necessary.
Also we used to define all common compiler flags in CPPFLAGS, and then appended them to CFLAGS/CXXFLAGS.
It makes it impossible to add preprocessor macros to CPPFLAGS at component level (one has to use CFLAGS/CXXFLAGS instead).
Some third party libraries are not compatible with this approach. Changed to the more common way of using these variables.

Add Trax-support to esp-idf

wifi libraries: update to match new FreeRTOS header files

freertos: forward task affinity argument to prvInitializeNewTask

Merge branch 'feature/test_auto_config' into 'master'

Feature/test auto config

See merge request !114

build system tests: Verify bootloader doesn't build any files outside build/bootloader & config

See TW7505. Looks like bug was fixed via prior refactors, but adding the
test ensures it will stay fixed.

Merge branch 'bugfix/small_fixes_jd' into 'master'

Some small fixes

- Kill unused uxReturn in task.c,  https://github.com/espressif/esp-idf/issues/48
- Line end conversion in gpio.c
- Move heap_alloc_caps.h so components can also use it

See merge request !135

Fix offset of coreid in tasktcb

Add xCoreID arg to prvInitialiseNewTask code; initialize pvThreadLocalStoragePointersDelCallback array to NULL

remove debug command "ls" in test report job

should set TEST_CASE_FILE_PATH before CONFIG_FILE use it

rename components/test to idf_test:

1. test will be categorized by test level
2. add test level as attribute to test cases
3. will select TestCaseScript by the test cases added to CI (currently no test case uses test case script)
4. adding test level to test jobs
5. update .gitlab-ci.yml, each job need to set its test case file path
6. update .gitlab-ci.yml, test case path for test report is changed to idf_test

Reinstate build_examples gitlab CI case

Had been removed in 42e31116

fix issue on test report job:

1. test report job should be put to deploy stage, otherwise it can't get logs from test stage
2. allow test fail so that test report job will be executed for failed test

can not put test report to deploy stage, otherwise if test fails it won't generate test report.

add job to generate test report

move content from readme to wiki

add some missing cases caused by autogen bug

night jobs should exit succeed if no need to run

update current known issue for ESP32 IDF test

Test cases use libpcap or libnet are not CI ready now:

1. It need rebuild native lib
2. require root permission

add gitlab key in test template job

build SSC should also use variable for server name

sync test config from test bench:

1. night jobs should exit without error if not triggered
2. remove get wifi connect status cases from IDF
3. use Env tag to check if test environment is special

update job configs for allow case fail feature

add note that test folder is for internal use.
Will move data in readme to wiki except first two notes.

sync several changes from auto_test_script:

1. use variable for gitlab server
2. add LOCAL_ENV_CONFIG_PATH to template
2. update jobs with feature "allow fail"

add KnownIssues file to test:

add known issues to this file so that they will be exculded in CI results