components/nvs: avoid reading just-erased page

Merge branch 'feature/wifi_lib_update' into 'master'

bugfix: reboot halt and deep sleep crash

1. Fix reboot halt bug, TW7355
2. Fix system crash when calling system_deep_sleep(), TW7356

See merge request !104

esp32/lib: update to 9f26b9a1

1. Fix reboot halt bug, TW7355
2. Fix system crash when calling system_deep_sleep(), TW7356

esp32: wait uart tx finish before cpu freq change

esp32/lib: update to 9403d944

Merge branch 'bugfix/macos_build' into 'master'

fix kconfig build on macOS

macOS version of sed doesn't recognize \r as special character.
Replacing with \x0D substitution which works everywhere.

See merge request !96

Merge branch 'feature/menuconfig_cpu_frequency_option' into 'master'

Add CPU frequency selection in menuconfig

See merge request !81

Merge branch 'feature/lwip_add_debug_code' into 'master'

lwip: add debug code to show udp/tcp pcbs

Add code to show all tcp/udp pcbs, these kind of debug info is helpful for lwip issue debugging.

See merge request !98

Merge branch 'master' into feature/menuconfig_cpu_frequency_option

* master: (57 commits)
  components/lwip: fix grammar
  components/lwip: make SO_REUSE configurable via menuconfig
  bootloader: remove trailing newlines from log messages
  components/freertos: override per-task __cleanup handler to close stdin, stdout, stderr
  components/esp32: move peripheral symbols to separate ld script
  components/log: regroup macros for better readability
  gitlab-ci: allow running tests for branches, triggered via API
  components/log: fix timestamp calculation
  components/log: set default runtime log level to ESP_LOG_VERBOSE
  components/log: fix error when using ESP_LOGx from C++ code
  components/log: fix bugs, add options to override log level for files, components, and bootloader
  fix ledc and spi typo
  remove prefix and postfix
  Enable SO_REUSEADDR in LWIP
  freertos: fix memory debug macro issue Define configENABLE_MEMORY_DEBUG according to CONFIG_ENABLE_MEMORY_DEBUG
  peripheral structure headers: move volatile keyword from members to typedef
  Adding -fstrict-volatile-bitfields to the CFLAGS/CXXFLAGS. Without this, gcc tries to access bitfields using the smallest possible methods (eg l8i to grab an 8-bit field from a 32-bit). Our hardware does not like that. This flag tells gcc that if a bitfield is volatile, it should always use the type the field is defined at (uint32_t in our case) to size its access to the field. This fixes accessing the hardware through the xxx_struct.h headers.
  add peripheral  module struct headers
  build system docs: Add note about no spaces in component names
  Docs: Add note about unusual submodule messages when cloning on Windows
  ...

# Conflicts:
# components/esp32/cpu_start.c
# components/esp32/include/soc/cpu.h

Merge branch 'feature/logging' into 'master'

Add logging library

Logging library, intended to be used across other components.
Uses design similar to Android NDK logging APIs and allows for both compile time and run time filters, similar to logcat.

Also includes cleanup of cpu_startup.c — i was changing some logging output in this file so decided to re-format it and reduce code duplication.

Ref TW6703

See merge request !68

Merge branch 'bugfix/lwip_so_reuse' into 'master'

make SO_REUSE configurable via menuconfig

SSC expects SO_REUSE to be off by default.
Trivial change, moving this option to menuconfig.
This should also (finally!) fix failing tests in master.

See merge request !99

components/lwip: fix grammar

Merge branch 'master' into bugfix/lwip_so_reuse

* branch 'master':
  components/freertos: override per-task __cleanup handler to close stdin, stdout, stderr
  gitlab-ci: allow running tests for branches, triggered via API

components/lwip: make SO_REUSE configurable via menuconfig

Not all environments need or can work with SO_REUSE enabled, so making this option configurable.

lwip: add license and add lwip_debug.h

lwip: add debug code to show udp/tcp pcbs

bootloader: remove trailing newlines from log messages

Merge branch 'feature/ci_test_trigger' into 'master'

allow running test suite for branches, triggered via API

One line change to run testing step for branches, if the build is triggered via API.

See merge request !91

Merge branch 'bugfix/newlib_fd_memory_leak' into 'master'

override per-task __cleanup handler to close stdin, stdout, stderr

Default _cleanup_r function (called from _reclaim_reent) calls _fclose_r for all file descriptors related to a particular instance of struct _reent.
It does that by calling _fwalk_reent, which iterates over __sglue list in struct _reent and calls _fclose_r for each member. But _stdin, _stdout, and _stderr are not in this list, so _fclose_r is not called for them. Which leads to a memory leak.
The easy way to fix this is to reset __cleanup member of struct _reent to our new “patched” version, which first calls the original version (_cleanup_r) and then does _fclose_r for each of the stdin, stdout, and stderr.

See merge request !94

kconfig: fix build on macOS

macOS version of sed doesn't recognize \r as special character.
Replacing with \x0D substitution which works everywhere.

components/freertos: override per-task __cleanup handler to close stdin, stdout, stderr

Default _cleanup_r doesn't do that, which leaks these three file descriptors.

Merge branch 'driver_merge_tmp/merge_struct_header' into 'master'

add peripheral modules struct headers

See merge request !88

components/esp32: move peripheral symbols to separate ld script

Merge branch 'features/lwip-SO_REUSEADDR' into 'master'

Enable SO_REUSEADDR in LWIP

Daniel initially asked me why this wasn't enabled, and I don't think I got any reasons against enabling this. If any, it makes porting existing software easier. Tuan needs it for UDP multicast as well.

Code changes are by Tuan: basically the enable for SO_REUSEADDR in LWIP as well as a bugfix in a bit of mbedTLS that gets enabled.

See merge request !90

Merge branch 'bugfix/rom_gpio' into 'master'

rom/gpio.h: Use new GPIO_PIN0_REG register name

Closes github #12

See merge request !86

Merge branch 'bugfix/windows' into 'master'

Fix some Windows build issues

Fix and/or document some issues seen under Windows (especially if git clones with CRLF line endings)

See merge request !87

components/log: regroup macros for better readability

gitlab-ci: allow running tests for branches, triggered via API

components/log: fix timestamp calculation

components/log: set default runtime log level to ESP_LOG_VERBOSE

With this change, it is possible to use LOG_LOCAL_LEVEL to raise debug level for given file/component

components/log: fix error when using ESP_LOGx from C++ code

Merge branch 'bugfix/fix_memory_debug_macro_issue' into 'master'

freertos: fix memory debug macro issue

When enable memory debug via make menuconfig, we got compile error.
Define configENABLE_MEMORY_DEBUG according to CONFIG_ENABLE_MEMORY_DEBUG

See merge request !89

components/log: fix bugs, add options to override log level for files, components, and bootloader

fix ledc and spi typo

remove prefix and postfix

Enable SO_REUSEADDR in LWIP

freertos: fix memory debug macro issue
Define configENABLE_MEMORY_DEBUG according to CONFIG_ENABLE_MEMORY_DEBUG

peripheral structure headers: move volatile keyword from members to typedef

Adding -fstrict-volatile-bitfields to the CFLAGS/CXXFLAGS. Without this, gcc tries to access bitfields using the smallest possible methods (eg l8i to
grab an 8-bit field from a 32-bit). Our hardware does not like that. This flag tells gcc that if a bitfield is volatile, it should always use the type
the field is defined at (uint32_t in our case) to size its access to the field. This fixes accessing the hardware through the xxx_struct.h headers.

add peripheral  module struct headers

build system docs: Add note about no spaces in component names

Docs: Add note about unusual submodule messages when cloning on Windows

Related to github #11

config system: Support Windows when CRLFs used for eol markers

Includes a test in test_build_system.sh to prevent regressions w/
CRLFs in text files.

Fixes Github #10

docs: Add note about esp-idf not supporting spaces in paths

Ref Github #10

rom/gpio.h: Use new GPIO_PIN0_REG register name

Closes github #12

Merge branch 'bugfix/github_deploy' into 'master'

fix deploy to GitHub

Previous change to gitlab-ci.yml moved setting of Gitlab ssh key to global before_script.
This together with the fact that we used `echo >>` instead of `echo >` to write to `id_rsa_base64` file caused wrong key to be used while pushing to GitHub.
Therefore:
- don't run default before_script before push_master_to_github job
- replace echo >> with echo > to avoid mistakes in the future

See merge request !82

components/esp32,bootloader: fix build

esp32: use new register name in cpu_start
bootloader: EXTRA_CFLAGS don't work any more, set global CFLAGS in Makefile.projbuild

fix whitespace after merge

Merge branch 'master' into feature/logging

* master: (45 commits)
  esp32/lib: update to 1303c92c
  dhcpserver: Fix crash when switching wifi mode
  mbedtls: Temporarily disable default hardware crypto SHA & bignum
  mbedtls hwcrypto sha512: Fix redirection of function names
  mbedtls upstream tweak: Move mbedtls_sha512_process in sha512.h
  Format code by using 4 spaces instead
  modify  character conversion error and typo
  modify i2s_reg.h, rebase to master
  Only modify headers in soc/ . Pass compiling under esp-idf-tests/merge_soc_tmp/merge_for_soc_headers branch.(only change some names of register and INUM).
  Rename vender_ie_type_t and vendor_ie_id_t to wifi_vendor_ie_type_t and wifi_vendor_ie_id_t respectively
  modify arguments for vendor ie APIs by using enum instead
  esp32: fix typo
  esp32: fix kconfig
  define lwip task priority in esp_task.h
  components: esp32 - fix build error
  components: lwip - Modify lwip task priority and stack definition method
  components: esp32
  components: esp32
  components: esp32/lwip
  task priority: modify lwip/wifi/event task priority
  ...

# Conflicts:
# components/bootloader/src/main/bootloader_start.c
# components/bootloader/src/main/flash_encrypt.c
# components/bootloader/src/main/secure_boot.c
# components/esp32/cpu_start.c

components/esp32: clean up cpu_start

Move CPU region protection setup into soc/cpu.h
change tabs to spaces
remove unused extern declarations
use RTC_WDTCONFIG0 instead of numeric address (still need to fix BB reg)

components/log: add implementation, update a few components to use it

This also removes logging implementation from bootloader and replaces it
with the one provided by the log component. Some occurrences of printf
and ets_printf have been changed to ESP_LOGx APIs.

Merge remote-tracking branch 'origin/feature/mbedtls'

esp32/lib: update to 3372298f

remove freq change in system_init

components/esp32: use APB_CLK_FREQ instead of a number

components/esp32: add CPU frequency selection in menuconfig

Note that with WiFi stack enabled, system_init will reset frequency to 240MHz.
To make this setting useful, esp32-wifi-libs submodule needs to be updated.

Merge branch 'feature/wifi_lib_update' into 'master'

esp32/lib: update to 1303c92c

1. support to set vendor ie;
2. fix "mode:" log twice issue; TW7019
3. fix station can not connect to some AP in WEP mode; TW7021

See merge request !85

Merge branch 'bugfix/tw7058_mode_fatal' into 'master'

[teamwork7058]It causes fatal when switch wifi mode.

See merge request !84

esp32/lib: update to 1303c92c

Merge branch 'feature/support_vendor_ie_api' into 'master'

esp32: add vendor ie API

1. add esp_wifi_set_vnd_ie
2. add esp_wifi_set_vnd_ie_cb

See merge request !75

dhcpserver: Fix crash when switching wifi mode

See Teamwork 7058.

mbedtls: Temporarily disable default hardware crypto SHA & bignum

Due to limitations referenced in the comments of the changes.

mbedtls hwcrypto sha512: Fix redirection of function names

mbedtls upstream tweak: Move mbedtls_sha512_process in sha512.h

Function declaration should only be included if MBEDTLS_SHA512_ALT is
not set. This matches sha1.h and sha256.h

This change should be contributed back upstream to mbedTLS project.

Format code by using 4 spaces instead

Merge branch 'driver_merge_tmp/merge_soc_header' into 'master'

Modify headers in idf/soc

Pass compiling under esp-idf-tests/merge_soc_tmp/merge_for_soc_headers branch.(Only changed some names of registers and INUM).

See merge request !83

modify  character conversion error and typo

modify i2s_reg.h, rebase to master

Only modify headers in soc/ .
Pass compiling under esp-idf-tests/merge_soc_tmp/merge_for_soc_headers branch.(only change some names of register and INUM).

Rename vender_ie_type_t and vendor_ie_id_t to wifi_vendor_ie_type_t and wifi_vendor_ie_id_t respectively

modify arguments for vendor ie APIs by using enum instead

Merge branch 'feature/adjust_task_priority' into 'master'

task priority:  adjust task priority of lwip/event/wifi task

1. Modify lwip core task priority to configMAX_PRIORITIES-7
2. Modify wifi startup task priority to configMAX_PRIORITIES-7
3. Modify event task priority to configMAX_PRIORITIES-4

See merge request !42

esp32: fix typo

esp32: fix kconfig

Merge branch master into feature/logging

* branch master: (51 commits)
  fix typos
  callback: add a void* pointer with each callback
  header: callbacks use "void *" as arguments
  header: format and fix typos
  add wifi api comments
  add wifi api comments
  components/spi_flash: call SPIUnlock only once
  components/spi_flash: improve comments and readability
  esp32 cpu_start: Include rom/uart.h, remove inline ROM function declarations
  bootloader: Add bootloader Kconfig
  Fix bug where nesting vTaskEnterCritical calls would not re-enable interrupts after vTaskExitCritical sections.
  installed gitlab key in global before_script, don't need to overwrite in template before_script
  ci: Use github repo for wifi libraries on master branch, gitlab repo otherwise
  components/esp32,spi_flash: update some comments
  components/esp32: remove dependency of WIFI_ENABLED on FREERTOS_UNICORE
  esp32/lib: Bump WiFi revision
  update ci: build ssc with idf submodule wifi lib
  components/esp32: add inter-processor call API and implement spi_flash through it
  add MACRO to get flash pad number from efuse value
  add comments to register read/write operations
  ...

define lwip task priority in esp_task.h

components: esp32 - fix build error

components: lwip - Modify lwip task priority and stack definition method

lwip task priority and stack size defintion should not depends on esp_task.h, define it
in lwipopts.h directly

components: esp32

Remove priority/stack definition of task that is freertos/lwip/app

components: esp32

add missing file esp_task.h

components: esp32/lwip

Add esp_task.h for placing all task priority/stack size macro definition

task priority: modify lwip/wifi/event task priority

1. Modify lwip core task priority to configMAX_PRIORITIES-7
2. Modify wifi startup task priority to configMAX_PRIORITIES-7
3. Modify event task priority to configMAX_PRIORITIES-4

Merge branch 'feature/add_wifi_api_comments' into 'master'

Feature/add wifi api comments

Add wifi API comments

See merge request !63

Merge branch 'bugfix/add_tx_flowcontrol' into 'master'

lwip: add socket tx flow control

This fix is used to solve wifi q full issue:
1. When wifi tx q is full, set tx_enable to false
2. When wifi tx q decrease 1/2 max length, set tx_enable to true again
3. esp_wifi_tx_enable return whether tx_enable is true
4. If esp_wifi_tx_enable return false, socket will be blocked

See merge request !62

Merge branch 'feature/esptool_upstream'

gitlab-ci: fix setting GitHub deploy key

- don't run default before_script before push_master_to_github job
- replace echo >> with echo > to avoid mistakes in the future

fix typos

Merge branch 'bugfix/spi_flash_unlock_once' into 'master'

components/spi_flash: call SPIUnlock once

This fixes the performance impact for spi_flash_write and spi_flash_erase.
With this change, NVS init in single core mode takes about 50ms (compared to >2seconds before that).

For dual core mode, we still spend on average 2ms for each spi_flash_ operation due to synchronization between CPUs, so NVS startup time is about 2 seconds in dual core mode.

See merge request !80

Merge remote-tracking branch 'origin/master' into feature/mbedtls

callback: add a void* pointer with each callback

also format event.c/wifi.c/esp_event.h/esp_wifi.h

header: callbacks use "void *" as arguments

header: format and fix typos

SYSTEM_EVENT_STA_GOTIP to SYSTEM_EVENT_STA_GOT_IP

add wifi api comments

add wifi api comments

Merge branch 'bugfix/ci_update_for_wifi_revision' into 'master'

update ci: build ssc with idf submodule wifi lib

update CI build SSC part according to the discussion in MR bugfix/wifi_revision

See merge request !76

components/spi_flash: call SPIUnlock only once

This fixes the performance impact for spi_flash_write and spi_flash_erase.
With this change, NVS init in single core mode takes about 50ms (compared to >2seconds before that).

Merge branch 'feature/bootloader_config' into 'master'

Add bootloader menuconfig entries

Adds log verbosity & ANSI coloring to menuconfig, also some cleanup in cpu_start.c

See merge request !79

Merge branch 'feature/dualcore_spi_flash_api' into 'master'

Dual core compatible spi flash APIs

Implementation of spi flash APIs which work in dual core mode.

This also includes other changes:
- fixes to FreeRTOS tasks.c made by Jeroen and me — these were originally made to fix issues with high priority tasks seen in WiFi stack, but were required to get stuff in ipc.c working as well
- initial base idea with two high-priority tasks was separated into a separate API — esp_ipc.h. That API allows one to run a function on the other CPU from a high-priority task. Because we don't have preemption across CPUs, this is currently not very fast: it requires on average half a tick until the second CPU switches to the high priority task. Currently that API can be either blocking, or non-blocking with queue length of 1. I haven't yet found a use case for arbitrary sized queue of IPC requests. Anyone who needs that can trivially add that later by replacing a binary semaphore with a generic queue.

With these changes i can run application with WiFi stack and NVS on both cores.

See merge request !25

components/spi_flash: improve comments and readability

esp32 cpu_start: Include rom/uart.h, remove inline ROM function declarations

bootloader: Add bootloader Kconfig

Allow debug level & colour highlighting to be configured