Examples: Use event groups for waiting until WiFi is associated & ESP has IP

BT example: Enable BT stack in config by default

BT: Relink component on new BT library, auto-initialise submodule if missing

Documentation: Add contributor guide, expand README & add an examples README

Update gitignore for examples

examples: Add https_request example

mbedtls: Add some initial menuconfig options

examples: HTTP request example

Merge branch 'feature/nghttp' into 'master'

components/nghttp: add HTTP2.0 protocol feature

nghttp only support HTTP2.0 parse function, it has nothing to do with other modules. when Communicate with the server, suggest that you use it on the TLS layer.

See merge request !60

components/nghttp: rename Makefile to component.mk

components/nghttp: add HTTP2.0 protocol feature

Develop and Issue HTTP2.0 protocol parse function, see nghttp file.

Merge branch 'feature/init_refactoring' into 'master'

Startup flow refactoring

This set of commits changes the startup code in a way that lets the application choose if/when to initialize WiFi/BT.

Application entry point is now a more familiar `main()` function. This function is executed in its own task. Application may choose to do some initialization from main function, create some tasks and then return from `main`. Simple applications may choose to do all their work from `main`.

Additionally this MR splits event handling code into two parts.

- One part is a set of standard handlers for WiFi and DHCP events. Most applications will use this set of handlers, and it is made available via new `esp_event_process_default` function.
- Another part is the default implementation of event handling loop. Some applications may choose to use default event loop through `esp_event_loop_` set of APIs, which start an event handling task and call user-provided event callback from this task. Other applications may create an event queue and implement event loop themselves. In this case application has to provide `esp_event_send` function. In this case the implementation provided by `esp_event_loop_` module is unused.

esp-idf-template has been updated to match this set of changes: https://github.com/espressif/esp-idf-template/tree/feature/init_refactoring
BT example has also been updated.

We need to provide examples of both event handling approaches. This will be done in a separate follow-up MR.

See merge request !112

compoenents/esp32: don't alias start_cpu1 to start_cpu0_default

components/freertos: fix a bug with an uninitialised return value

introduced in d63dac0

Merge branch 'bugfix/spelling_and_crlf_fix_in_panic' into 'master'

Fix a spelling mistake in panic message, add carriage return to stack canary message

Probably the most trivial mr ever, but the spelling error was reported as a bug and the missing \r bugged me ever since I saw it.

See merge request !113

Change application entry point name back to app_main

Merge branch 'master' into feature/init_refactoring

* master:
  components/spi_flash: remove stray level of indentation
  components/nvs: fix broken sentences in comment blocks
  Roll back submodule version
  Spinlocks already come initialized. Remove the code that would essentially re-initialize them at runtime
  Remove all references to prvLockQueue / prvUnlockQueue
  components/esp32: clean up unused function warnings in single core mode
  clean up warnings
  components/nvs: fix build, use log library instead of printf
  components/spi_flash: add flash operation counters option to Kconfig
  components/nvs: add erase function
  components/nvs: fix formatting
  components/nvs: batch writes when possible
  components/spi_flash: add performance counters
  components/nvs: maintain item hash list at page level
  components/nvs: avoid reading just-erased page

# Conflicts:
# components/esp32/cpu_start.c
# components/esp32/event_default_handlers.c

gitlab-ci: build SSC with matching branch name, if available

Merge branch 'feature/nvs_speed_improvement' into 'master'

nvs: speed improvement and erase APIs

NVS initialization speed issue raised in https://ezredmine.espressif.com/issues/6881 has been addressed for single core mode through optimization of `spi_flash_*` routines. This MR addresses same issue for dual core mode.

- An index table is added at Page level, it allows doing fast search of item index based on key name and namespace. This heavily reduces the number of flash reads.
- Write operations are batched when writing/erasing long variable-length values (str and blob). This gives a 33% reduction in the number of writes for a 64-byte value, 50% reduction for a 96-byte value.
- Add optional (configurable via menuconfig) perfomance counters for spi_flash APIs

With these changes, total init time for NVS goes down from 2 seconds to 140 ms.
Additional RAM usage is 128-640 bytes per page, depending on content. Typical RAM usage for current use case (storing wifi configuration parameters) is 256 bytes.

This change also exposes APIs to erase single key or the whole namespaces, needed for https://ezredmine.espressif.com/issues/6769.

See merge request !105

components/spi_flash: remove stray level of indentation

components/nvs: fix broken sentences in comment blocks

components/esp32: fix renaming of esp_event_set_cb, minor clean up

components/esp32: remove "_user" part from entry points, weaken start_cpu0/1

With this change applications can override very early part of startup procedure by implementing "start_cpu0" and "start_cpu1" functions.

Fix a spelling mistake in panic message, add carriage return to stack canary message

Merge branch 'bugfix/clean_up_warnings' into 'master'

Clean up warnings and remove unused parts of FreeRTOS

For third party components (lwip and expat), compilation flags are adjusted to silence existing warnings (i have manually checked that all warnings are benign).
In components/esp32, replaced use of WIFI_DEBUG with ESP_LOG functions.

Additionally prvLockQueue/prvUnlockQueue have been removed, dragging some other bits of FreeRTOS along.

Original issue: https://github.com/espressif/esp-idf/issues/18

See merge request !111

components/lwip,esp32: fixes for C++

- put contents of a few headers into c++ guard blocks
- fix off-by-one error in do_global_ctors
- remove system_init from startup code (should be called from main)

components/bt: fix compilation, remove ./ from makefile

components/esp32: clarify type of queue in wifi_init_config_t, add default init macro

components/esp32: add ESP_ERROR_CHECK

Convenience macro to do error check and assert in cases when error recovery is not expected

Event handling refactoring

This change separates definitions in esp_event.h and functions in event.c into several parts:
- event structure definitions (esp_event.h)
- default implementations of event handlers (event_default_handlers.c)
- default implementation of event loop (event_loop.c, esp_event_loop.h)

Purpose of this change is to allow applications choose their own poison:
- full control of event loop at the expense of more bootstrap code
- pre-defined event task firing event callbacks, but less code in app_main.c

clean up warnings

For third party components (lwip and expat), compilation flags are adjusted to silence existing warnings (i have manually checked that all warnings are benign).
In components/esp32, replaced use of WIFI_DEBUG with ESP_LOG functions.
Only remaining warning is in FreeRTOS queue.c, and it may be a useful one.

components/esp32,bt: fix typos in comments

Startup flow refactoring

This change removes implicit WiFi/BT initialization from startup code.
"main" task is started once essential part of startup code is complete.
This task calls application-provided "int main(void)" function, which can call WiFi/BT init functions if necessary.

Roll back submodule version

Spinlocks already come initialized. Remove the code that would essentially re-initialize them at runtime

Remove all references to prvLockQueue / prvUnlockQueue

Merge branch 'feature/btdm_controller' into 'master'

BT support

Initial version of BT support.

BT and WiFi are mutually exclusive at this point, so we have a new option to select which stack is used.
Precompiled BT libraries are added as a submodule.

See merge request !109

components/esp32: clean up unused function warnings in single core mode

add 'extern C' in header files

clean up warnings

For third party components (lwip and expat), compilation flags are adjusted to silence existing warnings (i have manually checked that all warnings are benign).
In components/esp32, replaced use of WIFI_DEBUG with ESP_LOG functions.
Only remaining warning is in FreeRTOS queue.c, and it may be a useful one.

add .h license header

1. clean up the macro. 2. change component/bt/lib url to use new lib

components/nvs: fix build, use log library instead of printf

components/spi_flash: add flash operation counters option to Kconfig

components/nvs: add erase function

This change exposes functions to erase single key and to erase all keys from namespace.
TW6769, TW6839

BLE ADV Demo

components/nvs: fix formatting

components/nvs: batch writes when possible

Introduces new internal function, Page::alterEntryRangeState, which gathers changes to multiple elements of entry state table into a single write, provided that these changes fall into a single word. This allows changing state of up to 16 entries in a single write.
Also adds new function, writeEntryData, which writes the whole payload of SZ and BLOB type entries in one go, instead of splitting it into multiple 32-byte writes.
This reduces number of writes required for SZ and BLOB entries.

Merge branch 'master' into feature/btdm_controller

* master:
  esp32/lib: update to f6d55836

Kconfig: make WiFi and BT mutually exclusive

Also move memory map options from top-level Kconfig to esp32/Kconfig.

components/bt: add library as submodule

components/bt: remove binary library

add btdm_controller 1st

esp32/lib: update to f6d55836

1. Fix reboot halt bug when 240MHz, TW7355
2. Disable long rate code

Merge branch 'bugfix/tw7054' into 'master'

esp32:tw7054 remove sta netif when sta disconnect from ap

When sta disconnect from ap, remove sta netif to let lwip to free all tcp pcbs

See merge request !101

tcpip_adapter: set sta ip to IP_ADDR_ANY when sta disconnect from ap

When sta is disconnected from AP, set sta ip to IP_ADDR_ANY to trigger lwip
to clean up all TCP/UDP pcbs.

Merge branch 'driver_merge_tmp/fix_fifo_struct_header' into 'master'

use uint8_t for fifo struct in uart and i2c

use uint8_t for fifo struct in uart and i2c

See merge request !106

Merge branch 'driver_merge_tmp/merge_gpio' into 'master'

add gpio driver code

See merge request !93

Merge branch 'master' into driver_merge_tmp/merge_gpio

components/spi_flash: add performance counters

use uint8_t for fifo struct in uart and i2c

components/nvs: maintain item hash list at page level

components/nvs: avoid reading just-erased page

Merge branch 'feature/wifi_lib_update' into 'master'

bugfix: reboot halt and deep sleep crash

1. Fix reboot halt bug, TW7355
2. Fix system crash when calling system_deep_sleep(), TW7356

See merge request !104

esp32/lib: update to 9f26b9a1

1. Fix reboot halt bug, TW7355
2. Fix system crash when calling system_deep_sleep(), TW7356

esp32: wait uart tx finish before cpu freq change

Remove some macros and declarations  that are already in rom/gpio.h

esp32/lib: update to 9403d944

Remove mutex from GPIO driver code. Replace uint8_t/uint16_t with uint32_t

Merge branch 'bugfix/macos_build' into 'master'

fix kconfig build on macOS

macOS version of sed doesn't recognize \r as special character.
Replacing with \x0D substitution which works everywhere.

See merge request !96

Merge branch 'feature/menuconfig_cpu_frequency_option' into 'master'

Add CPU frequency selection in menuconfig

See merge request !81

Merge branch 'feature/lwip_add_debug_code' into 'master'

lwip: add debug code to show udp/tcp pcbs

Add code to show all tcp/udp pcbs, these kind of debug info is helpful for lwip issue debugging.

See merge request !98

Merge branch 'master' into feature/menuconfig_cpu_frequency_option

* master: (57 commits)
  components/lwip: fix grammar
  components/lwip: make SO_REUSE configurable via menuconfig
  bootloader: remove trailing newlines from log messages
  components/freertos: override per-task __cleanup handler to close stdin, stdout, stderr
  components/esp32: move peripheral symbols to separate ld script
  components/log: regroup macros for better readability
  gitlab-ci: allow running tests for branches, triggered via API
  components/log: fix timestamp calculation
  components/log: set default runtime log level to ESP_LOG_VERBOSE
  components/log: fix error when using ESP_LOGx from C++ code
  components/log: fix bugs, add options to override log level for files, components, and bootloader
  fix ledc and spi typo
  remove prefix and postfix
  Enable SO_REUSEADDR in LWIP
  freertos: fix memory debug macro issue Define configENABLE_MEMORY_DEBUG according to CONFIG_ENABLE_MEMORY_DEBUG
  peripheral structure headers: move volatile keyword from members to typedef
  Adding -fstrict-volatile-bitfields to the CFLAGS/CXXFLAGS. Without this, gcc tries to access bitfields using the smallest possible methods (eg l8i to grab an 8-bit field from a 32-bit). Our hardware does not like that. This flag tells gcc that if a bitfield is volatile, it should always use the type the field is defined at (uint32_t in our case) to size its access to the field. This fixes accessing the hardware through the xxx_struct.h headers.
  add peripheral  module struct headers
  build system docs: Add note about no spaces in component names
  Docs: Add note about unusual submodule messages when cloning on Windows
  ...

# Conflicts:
# components/esp32/cpu_start.c
# components/esp32/include/soc/cpu.h

Merge branch 'feature/logging' into 'master'

Add logging library

Logging library, intended to be used across other components.
Uses design similar to Android NDK logging APIs and allows for both compile time and run time filters, similar to logcat.

Also includes cleanup of cpu_startup.c — i was changing some logging output in this file so decided to re-format it and reduce code duplication.

Ref TW6703

See merge request !68

Merge branch 'bugfix/lwip_so_reuse' into 'master'

make SO_REUSE configurable via menuconfig

SSC expects SO_REUSE to be off by default.
Trivial change, moving this option to menuconfig.
This should also (finally!) fix failing tests in master.

See merge request !99

components/lwip: fix grammar

Merge branch 'master' into bugfix/lwip_so_reuse

* branch 'master':
  components/freertos: override per-task __cleanup handler to close stdin, stdout, stderr
  gitlab-ci: allow running tests for branches, triggered via API

components/lwip: make SO_REUSE configurable via menuconfig

Not all environments need or can work with SO_REUSE enabled, so making this option configurable.

lwip: add license and add lwip_debug.h

lwip: add debug code to show udp/tcp pcbs

bootloader: remove trailing newlines from log messages

Merge branch 'feature/ci_test_trigger' into 'master'

allow running test suite for branches, triggered via API

One line change to run testing step for branches, if the build is triggered via API.

See merge request !91

Merge branch 'bugfix/newlib_fd_memory_leak' into 'master'

override per-task __cleanup handler to close stdin, stdout, stderr

Default _cleanup_r function (called from _reclaim_reent) calls _fclose_r for all file descriptors related to a particular instance of struct _reent.
It does that by calling _fwalk_reent, which iterates over __sglue list in struct _reent and calls _fclose_r for each member. But _stdin, _stdout, and _stderr are not in this list, so _fclose_r is not called for them. Which leads to a memory leak.
The easy way to fix this is to reset __cleanup member of struct _reent to our new “patched” version, which first calls the original version (_cleanup_r) and then does _fclose_r for each of the stdin, stdout, and stderr.

See merge request !94

kconfig: fix build on macOS

macOS version of sed doesn't recognize \r as special character.
Replacing with \x0D substitution which works everywhere.

components/freertos: override per-task __cleanup handler to close stdin, stdout, stderr

Default _cleanup_r doesn't do that, which leaks these three file descriptors.

modify typo

add gpio driver code

Merge branch 'driver_merge_tmp/merge_struct_header' into 'master'

add peripheral modules struct headers

See merge request !88

components/esp32: move peripheral symbols to separate ld script

Merge branch 'features/lwip-SO_REUSEADDR' into 'master'

Enable SO_REUSEADDR in LWIP

Daniel initially asked me why this wasn't enabled, and I don't think I got any reasons against enabling this. If any, it makes porting existing software easier. Tuan needs it for UDP multicast as well.

Code changes are by Tuan: basically the enable for SO_REUSEADDR in LWIP as well as a bugfix in a bit of mbedTLS that gets enabled.

See merge request !90

Merge branch 'bugfix/rom_gpio' into 'master'

rom/gpio.h: Use new GPIO_PIN0_REG register name

Closes github #12

See merge request !86

Merge branch 'bugfix/windows' into 'master'

Fix some Windows build issues

Fix and/or document some issues seen under Windows (especially if git clones with CRLF line endings)

See merge request !87

components/log: regroup macros for better readability

gitlab-ci: allow running tests for branches, triggered via API

components/log: fix timestamp calculation

components/log: set default runtime log level to ESP_LOG_VERBOSE

With this change, it is possible to use LOG_LOCAL_LEVEL to raise debug level for given file/component

components/log: fix error when using ESP_LOGx from C++ code

Merge branch 'bugfix/fix_memory_debug_macro_issue' into 'master'

freertos: fix memory debug macro issue

When enable memory debug via make menuconfig, we got compile error.
Define configENABLE_MEMORY_DEBUG according to CONFIG_ENABLE_MEMORY_DEBUG

See merge request !89

components/log: fix bugs, add options to override log level for files, components, and bootloader

fix ledc and spi typo