Secure boot: Documentation tweaks

secure boot: Rename efuse option for UART bootloader to option for ROM interpreter

Build system: Don't shell-quote SEPARATOR variable or it evaluates as a bunch of wildcards!

Bump esptool revision (espefuse.py fixes)

secure boot: Functional partition table & app signature verification

secure boot: Enable based on sdkconfig, remove "secure boot flag" from binary image

partition_table: Pad generated table to 0xC00 length, for easier signing

partition_table: Move from 0x4000 to 0x8000

Also fix a bug with correctly padding bootloader image when length is
already a multiple of 16.

secure boot: Derive secure bootloader key from private key

Means only one key needs to be managed.

Secure boot: initial image signature support

build system: Add support for embedded arbitrary binary or text files in .rodata

Simplifies examples of embedding a certificate file or a root cert.

This is a much cruder mechanism than the full flash filesystem we want
eventually, but still sometimes useful.

bootloader_support: Move secure boot code to bootloader_support

Refactor existing bootloader common functionality into bootloader_support component

Add documentation for bootloader secure boot stage

build system: Add espefuse/espsecure support for secure boot

esp32: efuse_reg add bit values for read & write disable flags

bootloader: Refactor secure boot digest generation

Merge branch 'driver_merge_tmp/modify_gpio_ledc_h' into 'master'

Fix header docs for GPIO and LEDC drivers

Modify gpio.h and ledc.h according to documenting-code.rst

See merge request !166

Modify gpio.h and ledc.h

Merge branch 'bugfix/only_deploy_when_test_pass' into 'master'

fix bug that deploy when test failed:

test report will be a single stage. The result of test report will be calculated from the result of all test jobs in test stage. So it will only deploy when all test job passed.

See merge request !140

Merge branch 'feature/deepsleep_stub_linker' into 'master'

Deep sleep: Any source named rtc_wake_stub* is linked as RTC wake stub code

Also move esp_deepsleep.h documentation out to docs/deep-sleep-stub.rst

See merge request !142

Merge branch 'bugfix/nvs_write_failure' into 'master'

Fix spi_flash_write regression and nvs error recovery

In the previous set of changes related to spi_flash, new alignment checks were added. One of these checks, word alignment of `src` buffer in `nvs_flas_write`, was unnecessary.  ROM `SPIWrite` function can handle unaligned source buffers.

This change caused an error to be returned to nvs for some legitimate write operations. Due to a bug in nvs, further write operations were possible, while the internal state of `Page` instance was broken. In WiFi functional tests, this inflicted havoc on the nvs partition, creating multiple duplicate items in the affected page. Because multiple duplicate items per page were never supposed to be handled during page load, duplicates were not removed. Thankfully this caused an assert at a later point in the loading process, otherwise this bug would be very difficult to detect.

This change set fixes the original spi_flash regression, handling of `INVALID` state of `nvs::Page`, and handling of duplicate items.

See merge request !161

Merge branch 'feature/tw8155_optimize_tx_flow_control' into 'master'

Feature/tw8155 optimize tx flow control

1. Remove TX flow control in LWIP
2. Make the return value of esp_wifi_internal_tx consistent with LWIP error code

See merge request !164

Merge branch 'feature/api_doc' into 'master'

API reference, first batch

This includes fixes to documentation formats in header files, some standalone doc fixes, necessary files for readthedocs, and instructions for documenting the code.

See merge request !162

docs: deploy built docs

docs: fix typos, build docs with gitlab CI

esp32: update wifi lib

146f5962 - Make the return value of esp_wifi_internal_tx consistent with LWIP error code so that
the up-layer can detect the out-of-memory error and take action accordingly, such do flow control.

lwip: remove tx flow control code

Typo corrections

Guide on documenting code

Corrected documentation style

This is for better visuaization with Sphinx

Changed title of docs

Fixed confused Sphinx

Sphinx failed to phrase esp_log_timestamp
reorderdering esp_log_write and esp_log_timestamp fixed this issue

Fixed desription of logging library

API samples

- Logging library
- Virtual file system component

docu makup update

Fixed headers to match python doc standard

Draft of non-volatile storage component documentation

Add missing annotations

Sample cleaning of markup

API template

- reflected template in other DRAFT API dcouments
- DRAFT of Bluetooth API
- link fixes in CONTRIBUTING.rst

Back to .md format

Make section

Draft of GPIO API included

Initial list of Wi-Fi  API

Set up of theme for local builds

Added ReadTheDocs.org badges

Reduced the build coverage by DoxyGen

Increased buikd coverage of DoxyGen

Link to file a folder up

Initial Sphinx / ReadTheDocs.org configuration

Renamed .md to .rst

lwip: optimize tx flow control

1. Remove tx flow control for TCP
2. Remove tx flow control for UDP temporary
3. Return the error code when call esp_wifi_internal_tx()

nvs_flash: delete all duplicate entries in a page while loading

Due to previous flash write bug it was possible to create multiple duplicate entries in a single page.
Recovery logic detected that case and bailed out with an assert.
This change adds graceful recovery from this condition.
Tests included.

Merge branch 'bugfix/tw8242_fix_tcp_rx_abnormal_issue' into 'master'

lwip: fix tcp rx abnormal issue(tw8242)

In tcp_alloc(), initialize per_soc_tcp_wnd before initializing recv_wnd because recv_wnd depends on per_soc_tcp_wnd.　

See merge request !160

nvs_flash: don't allow more operation to be done on page in PageState::INVALID

Currently a restart is required to recover a page from invalid state.
The long-term solution is to detect such a condition and recover automatically (without a restart). This will be implemented in a separate change set.

turn on per socket tcp window by default

make build pass when disable per soc tcp window

nvs_flash: introduce write failures after each word written

Previously the test bench would check failure recovery by introducing error after each write operation.
This makes checks a bit more extensive (and much longer) by failing after every word written. Surprisingly, this change didn't expose any bugs.

nvs_flash: use CRC-32 routine compatible with ROM version

Host tests used different flavour of CRC-32, which made it impossible to load NVS partition dumps created on the chip

spi_flash: remove unnecessary src pointer alignment check in spi_flash_write

ROM SPIWrite routine can work with unaligned sources, so this check is unnecessary.
Furthermore, it breaks nvs_set_str and nvs_get_blob when data pointer is unaligned.
Also fix stray backslash in COUNTER_STOP macro

Merge branch 'feature/tw8221_softap_supports_max_10_stations' into 'master'

esp32/tcpip_adapter: softap supports max 10 stations

The max number of stations softap supports is modified from 8 to 10

See merge request !158

lwip: fix tcp rx abnormal issue(tw8242)

In tcp_alloc(), initialize per_soc_tcp_wnd before initializing recv_wnd because recv_wnd depends on per_soc_tcp_wnd.

Merge branch 'bugfix/nvs_leaks' into 'master'

nvs: fix memory leaks in HashList and nvs_close

Fixes TW8162.
Associated test case is run under Instruments on macOS, until I set up valgrind to test this automatically on Linux.

See merge request !150

Merge branch 'test/clean_ci_fails' into 'master'

Test/clean ci fails

See merge request !159

modify comments according to review

Merge branch 'feature/crosscore_int' into 'master'

Add cross-core int to accelerate task being awoken from another CPU.

This adds a per-CPU interrupt that can be used to poke the CPU to go do something. In this case all that is implemented is a request to yield the current task, used in case a CPU unblocks a task that runs on another CPU. This gets rid of the limitation that inter-CPU communication using queues, muxes etc can take up to a FreeRTOS tick to happen.

Specs!
Sending an in in a queue of length 1 (essentially a semaphore) as quickly as possible (just a small delay in the sender, to make sure the receiver task gets swapped out) for 10 seconds. Number indicates the amount of ints transferred

Old code:

CPU0->CPU0: 42986

CPU0->CPU1,: 2999

New code:

CPU0->CPU0: 42868

CPU0->CPU1: 62073

See merge request !155

Remove redundant volatile keyword

esp32/tcpip_adapter: softap supports max 10 stations

The max number of stations softap supports is modified from 8 to 10

Merge branch 'bugfix/int-wdt-fix' into 'master'

Fix the things that broke when adding the new WDTs

Seemingly, I broke a bunch of things when adding the interrupt WDTs and moved the panic handler to the esp32 directory. This fixes that, as well as the issue where flashing would trigger the int wdt. It also bodges in a fix for a merge artifact breaking the halt-on-first-thread-when-openocd-is-connected; that fix should be refined later.

See merge request !157

set default interrupt watchdog timeout to 300ms

10ms is too low for openocd/gdb to work, so it's not a very useful default value.

vfs: fix adding CR

Merge branch 'feature/support_max_16_sockets' into 'master'

lwip: support max 16 sockets

Since the customers need more sockets in their application, support max 16 sockets,
in other words, the total socket number of UDP/TCP/RAW sockets should not exceed 16.

See merge request !156

Also call tick hook on app cpu when scheduler is suspended

Re-add panic.o to IRAM/DRAM.

freertos: fix calling first task hook

lwip: rework comments according to review

lwip: add prompt when configure max sockets number in menuconfig

Fix int wdt iram, fix some fallout of moving panic stuff to esp32

lwip: support max 16 sockets

Since the customers need more sockets in their application, support max 16 sockets,
in other words, the total socket number of UDP/TCP/RAW sockets should not exceed 16.

Merge branch 'feature/partition_api' into 'master'

high level partition api

This MR adds API for other components and application to access partition information, read, write, erase, and mmap them.

ref. TW6701

See merge request !67

spi_flash: update comment blocks

partition API: separate type and subtype into two enums

spi_flash: change pointer type to void*

spi_flash: improve documentation

spi_flash: check physical address in mmap against flash chip size

spi_flash: implement partition API, drop trivial wrappers

This implements esp_partition_read, esp_partition_write, esp_partition_erase_range, esp_partition_mmap.
Also removed getters which didn't add much sugar after all.

spi_flash: change argument types

spi_flash_read and spi_flash_write currently have a limitation that source and destination must be word-aligned.
This can be fixed by adding code paths for various unaligned scenarios, but function signatures also need to be adjusted.
As a first step (since we are pre-1.0 and can still change function signatures) alignment checks are added, and pointer types are relaxed to uint8_t.
Later we will add handling of unaligned operations.
This change also introduces spi_flash_erase_range and spi_flash_get_chip_size functions.

We probably need something like spi_flash_chip_size_detect which will detect actual chip size.
This is to allow single application binary to be used on a variety of boards and modules.

spi_flash: implement partition API

freertos: move panic handler data to DRAM

Fixes https://ezredmine.espressif.com/issues/7817

spi_flash: implement mmap/munmap

spi_flash: move cache operations into separate file

bootloader: move useful structures to esp32 component

components/spi_flash: add high level partition api header

TW6701

Merge branch 'feature/vfs' into 'master'

Virtual filesystem APIs

This changeset adds virtual filesystem APIs. As an example, UART devices are mapped to `/dev/uart/x`.
Also fixes an issue with per-task FILE descriptors.

See merge request !149

vfs: code review fixes

- fix typo in readme
- remove unneeded extern declaration
- fix header guard macro
- tabs->spaces in syscalls.c
- spaces->tabs in tasks.c

vfs: add readme file

vfs and newlib: small fixes

- spaces->tabs in tasks.c
- update vfs_uart.c to use per-UART locks
- add license to vfs_uart.c
- allocate separate streams for stdout, stdin, stderr, so that they can be independently reassigned
- fix build system test failure
- use posix off_t instead of newlib internal _off_t

vfs: code review fixes

- fix typo in readme
- remove unneeded extern declaration
- fix header guard macro
- tabs->spaces in syscalls.c (+1 squashed commit)
- fix minor typos

vfs and newlib: small fixes

- spaces->tabs in tasks.c
- update vfs_uart.c to use per-UART locks
- add license to vfs_uart.c
- allocate separate streams for stdout, stdin, stderr, so that they can be independently reassigned
- fix build system test failure