build examples: Only build verbose on failure, save on log output

Merge branch 'master' into feature/build_component_project_vars

Merge branch 'feature/esptool_secure_boot' into 'master'

Secure boot support

Also includes a lot of esptool.py changes (two new command line tools, espefuse.py and espsecure.py)
https://github.com/themadinventor/esptool/compare/feature/esp32_v20_refactor...feature/esp32_secure_boot?expand=1

See merge request !163

bootloader: Fix unused variable errors when secure boot is disabled

secure boot: Add warnings this feature is not finished yet

Secure boot: Documentation tweaks

Merge branch 'feature/doc_update' into 'master'

ReadTheDocs documentation update

https://github.com/espressif/esp-idf/pull/89

See merge request !195

secure boot: Rename efuse option for UART bootloader to option for ROM interpreter

Build system: Don't shell-quote SEPARATOR variable or it evaluates as a bunch of wildcards!

Bump esptool revision (espefuse.py fixes)

secure boot: Functional partition table & app signature verification

secure boot: Enable based on sdkconfig, remove "secure boot flag" from binary image

partition_table: Pad generated table to 0xC00 length, for easier signing

partition_table: Move from 0x4000 to 0x8000

Also fix a bug with correctly padding bootloader image when length is
already a multiple of 16.

secure boot: Derive secure bootloader key from private key

Means only one key needs to be managed.

Secure boot: initial image signature support

Build system: Change deprecation message to include component path, easier to fix

build system: Remove make 3.81 "component_project_vars.mk: No such file or directory" messages

Also add an explicit make version check & warning.

Merge branch 'feature/per_cpu_interrupt_handlers' into 'master'

Per-CPU interrupt handlers and args

Up to now, the interrupt handlers and args were shared between CPUs, that is, if you set an interrupt handler on CPU0, CPU1 would invoke the same interrupt handler on that interrupt. This code gives every CPU its own space for interrupt handlers.

See merge request !192

Merge branch 'feature/nvs_examples' into 'master'

NVS examples

Add two examples for working with NVS.

One is reading and writing an integer value, another is reading and writing a blob.

See merge request !194

Comment fix

examples: minor tweaks to comments

Merge branch 'feature/tw8619_merge_amsdu' into 'master'

esp32: merge amsdu

esp32 now can support AMSDU

See merge request !193

build system: Remove need for $(Q) macro in recipes, use --silent in MAKEFLAGS instead

Revised api files

- Included UART API
- Addedd "Header Files"
- Improved template
- deleted redundat nvs.rst

New items to documentation TOC

- Style Guide
- UART API

Fixed link so it can render by Sphinx

Conform Style Guide

Merge remote-tracking branch 'refs/remotes/espressif/master'

Merge remote-tracking branch 'refs/remotes/espressif/master'

esp32: merge amsdu

esp32 now can support AMSDU

Merge branch 'driver_merge_tmp/merge_uart' into 'master'

Add UART driver

1. add uart.h and uart.c
2. add ESP_ERR_TIMEOUT in esp_err.h
3. add UART AHB FIFO address in uart_reg.h
4. modify xRingbufferSendFromISR return value in ringbuffer.c
5. add #include "soc/gpio_sig_map.h" in gpio.h

See merge request !146

Add core info to xt interrupt api

Per-CPU interrupt handlers and args

Fix uart tx bug, data pass(with flow control) through test ok.

Merge branch 'bugfix/nvs_lookup_failure' into 'master'

nvs: fix Page::findItem and Storage::findItem regression

When read caching was added, Page::findItem started modifying itemIndex reference argument even if item wasn't found.
Incidentally, Storage::findItem reused itemIndex when starting search at next page.
So,
- if the first page had a cached index (findItem was called for that page), and it pointed to a non-zero index,
- first page has a few empty items at the end (but is marked full),
- next search looked up the item on the second page,
- index of the item on the second page was less than the cached index on the first page,

then the search would fail because cached starting index was reused.

This change fixes both sides of the problem:
- Page::findItem shouldn't modify itemIndex argument if item is not found
- Storage::findItem should not reuse itemIndex between pages

Two tests have been added.

ref. TW8406

See merge request !171

Merge branch 'feature/docs_update' into 'master'

Feature/docs update

https://github.com/espressif/esp-idf/pull/77
Update to the API documentation, links fix, instructions for writing documentation.
Replaces !173.

See merge request !180

Build system: Use ifndef X in makefiles instead of ifeq("$(X)","")

docs: Rewrite build system docs to address new system, plus general editing

Fixes TW#8017

Optimsed code

Following note in review by @igrr :+1:

NVS Examples update

Updated previusly submitted example, saved it as "07_nvs_rw_value" and
added a new one.

Overview of examples:
* 07_nvs_rw_value - simple read and write a single value
* 08_nvs_rw_blob - read and write a blob that is extened with new data
on each restart of ESP32

Removed LICENSE files

build system: Refactor component.mk to not need component_common.mk

New makefile component_wrapper.mk allows some variables to be set
before component.mk is evaluated. This properly fixes problems with
sdkconfig being hard to access in all phases of the build.

Including component_common.mk is no longer necessary and will print a
deprecation warning for components which use it.

Merge branch 'master' into driver_merge_tmp/merge_uart

# Conflicts:
# components/esp32/include/esp_err.h

build system: Generated makefiles should contain environment-variable-relative paths where possible

Means that moving directories around then partial building should
succeed when possible.

build system: Fix defconfig vs menuconfig regression in 155f9124

build system: Refactor the three component-target-related macros into one

build system: Don't build an sdkconfig for bootloader, share the top-level one

This works because all CONFIG variables are exported into child make processes.

build system: Replace get_variable target w/ component_project_vars.mk generated makefiles

Reduces number of make invocations, allows variables exported in project
to be seen in all component make processes, not just the main ones.

Also makes a no-op build about 3x faster than it was.

Merge branch 'bugfix/github_issues' into 'master'

Fixes for github issues

This MR contains a bunch of small fixes for issues raised on Github and esp32.com forum:

- vfs doesn't check error code returned by open syscall
- spi_flash doesn't work when built in release mode
- duplicate definition of O_NONBLOCK when combining LwIP socket.h with sys/fcntl.h
- wrong order of creation of standard streams
- `_times_r` returning incorrect values, causing `clock`to return double of the actual time
- driver/gpio.h: comment fix
- wifi event handlers: fix incorrect MAC address printed by logging statements
- move some functions out of IRAM when compiling for bootloader

Please check commit descriptions for links to issues/forum posts and more details.

See merge request !183

Merge branch 'bugfix/compile_with_no_timers' into 'master'

newlib: fix compilation error when no timers are enabled in menuconfig

I have checked that three options (RTC/RTC+FRC1/FRC1) work, but didn't check "None" option.
This adds some missing ifdef blocks to remove "unused function/variable" warnings and fixes the use of `__errno_r` in a non-reentrant function.

See merge request !174

wpa_supplicant: clean up unused variable warning

build system: Fix bootloader-flash target

ESP32 forum thread: http://esp32.com/viewtopic.php?f=2&t=407&p=1902#p1902

bootloader: move some functions out of IRAM when building in bootloader mode

Fixes https://github.com/espressif/esp-idf/issues/80

wifi: use MACSTR and MAC2STR in logging statements

Fixes https://github.com/espressif/esp-idf/issues/49

driver/gpio: fix interrupt type names in comment block

https://github.com/espressif/esp-idf/issues/56

newlib: fix `_times_r` syscall implementation

tms_cstime should only take system time in child processes into account, so has to be zero.
https://github.com/espressif/esp-idf/issues/81

fix order of creation of standard streams

With existing order, file descriptors assigned to stdin, stdout, stderr didn't match standard assignment.
https://github.com/espressif/esp-idf/issues/67

lwip: fix duplicate definition of O_NONBLOCK

LwIP will define O_NONBLOCK in sockets.h if it isn't defined yet.
If sys/fcntl.h is included after socket.h, there will be duplicate definition.
Work around by including sys/fcntl.h into lwipopts.h.

https://github.com/espressif/esp-idf/issues/75

spi_flash: add missing volatile qualifier for lock flags

http://esp32.com/viewtopic.php?f=14&t=419&p=1901

vfs: check error code returned by FS driver open function

Fixes https://github.com/espressif/esp-idf/issues/78

Merge branch 'feature/tw8193_add_wifi_api_detail_return_code' into 'master'

esp32/make: add detailed return error code for wifi APIs

1. Add detailed return error code for wifi APIs
2. Add description about error code in esp_wifi.h
3. Modify esp_wifi_reg_rxcb to esp_wifi_internal_reg_rxcb
4. Modify esp_wifi_set_sta_ip to esp_wifi_internal_set_sta_ip
5. Mark system_init as deprecated API

See merge request !187

esp32: modify the code according to review comments

1. Adjust error code definition
2. Refractor the comments for esp_wifi_internal_tx

Merge branch 'revert-faad2923' into 'master'

Revert feature/ci_checkout_same_branch_for_submodule

This reverts merge request !178

See merge request !184

Merge branch 'bugfix/rmt_mem_struct' into 'master'

Only fix rmt_mem_t struct definition error.

Modify the struct definition according to technical_reference_manual.
Tested.

```
typedef volatile struct {
    struct {
        union {
            struct {
                uint32_t duration0:    15;
                uint32_t level0:       1;
                uint32_t duration1:    15;
                uint32_t level1:       1;
            };
            uint32_t val;
        } data[64];
    } chan[8];
} rmt_mem_t;
```

See merge request !186

esp32/make: add detailed return error code for wifi APIs

1. Add detailed return error code for wifi APIs
2. Add description about error code in esp_wifi.h
3. Modify esp_wifi_reg_rxcb to esp_wifi_internal_reg_rxcb
4. Modify esp_wifi_set_sta_ip to esp_wifi_internal_set_sta_ip
5. Mark system_init as deprecated API

Merge branch 'feature/tw8387_merge_bt_wifi_coexist_code' into 'master'

esp32: merge bt/wifi coexist code

1. Modify makefile to add coexist lib
2. Update bt/wifi coexist lib

See merge request !185

esp32: remove libcrypto according to review comments

Only fix rmt_mem_t struct definition error.

esp32: merge bt/wifi coexist code

1. Modify makefile to add coexist lib
2. Update bt/wifi coexist lib

Revert "Merge branch 'feature/ci_checkout_same_branch_for_submodule' into 'master'"

This reverts merge request !178

build system: Add support for embedded arbitrary binary or text files in .rodata

Simplifies examples of embedding a certificate file or a root cert.

This is a much cruder mechanism than the full flash filesystem we want
eventually, but still sometimes useful.

bootloader_support: Move secure boot code to bootloader_support

Merge branch 'feature/integrate_unit_test_to_ci' into 'master'

integrate unit test to CI

See merge request !167

Merge branch 'feature/wpa_supplicant_libcrypto_source' into 'master'

wpa_supplicant: replace pre-built crypto library with source code

This change replaces libcrypto.a pre-built library with source code from wpa_supplicant.
For now i've decided to keep the modified layout of source and header files which is used in the esp32_rtos_sdk_core project. This will make it easier to move other parts of wpa_supplicant from esp32_rtos_sdk_core into esp-idf. Once we move everything, we can rearrange the files and upgrade wpa_supplicant to latest version.

See merge request !177

Minor changes for driver

1. remove "\n" when calling ESP_LOGX APIs.
2. modify uart_event_t for uart rx data.
3. use MICRO for uart inverse value
4. add uart_tx_data_t for internal tx function.

Merge branch 'bugfix/osx_menuconfig_build' into 'master'

Allow OS X to build without libintl

https://github.com/espressif/esp-idf/pull/42

I have tested this with the following configurations:
- OS X with Xcode command line tools, no macports, no homebrew
- OS X with Xcode command line tools and homebrew
- OS X with Xcode IDE and macports

All three work with this change, without it the first two had issues.

See merge request !172

Fix build with macports/pkgconfig, silence format string warnings on OS X

Extra space is needed in echo -n "-lncurses ", otherwise if pkg-config outputs a directory after that, it will result in "-lncurses-L/opt/local/lib" (without space).
-Wno-format-security flag is needed on macOS to silence warnings about printf(gettext("message")) constructs.

Merge branch 'feature/style_guide' into 'master'

docs: add style guide

This adds initial code style guide. Only section on code formatting is written, other sections to be added later.
Also adds scripts to format code using astyle.

See merge request !46

Merge branch 'bugfix/bootloader_iram_overlap' into 'master'

fix overlap between bootloader and application IRAM ranges

This change moves the action of enabling APP CPU cache into the application startup code.
Therefore we don't need to use IRAM for the final stage of bootloader, and application can use all 0x20000 of IRAM.
This fixes crashes which happened when application used enough of IRAM to overlap with bootloader functions.

See merge request !176

Merge branch 'feature/ci_checkout_same_branch_for_submodule' into 'master'

Feature/ci checkout same branch for submodule

esp-idf have several submodules like wifi-lib, bt-lib.

esp-idf branches may need to use specific branches in submodules to get build pass and do test.

This feature will first try to checkout the branch with same name for all submodules for jobs which uses global `before_script`

See merge request !178

Non-Volatile Storage (NVS) example
Demonstrates how to read and write a value using NVS.
The value tracks number of ESP32 module restarts.
Example also shows how to use basic diagnostics if read / write
operation was successful.

remove unnecessary "git fetch" and add echo submodule path

No need to deinit submodules as use clean clone by config

try to checkout same branch for submodule in CI jobs

Instructions to prepare documentation

All API Reference docs updated to match header files

1. Wi-Fi <api/esp_wifi>
2. Bluetooth <api/bt>
2. GPIO <api/gpio>
4. LED
Control <api/ledc>
5. Logging <api/log>
6. Non-Volatile Storage
<api/nvs_flash>
7. Virtual Filesystem <api/vfs>

deep-sleep-stub added + TOC outline

TOC outline to show overal planned structure

Resolved issue with version / release on Read the Docs

Read the Docs is building documentation referencing to specific releases
on GitHub.
Changing version / release  in this script is breaking menu in bottom
left corner
Now version / release should change only for local builds and not for
builds on Read the Docs

Fixed section header style

Please follow https://docs.python.org/devguide/documenting.html#sections

Fixed broken links

build fix

wpa_supplicant: replace pre-built crypto library with source code

Modify as Angus's suggestion:

1. Set XXX_TAG static, remove extern XXX_TAG in uart.h/ledc.h/gpio.h
2. I removed uart_set/get_print_port() functions, these functions are not well tested, I removed them for now.
3. Modify some function names for uart_read/write_bytes
4. Modify uart_write_bytes and uart_write_bytes_with_break.

ld scripts: fix overlap between bootloader and application IRAM ranges

newlib: fix compilation error when no timers are enabled in menuconfig

Merge branch 'master' into driver_merge_tmp/merge_uart

Update UART driver

1. fix bug in ringbuffer.c:
    When return an dummy item, free_ptr might exceed rd_ptr, so the write_ptr would overwrite rd_ptr in this case.
2. Delete UART tx task in buffer mode. UART ISR will copy the data from tx buffer to fifo.

fix ringbuffer bug.

Allow OS X to build without libintl

nvs: fix Page::findItem and Storage::findItem regression

When read caching was added, Page::findItem started modifying itemIndex reference argument even if item wasn't found.
Incidentally, Storage::findItem reused itemIndex when starting search at next page.
So,
- if the first page had a cached index (findItem was called for that page), and it pointed to a non-zero index,
- first page has a few empty items at the end (but is marked full),
- next search looked up the item on the second page,
- index of the item on the second page was less than the cached index on the first page,
then the search would fail because cached starting index was reused.

This change fixes both sides of the problem:
- Page::findItem shouldn't modify itemIndex argument if item is not found
- Storage::findItem should not reuse itemIndex between pages

Two tests have been added.