Merge branch 'master' into feature/modem_sleep

Merge branch 'feature/wps' into 'master'

Add wps API

See merge request !181

wps: update wifi lib -- add wps lib

modem sleep: add wifi power save callback to idle task

Merge branch 'feature/cleanup_examples' into 'master'

Minor example cleanup

Remove deprecated system_init, fix app_main prototype

See merge request !197

Merge branch 'master' into feature/wps

add comments for system_event_sta_wps_er_pin_t

ble_adv example: Remove int return value from app_main()

Examples: Remove deprecated system_init() call

Merge branch 'feature/build_component_project_vars' into 'master'

build system: General refactoring

The original goal here was to support setting different COMPONENT_INCLUDEDIRS/COMPONENT_LDFLAGS based on sdkconfig. It's turned into a general refactor.

* The `get_variable` target & associated macros have been replaced with a target that generates a makefile snippet for each component (inside the build directory), and includes these in the project make pass. This improves build speed ( "no-op" `make all` on my system is down from 1.43s  (wall) / 0.55s (CPU) to 0.49s (wall) / 0.23s (CPU) due to not forking as many processes) and also makes the builds more debuggable, as you can go and look at the component_project_vars.mk files in the build directory to see what paths are being added where.
* Including component_common.mk from component.mk is no longer necessary (and prints a deprecation warning). Instead, component.mk is included from inside a wrapper makefile. This allows default variables and project configuration to be loaded before component.mk begins, and removes the need to split makefile statements arbitrarily between "before including component_common" and "after including component_common", with which goes where depending on internals of the build system. Part-fix for TW#8017.
* Rewrote build system docs to reflect these details and also clarify some other points, add more ReST structure. Fixes other issues raised in TW#8017.
* Should be backwards compatible with existing components. The only difference I know is the deprecation warning when including component_common.mk.

Adds one new failure case: because some paths are encoded in the generated component_project_vars.mk files then reorganising the component directory structure (but not modifying any other files or menuconfig) may cause a partial build to fail and require a `make clean`. Moving the whole project directory, whole build directory, or whole ESP-IDF directory will not trigger this. This failure case should only ever cause a build error, not incorrect build output.

See merge request !188

build examples: Only build verbose on failure, save on log output

Merge branch 'master' into feature/build_component_project_vars

Merge branch 'feature/esptool_secure_boot' into 'master'

Secure boot support

Also includes a lot of esptool.py changes (two new command line tools, espefuse.py and espsecure.py)
https://github.com/themadinventor/esptool/compare/feature/esp32_v20_refactor...feature/esp32_secure_boot?expand=1

See merge request !163

bootloader: Fix unused variable errors when secure boot is disabled

secure boot: Add warnings this feature is not finished yet

Secure boot: Documentation tweaks

Merge branch 'feature/doc_update' into 'master'

ReadTheDocs documentation update

https://github.com/espressif/esp-idf/pull/89

See merge request !195

secure boot: Rename efuse option for UART bootloader to option for ROM interpreter

Build system: Don't shell-quote SEPARATOR variable or it evaluates as a bunch of wildcards!

Bump esptool revision (espefuse.py fixes)

secure boot: Functional partition table & app signature verification

secure boot: Enable based on sdkconfig, remove "secure boot flag" from binary image

partition_table: Pad generated table to 0xC00 length, for easier signing

partition_table: Move from 0x4000 to 0x8000

Also fix a bug with correctly padding bootloader image when length is
already a multiple of 16.

secure boot: Derive secure bootloader key from private key

Means only one key needs to be managed.

Secure boot: initial image signature support

Build system: Change deprecation message to include component path, easier to fix

build system: Remove make 3.81 "component_project_vars.mk: No such file or directory" messages

Also add an explicit make version check & warning.

Merge branch 'feature/per_cpu_interrupt_handlers' into 'master'

Per-CPU interrupt handlers and args

Up to now, the interrupt handlers and args were shared between CPUs, that is, if you set an interrupt handler on CPU0, CPU1 would invoke the same interrupt handler on that interrupt. This code gives every CPU its own space for interrupt handlers.

See merge request !192

Merge branch 'feature/nvs_examples' into 'master'

NVS examples

Add two examples for working with NVS.

One is reading and writing an integer value, another is reading and writing a blob.

See merge request !194

Comment fix

examples: minor tweaks to comments

wps: add blocking param for API esp_wifi_wps_start()

Merge branch 'feature/tw8619_merge_amsdu' into 'master'

esp32: merge amsdu

esp32 now can support AMSDU

See merge request !193

build system: Remove need for $(Q) macro in recipes, use --silent in MAKEFLAGS instead

Revised api files

- Included UART API
- Addedd "Header Files"
- Improved template
- deleted redundat nvs.rst

New items to documentation TOC

- Style Guide
- UART API

Fixed link so it can render by Sphinx

Conform Style Guide

Merge remote-tracking branch 'refs/remotes/espressif/master'

Merge remote-tracking branch 'refs/remotes/espressif/master'

esp32: merge amsdu

esp32 now can support AMSDU

Merge branch 'driver_merge_tmp/merge_uart' into 'master'

Add UART driver

1. add uart.h and uart.c
2. add ESP_ERR_TIMEOUT in esp_err.h
3. add UART AHB FIFO address in uart_reg.h
4. modify xRingbufferSendFromISR return value in ringbuffer.c
5. add #include "soc/gpio_sig_map.h" in gpio.h

See merge request !146

Add core info to xt interrupt api

Per-CPU interrupt handlers and args

Fix uart tx bug, data pass(with flow control) through test ok.

Merge branch 'bugfix/nvs_lookup_failure' into 'master'

nvs: fix Page::findItem and Storage::findItem regression

When read caching was added, Page::findItem started modifying itemIndex reference argument even if item wasn't found.
Incidentally, Storage::findItem reused itemIndex when starting search at next page.
So,
- if the first page had a cached index (findItem was called for that page), and it pointed to a non-zero index,
- first page has a few empty items at the end (but is marked full),
- next search looked up the item on the second page,
- index of the item on the second page was less than the cached index on the first page,

then the search would fail because cached starting index was reused.

This change fixes both sides of the problem:
- Page::findItem shouldn't modify itemIndex argument if item is not found
- Storage::findItem should not reuse itemIndex between pages

Two tests have been added.

ref. TW8406

See merge request !171

Merge branch 'feature/docs_update' into 'master'

Feature/docs update

https://github.com/espressif/esp-idf/pull/77
Update to the API documentation, links fix, instructions for writing documentation.
Replaces !173.

See merge request !180

Build system: Use ifndef X in makefiles instead of ifeq("$(X)","")

docs: Rewrite build system docs to address new system, plus general editing

Fixes TW#8017

Optimsed code

Following note in review by @igrr :+1:

NVS Examples update

Updated previusly submitted example, saved it as "07_nvs_rw_value" and
added a new one.

Overview of examples:
* 07_nvs_rw_value - simple read and write a single value
* 08_nvs_rw_blob - read and write a blob that is extened with new data
on each restart of ESP32

Removed LICENSE files

build system: Refactor component.mk to not need component_common.mk

New makefile component_wrapper.mk allows some variables to be set
before component.mk is evaluated. This properly fixes problems with
sdkconfig being hard to access in all phases of the build.

Including component_common.mk is no longer necessary and will print a
deprecation warning for components which use it.

Merge branch 'master' into driver_merge_tmp/merge_uart

# Conflicts:
# components/esp32/include/esp_err.h

build system: Generated makefiles should contain environment-variable-relative paths where possible

Means that moving directories around then partial building should
succeed when possible.

change pin code value type and wps API comments.

build system: Fix defconfig vs menuconfig regression in 155f9124

1. Add wps event processing.

2. Change wps API return type and value.

build system: Refactor the three component-target-related macros into one

build system: Don't build an sdkconfig for bootloader, share the top-level one

This works because all CONFIG variables are exported into child make processes.

build system: Replace get_variable target w/ component_project_vars.mk generated makefiles

Reduces number of make invocations, allows variables exported in project
to be seen in all component make processes, not just the main ones.

Also makes a no-op build about 3x faster than it was.

Merge branch 'bugfix/github_issues' into 'master'

Fixes for github issues

This MR contains a bunch of small fixes for issues raised on Github and esp32.com forum:

- vfs doesn't check error code returned by open syscall
- spi_flash doesn't work when built in release mode
- duplicate definition of O_NONBLOCK when combining LwIP socket.h with sys/fcntl.h
- wrong order of creation of standard streams
- `_times_r` returning incorrect values, causing `clock`to return double of the actual time
- driver/gpio.h: comment fix
- wifi event handlers: fix incorrect MAC address printed by logging statements
- move some functions out of IRAM when compiling for bootloader

Please check commit descriptions for links to issues/forum posts and more details.

See merge request !183

Merge branch 'bugfix/compile_with_no_timers' into 'master'

newlib: fix compilation error when no timers are enabled in menuconfig

I have checked that three options (RTC/RTC+FRC1/FRC1) work, but didn't check "None" option.
This adds some missing ifdef blocks to remove "unused function/variable" warnings and fixes the use of `__errno_r` in a non-reentrant function.

See merge request !174

wpa_supplicant: clean up unused variable warning

build system: Fix bootloader-flash target

ESP32 forum thread: http://esp32.com/viewtopic.php?f=2&t=407&p=1902#p1902

bootloader: move some functions out of IRAM when building in bootloader mode

Fixes https://github.com/espressif/esp-idf/issues/80

wifi: use MACSTR and MAC2STR in logging statements

Fixes https://github.com/espressif/esp-idf/issues/49

driver/gpio: fix interrupt type names in comment block

https://github.com/espressif/esp-idf/issues/56

newlib: fix `_times_r` syscall implementation

tms_cstime should only take system time in child processes into account, so has to be zero.
https://github.com/espressif/esp-idf/issues/81

fix order of creation of standard streams

With existing order, file descriptors assigned to stdin, stdout, stderr didn't match standard assignment.
https://github.com/espressif/esp-idf/issues/67

lwip: fix duplicate definition of O_NONBLOCK

LwIP will define O_NONBLOCK in sockets.h if it isn't defined yet.
If sys/fcntl.h is included after socket.h, there will be duplicate definition.
Work around by including sys/fcntl.h into lwipopts.h.

https://github.com/espressif/esp-idf/issues/75

spi_flash: add missing volatile qualifier for lock flags

http://esp32.com/viewtopic.php?f=14&t=419&p=1901

vfs: check error code returned by FS driver open function

Fixes https://github.com/espressif/esp-idf/issues/78

Add wps API

remove light sleep and mac sleep

Merge branch 'feature/tw8193_add_wifi_api_detail_return_code' into 'master'

esp32/make: add detailed return error code for wifi APIs

1. Add detailed return error code for wifi APIs
2. Add description about error code in esp_wifi.h
3. Modify esp_wifi_reg_rxcb to esp_wifi_internal_reg_rxcb
4. Modify esp_wifi_set_sta_ip to esp_wifi_internal_set_sta_ip
5. Mark system_init as deprecated API

See merge request !187

esp32: modify the code according to review comments

1. Adjust error code definition
2. Refractor the comments for esp_wifi_internal_tx

Merge branch 'revert-faad2923' into 'master'

Revert feature/ci_checkout_same_branch_for_submodule

This reverts merge request !178

See merge request !184

Merge branch 'bugfix/rmt_mem_struct' into 'master'

Only fix rmt_mem_t struct definition error.

Modify the struct definition according to technical_reference_manual.
Tested.

```
typedef volatile struct {
    struct {
        union {
            struct {
                uint32_t duration0:    15;
                uint32_t level0:       1;
                uint32_t duration1:    15;
                uint32_t level1:       1;
            };
            uint32_t val;
        } data[64];
    } chan[8];
} rmt_mem_t;
```

See merge request !186

esp32/make: add detailed return error code for wifi APIs

1. Add detailed return error code for wifi APIs
2. Add description about error code in esp_wifi.h
3. Modify esp_wifi_reg_rxcb to esp_wifi_internal_reg_rxcb
4. Modify esp_wifi_set_sta_ip to esp_wifi_internal_set_sta_ip
5. Mark system_init as deprecated API

Merge branch 'feature/tw8387_merge_bt_wifi_coexist_code' into 'master'

esp32: merge bt/wifi coexist code

1. Modify makefile to add coexist lib
2. Update bt/wifi coexist lib

See merge request !185

esp32: remove libcrypto according to review comments

Only fix rmt_mem_t struct definition error.

esp32: merge bt/wifi coexist code

1. Modify makefile to add coexist lib
2. Update bt/wifi coexist lib

Revert "Merge branch 'feature/ci_checkout_same_branch_for_submodule' into 'master'"

This reverts merge request !178

build system: Add support for embedded arbitrary binary or text files in .rodata

Simplifies examples of embedding a certificate file or a root cert.

This is a much cruder mechanism than the full flash filesystem we want
eventually, but still sometimes useful.

bootloader_support: Move secure boot code to bootloader_support

Merge branch 'feature/integrate_unit_test_to_ci' into 'master'

integrate unit test to CI

See merge request !167

Merge branch 'feature/wpa_supplicant_libcrypto_source' into 'master'

wpa_supplicant: replace pre-built crypto library with source code

This change replaces libcrypto.a pre-built library with source code from wpa_supplicant.
For now i've decided to keep the modified layout of source and header files which is used in the esp32_rtos_sdk_core project. This will make it easier to move other parts of wpa_supplicant from esp32_rtos_sdk_core into esp-idf. Once we move everything, we can rearrange the files and upgrade wpa_supplicant to latest version.

See merge request !177

Minor changes for driver

1. remove "\n" when calling ESP_LOGX APIs.
2. modify uart_event_t for uart rx data.
3. use MICRO for uart inverse value
4. add uart_tx_data_t for internal tx function.

Merge branch 'bugfix/osx_menuconfig_build' into 'master'

Allow OS X to build without libintl

https://github.com/espressif/esp-idf/pull/42

I have tested this with the following configurations:
- OS X with Xcode command line tools, no macports, no homebrew
- OS X with Xcode command line tools and homebrew
- OS X with Xcode IDE and macports

All three work with this change, without it the first two had issues.

See merge request !172

Fix build with macports/pkgconfig, silence format string warnings on OS X

Extra space is needed in echo -n "-lncurses ", otherwise if pkg-config outputs a directory after that, it will result in "-lncurses-L/opt/local/lib" (without space).
-Wno-format-security flag is needed on macOS to silence warnings about printf(gettext("message")) constructs.

Merge branch 'feature/style_guide' into 'master'

docs: add style guide

This adds initial code style guide. Only section on code formatting is written, other sections to be added later.
Also adds scripts to format code using astyle.

See merge request !46

Merge branch 'bugfix/bootloader_iram_overlap' into 'master'

fix overlap between bootloader and application IRAM ranges

This change moves the action of enabling APP CPU cache into the application startup code.
Therefore we don't need to use IRAM for the final stage of bootloader, and application can use all 0x20000 of IRAM.
This fixes crashes which happened when application used enough of IRAM to overlap with bootloader functions.

See merge request !176

Merge branch 'feature/ci_checkout_same_branch_for_submodule' into 'master'

Feature/ci checkout same branch for submodule

esp-idf have several submodules like wifi-lib, bt-lib.

esp-idf branches may need to use specific branches in submodules to get build pass and do test.

This feature will first try to checkout the branch with same name for all submodules for jobs which uses global `before_script`

See merge request !178

Non-Volatile Storage (NVS) example
Demonstrates how to read and write a value using NVS.
The value tracks number of ESP32 module restarts.
Example also shows how to use basic diagnostics if read / write
operation was successful.

remove unnecessary "git fetch" and add echo submodule path

No need to deinit submodules as use clean clone by config

try to checkout same branch for submodule in CI jobs

Instructions to prepare documentation