Merge branch 'feature/wifi-stage-one' into 'master'

Wifi branch changes stage one

Wifi branch up to commit 588d384, plus some cleanup.

See merge request !52

Update WiFi library version.

This version compiles but does not startup with WiFi component enabled.

Minor comment cleanup

Remove old commented code, etc.

tcpip_adapter: Fix typo STOPED->STOPPED

components: esp32
remove debug info in event.c/wifi.c

Merge wifi branch commit '588d384393536a040f899b382890316c56061b6a' into feature/wifi-stage-one

Merge branch 'feature/newlib_locking' into 'master'

newlib locking support

Has matching tests here: http://gitlab.espressif.cn/idf/esp-idf-tests/commits/feature/newlib_locking_tests

This is ready, the "bug" I saw was me not understanding how newlib stream locking works (I still don't understand why it works like it does, but that's less important for now.)

See merge request !17

Merge branch 'bugfix/gitlab_update_submodules' into 'master'

gitlab-ci: update submodules before build

Gitlab CI will cache build directory per branch and per build step. Also it doesn't try to update submodules.
We have to do this manually because otherwise we end up with old version of submodule in cached directory.

See merge request !47

gitlab-ci: update submodules before build

Gitlab CI will cache build directory per branch and per build step. Also it doesn't try to update submodules.
We have to do this manually because otherwise we end up with old version of submodule in cached directory.

Merge branch 'bugfix/md5_rom_header_types' into 'master'

md5_hash.h: Replace outdated use of c_types.h with stdint

See merge request !44

md5_hash.h: Replace outdated use of c_types.h with stdint

Merge branch 'bugfix/ocd_stop_on_unhandled_exception' into 'master'

Fix: Return after setting breakpoint when ocd is detected instead of continuing …

…into the panic routine

Made a small thinko when refactoring the panic handler code. This fixes it.

See merge request !36

Merge branch 'feature/openocd_doc' into 'master'

Add openocd documentation and config file

As we (=Ivan/Angus) discussed, the esp32-specific openocd/gdb documentation and helper tools will live in the esp-idf repository. This is an initial document detailing the basics of setting up OpenOCD with an esp32 module. It should be sufficient for people already familiar with a similar setup on another platform to start using JTAG for debugging. It can be expanded much more (e.g. the tracetool still is missing) but we'llhave to add that later.

See merge request !31

Fix: Return after setting breakpoint when ocd is detected instead of continuing into the panic routine

Add bit of text saying openocd helper options for esp-idf are enabled by default

Merge branch 'feature/json' into 'master'

components/json: add JSON parse feature

Develop and Compile JSON Parse function, can test by running list,  see test_json file.

See merge request !33

Merge branch 'feature/expat' into 'master'

components/expat: add XML parse feature

Develop and Compile XML Parse based on XMPP protocol, can test from unity running list, see expat file.

See merge request !32

Fix issued raised in the merge request

Add openocd documentation and config file

Merge branch 'feature/make_incremental_headers' into 'master'

Makefile: Fix "No rule to make target X.h" for generated header dependencies

See merge request !30

Merge branch 'bugfix/rom_aes_set_endian' into 'master'

[Github] Fix prototype for ets_aes_set_endian

https://github.com/espressif/esp-idf/pull/3

Original description:
>
> found small mistake in it
>
> we have:
>
```
PROVIDE ( ets_aes_crypt = 0x4005c9b8 );
PROVIDE ( ets_aes_disable = 0x4005c8f8 );
PROVIDE ( ets_aes_enable = 0x4005c8cc );
PROVIDE ( ets_aes_set_endian = 0x4005c928 );
PROVIDE ( ets_aes_setkey_dec = 0x4005c994 );
PROVIDE ( ets_aes_setkey_enc = 0x4005c97c );
```

See merge request !29

Makefile: Fix "No rule to make target X.h" for generated header dependencies

Update aes.h

found small mistake in it

we have:

PROVIDE ( ets_aes_crypt = 0x4005c9b8 );
PROVIDE ( ets_aes_disable = 0x4005c8f8 );
PROVIDE ( ets_aes_enable = 0x4005c8cc );
PROVIDE ( ets_aes_set_endian = 0x4005c928 );
PROVIDE ( ets_aes_setkey_dec = 0x4005c994 );
PROVIDE ( ets_aes_setkey_enc = 0x4005c97c );

Signed-off-by: Ivan Grokhotkov <ivan@espressif.com>

tcpip_adpater: set ip to zero in tcpip_adapter_down

In some cases, there will have "ip unchanged", and have no event posted
when station reconnected.

tcpip_adapter: clean up dhcpc status

only auto start dhcpc in init status

system api: clean unsupported system apis

add esp_intr.h

components: lwip
Implement lwip per-thread-sem with:
vTaskSetThreadLocalStoragePointerAndDelCallback/pvTaskGetThreadLocalStoragePointer
register sys_thread_tls_free to free per-thread-sem when the thread is terminated.
Also let lwip use index CONFIG_LWIP_THREAD_LOCAL_STORAGE_INDEX

Remove the workaround that erase flash before calling nvs_flash_init

modify APB_CLK_FREQ from 40M to 80M

Implement ETS_INTR_ENABLE/ETS_INTR_DISABLE with xt_ints_on/xt_ints_off

components: lwip/tcpip_adapter/freertos/esp32
Replace os_printf with printf

enable sys_arch_protect/sys_arch_unprotect with portENTER_CRITICAL/portEXIT_CRITICAL

component: lwip
1. add lock version print for lwip (workaround)
2. add debug info into sys_arch.c to debug xQueueReceive issue

1. Remove ip member of struct station_info
2. Add struct station_list into tcpip_adapter layer
3. When ap -L cmd is received, get mac address from mac layer first and then search ip address based on mac address on dhcp layer.

1. Move the structure pointer into the respective case statement.

Merge branch 'wifi' of ssh://gitlab.espressif.cn:27227/idf/esp-idf into wifi

Fix the bug that the query reault is 'connected' when station is disconnected by input 'sta -D'

impact components: lwip/freertos
1. Remove xTaskGetPerTaskData
2. Implement lwip per thread semaphore with vTaskSetThreadLocalStoragePointer
   and pvTaskGetThreadLocalStoragePointer
3. Add sys_thread_sem_get/sys_thread_sem_init/sys_thread_sem_deinit

add got ip event handler

fix socket compile error

modify tcpip_dep_dhcpc_stop to tcpip_adapter_dhcpc_stop

add debug info to wifi.c

components/json: add JSON parse feature

Develop and Compile JSON Parse function, see json file.

FreeRTOS: Convert portMUX_DEBUG to a configuration item

newlib locking: Fix bug w/ _lock_close not clearing semaphore handle

components/expat: add XML parse feature

Develop and Compile XML Parse based on XMPP protocol, see expat file.

Merge branch 'feature/ld_change' into 'master'

update ld and heap region

Divide origin fpga ld to several lds,  choose specific ld for normal/BT/Trace by menuconfig, change iram/dram len in ld to full use hardware ram region.

See merge request !28

Merge branch 'master' into feature/newlib_locking

mem: add comments for knock out 0x3ffe0000~0x3ffe8000

TODO: this region should be checked later

Merge branch 'bugfix/tskNO_AFFINITY_ambiguous' into 'master'

FreeRTOS: Change tskNO_AFFINITY value to not match CPU 1 when UNICORE is set

See merge request !27

Rename build_system_tests to less-ambiguous test_build_system

Before it was unclear if we were building the system tests or testing
the build system.

build_system_tests.sh: Replace use of second-precision-only [ a -ot b ]

mem: knock out bt/trace data region if configed in menuconfig

ld: fix ld for bootloader

ld: add ld for bt/trace, choose different ld by menuconfig

FreeRTOS: Change tskNO_AFFINITY value to not match CPU 1 when UNICORE is set

Merge branch 'master' into feature/newlib_locking

Merge branch 'master' into feature/newlib_locking

ld: fix ld to use ram as much as possible, rearrange heap_alloc area

ld: seperate/rename eagle.xxx.ld to esp32.xxx.ld

Merge branch 'bugfix/dualcore_startup' into 'master'

Fix dualcore startup

This MR includes:
- a workaround for a hardware bug with cache initialization
- fix of `#if CONFIG_WIFI_ENABLED` block in cpu_start.c for the case when WiFi is disabled.
- removal of miscellaneous delays in cpu_start.c

See merge request !22

Merge remote-tracking branch 'origin/bugfix/dualcore_startup' into feature/newlib_locking

Merge branch 'bugfix/make_tests_noninteractive' into 'master'

make: update template configuration before running tests

This fixes build error for non-interactive builds

See merge request !26

make: update template configuration before running tests

This fixes build error for non-interactive builds

Merge branch 'bugfix/dram_attr' into 'master'

fix DRAM_ATTR attribute

Variables marked with DRAM_ATTR were not placed in any specific section and were appended to the last section, causing some errors at binary file generation stage.
This change places contents of .dram1 section into .dram0.data.
Also removes .iram1pro/.iram1app/.dram1pro/.dram1app which weren't used anywhere.

See merge request !23

newlib locking: Remove lock table, much simpler implementation.

Merge branch 'bugfix/bootloader_incremental_build' into 'master'

Make: fix incremental builds, add build tests

Four semi-related build changes in one:
* Add basic tests for make system sanity (can be expanded as we find corner cases)
* Fix incremental building of bootloader when source files change
* Don't regenerate component libraries or re-link the ELF file if nothing changed
* Rename `$(vecho)` to  `$(summary)` and add a new `$(details)` macro to echo some helpful build details when V=1.

See merge request !20

Merge branch 'feature/openocd-freertos-support_try2' into 'master'

Add symbol needed for OpenOCD to detect FreeRTOS, add feature to break execution, try 2

Add symbol needed for OpenOCD to detect FreeRTOS, add optional feature to break execution when the scheduler is initially started. The workflow is now so that if you start an esp-idf program, you can reset the CPU and end up in a gdb prompt just before all threads start up. In gdb you can then inspect all threads and watch breakpoints. Has the nice side effect that OpenOCD will restore any break/watchpoints that were there before you reset the chip.

This is try 2 because seemingly, someone or something replaced the bit of my brain that is responsible for handling Git with a squeaky toy.

See merge request !24

Undo two empty lines

Undo submodule commit

FreeRTOS: Add xQueueGetMutexHolder support

Enables it as a config option, but there's no overhead at all if the
function is not called anywhere.

newlib locking: Turns out the "hack" is the way to make stdout thread-safe in newlib

FreeRTOS: Configure configASSERT fail behaviour, abort() by default

Add symbol needed for OpenOCD to detect FreeRTOS, add feature to break execution when the scheduler is initially started.

Add files I forgot (FreeRTOS-openocd.c and panic.h)

components/esp32: fix DRAM_ATTR attribute

This change places contents of .dram1 section into .dram0.data.
Also removes .iram1pro/.iram1app/.dram1pro/.dram1app which weren't used anywhere.

components/bootloader: fix enabling cache for APP CPU

This is a workaround for a hardware bug with cache initialization.
Only two lines of code related to DPORT_APP_CACHE_MMU_IA_CLR were added around mmu_init(1); call,
and two lines at the end of comment block.
I reformatted surrounding lines to use spaces for indentation, like the rest of the code in this file does.

components/esp32: fix and clean up dual core startup

This change removes various delays in PRO and APP CPU startup paths.
Also some unused code and ets_printf statements are cleaned up or removed.
2nd CPU now communicates that it has started through a global variable.

Add hack of explicitly locking stdout

This shouldn't be necessary as stdout is already locked by libc (see
comment.) Not sure which part isn't working.

Add newlib libc locking using FreeRTOS primitives

freertos: Change variable name in comment

esp32 syscalls.c: Use rom/uart.h for uart_tx_one_char prototype

CI: Pass IDF_PATH to build_system_tests.sh

'Merge branch 'thread_local_storage_delete_callbacks' into 'master'

The thread-local-storage feature in FreeRTOS attaches an application-usable array of pointers to a thread control block. These pointers usually point to a structure the thread allocates. When a thread gets (voluntarily or involuntarily) destroyed, this memory can leak. This merge adds a matching second array of user-settable pointers to destructor routines. As soon as the task gets cleaned up (which happens in the idle thread), the destructors get called and the memory can be freed.

See merge request !19

Make: Building the bootloader depends on syncing its sdkconfig from the top-level project

Makefile: Don't re-build libraries or re-link ELF files if nothing has changed in the component

make/build_system_tests.sh should now pass.

Makefile: Rename $(vecho) to $(summary), add new $(details) for echoing details when V=1

make bootloader: Always recurse into bootloader directory to check source dependencies

Add build system test (via bash script)

Currently fails due to bootloader not automatically rebuilding anything,
and ELF/BIN files generating when nothing changed.

Merge branch 'feature/docs_linux_gettingstarted' into 'master'

docs: add linux getting started guide

See merge request !16

docs: update linux getting started guide

- add commands to get prerequisites on Debian and Arch
- change "Terminal.app" to "terminal"
- add note on python2 for Arch users

Merge branch 'bugfix/ci-menuconfig-noninteractive' into 'master'

Fix for noninteractive builds

This MR fixes the case when new Kconfig configuration options were added
and you run `make menuconfig`. Previously this would first show console
prompt to set values for new options, and then launch menuconfig.
Now this will just launch menuconfig. New items are marked as `(NEW)`.

New target is added, defconfig, which may be useful for non-interactive
environments to set default values for all new configuration options.

Gitlab CI uses `make defconfig` to update sdkconfig in case any new
options were added in ESP-IDF.

See merge request !15

docs: add linux getting started guide

Currently this is mostly a verbatim copy of macOS guide with some obvious changes.
Exact lists of dependencies for Debian and Arch need to be specified.
Also made minor fixes to Windows and macOS guides:
- changed http urls to https
- added --prefix=$PWD to crosstool-NG's configure
- added chmod u+w for the build output directory

In general, except for prerequisites, Linux and macOS guides are virtually identical.
It might make sense to refactor this into single document with prerequisites being
described in separate docs.

gitlab-ci: run make defconfig before make all to update sdkconfig

make: add defconfig, don't run silentoldconfig before menuconfig

This commit fixes the case when new Kconfig configuration options were added and you run `make menuconfig`.
Previously this would first show console prompt to set values for new options, and then launch menuconfig.
Now this will just launch menuconfig.
New target is added, defconfig, which may be useful for non-interactive environments to set default values for
all new configuration options.

Merge branch 'feature/configurable_add_lf_after_cr_printf' into 'master'

Add cr after a lf is printed (configurable)

Small menuconfig option to make the newlib stdout functions replicate the behaviour of ets_printf e.a. by sending out a \r before every \n.

See merge request !14

Add cr after a lf is printed (configurable)

Formatting

Merge branch 'feature/nvs_tests' into 'master'

Power off recovery tests for non-volatile storage library, bug fixes, test coverage

This merge request:
- fixes several issues with internal state handling in nvs::Page
- fixes possible infinite loop when initializing namespace list
- fixes nvs_get_{str,blob} APIs to behave according to header file doc (they didn't return *length)
- adds extra consistency checks in nvs::PageManger initialization.
- adds test coverage via gcov and lcov
- adds host side tests during CI builds

See merge request !9

components/nvs: strlcpy is not available on Linux, replace with strncpy and terminate strings explicitly