nvs: check that storage has at least one free page

This change adds a check for the free page count to nvs_flash_init.
Under normal operation, NVS keeps at least one free page available,
except for transient states such as freeing up new page. Due to external
factors (such as NVS partition size reduction) this free page could be
lost, making NVS operation impossible. Previously this would cause an
error when performing any nvs_set operation or opening a new namespace.
With this change, an error is returned from nvs_flash_init to indicate
that NVS partition is in such a state.

nvs: add missing error code descriptions

Merge branch 'bugfix/mdns_security_issues' into 'master'

Bugfix/mdns security issues

Fixes a series of security issues with MDNS.

STACK-SMASH: https://github.com/espressif/esp-idf/blob/dd3f18d2d88ee78909d4af2840dfdf0b9f715f28/components/mdns/mdns.c#L494:
The sprintf is not limited. We can execute the sprintf codeflow as
many times as we want, allowing arbitrary long data being written
into stack.

PACKET-OF-DEATH:
https://github.com/espressif/esp-idf/blob/dd3f18d2d88ee78909d4af2840dfdf0b9f715f28/components/mdns/mdns.c#L502.
The compare allows equal, and thus jumping back to it self infinite
recursion -> guaranteed crash

TXT-SMASH: https://github.com/espressif/esp-idf/blob/dd3f18d2d88ee78909d4af2840dfdf0b9f715f28/components/mdns/mdns.c#L1381
The loop does not check on reaching a->txt maximum size (1024),
resulting in stack overflow.

See merge request !576

address security issues with mDNS

Merge branch 'bugfix/make_test_components' into 'master'

make: don’t override TEST_COMPONENTS

When idf_monitor is launched from make, it gets modified `TEST_COMPONENTS`
variable which contains full paths to the test components instead of the
names. This causes `TEST_COMPONENT_PATHS` to be empty and the unit test
app gets built without any test components.

This change introduces an internal `TEST_COMPONENTS_LIST` variable which
gets set either from `COMPONENTS` if `TESTS_ALL` is 1, or from
`TEST_COMOPONENTS` otherwise.
Bootloader makefile is also fixed to avoid propagating `TESTS_ALL` to the
bootloader build step.

See merge request !569

Merge branch 'bugfix/fix_uart_stop_bit_2bit_error' into 'master'

bug fix: fix uart data bug when stop-bit is set as 2-bit mode

This is a workaround for a hardware bug.
When we want to use 2-stop-bit mode, we need to set stop-bit-1 and set dl1_en in rs485 register.

See merge request !544

Merge branch 'feature/aws_iot_sdk' into 'master'

Amazon AWS IoT SDK

Amazon IoT SDK component, plus two examples derived from their Linux samples.

See merge request !132

AWS IoT Device SDK Support

Use device cert/key embedded in firmware, or loaded from filesystem.

Merge branch 'bugfix/unit_test_app_print_tests_in_correct_order' into 'master'

Fix unit test app to print tests in the same order they are given in test file

This fixes the unit test app to print test cases in the same order they are given in test file.

See merge request !460

fix unit test app to print tests in the same order they are given in files

bugfix: fix uart 2-stop-bit error

Fix uart data bug when stop-bit is set as 2-bit mode.
This is just a software workaround.

Merge branch 'bugfix/adv_type_error' into 'master'

component/bt: modify BLE advertising type error

fix BLE advertising type error

See merge request !568

Merge branch 'feature/tighter_rom_memory_defines' into 'master'

Use more regions reserved for ROM routines/stack we don't use for heap.

This frees up about 28K of RAM.

See merge request !467

MR things

make: don’t override TEST_COMPONENTS

When idf_monitor is launched from make, it gets modified TEST_COMPONENTS
variable which contains full paths to the test components instead of the
names. This causes TEST_COMPONENT_PATHS to be empty and the unit test
app gets built without any test components.

This change introduces an internal TEST_COMPONENTS_LIST variable which
gets set either from $(COMPONENTS) if TESTS_ALL is 1, and from
TEST_COMOPONENTS otherwise.
Bootloader makefile is also fixed to avoid propagating TESTS_ALL to the
bootloader build step.

component/bt: modify BLE advertising type error

Merge branch 'feature/wifi_deinit_2' into 'master'

wifi deinit: update esp_wifi_deinit()

1. move ets_timer_deinit() to wifi_deinit()

2. delete wifi api mutex when wifi deinit

See merge request !563

Merge branch 'bugfix/btdm_gatt_attribute_table_debug' into 'master'

bt component: fix bluetooth gatt packets process bugs

1. Add process of prepare write request packets
2. Add process of execute write request packets
3. Add process of reliable write request packets
4. Fix bug of processing read blob request packets
5. Fix bug of processing write request packets
6. Optimize error check and process in stack

See merge request !558

Merge branch 'bugfix/wakeup_gpio_doc' into 'master'

deep sleep: add notice that pads used for wakeup will be configured as RTC GPIOs

Closes https://github.com/espressif/esp-idf/issues/245

See merge request !431

deep sleep: add notice that pads used for wakeup will be configured as RTC GPIOs

Closes https://github.com/espressif/esp-idf/issues/245

Merge branch 'bugfix/unit_test_parser_only_dirs' into 'master'

unit tests: Make UnitTestParser ignore non-directories inside 'components' dirs

Tiny fix to UnitTestParser script behaviour, if you happen to have any stray files in your "components" directories.

See merge request !561

Malloc test: tabs -> spaces, fix description

MR suggestions

Add small testcase

Validate more GPIO ROM functions for non-use of static RAM

tight 28k

Merge branch 'bugfix/fix_ulp_unit_test' into 'master'

ulp: ignore unit tests which use deep sleep

See merge request !566

bt component: code style update

bt component: update if…else code style

ulp: ignore tests which use deep sleep

Merge branch 'feature/deep_sleep_wakeup_from_touch' into 'master'

add wakeup from touch sensor, and deep sleep example

- add new deep sleep wakeup mode
- change documentation to explain incompatibilities between different wakeup mode, add error checks
- add new ULP instructions necessary for ULP wakeup scenario
- fix issues with I_WR_REG, I_SLEEP, I_END instructions
- add deep sleep example, illustrating the use of timer, gpio, touch, and ULP wakeup triggers

See merge request !461

wifi deinit: update esp_wifi_deinit()

1. move ets_timer_deinit() to wifi_deinit()

2. delete wifi api mutex when wifi deinit

mbedtls: Enable filesystem support

fatfs: Support for Long Filenames

bt component: optimize gatt debug information

Merge branch 'bugfix/btdm_host_init_flow' into 'master'

add extra check before bluedroid init and disable

add extra check before bluedroid init and disable to avoid the mixed call cause unexpected errors.

See merge request !553

Merge branch 'feature/btdm_cfg_stack_size' into 'master'

component/bt: optimize stack size of Bluetooth Tasks and make them be configurab…

Bluetooth tasks' stack size are optimized and can be configured by the CONFIG_NEWLIB_NANO_FORMAT option.

See merge request !559

Merge branch 'feature/touch_pad_examples' into 'master'

Examples on using capacitive touch sensors

- `touch_pad_read` - read sensor values  and show on terminal
- `touch_pad_interrupt` - perform simple calibration; trigger an interrupt when any pad is touched

See merge request !530

mbedTLS: Add generic support for mbedTLS debug output via the esp_log functionality

Embedding files: Don't use directory fragments in embed paths

Add jsmn JSON parser component

unit tests: Make UnitTestParser ignore non-directories inside 'components' dirs

Merge branch 'feature/esptool_espefuse_set_flash_voltage' into 'master'

esptool version bump and new "espefuse.py set_flash voltage" command

* New "espefuse.py set_flash_voltage" command to easily set a fix
  VDD_SDIO regulator voltage (1.8V, 3.3V or disabled).
* Fixes bugs when flashing files with non-4-byte aligned lengths
  (doesn't effect esp-idf image files)
* esptool README improvements
* Detect overlapping files in write_flash
* read_mac now works correctly on ESP32
* Integrates reset fix for older dev boards (formerly the "Windows ESP32R0 reset workaround")

See merge request !481

- examples: add 'Capacitive touch sensor read' example
- examples: add 'Capacitive touch sensor interrupts' example
- Code review comments implemented
- use only one image
- add external picture of ESP32 Demo Board V2

component/bt: optimize stack size of Bluetooth Tasks and make them be configurable according to the CONFIG_NEWLIB_NANO_FORMAT option

Merge branch 'feature/lwip_numbers' into 'master'

Change max number of open sockets

Change max number of open sockets from 16 to 32 because of MFI project need support 21 open sockets at least.

See merge request !532

Merge branch 'feature/unit_tests_in_app' into 'master'

make: look for TEST_COMPONENTS in all component directories

This change allows building unit tests found inside the project components directory.

fixes https://github.com/espressif/esp-idf/issues/354

See merge request !537

Merge branch 'bugfix/soc_io_mux_h' into 'master'

esp32: update io_mux_reg.h to latest version

fixes https://github.com/espressif/esp-idf/issues/349

See merge request !546

bt component: fix bluetooth gatt packets process bugs

1. Add process of prepare write request packets
2. Add process of execute write request packets
3. Add process of reliable write request packets
4. Fix bug of processing read blob request packets
5. Fix bug of processing write request packets
6. Optimize error check and process in stack

Merge branch 'bugfix/partition_and_mmap_issues' into 'master'

Fix partition- and mmap-related issues

- Fix unit tests failing to start up due to a mismatch between sdkconfig flash size and size required by partition table.
- Fix a bug that partition APIs loaded the partition table in reverse order. As such, `esp_partition_next` and `esp_partition_find_first` did not work as expected. Add a test.
- Update the workaround for stale cache reads issue: do Cache_Flush for non-encrypted flash as well. Add a test.

See merge request !555

Merge branch 'bugfix/master_out_of_sync' into 'master'

Merge github master branch

We have set up auto-push from release branch, but the CI script had `git push github HEAD:master` command in it.
Normally remote would reject the push from release branch into master because remote would have commits which the release branch didn't have.
But unit tests have been failing in master, so master branch wasn't deployed to Github recently, and Github master branch was behind the release branch. So the push from release branch into Github master went okay and now Gitlab master is behind Github master.

This PR merges Github master (which is now equal to release/v2.0) into Gitlab master so that automatic push can work again.

The original issue with push to master is also fixed.

See merge request !556

ci: fix release branch being pushed into master

Also fix variable quoting issue in link check build.

spi_flash: fix stale data being read from mmaped region

The issue that cache entries are not invalidated correctly sometimes
can also be reproduced for non-encrypted flash as well.
This change updates the workaround to do Cache_Flush, enabling it for
non-encrypted flash, and adds a unit test.

partition_table: update unit test

- change order of assert arguments to (expected, actual)
- set expected partition count to 3 to match the new partition table
- use the new get_test_partition facility
- check that partitions are listed in correct order
- remove leftover debugging printfs

spi_flash: fix partitions order

Pointer to the tail of linked list was never set, so partitions were
added to the head, instead of adding them to the tail.

Merge branch 'feature/run_test_on_release_branches' into 'master'

CI: support running CI test on release branches

Patches will be cherry-picked to release branches after it's released. Therefore we need to run test jobs with the same strategy as master.

See merge request !551

Merge branch 'bugfix/fix_mpdu_len_error' into 'master'

esp32: update wifi lib to fix mpdu len error

Fix mpdu len error which impact espressif smartconfig

See merge request !552

unit-test-app: default to 4MB flash

Merge branch 'bugfix/fix_mpdu_len_error' into 'master'

esp32: update wifi lib to fix mpdu len error

Fix mpdu len error which impact espressif smartconfig

See merge request !552

add extra check before bluedroid init and disable

esp32: update wifi lib to fix mpdu len error

Fix mpdu len error which impact espressif smartconfig

Merge branch 'feature/run_test_on_release_branches' into 'master'

CI: support running CI test on release branches

Patches will be cherry-picked to release branches after it's released. Therefore we need to run test jobs with the same strategy as master.

See merge request !551

Merge branch 'bugfix/free_iram' into 'master'

uart driver: Remove ISR from IRAM

See merge request !486

CI: support running CI test on release branches

uart driver: Remove UART ISR handler from IRAM

Doesn't change example behaviour, as ISR wasn't being registered as
ESP_INTR_FLAG_IRAM.

Merge branch 'bugfix/github_small_fixes' into 'master'

Merge small bugfix PRs from github

* https://github.com/espressif/esp-idf/pull/389
* https://github.com/espressif/esp-idf/pull/382
* https://github.com/espressif/esp-idf/pull/367
* https://github.com/espressif/esp-idf/pull/366
* https://github.com/espressif/esp-idf/pull/361
* https://github.com/espressif/esp-idf/pull/355
* https://github.com/espressif/esp-idf/pull/350
* https://github.com/espressif/esp-idf/pull/348
* https://github.com/espressif/esp-idf/pull/339
* https://github.com/espressif/esp-idf/pull/46
* https://github.com/espressif/esp-idf/pull/307

See merge request !541

esptool: Update esptool.py to integrate reset fix for older dev boards

Originally marked "Reset with ESP32R0 Windows workaround", but proven to be
necessary on some other platforms as well. This is now integrated into the
default esptool.py reset behaviour.

Closes #305 https://github.com/espressif/esp-idf/issues/305

esptool: Update to latest v2.0 beta version

* New "espefuse.py set_flash_voltage" command to easily set a fix
  VDD_SDIO regulator voltage (1.8V, 3.3V or disabled).
* Fixes bugs when flashing files with non-4-byte aligned lengths
  (doesn't effect esp-idf image files)
* README improvements

docs/eclipse: Add considerations for PATH, PYTHONPATH

Thanks to @motla who mentioned these on github:
https://github.com/espressif/esp-idf/pull/157#issuecomment-271109920

esp_err: Use separate code path for ESP_ERROR_CHECK assertion

* Minimum code size overhead
* Makes function safe to use when flash cache is disabled

Builds on #339 https://github.com/espressif/esp-idf/pull/339

spi_flash: Add spi_flash_cache_enabled() test function

sdmmc: Use slot width as default slot_config width parameter, instead of 4

Ref #361 https://github.com/espressif/esp-idf/pull/361

component/bt: fix bug where uuid was not reset in btc_gatts_act_create_attr_tab.

Merges #307 https://github.com/espressif/esp-idf/pull/307

ble: Fix ble_adv data truncation

Fixed issue with ble_adv data being truncated after the 31st octet due to an incorrect length passed in a memcpy.

Merges #389 https://github.com/espressif/esp-idf/pull/389

docs/*-setup: Use --enable-local instead of --prefix=$PWD for ct-ng

docs/linux-setup: Install dependencies for Ubuntu 16.04

Not sure which Ubuntu is used in the installation guide but for the latest LTS release 16.04 we need libtool-bin for
compiling crosstool-NG proper

Merges #46 https://github.com/espressif/esp-idf/pull/46

esp_err: add NDEBUG guard, comment about flash cache

Follow-up to 316b040

Update to ESP_ERROR_CHECK

See request from ESP_Angus here:
https://esp32.com/viewtopic.php?f=18&t=1179

Merges #339 https://github.com/espressif/esp-idf/pull/339

Added missing platform.h to mbedtls ssl.h

There was a missing definition of mbedtls_time_t

See for example:
https://travis-ci.org/SHA2017-badge/Firmware/jobs/202459377

Merges #348 https://github.com/espressif/esp-idf/pull/348

lwip: Use strlcpy() instead of memcpy() to copy hostname to static buffer

lwip: Fix hostname set in tcpip_adapter_lwip

Hostname for each interface is not correctly stored in "hostinfo" variable.

Merges #350 https://github.com/espressif/esp-idf/pull/350

docs: Fix typo in build-system.rst

Merges #355 https://github.com/espressif/esp-idf/pull/355

sdmmc: Add width field to the slot config.

Therefore if the width is set to 1, you can choose to only
configure the CLK, DAT0 and CMD pins.

Merges #361 https://github.com/espressif/esp-idf/pull/361

examples/ethernet: Same sense of meaning SW_STRAP

Merges #366 #367
https://github.com/espressif/esp-idf/pull/366
https://github.com/espressif/esp-idf/pull/367

examples/ethernet: typo, better named

Merges #382 https://github.com/espressif/esp-idf/pull/382

Merge branch 'bugfix/separate_ethernet_and_wifi' into 'master'

Allow separate ethernet & wifi configuration

If only 1/2 of ethernet & WiFi are enabled in config, the other interface is no longer linked into the firmware.

* Fixes bug where enabling Ethernet but not WiFi would fail to compile.
* Also means that enabling WiFi but not Ethernet no longer links some unused ethernet interface functions.

See merge request !525

Merge branch 'bugfix/freertos_event_groups' into 'master'

FreeRTOS: Fix cross-core event group sync

As above

Also includes fixes which allowed removing some semi-hacky bits from the event group unit tests - specifically, higher priority tasks will always be started immediately even if they run on the opposite core.

See merge request !535

Merge branch 'bugfix/rsa4096' into 'master'

mbedtls: Use two MPI multiplications when multiply operands too large

Allows RSA4096 via hardware crypto operations.

Closes #139 https://github.com/espressif/esp-idf/issues/139

See merge request !477

Merge branch 'feature/fatfs_dynamic_pdrv' into 'master'

FATFS enable support for multiple drives

Current implementation has drive numbers and paths hardcoded to support
only one FATFS drive. Arduino has it's own SPI driver to allow
compatibility and flexibility. With the MR it is possible to have up to
```_VOLUMES``` drives connected (SPI, SDMMC and others) at the same
time and accessed through VFS

See merge request !478

Merge branch 'bugfix/openssl_debuging_error' into 'master'

components/openssl : Fix compilation error when openssl debugging is enabled

See merge request !512

Merge branch 'feature/freertos_kconfig' into 'master'

freertos kconfig: Add max task length name, move task stack overflow watchpoint

* Allow setting task name length via kconfig
* Move task stack overflow watchpoint out of internals debugging submenu, place next to other stack overflow checks.
* Thread local pointer feature should depend on Ethernet or WiFi

See merge request !531

Merge branch 'feature/docs_partition_ota_flash' into 'master'

Partition/SPI/OTA docs & OTA new functionality

* Update partition, SPI flash & OTA docs to reflect functionality changes
* Refactor OTA implementation to perform checks mentioned in API doc
* Add new functions to OTA API: esp_ota_get_running_partition() & esp_ota_get_next_update_partition() functions
* Add spi_flash_cache2phys() & spi_flash_phys2cache() functions to support esp_ota_get_running_partition()

See merge request !513

Merge branch 'feature/enable_qio_directly' into 'master'

Enable SPI flash Quad I/O in bootloader

Bootloader checks flash ID, enables Quad I/O mode based on flash type.

See merge request !479

Merge branch 'feature/tw10306_menuconfig_adds_some_wifi_options' into 'master'

menuconfig adds some WiFi options

menuconfig adds some WiFi options
 1. Add options to enable/disable AMPDU
  2. Add options to configure WiFi task stack size
  3. Add options to configure WiFi RX/TX buffer number

See merge request !519

esp32: update io_mux_reg.h to latest version

fixes https://github.com/espressif/esp-idf/issues/349

esp32: menuconfig adds some WiFi options

1. Add options to enable/disable AMPDU
2. Add options to enable/disable WIFI NVS
3. Add options to configure WiFi RX/TX buffer number

Merge branch 'feature/add_user_set_mac' into 'master'

Feature/add user set mac

1. Add menuconfig for user to set mac address of wifi, bt and ethernet.
2. Add the number of MAC address generated from efuse for user to choose.
3. Add MAC address derive method.

See merge request !542

Merge branch 'bugfix/tw10169_dhcp_release_cause_tcp_abort' into 'master'

Bugfix/tw10169 dhcp release cause tcp abort

Modify the DHCP timer granularity from 1 minutes to 1 second.

See merge request !539

Merge branch 'feature/in_isr_context' into 'master'

Add xPortInIsrContext function + unit test

As title states.

See merge request !533

Add xPortInIsrContext function + unit test. This function returns true when the current CPU runs in an interrupt handler context.