Merge branch 'bugfix/partition_and_mmap_issues' into 'master'

Fix partition- and mmap-related issues

- Fix unit tests failing to start up due to a mismatch between sdkconfig flash size and size required by partition table.
- Fix a bug that partition APIs loaded the partition table in reverse order. As such, `esp_partition_next` and `esp_partition_find_first` did not work as expected. Add a test.
- Update the workaround for stale cache reads issue: do Cache_Flush for non-encrypted flash as well. Add a test.

See merge request !555

Merge branch 'bugfix/master_out_of_sync' into 'master'

Merge github master branch

We have set up auto-push from release branch, but the CI script had `git push github HEAD:master` command in it.
Normally remote would reject the push from release branch into master because remote would have commits which the release branch didn't have.
But unit tests have been failing in master, so master branch wasn't deployed to Github recently, and Github master branch was behind the release branch. So the push from release branch into Github master went okay and now Gitlab master is behind Github master.

This PR merges Github master (which is now equal to release/v2.0) into Gitlab master so that automatic push can work again.

The original issue with push to master is also fixed.

See merge request !556

ci: fix release branch being pushed into master

Also fix variable quoting issue in link check build.

spi_flash: fix stale data being read from mmaped region

The issue that cache entries are not invalidated correctly sometimes
can also be reproduced for non-encrypted flash as well.
This change updates the workaround to do Cache_Flush, enabling it for
non-encrypted flash, and adds a unit test.

partition_table: update unit test

- change order of assert arguments to (expected, actual)
- set expected partition count to 3 to match the new partition table
- use the new get_test_partition facility
- check that partitions are listed in correct order
- remove leftover debugging printfs

spi_flash: fix partitions order

Pointer to the tail of linked list was never set, so partitions were
added to the head, instead of adding them to the tail.

Merge branch 'feature/run_test_on_release_branches' into 'master'

CI: support running CI test on release branches

Patches will be cherry-picked to release branches after it's released. Therefore we need to run test jobs with the same strategy as master.

See merge request !551

Merge branch 'bugfix/fix_mpdu_len_error' into 'master'

esp32: update wifi lib to fix mpdu len error

Fix mpdu len error which impact espressif smartconfig

See merge request !552

unit-test-app: default to 4MB flash

Merge branch 'bugfix/fix_mpdu_len_error' into 'master'

esp32: update wifi lib to fix mpdu len error

Fix mpdu len error which impact espressif smartconfig

See merge request !552

esp32: update wifi lib to fix mpdu len error

Fix mpdu len error which impact espressif smartconfig

Merge branch 'feature/run_test_on_release_branches' into 'master'

CI: support running CI test on release branches

Patches will be cherry-picked to release branches after it's released. Therefore we need to run test jobs with the same strategy as master.

See merge request !551

Merge branch 'bugfix/free_iram' into 'master'

uart driver: Remove ISR from IRAM

See merge request !486

CI: support running CI test on release branches

uart driver: Remove UART ISR handler from IRAM

Doesn't change example behaviour, as ISR wasn't being registered as
ESP_INTR_FLAG_IRAM.

Merge branch 'bugfix/github_small_fixes' into 'master'

Merge small bugfix PRs from github

* https://github.com/espressif/esp-idf/pull/389
* https://github.com/espressif/esp-idf/pull/382
* https://github.com/espressif/esp-idf/pull/367
* https://github.com/espressif/esp-idf/pull/366
* https://github.com/espressif/esp-idf/pull/361
* https://github.com/espressif/esp-idf/pull/355
* https://github.com/espressif/esp-idf/pull/350
* https://github.com/espressif/esp-idf/pull/348
* https://github.com/espressif/esp-idf/pull/339
* https://github.com/espressif/esp-idf/pull/46
* https://github.com/espressif/esp-idf/pull/307

See merge request !541

docs/eclipse: Add considerations for PATH, PYTHONPATH

Thanks to @motla who mentioned these on github:
https://github.com/espressif/esp-idf/pull/157#issuecomment-271109920

esp_err: Use separate code path for ESP_ERROR_CHECK assertion

* Minimum code size overhead
* Makes function safe to use when flash cache is disabled

Builds on #339 https://github.com/espressif/esp-idf/pull/339

spi_flash: Add spi_flash_cache_enabled() test function

sdmmc: Use slot width as default slot_config width parameter, instead of 4

Ref #361 https://github.com/espressif/esp-idf/pull/361

component/bt: fix bug where uuid was not reset in btc_gatts_act_create_attr_tab.

Merges #307 https://github.com/espressif/esp-idf/pull/307

ble: Fix ble_adv data truncation

Fixed issue with ble_adv data being truncated after the 31st octet due to an incorrect length passed in a memcpy.

Merges #389 https://github.com/espressif/esp-idf/pull/389

docs/*-setup: Use --enable-local instead of --prefix=$PWD for ct-ng

docs/linux-setup: Install dependencies for Ubuntu 16.04

Not sure which Ubuntu is used in the installation guide but for the latest LTS release 16.04 we need libtool-bin for
compiling crosstool-NG proper

Merges #46 https://github.com/espressif/esp-idf/pull/46

esp_err: add NDEBUG guard, comment about flash cache

Follow-up to 316b040

Update to ESP_ERROR_CHECK

See request from ESP_Angus here:
https://esp32.com/viewtopic.php?f=18&t=1179

Merges #339 https://github.com/espressif/esp-idf/pull/339

Added missing platform.h to mbedtls ssl.h

There was a missing definition of mbedtls_time_t

See for example:
https://travis-ci.org/SHA2017-badge/Firmware/jobs/202459377

Merges #348 https://github.com/espressif/esp-idf/pull/348

lwip: Use strlcpy() instead of memcpy() to copy hostname to static buffer

lwip: Fix hostname set in tcpip_adapter_lwip

Hostname for each interface is not correctly stored in "hostinfo" variable.

Merges #350 https://github.com/espressif/esp-idf/pull/350

docs: Fix typo in build-system.rst

Merges #355 https://github.com/espressif/esp-idf/pull/355

sdmmc: Add width field to the slot config.

Therefore if the width is set to 1, you can choose to only
configure the CLK, DAT0 and CMD pins.

Merges #361 https://github.com/espressif/esp-idf/pull/361

examples/ethernet: Same sense of meaning SW_STRAP

Merges #366 #367
https://github.com/espressif/esp-idf/pull/366
https://github.com/espressif/esp-idf/pull/367

examples/ethernet: typo, better named

Merges #382 https://github.com/espressif/esp-idf/pull/382

Merge branch 'bugfix/separate_ethernet_and_wifi' into 'master'

Allow separate ethernet & wifi configuration

If only 1/2 of ethernet & WiFi are enabled in config, the other interface is no longer linked into the firmware.

* Fixes bug where enabling Ethernet but not WiFi would fail to compile.
* Also means that enabling WiFi but not Ethernet no longer links some unused ethernet interface functions.

See merge request !525

Merge branch 'bugfix/freertos_event_groups' into 'master'

FreeRTOS: Fix cross-core event group sync

As above

Also includes fixes which allowed removing some semi-hacky bits from the event group unit tests - specifically, higher priority tasks will always be started immediately even if they run on the opposite core.

See merge request !535

Merge branch 'bugfix/rsa4096' into 'master'

mbedtls: Use two MPI multiplications when multiply operands too large

Allows RSA4096 via hardware crypto operations.

Closes #139 https://github.com/espressif/esp-idf/issues/139

See merge request !477

Merge branch 'feature/fatfs_dynamic_pdrv' into 'master'

FATFS enable support for multiple drives

Current implementation has drive numbers and paths hardcoded to support
only one FATFS drive. Arduino has it's own SPI driver to allow
compatibility and flexibility. With the MR it is possible to have up to
```_VOLUMES``` drives connected (SPI, SDMMC and others) at the same
time and accessed through VFS

See merge request !478

Merge branch 'bugfix/openssl_debuging_error' into 'master'

components/openssl : Fix compilation error when openssl debugging is enabled

See merge request !512

Merge branch 'feature/freertos_kconfig' into 'master'

freertos kconfig: Add max task length name, move task stack overflow watchpoint

* Allow setting task name length via kconfig
* Move task stack overflow watchpoint out of internals debugging submenu, place next to other stack overflow checks.
* Thread local pointer feature should depend on Ethernet or WiFi

See merge request !531

Merge branch 'feature/docs_partition_ota_flash' into 'master'

Partition/SPI/OTA docs & OTA new functionality

* Update partition, SPI flash & OTA docs to reflect functionality changes
* Refactor OTA implementation to perform checks mentioned in API doc
* Add new functions to OTA API: esp_ota_get_running_partition() & esp_ota_get_next_update_partition() functions
* Add spi_flash_cache2phys() & spi_flash_phys2cache() functions to support esp_ota_get_running_partition()

See merge request !513

Merge branch 'feature/enable_qio_directly' into 'master'

Enable SPI flash Quad I/O in bootloader

Bootloader checks flash ID, enables Quad I/O mode based on flash type.

See merge request !479

Merge branch 'feature/tw10306_menuconfig_adds_some_wifi_options' into 'master'

menuconfig adds some WiFi options

menuconfig adds some WiFi options
 1. Add options to enable/disable AMPDU
  2. Add options to configure WiFi task stack size
  3. Add options to configure WiFi RX/TX buffer number

See merge request !519

esp32: menuconfig adds some WiFi options

1. Add options to enable/disable AMPDU
2. Add options to enable/disable WIFI NVS
3. Add options to configure WiFi RX/TX buffer number

Merge branch 'feature/add_user_set_mac' into 'master'

Feature/add user set mac

1. Add menuconfig for user to set mac address of wifi, bt and ethernet.
2. Add the number of MAC address generated from efuse for user to choose.
3. Add MAC address derive method.

See merge request !542

Merge branch 'bugfix/tw10169_dhcp_release_cause_tcp_abort' into 'master'

Bugfix/tw10169 dhcp release cause tcp abort

Modify the DHCP timer granularity from 1 minutes to 1 second.

See merge request !539

Merge branch 'feature/in_isr_context' into 'master'

Add xPortInIsrContext function + unit test

As title states.

See merge request !533

Add xPortInIsrContext function + unit test. This function returns true when the current CPU runs in an interrupt handler context.

mac address: add the number of MAC address generated from efuse for user to choose

1. Add the number of MAC address generated from efuse for user to choose.

2. Add MAC address derive method.

Merge branch 'bugfix/rng_disabled_wifi_stop_2' into 'master'

esp32: Fix hardware rng after esp_wifi_stop (second implementation)

Ensures hardware RNG remains enabled at all times.

Reworked  version of !534

See merge request !536

Merge branch 'bugfix/fix_some_default_lwip_bool_options' into 'master'

Bugfix/fix some default lwip bool options

menuconfig options with bool type should use 'y/n' to set the default value, instead of '1/0'

See merge request !538

component/bt: modify the bluetooth read_efuse_mac interface

mac address: add user set mac address

add menuconfig for user to set mac address of wifi, bt and ethernet.

Check DHCP rebind timer before checking dhcp release timer in cause they have the same value.

lwip: modify dhcp timer granularity from 60s to 1s

Current DHCP granularity is 60 seconds, it's not accurate, it can cause DHCP release/rebind/renew timer
timeout at the same time, also it may renew/rebind/release at wrong time, thus cause problem.

mac address: add user set mac address

add menuconfig for user to set mac address of wifi, bt and ethernet.

lwip: fix bool options default value wrong issue

menuconfig options with bool type should use 'y/n' to use the default value,
instead of '1/0'

Merge branch 'master' of ssh://gitlab.espressif.cn:27227/idf/esp-idf

esp32 phy_init: Move DPORT Wifi clock masks to macro values

Amended fix for c642079 !534

esp32 dport_reg.h: Fix typo in register bit names

Merge branch 'bugfix/mmap_instr' into 'master'

spi_flash: fix mmap not working for SPI_FLASH_MMAP_INST

Fixes https://github.com/espressif/esp-idf/issues/378

See merge request !528

spi_flash: fix memory leak when spi_flash_mmap arguments are invalid

Check src_addr and size first, then allocate new_entry.

Merge branch 'bugfix/esp_get_random_return_zero' into 'master'

Do not disable clock for generating random number.

1. Do not disable clock for generating random number.
2. And fix the bug that system crashes if call esp_wifi_stop() twice.

See merge request !534

freertos tests: Enable test_freertos_task_delete

freertos: Schedule tasks immediately when they are created on opposite core

freertos: Fix cross-core usage of event groups

Fixes & re-enabled broken unit tests
Adds per-event-group spinlock instead of single global lock

freertos Kconfig: Thread local storage pointer feature required for WiFi or Ethernet

update phy and rtc lib

1. RTC V214: modify APLL function for the chip of ECO version.

2. Add API phy_close_rf() and use it in esp_phy_deinit() instead of pm_close_rf().

3. RTC V213: fix BT will not work when BT-init is called more than once.

Merge branch 'master' of ssh://gitlab.espressif.cn:27227/idf/esp-idf

1. Do not disable clock for generating random number.

2. And fix the bug that system crashes if call esp_wifi_stop() twice.

Merge branch 'bugfix/sdmmc_fail_no_card' into 'master'

vfs_fat_sdmmc: if card init fails, fail cleanly

This fixes the issue with sdmmc_host not returned to clean state after a failed attempt to mount the card, with no SD card in the slot.

See merge request !527

freertos: Move the "set debug watchpoint as stack overflow check" out of debugging internals

Place it near the other stack overflow kconfig items, instead.

FreeRTOS: Support setting task name max length

Ref: https://esp32.com/viewtopic.php?f=13&t=1297&p=5762

Merge branch 'bugfix/set_channel_fail_before_enable_sniffer' into 'master'

wifi: fix issue in setting channel API

Update wifi libs to fix issue in setting channel API.

See merge request !529

wifi: fix issue in setting channel API

spi_flash: fix mmap not working for SPI_FLASH_MMAP_INST

vfs_fat_sdmmc: if card init fails, fail cleanly

This fixes the issue with sdmmc_host not returned to clean state after
a failed attempt to mount the card, with no SD card in the slot.

Merge branch 'bugfix/btdm_adv_scan_enable_report' into 'master'

component/bt : add adv/scan start complete event

1. indicate adv/scan start complete success or failed
2. controller do limit of adv/scan concurrence, so add some codes to report adv/scan start failed or not.

See merge request !524

Merge branch 'bugfix/set_channel_fail_before_enable_sniffer' into 'master'

wifi: fix issue in setting channel before sniffer is enabled

See merge request !526

wifi: fix issue in setting channel before sniffer is enabled

Merge branch 'bugfix/btdm_gatts_write_desc_error' into 'master'

component/bt:fixed the write ccc crash bug error

fix the gatt server write ccc lead to the system crash if not initialize the ccc value.

See merge request !515

ethernet example: Disable WiFi, enable Ethernet in default config

Ref: https://esp32.com/viewtopic.php?f=2&t=1249

wifi event_default_handlers/tcpip_adapter: Support disabling WiFi, keeping Ethernet

lwip: Refactor support for L2 pbuf free notification into each driver

Makes it easier to handle different drivers enabled at compile/link time.

Merge branch 'feature/btdm_ram_config' into 'master'

Optimize or release memory in bluetooth

1. add option to release about 30K from BT if BLE only
2. later BT/BLE will be separated by BT/BLE macro, but this option should use when user make sure that in BLE only mode.

See merge request !520

component/bt : add adv/scan start complete event

1. indicate adv/scan start complete success or failed
2. controller do limit of adv/scan concurrence, so add some codes to report adv/scan start failed or not.

Merge branch 'bugfix/app_tasks_start_on_wrong_cpu' into 'master'

Fix a scheduling bug

Fixes:
- Trivial bug where in some special cases a task could be started on the wrong core (and would run there for max 1 tick)
- More major bug causing a yield to be done with a mux held.

See merge request !523

Merge branch 'bugfix/spi_master_length' into 'master'

Fix SPI master transmit length

Tx/Rx length fix from https://github.com/espressif/esp-idf/pull/336

I also added an extra commit in to make use of a define instead of a literal, plus fix a (harmless) off-by-one condition.

See merge request !521

Fixed a small bug where a task could initially be scheduled on a wrong CPU, and a much bigger bug where a yield was performed with a held mux.

Merge branch 'bugfix/bootloader_disable_sar_test_mux' into 'master'

Deep sleep fixes

This change fixes extra 24 uA current consumption in deep sleep mode (https://esp32.com/viewtopic.php?f=2&t=1133).

Recent update to libphy/librtc caused another problem that WiFi related parts of RTC are no longer disabled by RTC sleep functions. This means that if WiFi is not disabled by the application before entering deep sleep, extra ~200uA of current would be consumed. This is fixed, and documentation for esp_deep_sleep and SNTP example are updated to mention that applications should take care of disabling WiFi and BT before going into the deep sleep mode.

See merge request !516

Merge branch 'bugfix/flash_write_single_core' into 'master'

spi_flash: fix protection issues

This MR fixes the two spi_flash related issues:

- esp_intr_noniram_{disable,enable} not being protected by spi_flash_op_{lock,unlock} in single core mode. This caused a safety assert to be triggered in esp_intr_noniram_disable.

- spi_flash_unlock not being protected by spi_flash_guard_{start,end}. This caused a conflict between SPI0 and SPI1 controllers when accessing SPI flash, manifesting in cache data corruption and IllegalInstruction exceptions, for some flash chips.

See merge request !522

spi_flash: protect spi_flash_unlock

spi_flash_unlock was missing spi_flash_guard_start, which caused cache
to be enabled during unlock operation, causing hard-to-trace crashes
and cache data corruption.

Merge branch 'bugfix/make_config_problems' into 'master'

build system: Fix several make & configuration problems

Collection of quasi-related build system fixes:
* Fix issues with "make menuconfig" running twice when no existing sdkconfig
* Fix issues with menuconfig getting into a bad state if "make -jN" and no existing sdkconfig
* Hopefully fix intermittent issue with build system sometimes not picking up all config, leading to missing BT/WiFi libs at compile/link time.
* Fix issues with path resolution on Windows (including in Eclipse)
* Add new BATCH_BUILD variable for IDEs and automated build environments.

See merge request !485

Build system: Add new BATCH_BUILD flag to disable interactive parts of the build

Mostly useful for Eclipse (where accidentally running interactive
config hangs the build), but also good for CI and other automated
build systems.

kconfig: Ignore Windows host-compiled executables

Eclipse: Process Windows paths correctly using cygpath

Includes splitting the Windows Eclipse setup doc into a separate page,
as it has so many additional steps.

Addresses github #17 and #166
https://github.com/espressif/esp-idf/issues/17
https://github.com/espressif/esp-idf/issues/166

build system: Account for Windows behaviour of make wildcard for some dirs

See github #166

Build system: Fix error if librtc submodule not available to bootloader

Closes #220 https://github.com/espressif/esp-idf/issues/220

build system: Fix parallel & double menuconfig issues when sdkconfig missing

Fixes misbehaviour of default menuconfig when sdkconfig is missing.

(Either appearing twice, or breaking if make -jN is used.)

build system: Probable fix for errors due to bad config bypassing components

See github #311 https://github.com/espressif/esp-idf/issues/311

Should fix weird compiler/linker bugs where config says something is
enabled, but build system says it is disabled.
Particularly noticeable when WiFi/BT libraries fail to
compile/link despite being enabled.

Underlying cause is configuration file regenerating, but component
Makefiles not reevaluating.

Entirely removes the idea that we don't need to generate config for some
targets (like 'clean'). We need valid config for these targets,
otherwise they don't know which files to clean (etc).

app_update: fix logic error when update ota info

ota ops: Rewrite esp_ota_get_next_update_partition() to be more predictable, add unit tests