deep sleep: add note about disabling WiFi and BT

This change adds a note to esp_deep_sleep that applications should disable WiFi and BT before going into deep sleep.
SNTP example is also updated.

deep sleep: bring some registers into known state

In case WiFi/BT stack has been enabled but wasn’t disabled, some RTC
bits may be left enabled, causing increased current consumption.
This change returns some of the bits back to their default values.

bootloader: disconnect VRTC from SAR input in bootloader_random_disable

Bootloader enables SAR ADC in test mode to get some entropy for the RNG.
The bits which control the ADC test mux were not disabled, which caused
extra ~24uA current to be drawn from VRTC, increasing deep sleep current
consumption. This change disables relevant test mode bits in
bootloader_random_disable.

Merge branch 'bugfix/exception_after_merge_phy_disable' into 'master'

bugfix: it causes exception that wifi interrupt happens when read/write flash, i…

…f pp_post() is on icache.

See merge request !518

bugfix: it causes exception that wifi interrupt happens when read/write flash, if pp_post() is on icache.

Merge branch 'feature/disable_phy_rf_when_disable_wifi_bt' into 'master'

disable PHY and RF when stop WiFi and disable BT

1. Add disable PHY and RF when WiFi and BT are both disabled(including call sniffer disable API).

2. Do not init PHY and RF when cpu start. Init PHY and RF when call Wifi or BT start APIs(including sniffer enable API).

3. Add a temporary lib: librtc_clk.a and will delete it when CPU frequency switching function is done.

4. Add an function to get OS tick rate.

5. Do not put the whole pp.a in iram0, only put lmac.o, ieee80211_misc.o, ets_time.o and wdev.o in iram0.

See merge request !510

Merge branch 'master' of ssh://gitlab.espressif.cn:27227/idf/esp-idf into feature/disable_phy_rf_when_disable_wifi_bt

component/bt : add bluetooth status check

1. add bluetooth controller/host initialize status check
2. separate bluetooth controller task schedule loop from controller init

coexist: enable coexist when wifi&bt are enabled, disable coexist when one of wifi&bt is disabled.

Merge branch 'bugfix/vfat_open_append' into 'master'

Fix fopen() in “a” (append) mode

fopen() does not work when file is opened in “a” (append) mode

* Merges github PR #302 https://github.com/espressif/esp-idf/pull/302
* Closes #328 https://github.com/espressif/esp-idf/issues/328

See merge request !503

phy init: modify some comments

Merge branch 'feature/doc_drivers' into 'master'

docs: Add missing peripheral driver docs (ADC, DAC, RTC I/O, I2S)

Plus some general driver doc related cleanup.

touch_pad docs to follow in a subsequent MR.

See merge request !508

uart driver docs: Remove references to setting interrupt number

Closes #185 https://github.com/espressif/esp-idf/issues/185

docs: Add missing peripheral driver docs (ADC, DAC, RTC I/O, I2S)

rtc_gpio: Replace RTC_GPIO_IS_VALID_GPIO macro with inline function

component/bt : add bt enable/disable for power save

1. add new APIs bt controller enable/disab/deinit
2. make bt controller work need to call two APIs of esp_bt_controller_init and enable
3. modify phy init to make mac reset once

fix compile error that if enable CONFIG_ESP32_PHY_INIT_DATA_IN_PARTITION compile fail

Merge branch 'feature/btdm_pll_track' into 'master'

component/bt : wide range work temperature for bluetooth RF

1. add PLL track for bluetooth RF for wide range temperature
2. move some initialized codes to cache

See merge request !511

component/bt : wide range work temperature for bluetooth RF

1. add PLL track for bluetooth RF for wide range temperature
2. move some initialized codes to cache

disable phy and rf

1. add a macro in menuconfig for users to choose whether store phy calibration data into NVS or not.

2. rename some disable phy and rf APIs so that existing code which calls old APIS will fail to compile.

disable PHY and RF when stop WiFi and disable BT

1. Add disable PHY and RF when WiFi and BT are both disabled(including call sniffer disable API).

2. Do not init PHY and RF when cpu start. Init PHY and RF when call Wifi or BT start APIs(including sniffer enable API).

3. Add a temporary lib: librtc_clk.a and will delete it when CPU frequency switching function is done.

4. Add an function to get OS tick rate.

5. Do not put the whole pp.a in iram0, only put lmac.o, ieee80211_misc.o, ets_time.o and wdev.o in iram0.

Merge branch 'bugfix/btdm_gatt' into 'master'

component/bt : fix gatt write memory leak

fix bug of GATT write cause memory leak

See merge request !506

Merge branch 'feature/ethernet_phy_power' into 'master'

ethernet: add a gpio to enable/disable phy power

ethernet board v2 use gpio 17 .

See merge request !495

Merge branch 'bugfix/btdm_iphone10_0_2' into 'master'

Bugfix/btdm iphone10 0 2

This connection error caused by iPhone, it think that TX data length must large than 27 when slave support EXTEND_DATA_LENGTH. But this should be allow. Besides,  the problem cannot be found on higher version of Iphone7, apple seemed to have fixed it.
Actually maybe other BLE device have the same problem.

See merge request !509

ethernet: add pin macro

component/bt : fix connection bug of Iphone7 10.0.2

This connection error caused by iPhone, it think that TX data length must large than 27 when slave support EXTEND_DATA_LENGTH. But this should be allow. Besides,  the problem cannot be found on higher version of Iphone7, apple seemed to have fixed it.
Actually maybe other BLE device have the same problem.

component/bt : fix gatt write memory leak

fatfs: Add unit test for overwrite/append fix

Merge branch 'bugfix/openssl_server_example' into 'master'

Example 10_openssl_server should use TLSv1.2 instead of SSLv3; fixed corrupted HTTP Header

* Merges github PR #214 https://github.com/espressif/esp-idf/pull/214
* Closes #333 https://github.com/espressif/esp-idf/issues/333

See merge request !501

openssl_server example: Roll back to TLS_server_method() for compatibility

Add a comment recommending TLS v1.2.

Merge branch 'docs/flash_encryption_disable' into 'master'

Docs: Document flash encryption disable steps, clean up flash encryption & secure boot docs

Generate clean up of flash encryption & secure boot docs

Including steps for disabling flash encryption (for people who accidentally enable it).

See merge request !500

Merge branch 'bugfix/gperf_v3_1' into 'master'

kconfig: Remove gperf 3.1+ incompatible kconf_conf_id forward declaration

Forward declaration was unused. gperf 3.1+ changed parameter type from
'unsigned int' to 'size_t'.

Ref github #200 https://github.com/espressif/esp-idf/issues/200#issuecomment-279377753
Fixes #315 https://github.com/espressif/esp-idf/issues/315
Fixes #251 https://github.com/espressif/esp-idf/issues/251

See merge request !498

Merge branch 'bugfix/add_espcoredump_to_add_paths_script' into 'master'

Add espcoredump to the add_path shell helper

Merges PR #335 https://github.com/espressif/esp-idf/pull/335

See merge request !504

Merge branch 'bugfix/send_crosscore_iram' into 'master'

esp32: Move esp_crosscore_int_send_yield() to IRAM

Merges PR #257 https://github.com/espressif/esp-idf/pull/257

See merge request !502

Merge branch 'bugfix/phy_init_write_nvs_once' into 'master'

phy_init: don’t rewrite valid calibration data

In the default PHY init routine, calibration data is loaded from NVS.
Most of the time the incremental changes to calibration will be fairly
small, so we don’t need to rewrite the existing calibration data stored
in the NVS.

Possible enhancement to be done in the future: expose a function in PHY
library to tell how big was the change in calibration data. If the
change was significant, then calibration data stored in NVS should be
updated.

See merge request !487

Merge branch 'bugfix/fix_protection_of_queue_list' into 'master'

freertos: fix protection issue in freertos queue event list

When functions in queue.c calls listLIST_IS_EMPTY() to check queue event list, the queue list is
protected by queue mutex, on the other hand, when xTaskIncrementTick() modify the queue list, the
 queue list is protected by xTaskQueueMutex, this may cause xTaskRemoveFromEventList operate on
the empty queue list and cause problem.
This change works around the problem by reducing the window where the race condition can happen.

See merge request !465

Merge branch 'bugfix/OTA_and_flash_encryption_incompatible' into 'master'

bootloader_support: fix bug OTA & flash encryption incompatible

github issue:https://github.com/espressif/esp-idf/issues/253

See merge request !464

Docs: Mark PDF links as such in the documentation index

Nothing worse than clicking what you think is an internal page link
and finding a PDF downloading!

README: Add some tips on using menuconfig

flash encryption/secure boot: Restructure documentation

Also add steps to disable flash encryption, as some people seem to
accidentally enable it.

Explicitly mark the flash encryption and secure boot as "READ DOCS
FIRST" in menuconfig.

Fix fopen() in “a” (append) mode

fopen() does not work when file is opened in “a” (append) mode

esp32: Move esp_crosscore_int_send_yield() to IRAM

Example 10_openssl_server should use TLSv1.2 instead of SSLv3; fixed corrupted HTTP Header

kconfig: Remove gperf 3.1+ incompatible kconf_conf_id forward declaration

Forward declaration was unused. gperf 3.1+ changed parameter type from
'unsigned int' to 'size_t'.

Merge branch 'bugfix/update_wifi_lib_to_include_some_fix_and_optimization' into 'master'

esp32: update wifi lib for some fixes and optimizations

1. Reduce the default static rx buffer size from 25 to 10
2. Adjust ampdu interrupt size to 3, namely, raise 1 interrupt per 3-mpdu
3. Make a copy for all received packets, including AMSDU/AMPDU/MPDU
4. Fix softap mis-forward issue
5. Fix pp q full issue
6. Fix sniffer copy wrong content issue

See merge request !491

Merge branch 'bugfix/btdm_blufi' into 'master'

fix BLUFI bug

fix BLUFI bug with small MTU size

See merge request !493

Merge branch 'bugfix/btdm_gatt_memleak' into 'master'

component/bt : fix GATT disconnect memory leak bug

fix a bug of memory leak of GATT disconnection

See merge request !496

Merge branch 'bugfix/btdm_demo_adv_raw_data' into 'master'

component/bt : use real adv data to set raw adv data

Use real advertising data to set raw advertising data in GATT-SERVER demo.

See merge request !492

component/bt : fix GATT disconnect memory leak bug

Add espcoredump to the add_path shell helper

ethernet: add doc

ethernet: add a gpio to enable/disable phy power

component/bt : use real adv data to set raw adv data

component/bt : fix BLUFI bug with small MTU size

freertos: fix protection issue in freertos queue event list

When functions in queue.c calls listLIST_IS_EMPTY() to check queue event list, the queue list is
protected by queue mutex, on the other hand, when xTaskIncrementTick() modify the queue list, the
 queue list is protected by xTaskQueueMutex, this may cause xTaskRemoveFromEventList operate on
the empty queue list and cause problem. This commit is to fix this bug.

may cause

esp32: update wifi lib for some fixes and optimizations

1. Reduce the default static rx buffer size from 25 to 10
2. Adjust ampdu interrupt size to 3, namely, raise 1 interrupt per 3-mpdu
3. Make a copy for all received packets, including AMSDU/AMPDU/MPDU
4. Fix softap mis-forward issue
5. Fix pp q full issue
6. Fix sniffer copy wrong content issue

Merge branch 'test/get_test_env_config_from_gitlab' into 'master'

CI: get test env config from gitlab

Previous design was put test env config on local runners. It's not easy to manage as test runners count growing.

Now we'll put config files for test runners to a Gitlab repository. Test runners will get its config from Gitlab every time before running.

See merge request !480

Merge branch 'bugfix/yield_other_core_prio_check_fix' into 'master'

Fix interrupting task on other CPU that has lower prio than current task on current CPU

Fix for a very subtle bug introduced somewhere in december. This bug would cause a cross-core interrupt to only be sent if the activated task has a higher priority than the task currently running on *this* cpu, instead of on the other CPU.

See merge request !475

phy_init: don’t rewrite valid calibration data

In the default PHY init routine, calibration data is loaded from NVS.
Most of the time the incremental changes to calibration will be fairly
small, so we don’t need to rewrite the existing calibration data stored
in the NVS.

Possible enhancement to be done in the future: expose a function in PHY
library to tell how big was the change in calibration data. If the
change was significant, then calibration data stored in NVS should be
updated.

Merge branch 'bugfix/fix_several_wifi_misc_issues' into 'master'

esp32: fix several misc wifi issue

1. Fix ssid_str not free issue
2. Fix sniffer not work issue
3. Fix null parameter cause esp_wifi_init crash issue
4. Enable ap ampdu rx interface

See merge request !484

esp32: fix several misc wifi issue

1. Fix ssid_str not free issue
2. Fix sniffer not work issue
3. Fix null parameter cause esp_wifi_init crash issue
4. Enable ap ampdu rx interface

Fix interrupting task on other CPU that has lower prio than current task on current CPU

Merge branch 'bugfix/esp32_core_dump_wd_uart' into 'master'

esp32: Fixes watchdog problem when printing core dump to uart

1) Fixes watchdog problem when printing core dump to uart
2) Also fixes generation of core dumps when flash cache is disabled

See merge request !472

Merge branch 'bugfix/ethernet_flow_ctrl' into 'master'

ethernet:disable flow control when select l2_to_l3_copy_mode

Disable flow control when select l2_to_l3_copy_mode ,because this mode can not touch flow control watermark  .

See merge request !482

ethernet:disable flow control when select l2_to_l3_copy_mode

OTA: Always clean up OTA handle regardless of esp_ota_end() result

As reported on forum: http://esp32.com/viewtopic.php?f=14&t=1093

CI: get test env config from gitlab

Previous design was put test env config on local runners. It's not easy
to manage as test runners count growing. Now we'll put config files for
test runners to a Gitlab repository. Test runners will get its config
from Gitlab every time before running.

esp32: Fixes watchdog problem when printing core dump to uart

Also fixes generation of core dumps when flash cache is disabled

Merge branch 'bugfix/esp32_core_dump_esptool_search_path' into 'master'

esp32: Fixed search path for esptool

@igrokhotkov @angus Could you review the fix?

See merge request !474

Merge branch 'bugfix/esp32_core_dump_doc' into 'master'

esp32: Fixed and updated core dump docs

See merge request !473

Merge branch 'feature/openssl_option' into 'master'

components/openssl: refactor openssl debugging and assert function

1. add openssl option at menuconfig
2. remove SSL_ERR to reduce complexity
3. add more functions about debugging and assert

According these, our coders and customers may use and debug the OpenSSL code easily.

See merge request !400

Merge branch 'bugfix/encrypted_partition_flag' into 'master'

Use PART_FLAG_ENCRYPTED value in gen_esp32part.py

Currently paritions marked as encrypted by gen_esp32part.py are not
recognized as such and encrypted writes don't work.

This is part of espressif/esp-idf#253

Merges Pull Request #293 https://github.com/espressif/esp-idf/pull/293

See merge request !470

Merge branch 'feature/custom_partition_table_csv_path' into 'master'

Allow providing custom PARTITION_TABLE_CSV_PATH

Provide direct absolute path to CSV, without project_path

Github pull request #296: https://github.com/espressif/esp-idf/pull/296

See merge request !469

Merge branch 'bugfix/spi_multiple_cs_fix' into 'master'

Add missing variable initialisation to make SPI work for multiple CS

Ref https://github.com/espressif/esp-idf/pull/277
From PR: "I am not especially familiar with this platform or with esp-idf -- so review with care.

The spi-master driver would not work for me when the number of devices on a bus exceeded 1 (caused device hang). I believe this is because cur_cs is not properly set (anywhere), and yet is used. This is likely just not noticed because 0 is presumably the correct value when there's only 1 device (and I'm guessing multi-device setup is not tested as thoroughly).

Simply setting cur_cs to the correct slot value resolves the problem and multiple devices on a single bus behave correctly in my test environment."

Looks like a small oversight on my side.

See merge request !468

esp32: Fixed search path for esptool

esp32: Fixed and updated core dump docs

Merge branch 'bugfix/fix_two_wifi_datapath_issues' into 'master'

esp32: udpate wifi lib to fix two datapath issues

1. fix ampdu<->mpdu<->ampdu switch may cause rx slow issue by put mpdu into ampdu reorder queue
2. fix each ac first sending always fail issue by adding retry

See merge request !471

FreeRTOS: esp_crosscore_int_send_yield() should be in IRAM

Possible for xQueueGenericSendFromISR -> xTaskRemoveFromEventQueueList
-> taskYIELD_OTHER_CORE code path to occur while cache is off.

OTA: Fix issues with encrypted OTA

- OTA source can write non-16-byte multiples of data
- Assumption that empty ota_data is 0xFFFFFFFF untrue when encrypted

esp32: udpate wifi lib to fix two datapath issues

1. fix ampdu<->mpdu<->ampdu switch may cause rx slow issue by put mpdu into ampdu reorder queue
2. fix each ac first sending always fail issue by adding retry

Flash encryption: Temporary fix for issue with stale cache reads

Seems doing certain kinds of short reads while flash encryption is
enabled will return stale data. This fixes it, but is probably a
little heavy-handed performance wise.

OTA: Improve verification of OTA image before writing, incl. secure boot

Verify 0xE9 magic byte on first write, verify entire image before
switching.

Enable verification for secure boot signature (was using invalid ifdef
guard)

OTA: Fall back to factory partition if ota data partition is invalid

bootloader_support: fix bug OTA & flash encryption incompatible

ota data partition should be encrypted unconditionally when flash encrypt enable

Merge branch 'feature/add_build_at_job_in_ci' into 'master'

CI: add job to check build esp-at in esp-idf

Add a job to check if latest IDF breaks `esp-at` build.

As `esp-at` is an application and has its own CI, we don't save binary as artifacts.

See merge request !462

components/openssl: Add more debugging information at platform level

Use PART_FLAG_ENCRYPTED value in gen_esp32part.py

Currently paritions marked as encrypted by gen_esp32part.py are not
recognized as such and encrypted writes don't work.

This is part of espressif/esp-idf#253

Add missing variable initialisation.

Signed-off-by: Jeroen Domburg <jeroen@espressif.com>

Merge branch 'lwip/optimize_dhcpc_taken_time' into 'master'

lwip: optimize the dhcp client

1. modify the discover retry backoff time from (2,4,8,16,32,60,60)s to (500m,1,2,4,8,15,15)s.
2. add DHCP_DOES_ARP_CHECK to menuconfig for users to specify if do a ARP check on the offered address.
   If enable, one more second will be taken.

See merge request !459

Merge branch 'bugfix/btdm_debug_gatt_attr_table' into 'master'

component/bt: Fix Gatt table read_req bug and advertising channel 39 not available bug

1. Fix Gatt table read request bug
2. Fix advertising channel 39 not available bug

See merge request !463

component/bt: Fix Gatt table read_req bug and advertising channel 39 not available bug

Allow providing custom PARTITION_TABLE_CSV_PATH

Provide direct absolute path to CSV, without project_path

components/openssl: fixes for github issues 219

"SSL_write" doesn't send large buffers correctly

CI: add job to check build esp-at in esp-idf

lwip: optimize the dhcp client

1. modify the discover retry backoff time from (2,4,8,16,32,60,60)s to (500m,1,2,4,8,15,15)s.
2. add DHCP_DOES_ARP_CHECK to menuconfig for users to specify if do a ARP check on the offered address.
   If enable, one more second will be taken in obtaining IP address.
3. update wifi libs

Merge branch 'feature/spi_flash_write_16bytes' into 'master'

SPI Flash: Allow 16 byte aligned encrypted writes

Also includes some improved documentation

See merge request !456

spi_flash: Move FLASH_PAGE_SIZE constant into esp_spi_flash.h

docs: spi_flash: Add flash encryption ops, remove boilerplate

spi_flash_write_encrypted: Allow 16-byte aligned block writes

As each 32 byte write has two identical 16 byte AES blocks, it's
possible to write them separately.

spi_flash: Flush flash cache if flash_mmap()ing a written-to page

Without this, it's possible for stale information to be read from
cache via mmap, even if the MMU table entry had been invalidated
prior to writing flash (if  the same MMU table entry was re-used after
writing flash.)