Merge branch 'bugfix/set_channel_fail_before_enable_sniffer' into 'master'

wifi: fix issue in setting channel before sniffer is enabled

See merge request !526

wifi: fix issue in setting channel before sniffer is enabled

Merge branch 'bugfix/btdm_gatts_write_desc_error' into 'master'

component/bt:fixed the write ccc crash bug error

fix the gatt server write ccc lead to the system crash if not initialize the ccc value.

See merge request !515

Merge branch 'feature/btdm_ram_config' into 'master'

Optimize or release memory in bluetooth

1. add option to release about 30K from BT if BLE only
2. later BT/BLE will be separated by BT/BLE macro, but this option should use when user make sure that in BLE only mode.

See merge request !520

Merge branch 'bugfix/app_tasks_start_on_wrong_cpu' into 'master'

Fix a scheduling bug

Fixes:
- Trivial bug where in some special cases a task could be started on the wrong core (and would run there for max 1 tick)
- More major bug causing a yield to be done with a mux held.

See merge request !523

Merge branch 'bugfix/spi_master_length' into 'master'

Fix SPI master transmit length

Tx/Rx length fix from https://github.com/espressif/esp-idf/pull/336

I also added an extra commit in to make use of a define instead of a literal, plus fix a (harmless) off-by-one condition.

See merge request !521

Fixed a small bug where a task could initially be scheduled on a wrong CPU, and a much bigger bug where a yield was performed with a held mux.

Merge branch 'bugfix/bootloader_disable_sar_test_mux' into 'master'

Deep sleep fixes

This change fixes extra 24 uA current consumption in deep sleep mode (https://esp32.com/viewtopic.php?f=2&t=1133).

Recent update to libphy/librtc caused another problem that WiFi related parts of RTC are no longer disabled by RTC sleep functions. This means that if WiFi is not disabled by the application before entering deep sleep, extra ~200uA of current would be consumed. This is fixed, and documentation for esp_deep_sleep and SNTP example are updated to mention that applications should take care of disabling WiFi and BT before going into the deep sleep mode.

See merge request !516

Merge branch 'bugfix/flash_write_single_core' into 'master'

spi_flash: fix protection issues

This MR fixes the two spi_flash related issues:

- esp_intr_noniram_{disable,enable} not being protected by spi_flash_op_{lock,unlock} in single core mode. This caused a safety assert to be triggered in esp_intr_noniram_disable.

- spi_flash_unlock not being protected by spi_flash_guard_{start,end}. This caused a conflict between SPI0 and SPI1 controllers when accessing SPI flash, manifesting in cache data corruption and IllegalInstruction exceptions, for some flash chips.

See merge request !522

spi_flash: protect spi_flash_unlock

spi_flash_unlock was missing spi_flash_guard_start, which caused cache
to be enabled during unlock operation, causing hard-to-trace crashes
and cache data corruption.

Merge branch 'bugfix/make_config_problems' into 'master'

build system: Fix several make & configuration problems

Collection of quasi-related build system fixes:
* Fix issues with "make menuconfig" running twice when no existing sdkconfig
* Fix issues with menuconfig getting into a bad state if "make -jN" and no existing sdkconfig
* Hopefully fix intermittent issue with build system sometimes not picking up all config, leading to missing BT/WiFi libs at compile/link time.
* Fix issues with path resolution on Windows (including in Eclipse)
* Add new BATCH_BUILD variable for IDEs and automated build environments.

See merge request !485

Build system: Add new BATCH_BUILD flag to disable interactive parts of the build

Mostly useful for Eclipse (where accidentally running interactive
config hangs the build), but also good for CI and other automated
build systems.

kconfig: Ignore Windows host-compiled executables

Eclipse: Process Windows paths correctly using cygpath

Includes splitting the Windows Eclipse setup doc into a separate page,
as it has so many additional steps.

Addresses github #17 and #166
https://github.com/espressif/esp-idf/issues/17
https://github.com/espressif/esp-idf/issues/166

build system: Account for Windows behaviour of make wildcard for some dirs

See github #166

Build system: Fix error if librtc submodule not available to bootloader

Closes #220 https://github.com/espressif/esp-idf/issues/220

build system: Fix parallel & double menuconfig issues when sdkconfig missing

Fixes misbehaviour of default menuconfig when sdkconfig is missing.

(Either appearing twice, or breaking if make -jN is used.)

build system: Probable fix for errors due to bad config bypassing components

See github #311 https://github.com/espressif/esp-idf/issues/311

Should fix weird compiler/linker bugs where config says something is
enabled, but build system says it is disabled.
Particularly noticeable when WiFi/BT libraries fail to
compile/link despite being enabled.

Underlying cause is configuration file regenerating, but component
Makefiles not reevaluating.

Entirely removes the idea that we don't need to generate config for some
targets (like 'clean'). We need valid config for these targets,
otherwise they don't know which files to clean (etc).

Merge branch 'feature/partition_table_envvars' into 'master'

partition tables: Expand environment variables in gen_esp32part

Allows parametrizing partition table with (exported) make variables.

Merges PR #301 https://github.com/espressif/esp-idf/pull/301

See merge request !505

spi_flash: protect esp_intr_noniram_{disable,enable} in 1-core config

MR !441 (7c155ab) has fixed issue with esp_intr_noniram_{disable,enable}
calls not being properly protected by spi_flash_op_{lock,unlock}.
Unit test was added, but the unit test environment tests only dual-core
config. Similar issue was present in the code path for the single-core
config, where esp_intr_noniram_{disable,enable} calls were unprotected.

This change fixes the protection issue and updates the unit test to
run properly in single core config as well.

The issue with running unit tests for single core config will be
addressed in a separate MR.

Use THRESH_DMA_TRANS define everywhere, make code match "smaller or equal" description

Fix SPI read edges in spi_intr

Signed-off-by: Jeroen Domburg <jeroen@espressif.com>

component/bt : add option to release about 30K from BT if BLE only

1. later BT/BLE will be separated by BT/BLE macro, but this option should use when user make sure that in BLE only mode.

deep sleep: add note about disabling WiFi and BT

This change adds a note to esp_deep_sleep that applications should disable WiFi and BT before going into deep sleep.
SNTP example is also updated.

deep sleep: bring some registers into known state

In case WiFi/BT stack has been enabled but wasn’t disabled, some RTC
bits may be left enabled, causing increased current consumption.
This change returns some of the bits back to their default values.

bootloader: disconnect VRTC from SAR input in bootloader_random_disable

Bootloader enables SAR ADC in test mode to get some entropy for the RNG.
The bits which control the ADC test mux were not disabled, which caused
extra ~24uA current to be drawn from VRTC, increasing deep sleep current
consumption. This change disables relevant test mode bits in
bootloader_random_disable.

Merge branch 'bugfix/exception_after_merge_phy_disable' into 'master'

bugfix: it causes exception that wifi interrupt happens when read/write flash, i…

…f pp_post() is on icache.

See merge request !518

bugfix: it causes exception that wifi interrupt happens when read/write flash, if pp_post() is on icache.

Merge branch 'feature/disable_phy_rf_when_disable_wifi_bt' into 'master'

disable PHY and RF when stop WiFi and disable BT

1. Add disable PHY and RF when WiFi and BT are both disabled(including call sniffer disable API).

2. Do not init PHY and RF when cpu start. Init PHY and RF when call Wifi or BT start APIs(including sniffer enable API).

3. Add a temporary lib: librtc_clk.a and will delete it when CPU frequency switching function is done.

4. Add an function to get OS tick rate.

5. Do not put the whole pp.a in iram0, only put lmac.o, ieee80211_misc.o, ets_time.o and wdev.o in iram0.

See merge request !510

Merge branch 'master' of ssh://gitlab.espressif.cn:27227/idf/esp-idf into feature/disable_phy_rf_when_disable_wifi_bt

component/bt : add bluetooth status check

1. add bluetooth controller/host initialize status check
2. separate bluetooth controller task schedule loop from controller init

coexist: enable coexist when wifi&bt are enabled, disable coexist when one of wifi&bt is disabled.

component/bt:fixed the write ccc crash bug error

Merge branch 'bugfix/vfat_open_append' into 'master'

Fix fopen() in “a” (append) mode

fopen() does not work when file is opened in “a” (append) mode

* Merges github PR #302 https://github.com/espressif/esp-idf/pull/302
* Closes #328 https://github.com/espressif/esp-idf/issues/328

See merge request !503

phy init: modify some comments

Merge branch 'feature/doc_drivers' into 'master'

docs: Add missing peripheral driver docs (ADC, DAC, RTC I/O, I2S)

Plus some general driver doc related cleanup.

touch_pad docs to follow in a subsequent MR.

See merge request !508

uart driver docs: Remove references to setting interrupt number

Closes #185 https://github.com/espressif/esp-idf/issues/185

docs: Add missing peripheral driver docs (ADC, DAC, RTC I/O, I2S)

rtc_gpio: Replace RTC_GPIO_IS_VALID_GPIO macro with inline function

component/bt : add bt enable/disable for power save

1. add new APIs bt controller enable/disab/deinit
2. make bt controller work need to call two APIs of esp_bt_controller_init and enable
3. modify phy init to make mac reset once

fix compile error that if enable CONFIG_ESP32_PHY_INIT_DATA_IN_PARTITION compile fail

Merge branch 'feature/btdm_pll_track' into 'master'

component/bt : wide range work temperature for bluetooth RF

1. add PLL track for bluetooth RF for wide range temperature
2. move some initialized codes to cache

See merge request !511

component/bt : wide range work temperature for bluetooth RF

1. add PLL track for bluetooth RF for wide range temperature
2. move some initialized codes to cache

disable phy and rf

1. add a macro in menuconfig for users to choose whether store phy calibration data into NVS or not.

2. rename some disable phy and rf APIs so that existing code which calls old APIS will fail to compile.

disable PHY and RF when stop WiFi and disable BT

1. Add disable PHY and RF when WiFi and BT are both disabled(including call sniffer disable API).

2. Do not init PHY and RF when cpu start. Init PHY and RF when call Wifi or BT start APIs(including sniffer enable API).

3. Add a temporary lib: librtc_clk.a and will delete it when CPU frequency switching function is done.

4. Add an function to get OS tick rate.

5. Do not put the whole pp.a in iram0, only put lmac.o, ieee80211_misc.o, ets_time.o and wdev.o in iram0.

Merge branch 'bugfix/btdm_gatt' into 'master'

component/bt : fix gatt write memory leak

fix bug of GATT write cause memory leak

See merge request !506

Merge branch 'feature/ethernet_phy_power' into 'master'

ethernet: add a gpio to enable/disable phy power

ethernet board v2 use gpio 17 .

See merge request !495

Merge branch 'bugfix/btdm_iphone10_0_2' into 'master'

Bugfix/btdm iphone10 0 2

This connection error caused by iPhone, it think that TX data length must large than 27 when slave support EXTEND_DATA_LENGTH. But this should be allow. Besides,  the problem cannot be found on higher version of Iphone7, apple seemed to have fixed it.
Actually maybe other BLE device have the same problem.

See merge request !509

ethernet: add pin macro

component/bt : fix connection bug of Iphone7 10.0.2

This connection error caused by iPhone, it think that TX data length must large than 27 when slave support EXTEND_DATA_LENGTH. But this should be allow. Besides,  the problem cannot be found on higher version of Iphone7, apple seemed to have fixed it.
Actually maybe other BLE device have the same problem.

component/bt : fix gatt write memory leak

fatfs: Add unit test for overwrite/append fix

Merge branch 'bugfix/openssl_server_example' into 'master'

Example 10_openssl_server should use TLSv1.2 instead of SSLv3; fixed corrupted HTTP Header

* Merges github PR #214 https://github.com/espressif/esp-idf/pull/214
* Closes #333 https://github.com/espressif/esp-idf/issues/333

See merge request !501

openssl_server example: Roll back to TLS_server_method() for compatibility

Add a comment recommending TLS v1.2.

Merge branch 'docs/flash_encryption_disable' into 'master'

Docs: Document flash encryption disable steps, clean up flash encryption & secure boot docs

Generate clean up of flash encryption & secure boot docs

Including steps for disabling flash encryption (for people who accidentally enable it).

See merge request !500

Merge branch 'bugfix/gperf_v3_1' into 'master'

kconfig: Remove gperf 3.1+ incompatible kconf_conf_id forward declaration

Forward declaration was unused. gperf 3.1+ changed parameter type from
'unsigned int' to 'size_t'.

Ref github #200 https://github.com/espressif/esp-idf/issues/200#issuecomment-279377753
Fixes #315 https://github.com/espressif/esp-idf/issues/315
Fixes #251 https://github.com/espressif/esp-idf/issues/251

See merge request !498

Merge branch 'bugfix/add_espcoredump_to_add_paths_script' into 'master'

Add espcoredump to the add_path shell helper

Merges PR #335 https://github.com/espressif/esp-idf/pull/335

See merge request !504

Merge branch 'bugfix/send_crosscore_iram' into 'master'

esp32: Move esp_crosscore_int_send_yield() to IRAM

Merges PR #257 https://github.com/espressif/esp-idf/pull/257

See merge request !502

Merge branch 'bugfix/phy_init_write_nvs_once' into 'master'

phy_init: don’t rewrite valid calibration data

In the default PHY init routine, calibration data is loaded from NVS.
Most of the time the incremental changes to calibration will be fairly
small, so we don’t need to rewrite the existing calibration data stored
in the NVS.

Possible enhancement to be done in the future: expose a function in PHY
library to tell how big was the change in calibration data. If the
change was significant, then calibration data stored in NVS should be
updated.

See merge request !487

Merge branch 'bugfix/fix_protection_of_queue_list' into 'master'

freertos: fix protection issue in freertos queue event list

When functions in queue.c calls listLIST_IS_EMPTY() to check queue event list, the queue list is
protected by queue mutex, on the other hand, when xTaskIncrementTick() modify the queue list, the
 queue list is protected by xTaskQueueMutex, this may cause xTaskRemoveFromEventList operate on
the empty queue list and cause problem.
This change works around the problem by reducing the window where the race condition can happen.

See merge request !465

Merge branch 'bugfix/OTA_and_flash_encryption_incompatible' into 'master'

bootloader_support: fix bug OTA & flash encryption incompatible

github issue:https://github.com/espressif/esp-idf/issues/253

See merge request !464

partition table: Fix comment at top of gen_esp32part.py

Docs: Mark PDF links as such in the documentation index

Nothing worse than clicking what you think is an internal page link
and finding a PDF downloading!

README: Add some tips on using menuconfig

flash encryption/secure boot: Restructure documentation

Also add steps to disable flash encryption, as some people seem to
accidentally enable it.

Explicitly mark the flash encryption and secure boot as "READ DOCS
FIRST" in menuconfig.

Expand environment variables in gen_esp32part

Allows parametrizing partition table with (exported) make variables.

Fix fopen() in “a” (append) mode

fopen() does not work when file is opened in “a” (append) mode

esp32: Move esp_crosscore_int_send_yield() to IRAM

Example 10_openssl_server should use TLSv1.2 instead of SSLv3; fixed corrupted HTTP Header

kconfig: Remove gperf 3.1+ incompatible kconf_conf_id forward declaration

Forward declaration was unused. gperf 3.1+ changed parameter type from
'unsigned int' to 'size_t'.

Merge branch 'bugfix/update_wifi_lib_to_include_some_fix_and_optimization' into 'master'

esp32: update wifi lib for some fixes and optimizations

1. Reduce the default static rx buffer size from 25 to 10
2. Adjust ampdu interrupt size to 3, namely, raise 1 interrupt per 3-mpdu
3. Make a copy for all received packets, including AMSDU/AMPDU/MPDU
4. Fix softap mis-forward issue
5. Fix pp q full issue
6. Fix sniffer copy wrong content issue

See merge request !491

Merge branch 'bugfix/btdm_blufi' into 'master'

fix BLUFI bug

fix BLUFI bug with small MTU size

See merge request !493

Merge branch 'bugfix/btdm_gatt_memleak' into 'master'

component/bt : fix GATT disconnect memory leak bug

fix a bug of memory leak of GATT disconnection

See merge request !496

Merge branch 'bugfix/btdm_demo_adv_raw_data' into 'master'

component/bt : use real adv data to set raw adv data

Use real advertising data to set raw advertising data in GATT-SERVER demo.

See merge request !492

component/bt : fix GATT disconnect memory leak bug

Add espcoredump to the add_path shell helper

ethernet: add doc

ethernet: add a gpio to enable/disable phy power

component/bt : use real adv data to set raw adv data

component/bt : fix BLUFI bug with small MTU size

freertos: fix protection issue in freertos queue event list

When functions in queue.c calls listLIST_IS_EMPTY() to check queue event list, the queue list is
protected by queue mutex, on the other hand, when xTaskIncrementTick() modify the queue list, the
 queue list is protected by xTaskQueueMutex, this may cause xTaskRemoveFromEventList operate on
the empty queue list and cause problem. This commit is to fix this bug.

may cause

esp32: update wifi lib for some fixes and optimizations

1. Reduce the default static rx buffer size from 25 to 10
2. Adjust ampdu interrupt size to 3, namely, raise 1 interrupt per 3-mpdu
3. Make a copy for all received packets, including AMSDU/AMPDU/MPDU
4. Fix softap mis-forward issue
5. Fix pp q full issue
6. Fix sniffer copy wrong content issue

Merge branch 'test/get_test_env_config_from_gitlab' into 'master'

CI: get test env config from gitlab

Previous design was put test env config on local runners. It's not easy to manage as test runners count growing.

Now we'll put config files for test runners to a Gitlab repository. Test runners will get its config from Gitlab every time before running.

See merge request !480

Merge branch 'bugfix/yield_other_core_prio_check_fix' into 'master'

Fix interrupting task on other CPU that has lower prio than current task on current CPU

Fix for a very subtle bug introduced somewhere in december. This bug would cause a cross-core interrupt to only be sent if the activated task has a higher priority than the task currently running on *this* cpu, instead of on the other CPU.

See merge request !475

phy_init: don’t rewrite valid calibration data

In the default PHY init routine, calibration data is loaded from NVS.
Most of the time the incremental changes to calibration will be fairly
small, so we don’t need to rewrite the existing calibration data stored
in the NVS.

Possible enhancement to be done in the future: expose a function in PHY
library to tell how big was the change in calibration data. If the
change was significant, then calibration data stored in NVS should be
updated.

Merge branch 'bugfix/fix_several_wifi_misc_issues' into 'master'

esp32: fix several misc wifi issue

1. Fix ssid_str not free issue
2. Fix sniffer not work issue
3. Fix null parameter cause esp_wifi_init crash issue
4. Enable ap ampdu rx interface

See merge request !484

esp32: fix several misc wifi issue

1. Fix ssid_str not free issue
2. Fix sniffer not work issue
3. Fix null parameter cause esp_wifi_init crash issue
4. Enable ap ampdu rx interface

Fix interrupting task on other CPU that has lower prio than current task on current CPU

Merge branch 'bugfix/esp32_core_dump_wd_uart' into 'master'

esp32: Fixes watchdog problem when printing core dump to uart

1) Fixes watchdog problem when printing core dump to uart
2) Also fixes generation of core dumps when flash cache is disabled

See merge request !472

Merge branch 'bugfix/ethernet_flow_ctrl' into 'master'

ethernet:disable flow control when select l2_to_l3_copy_mode

Disable flow control when select l2_to_l3_copy_mode ,because this mode can not touch flow control watermark  .

See merge request !482

ethernet:disable flow control when select l2_to_l3_copy_mode

OTA: Always clean up OTA handle regardless of esp_ota_end() result

As reported on forum: http://esp32.com/viewtopic.php?f=14&t=1093

CI: get test env config from gitlab

Previous design was put test env config on local runners. It's not easy
to manage as test runners count growing. Now we'll put config files for
test runners to a Gitlab repository. Test runners will get its config
from Gitlab every time before running.

esp32: Fixes watchdog problem when printing core dump to uart

Also fixes generation of core dumps when flash cache is disabled

Merge branch 'bugfix/esp32_core_dump_esptool_search_path' into 'master'

esp32: Fixed search path for esptool

@igrokhotkov @angus Could you review the fix?

See merge request !474

Merge branch 'bugfix/esp32_core_dump_doc' into 'master'

esp32: Fixed and updated core dump docs

See merge request !473

Merge branch 'feature/openssl_option' into 'master'

components/openssl: refactor openssl debugging and assert function

1. add openssl option at menuconfig
2. remove SSL_ERR to reduce complexity
3. add more functions about debugging and assert

According these, our coders and customers may use and debug the OpenSSL code easily.

See merge request !400

Merge branch 'bugfix/encrypted_partition_flag' into 'master'

Use PART_FLAG_ENCRYPTED value in gen_esp32part.py

Currently paritions marked as encrypted by gen_esp32part.py are not
recognized as such and encrypted writes don't work.

This is part of espressif/esp-idf#253

Merges Pull Request #293 https://github.com/espressif/esp-idf/pull/293

See merge request !470

Merge branch 'feature/custom_partition_table_csv_path' into 'master'

Allow providing custom PARTITION_TABLE_CSV_PATH

Provide direct absolute path to CSV, without project_path

Github pull request #296: https://github.com/espressif/esp-idf/pull/296

See merge request !469

Merge branch 'bugfix/spi_multiple_cs_fix' into 'master'

Add missing variable initialisation to make SPI work for multiple CS

Ref https://github.com/espressif/esp-idf/pull/277
From PR: "I am not especially familiar with this platform or with esp-idf -- so review with care.

The spi-master driver would not work for me when the number of devices on a bus exceeded 1 (caused device hang). I believe this is because cur_cs is not properly set (anywhere), and yet is used. This is likely just not noticed because 0 is presumably the correct value when there's only 1 device (and I'm guessing multi-device setup is not tested as thoroughly).

Simply setting cur_cs to the correct slot value resolves the problem and multiple devices on a single bus behave correctly in my test environment."

Looks like a small oversight on my side.

See merge request !468