component/bt: bugfix for handling HCI_Host_Number_Of_Completed_Packets in BT controller

Merge branch 'feature/ci_test_config_autogen' into 'master'

CI: auto generate configs for test jobs

Currently CI test jobs are static configured by several pre-generated config files.
This approach have several disadvantages:

1. not flexible to select test cases to run, which is important feature of @bot
2. difficult to update test as we need to pre-generate quite a lot files
3. need to maintain extra config files in IDF
4. not flexible to support new test apps or chips, can't use some new features of test bench

Therefore we'll add assign_test stage between build and test, to generate configs for test jobs.

See merge request !738

Merge branch 'bugfix/bt_controller_log_clean_up' into 'master'

component/bt: disable information loggings from bt controller

clean-up information loggings during controller initialization

See merge request !769

Merge branch 'bugfix/github_small_prs' into 'master'

Small PR fixes from github

Small bug fixes & typo corrections from github.

See merge request !762

component/bt: disable information loggings from bt controller

Merge branch 'bugfix/btdm_gattc_discover_refresh_cache_#11077' into 'master'

component/bt: fixed the discover primary service not correct if server changes s…

…ervice during disconnect period.

See merge request !761

Merge branch 'bugfix/ble_add_adv_state_bug_#12301' into 'master'

component/bt: Fix the bug that sometimes received a ble connection & the adv wil…

…l stop, can not send adv again.

See merge request !759

Merge branch 'bugfix/minor_fix_about_wifi_api_comments' into 'master'

esp32: minor fix for wifi api comments

Minor fix about the comments of wifi_promiscuous_pkt_type_t

See merge request !760

Merge branch 'bugfix/btdm_switch_gatts_error_#12659' into 'master'

component/bt:fix the bug of uild error if switch off BLE GATTS. Bug number is #12659.

switch off BLE GATTS and build.

See merge request !766

Merge branch 'bugfix/lib_dport_access' into 'master'

component/esp32 : fix library dport access protections.

1. add esp32 library access DPORT register protections.
2. add bluetooth library access DPORT register protections.
3. change register operation(suffix/prefix) to new style.

See merge request !757

component/bt: change the esp_ble_gattc_cache_refresh API return value from esp_gatt_status_t to esp_err_t.

component/bt: Added the declaration for esp_ble_gattc_cache_refresh in the gattc api header file.

Update idf_monitor.py to make --toolchain-prefix argument work

--toolchain-prefix command line argument was not taken into account when specified

Merges https://github.com/espressif/esp-idf/pull/617

component/bt:fix the bug of uild error if switch off BLE GATTS. Bug number is #12659.

component/esp32 : update wifi library and phy library

Merge branch 'bugfix/freertos_larger_stacksize' into 'master'

Make internal stack size variables in FreeRTOS 32-bit instead of 16-bit

Stock FreeRTOS uses an uint16 to store stack sizes, making it impossible to allocate a stack >64K. This changes this into an uint32, allowing for larger stacks.

See merge request !677

Print the name of the task that hit the stack watchpoint

This may be enough to troubleshoot (increase stack size).

Merges https://github.com/espressif/esp-idf/pull/607

uart driver: Move UART_EVENT_MAX to last

Merges https://github.com/espressif/esp-idf/pull/594

doc: Update wifi scan description

Code was refactored, updating documentation to reflect that

Merges https://github.com/espressif/esp-idf/pull/593

docs: Error in gpio_install_isr_service() description

Merges https://github.com/espressif/esp-idf/pull/564

esp32.ld: Add an entry for ets_write_char_uart

It is mentioned in ets_sys.h, but not actually PROVIDEd.

Merges https://github.com/espressif/esp-idf/pull/545

Fix typo in comment

This is a minor fix (moudule -> module)

Merges https://github.com/espressif/esp-idf/pull/555

component/bt: fixed the discover primary service not correct if server changes service during disconnect period.

esp32: minor fix for wifi api comments

Minor fix about the comments of wifi_promiscuous_pkt_type_t

component/bt: Fix the bug that sometimes received a ble connection & the adv will stop, can not send adv again.

Merge branch 'bugfix/gen_esp32part' into 'master'

Partition table gen esp32part fixes: App offset errors, Python 3 support

As mentioned on forums, gen_esp32part.py wasn't erroring correctly if a non-64KB-aligned app partition was referenced.

Also merges a PR to add Python 2&3 support (with some tweaks). Not very useful in IDF right now, but useful for Arduino.

See merge request !751

Merge branch 'feature/ulp_adc_example' into 'master'

examples: add ULP ADC example

- Add example of ULP sampling an input using ADC1, waking up the system when ADC reading goes out of given window.
- Add a pair of convenience functions: to configure ADC1 for use with ULP, and to set ULP wakeup interval.

Ref. TW11902

See merge request !720

examples: add ULP ADC example

component/esp32 : fix library sport access protections.

1. add esp32 library access DPORT register protections.
2. add bluetooth library access DPORT register protections.
3. change register operation(suffix/prefix) to new style.

Merge branch 'bugfix/bt_acl_tx' into 'master'

components/bt: update libbtdm.a with a bugfix for an assertion failure when ACL-…

…U transmission is resumed

See merge request !755

Merge branch 'driver_merge_tmp/mcpwm' into 'master'

feature: Motor Control PWM(mcpwm) driver and examples

See merge request !698

Merge branch 'feature/i2s_pdm_and_dac' into 'master'

Driver update: I2S pdm and built-in DAC

1. Modify I2S DAC built-in mode settings
2. Add I2S pdm mode
3. Correct I2S signal index in full-duplex mode
4. Modify dac output function
5. Add dac pad init functions
6. Modify DAC documentation

See merge request !740

Merge branch 'bugfix/dualcore' into 'master'

component/soc: fix register access protection missing

- fix dport register access protection missing
- add rom function protect
- add normal register function check

See merge request !747

components/bt: update libbtdm.a with a bugfix for an assertion failure when ACL-U transmission is resumed

Driver update: I2S pdm and built-in DAC

1. Modify I2S DAC built-in mode settings
2. Add I2S pdm mode
3. Correct I2S signal index in full-duplex mode
4. Modify dac output function
5. Add dac pad init functions
6. Modify DAC documentation
7. Add i2s_set_dac_mode API

feature: add Motor Control PWM(mcpwm) driver

1. Name change from chopper to carrier, block diagram update, minor changes to example codes
2. mcpwm_reg.h changed, brought uniformity in comments, worked on suggestions, duty to accept float. Some name changes!
3. Minor readme changes and Indetation
4. Minor change:  move mcpwm_reg.h and mcpwm_struct.h to new path
5. Minor change: addition of BLDC example code and Readme
6. Name changed from epwm to mcpwm
7. Improve the reg name in mcpwm_struct.h
8. Name change chopper>carrier, deadband>deadtime

component/esp32 : do more fix of dualcore bug

1. the cache API in romcode will access DPORT register, so protect it.
2. fix STALL spelling.
3. check dport access by non-dport access function

Merge branch 'bugfix/ble_fix_exception_build_sr_msg_#12124' into 'master'

component/bt: fix the exception in attp_buil_sr_msg when handling gatt write bug. bug number #12124.

 fix the exception in attp_buil_sr_msg when handling gatt write bug.

See merge request !743

Merge branch 'bugfix/unit_test_fixes' into 'master'

Small unit-test-related fixes

Fixes for some small bugs found running unit tests with heap poisoning turned on.

All are bugs in the tests, except for one FreeRTOS fix (when deleting a task, check if it's running on the other CPU and preempt it if so.)

See merge request !746

Merge branch 'bugfix/nvs_dynamic_key_names' into 'master'

nvs: remove search cache at page level

Since read cache was introduced at page level, search cache became
useless in terms of reducing the number of flash read operations.
In addition to that, search cache used an assumption that if pointers to
keys are identical, the keys are also identical, which was proven wrong
by applications which generate key names dynamically.

This change removes CachedFindInfo, and all its uses. This is done at
expense of a small extra number of CPU operations (looking up a value in
the read cache is slightly more expensive) but no extra flash read
operations.

Ref TW12505
Ref https://github.com/espressif/arduino-esp32/issues/365

See merge request !753

component/bt: Add parameter check for attp_build_sr_msg function

gen_esp32part: Run unit tests on host as part of gitlab-ci

Merge branch 'bugfix/enlarge_wifi_task_stack_size_and_hmac_tx_queue_size' into 'master'

esp32: update wifi lib to enlarge wifi task stack size

1. Enlarge wifi task stack size by 512Bytes to fix potential stack overflow issue
2. Modify wifi hmac tx queue size from 12 to 32 because we already limit the buffer number in ebuf
   management module

See merge request !750

nvs: remove search cache at page level

Since read cache was introduced at page level, search cache became
useless in terms of reducing the number of flash read operations.
In addition to that, search cache used an assumption that if pointers to
keys are identical, the keys are also identical, which was proven wrong
by applications which generate key names dynamically.

This change removes CachedFindInfo, and all its uses. This is done at
expense of a small extra number of CPU operations (looking up a value in
the read cache is slightly more expensive) but no extra flash read
operations.

Ref TW12505
Ref https://github.com/espressif/arduino-esp32/issues/365

gen_esp32part.py: Correctly error out for non-64KB aligned app partitions

Also clean up error handling for verification errors in general.

Ref https://esp32.com/viewtopic.php?f=13&t=1838&p=8685#p8659

gen_esp32part.py: Update documentation link, add license

gen_esp32part.py: Remaining Python 3 changes for unit tests to pass, plus unit tests

Ref https://github.com/espressif/esp-idf/pull/577

gen_esp32part: Make compatible with both python2.7 and python3.

Merges https://github.com/espressif/esp-idf/pull/577

esp32: update wifi lib to enlarge wifi task stack size

1. Enlarge wifi task stack size by 512Bytes to fix potential stack overflow issue
2. Modify wifi hmac tx queue size from 12 to 32 because we already limit the buffer number in ebuf
   management module

Merge branch 'feature/get_chip_ver' into 'master'

add API to get chip info

This change adds an API to get chip info, such as chip model, enabled capabilities, size of embedded flash, silicon revision.

Hello_world example is modified to print out the information about the chip. The example is also simplified by moving all code into the main task.

Ref TW12031.

See merge request !549

Merge branch 'bugfix/update_wifi_lib_for_some_bugs' into 'master'

esp32: update wifi lib for some bugfix

1. Fix wifi ebuf free twice issue
2. Fix wifi internal assert issue
3. Fix a bug in esp_wifi_stop
4. Fix wifi crash issue
5. Fix wifi run out of memory when 10 udp connection stability test

See merge request !745

Merge branch 'feature/base_mac_address' into 'master'

Optimize configuration of base MAC address

Application developer can call APIs to configure base MAC address
instead of using menuconfig.

See merge request !744

esp32: update wifi lib for some bugfix

1. Fix wifi ebuf free twice issue
2. Fix wifi internal assert issue
3. Fix a bug in esp_wifi_stop
4. Fix wifi crash issue
5. Fix 10 UDP connection test out of memory issue

freertos tests: Use CCOMPARE1 always in xPortInIsrContext() test

Mismatched CCOMPARE meant test would only run once.

vfs uart tests: Avoid 1 byte heap overrun & memory leak

freertos: Preempt other CPU when deleting a task running on it

Includes related fix to preemption unit tests (delete a queue after deleting the task blocked on it.)

unit test runer: Add capability to use ![tag] to run all-tests-except-tag

Mostly useful for running ![ignore] to skip ignored tests.

Merge branch 'bugfix/dualcore_dport' into 'master'

component/esp32 : fix dualcore bug

1. When dual core cpu run access DPORT register, must do protection.
2. If access DPORT register, must use DPORT_REG_READ/DPORT_REG_WRITE and DPORT_XXX register operation macro.

See merge request !742

Optimize configuration of base MAC address

    Application developer can call APIs to configure base MAC address
    instead of using menuconfig.

Merge branch 'bugfix/btdm_debug_gattc_adv' into 'master'

component/bt: fix adv stop event bug and add attribute table create

- Fix bug that advertising stop event produced while calling start_adv function
- Modify gatt server adv data and scan rsp data raw setting
- Add create attribute table error msg
- Delete redundant printf in previous commits

See merge request !739

component/soc : move dport access header files to soc

1. move dport access header files to soc
2. reduce dport register write protection. Only protect read operation

component/bt: fix the exception in attp_buil_sr_msg when handling gatt write bug. bug number #12124.

component/esp32 : fix dualcore bug

1. When dual core cpu run access DPORT register, must do protection.
2. If access DPORT register, must use DPORT_REG_READ/DPORT_REG_WRITE and DPORT_XXX register operation macro.

Merge branch 'bugfix/spi_example' into 'master'

SPI: Various fixes (examples, mem leak, arg check)

- Fix SPI master example to use DMA-capable memory for display initialization. Fixes https://github.com/espressif/esp-idf/issues/551
- SPI master: Do not leak DMA descriptor pointer array on free
- SPI Master/Slave: Check if DMA'ed buffers actually live in DMA-capable memory

See merge request !735

Fix out-of-bounds on dmaworkaround_channels_busy

Merge branch 'feature/save_esptool_flash_args' into 'master'

CI: save download config in CI build jobs:

IDF built app download config may change with some modification.
save the download configs for built APP in build stage.
then we can use the correct download config in test stage.

See merge request !676

Merge branch 'bugfix/sntp_timezone' into 'master'

examples: fix timezone for China in SNTP example

Daylight saving time isn’t observed in China.

Fixes https://github.com/espressif/esp-idf/issues/549

See merge request !722

component/bt: fix adv stop event bug and add attribute table create
error

- Fix bug that advertising stop event produced while calling start_adv function
- Modify gatt server adv data and scan rsp data raw setting
- add create attribute table error msg
- Delete redundant printf in previous commits

CI: update CI config file for auto assign test:

we'll now assign cases to test jobs in assign_test_case job instead of
static job config file.

CI: remove auto assign case script for UT:

we'll now auto assign all test cases in assign_test_case job. remove the
duplicated functions in unit test script.

CI: remove readme content:

README will be updated in internal wiki

CI: remove CI configs and update test case files:

we'll auto assign cases to test jobs so we don't need those config
files. cases with different wifi modes will now be generated when
creating test case database, we need to remove them from YAML files.

Merge branch 'feature/btdm_gattc_add_API_prepare_write_char_desrc' into 'master'

Component/bt:add API to prepare write descriptor for gattc

See merge request !734

Component/bt:add API to prepare write descriptor for gattc

Merge branch 'bugfix/set_scan_bug_rebase_#10399' into 'master'

component/bt: component/bt: Check own address and filter policy for validity.

rebase the invalid scan params not report error.

See merge request !736

examples: print chip info in hello_world example

add esp_chip_info API

Merge branch 'bugfix/spiflash_fatfs_fixes_and_tests' into 'master'

FATFS fixes and tests

This MR includes a set of fixes related to FATFS, SDMMC, and wear levelling:

- `esp_vfs_fat_spiflash_mount` uses `FM_SFD` flag when creating the partition. The volume layout (given in `VolToPart` variable) was not compatible with SFD mode, so mkfs was failing. This fixes the volume layout to use "autodetect" for both volumes. Merges https://github.com/espressif/esp-idf/pull/559.

- fix `prepend_drive_to_path`function, which didn't prepend drive to path (while consuming 2k of stack space)

- fix stack overflow in vfs_fat_link function which allocated two 4kbyte `FIL` structures on the stack

- fix support for having two FATFS instances (in flash and SD) mounted at the same time

- unit tests written for FATFS on SDMMC are made common between SDMMC and WL implementations; FATFS unit tests on WL will run during CI

- fix inconsistent definition of PATH_MAX and ARG_MAX (TW12207, TW12104, https://github.com/espressif/esp-idf/issues/289)

See merge request !732

Merge branch 'feature/freertos_timer_tests' into 'master'

Unit tests: Add FreeRTOS timer tests

Basic unit tests for FreeRTOS timers.

See merge request !715

component/bt:change the ESP_PUBLIC_ADDR to BLE_ADDR_TYPE_PUBLIC.

component/bt: component/bt: Check own address and filter policy for validity.

Merge branch 'bugfix/bt_sniff_mode' into 'master'

component/bt: fix some bugs related to bluetooth sniff mode in controller

1. fix some bugs in bluetooth sniff mode in controller
2. export some symbols to esp32.rom.ld including functions and global variables in ROM code
3. update libbtdm.a which includes "IRAM_ATTR" addition or removal for some functions

See merge request !729

Merge branch 'feature/btdm_blufi_newcmd' into 'master'

Feature/btdm blufi newcmd

1.add a new cmd for blufi,esp32 close a gatt connection.

See merge request !697

Merge branch 'bugfix/lwip_loopback' into 'master'

fix(lwip): fix tcp connect fail when enable LOOPIF

when enable the LOOPIF, because of use the loopnetif, the TCP connect will fail. see TW12029

See merge request !711

Merge branch 'feature/enable_wifi_ebuf_sanity_check' into 'master'

esp32: update wifi lib to enable ebuf sanity check

The wifi ebuf sanity checking is disabled by default, this MR is to enable it by default. If we detect the last 4 Bytes of ebuf is not DEADBEEF, we assert the system, with the sanity checking, we can detect the ebuf memory corrupt easy.

See merge request !724

Merge branch 'bugfix/readme_links' into 'master'

Fix broken links in readme

Merges https://github.com/espressif/esp-idf/pull/561

See merge request !733

newlib: define PATH_MAX and ARG_MAX consistently

Fixes https://github.com/espressif/esp-idf/issues/289.
Fixes https://github.com/espressif/esp-idf/issues/534.

vfs, fatfs: fix support for two FATFS instances (SD and flash)

- fix null pointer dereference in VFS when VFS implementations are added
  and removed in different order

- vfs_fat_sdmmc, vfs_fat_spiflash: pass correct drive to mkfs
  (previously it would always do mkfs in the first drive)

- add test case

fatfs: clean up diskio code

- clean up diskio_spiflash, fix the max number of volumes supported
- move SDMMC code into a separate file

fatfs: run same fatfs tests for WL and SDMMC

This change moves actual test code into test_fatfs_common.c and
refactors setup/teardown code to be contained within separate functions.
For each SDMMC FATFS test, identical test is added which can run with
WL partition in flash.

unit tests: change type of flash_test partition to ‘fat’

This change makes the spi_flash test partition usable for WL and FATFS
tests.

vfs_fat: allocate FIL structures on the heap in vfs_fat_link

vfs_fat_link opened two files to perform copy operation. File structures
were allocated on the stack. When _MAX_SS setting was increased in
ffconf.h due to wear levelling feature, the size of these structures
increased to ~4k each (~8k total). This exceeds stack size allocated for
tasks in most typical cases.

This change makes file structures dynamically allocated.

vfs_fat: fix prepend_drive_to_path

Originally, prepend_drive_to_path was designed to be a macro, and it
modified local path variables to point to a temporary buffers.
When it was converted into a function, modification to path variables
were no longer visible outside of this function.

In addition to that, prepend_drive_to_path allocated 2k bytes on the
stack for temporary path buffers. This is replaced with path buffers
allocated as part of vfs_fat context object. Locking is added around
parts of code which use these temporary buffers.

Additionally, _lock member of vfs_fat_ctx_t was placed after the
variable-sized files array, which caused the first entry in the
array to be never used. This change fixes the order of members
and adds comments.

Unit tests: Add FreeRTOS timer tests

Warn against and check for non-DMA-capable pointers being passed to SPI when DMA is used

components/driver/spi_master: free dma descriptors

Signed-off-by: Jeroen Domburg <jeroen@espressif.com>

place initialization sequence into DRAM to be reachable by DMA

Signed-off-by: Jeroen Domburg <jeroen@espressif.com>

Component/bt: add new cmd for blufi ,ESP32 close a gatt connection

Fix vfs_fat_spiflash failed to mount / f_mkfs()

esp32: update wifi lib to enable ebuf sanity check

Modify wifi ebuf sanity checking from disaled to enabled