fatfs: create separate ffsystem.c for host side testing

fatfs: update diskio and vfs for FatFS changes

- do to not rely on integer.h types
- ffsystem.c does not define ff_memcalloc, replace with ff_memalloc +
  memset.

fatfs: update to R0.13c patch 4

Breaking change: integer.h does not exist in FatFS anymore

fatfs: separate IDF-specific files from the original FatFS code

This is a breaking change: applications which used diskio.h to
call ff_diskio_register, will now need to include diskio_impl.h.
Including diskio.h will include the original diskio.h header from
FatFS library.

Merge branch 'bugfix/fix_ble_examples_build' into 'master'

Fix build issues

See merge request idf/esp-idf!5343

ci: sort list of flake8 submodule excludes

ci: exclude nimble submodule from python style check

bt: fix build issue

Source files and include directories were appended to variables
used by the previous component registration command.

Merge branch 'fix/update_curr_page_state' into 'master'

nvs_util: Set previous page state to full before creating new page

See merge request idf/esp-idf!5325

Merge branch 'feature/gcc_8_msys_update_simple' into 'master'

update MSYS package for esp32-2019r1 toolchain

See merge request idf/esp-idf!5199

Merge branch 'bugfix/idfpy_print_filter' into 'master'

tools: Port the filtering option of IDF Monitor to the idf.py toolchain

Closes IDF-543

See merge request idf/esp-idf!4416

Merge branch 'feature/use_new_component_registration_apis' into 'master'

Use new component registration API

See merge request idf/esp-idf!4898

Merge branch 'bugfix/legacy_header_bootloader_build' into 'master'

bootloader: pass legacy header config variable to subproject

See merge request idf/esp-idf!4966

Merge branch 'bugfix/kconfig_source_comment' into 'master'

tools: Fix Kconfig checker for comments and source after help

See merge request idf/esp-idf!5275

Merge branch 'feature/nimble' into 'master'

Port NimBLE Host Stack on ESP-IDF

See merge request idf/esp-idf!5182

Port NimBLE Host Stack on ESP-IDF

nvs_util: Set previous page state to full before creating new page

Merge branch 'doc/review_api-ref_periph-sdmmc-host' into 'master'

Review the file api-reference/peripherals/sdmmc_host.rst

See merge request idf/esp-idf!5261

Review the file api-reference/peripherals/sdmmc_host.rst

Merge branch 'feature/idf_size_json' into 'master'

idf_size: Support JSON output

Closes IDF-264

See merge request idf/esp-idf!4987

Merge branch 'feature/add_doc_about_app_desc_t' into 'master'

docs: Add description about the app image

Closes IDF-597

See merge request idf/esp-idf!4912

Merge branch 'feature/ble_mesh_feature' into 'master'

component/ble_mesh: Add BLE Mesh Stack onto ESP-IDF

See merge request idf/esp-idf!4079

docs: Add description

component/ble_mesh: ESP BLE Mesh release

1. BLE Mesh Core

* Provisioning: Node Role
    * Advertising and GATT bearer
    * Authentication OOB

* Provisioning: Provisioner Role
    * Advertising and GATT bearer
    * Authentication OOB

* Networking
    * Relay
    * Segmentation and Reassembly
    * Key Refresh
    * IV Update

* Proxy Support

* Multiple Client Models Run Simultaneously
    * Support multiple client models send packets to different nodes simultaneously
    * No blocking between client model and server

* NVS Storage
    * Store Provisioning Data of BLE Mesh Nodes in Flash

2. BLE Mesh Applications

* BLE Mesh Node & Provisioner
    * Node Example
    * Provisioner Example
    * Node + Generic OnOff Client Example

* Fast Provisioning
    * Vendor Fast Prov Server Model
    * Vendor Fast Prov Client Model
    * Examples

* Wi-Fi & BLE Mesh Coexistence
    * Example

* BLE Mesh Console Commands
    * Example

3. BLE Mesh Models

* Foundation Models
    * Configuration Server Model
    * Configuration Client Model
    * Health Server Model
    * Health Client Model

* Generic Client Models
    * Generic OnOff Client
    * Generic Level Client
    * Generic Location Client
    * Generic Default Transition Timer Client
    * Generic Power OnOff Client
    * Generic Power Level Client
    * Generic Battery Client
    * Generic Property Client

* Generic Server Models
    * Generic OnOff Server (Example)

* Lighting Client Models
    * Light Lightness Client
    * Light CTL Client
    * Light HSL Client
    * Light xyL Client
    * Light LC Client

* Sensor Client Model
    * Sensor Client

* Time and Scenes Client Models
    * Time Client
    * Scene Client
    * Scheduler Client

Merge branch 'feature/btdm_add_gattc_gatts_coex_example' into 'master'

Component/bt: add gattc and gatts coex example

See merge request idf/esp-idf!5087

Merge branch 'refactor/bluedroid' into 'master'

Refactor/bluedroid

See merge request idf/esp-idf!4027

Merge branch 'doc/review_ext_ram' into 'master'

Review the file api-guides/external-ram.rst

See merge request idf/esp-idf!5156

Review the file api-guides/external-ram.rst

Merge branch 'doc/review_modules-and-boards' into 'master'

Review the file hw-reference/modules-and-boards.rst

See merge request idf/esp-idf!5157

Review the file hw-reference/modules-and-boards.rst

Merge branch 'doc/review_api-ref_periph-touchpad' into 'master'

Review the file api-reference/peripherals/touch_pad.rst

See merge request idf/esp-idf!5259

Review the file api-reference/peripherals/touch_pad.rst

cmake: some formatting fixes

Do not include bootloader in flash target when secure boot is enabled.
Emit signing warning on all cases where signed apps are enabled (secure
boot and signed images)
Follow convention of capital letters for SECURE_BOOT_SIGNING_KEY
variable, since it is
relevant to other components, not just bootloader.
Pass signing key and verification key via config, not requiring
bootloader to know parent app dir.
Misc. variables name corrections

tools: update make converter to use new component registration api

tools: use new component registration api for unit test app

examples: use new component registration api

components: use new component registration api

esptool_py: use passed offset and image when template is given

esptool_py defines command `esptool_py_flash_project_args` that
generates arg file for esptool.py. Two of the arguments are the offset
and image, which are not being used when a template file is given.
This commit makes variables OFFSET and IMAGE available to the template
file, which will holds the value of the offset and image arguments to
`esptool_py_flash_project_args`.

bootloader: Move some structs to separated file

Moved structures which describe the app image to separated file.

Closes: IDF-597

Merge branch 'bugfix/misc_cmake_changes' into 'master'

Follow up CMake changes/fixes

See merge request idf/esp-idf!5267

Merge branch 'feature/add_ability_to_specify_spiffsgen_dependencies' into 'master'

Add ability to specify dependencies for spiffsgen

See merge request idf/esp-idf!4933

Merge branch 'bugfix/spi_flash_remove_include_chain_in_host_drv' into 'master'

esp_flash: support C++ and improve the document

See merge request idf/esp-idf!5287

Merge branch 'bugfix/malloc_warnings_mdns' into 'master'

mdns: fix static analysis warnings

See merge request idf/esp-idf!5143

components/bt: Optimization and bugfix of previous commits

Merge branch 'feature/docs_for_updated_idf_argparsing' into 'master'

docs: Update order of arguments for idf.py and add click linux package

Closes IDF-501

See merge request idf/esp-idf!5166

spiffs,make: change spiffsgen build API

spiffs: add ability to specify dependencies when dirs themselves are generated

Merge branch 'feature/netif_custom_name' into 'master'

Allow setting netif hostname via lw/ip component config menu item (IDFGH-1342)

See merge request idf/esp-idf!5262

Merge branch 'feature/example_ethernet2wifi_ap' into 'master'

add ethernet to wifi-ap example

See merge request idf/esp-idf!5053

ethernet: add eth2ap example

This example illustrates how to do Layer2 packet forwarding bussiness between Wi-Fi and Ethernet.

Merge branch 'test/fix_some_error_wifi_cases' into 'master'

test: fix some wifi case issues

See merge request idf/esp-idf!5226

Merge branch 'refactor/vfs_uart_multichip_support' into 'master'

vfs_uart & uart: add multichip support

See merge request idf/esp-idf!5298

components/bt: Add more functions for memory debug.

Support timeout of fixed_queue and osi_thread

1. remove fixed_queue_try_dequeue and fixed_queue_try_enqueue,
2. add timeout parameter for fixed_queue_enqueue and fixed_queue_dequeue
3. replace where call fixed_queue_try_dequeue/enqueue to fixed_queue_dequeue/enqueue(..., timeout = 0)
4. replace where call fixed queue_enqueue/dequeue to fixed_queue_enqueue/dequeue( ..., timeout = FIXED_QUEUE_MAX_TIMEOUT)
5. modify the blocking_type of osi_thread_post to timeout.

components/bt: Optimization and bugfix of previous commit

components/bt: Separation of BT and BLE

Merge branch 'feature/spi_driver_support_multi_chip' into 'master'

spi: multichip support

See merge request idf/esp-idf!5234

Merge branch 'bugfix/ut_ci_test_fail_because_failed_to_reset' into 'master'

ci: fix random unit test CI failure

See merge request idf/esp-idf!5264

cmake: clarify build trimming docs

How idf_build_component and the COMPONENTS argument to idf_build_process
interact is not clear/misleading. Clarify their interaction in the docs.

Closes: https://github.com/espressif/esp-idf/issues/3630

esptool_py: better display logs when generating binary

Since OUTPUT argument of custom command does not currently support
generator expressions, the project image is only generated as a side
effect. The primary generated file is a timestamp file. Unfortunately as a consequence
the output logs when the
binary is about to be generated is not as helpful anymore.

Set a custom comment that is more descriptive of what is happening,
and provide more feedback as to what has been generated.

cmake: fix issues with build process

Fix issue when COMPONENTS are is not specified for idf_build_process,
no component is included in the build.

cmake: export IDF_TARGET to menuconfig

Pass value of IDF_TARGET to menuconfig invocation.

cmake: set CONFIG_DIR build property

Add CONFIG_DIR as a build property, so that components don't have to
derive it from one of the generated config files.

components/bt: Combine A2DP sink task and A2DP source task into btc task

components/bt: Combine two hci task into one

component/bt: Add functions for heap memory debug

component/bt: reduce the size of DRAM

DRAM.data:   506B -->  196B
DRAM.bss : 26857B --> 2170B

tools: Fix Kconfig checker for comments and source after help

Merge branch 'feature/ws_client' into 'master'

esp_websocket_client

See merge request idf/esp-idf!3420

esp_websocket_client: Add websocket client component

Closes https://github.com/espressif/esp-idf/issues/2829

Merge branch 'bugfix/spi_concurrency' into 'master'

spi: fix a possible concurrency issue (port to master)

See merge request idf/esp-idf!5191

esp_flash: update the document to the latest API

component/bt: Macor from `sdkconfig.h` is used only in `bt_user_config.h`

vfs_uart: refactor to have static context structure

uart: multichip support

esp_flash: fix C++ compilation and some typos

esp_flash: break the inappropriate include chain in spi_flash_host_drv.h

spi_slave: fix a example issue caused by word alignment

spi: multichip support

move hardcoded numbers, etc. into soc files.
create headers for shared types which needs to be documented.

(MINOR CHANGE)

Merge branch 'feat/backtrace_in_ut' into 'master'

esp32: Refactor backtraces to be iterative, add printing backtrace at runtime and when UT fails

Closes IDF-93

See merge request idf/esp-idf!3825

Merge branch 'bugfix/ci_confserver_timeout_again' into 'master'

ci: Adjust spawn settings in test_confserver

See merge request idf/esp-idf!5225

ci: Adjust more 'spawn' settings in test_confserver

component/bt : modify OSI thread of bluedroid

abstract of OSI thread to make bluedroid more compatible with different OS.

esp32: Refactor backtrace and add esp_backtrace_print()

This commit refactors backtracing within the panic handler so that a common
function esp_backtrace_get_next_frame() is used iteratively to traverse a
callstack.

A esp_backtrace_print() function has also be added that allows the printing
of a backtrace at runtime. The esp_backtrace_print() function allows unity to
print the backtrace of failed test cases and jump back to the main test menu
without the need reset the chip. esp_backtrace_print() can also be used as a
debugging function by users.

- esp_stack_ptr_is_sane() moved to soc_memory_layout.h
- removed uncessary includes of "esp_debug_helpers.h"

Component/bt: add gattc and gatts coex example

Merge branch 'bugfix/btdm_make_failed_due_to_macro' into 'master'

components/bt: Fix make errors due to macro usage error

See merge request idf/esp-idf!5105

Merge branch 'feature/mdns_unit_tests' into 'master'

mdns: add initial unit tests

See merge request idf/esp-idf!5088

Merge branch 'bugfix/ci_remove_dup_UT' into 'master'

ci: fix a duplicate job the CI.

See merge request idf/esp-idf!5276

ci: fix a duplicate job the CI.

Merge branch 'feature/spi_ext_flash' into 'master'

spi_flash: support working on differnt buses and frequency

See merge request idf/esp-idf!4096

Merge branch 'doc/openocd_build2win_update' into 'master'

Updated building-openocd-windows.rst instruction

See merge request idf/esp-idf!5049

Merge branch 'bugfix/btdm_add_svc_inst_id_param_for_create_tab_event' into 'master'

Component/bt: add svc_inst_id param for create service table event

See merge request idf/esp-idf!4958

Merge branch 'feature/btdm_add_new_api_get_conn_params' into 'master'

Component/bt: add new api to get connection parameters

See merge request idf/esp-idf!5057

Merge branch 'bugfix/log_free_level_entry' into 'master'

log: fix minor memory leak when cleaning list of log levels

Closes IDF-710

See merge request idf/esp-idf!5260

spi_flash: support working on differnt buses and frequency

spi_flash: New low-level flash API

Merge branch 'bugfix/phy_init_data_mistake' into 'master'

esp_wifi: fix wrong path of phy_init_data

Closes IDFGH-1168

See merge request idf/esp-idf!5201

ci: fix random unit test CI failure:

we use `-` command to check if DUT reset pass. If we input `-` command
during DUT bootup, DUT could only receive `\n` and print test cases.
Print test cases could take long time and lead to reset check timeout.
Now we will add delay after reset, and enlarge reset check timeout to
solve this problem.

esp_wifi: fix wrong path of phy_init_data

Closes https://github.com/espressif/esp-idf/issues/3482

Merge branch 'bugfix/mbedtls_mpi_exp_mod' into 'master'

mbedtls: Fix mbedtls_mpi_exp_mod() set n and s values

Closes IDFGH-1313

See merge request idf/esp-idf!5222