tcp_transport: modification of ws to read headers first in order to read the exact payload

closes https://github.com/espressif/esp-mqtt/issues/69

mqtt: support for BEFORE_CONNECT event in idf

Updated examples to use new event id, idf to use mqtt with fixed retained, oversized messages

Merge branch 'test/fix_failed_to_download_in_example_test' into 'master'

test: fix failed to download in example test

See merge request idf/esp-idf!4061

test: get bin path from `dut.app.flash_files` instead of `dut.download_config`

Merge branch 'doc/wifi_disclaimer' into 'master'

doc: wifi: Remove disclaimers

See merge request idf/esp-idf!4059

Merge branch 'bugfix/esp_attr_sdkconfig' into 'master'

esp32: esp_attr.h should include sdkconfig.h

See merge request idf/esp-idf!4058

Merge branch 'bugfix/pthread_detach' into 'master'

Bugfix in pthread_detach() implementation

See merge request idf/esp-idf!4038

test: fix failed to download in example test:

1. example test uses auto detect flash size. we need to call
`detect_flash_size` before write flash
2. fix incorrect baudrate used: when using WROVER-Kits, it's likely that download with baudrate 921600
will fail. If we don't reset serial setting in decorator, 921600 will
become the default baudrate. This causes all the subsequent
communication fails
3. do hw reset after used esptool function

Merge branch 'bugfix/check_dependencies_msys' into 'master'

tools: Be more helpful to MSYS32 users with package installation

See merge request idf/esp-idf!3998

tools: Be more helpful to MSYS32 users with package installation

doc: wifi: Remove disclaimers

esp32: esp_attr.h should include sdkconfig.h

Reported on forum https://esp32.com/viewtopic.php?f=13&t=8669#p36395

Merge branch 'bugfix/btdm_miscellaneous_modifications' into 'master'

component/bt: some miscellaneous modifications for BLE

See merge request idf/esp-idf!4032

Merge branch 'feature/esp_platform_cmake_pr2601' into 'master'

cmake: Add ESP_PLATFORM in CMake build (PR 2601)

See merge request idf/esp-idf!3823

Merge branch 'bugfix/btdm_debug_numeric_comparison_mode' into 'master'

component/bt: modify the BLE example to make it run with "numeric comparison" mode

See merge request idf/esp-idf!3500

Merge branch 'bugfix/fix_ci_example_test_not_executed' into 'master'

ci: init submodule in assign_test job

See merge request idf/esp-idf!4046

Merge branch 'bugfix/https_server_cpp_support' into 'master'

esp_https_server : add extern C directive for C++ support

See merge request idf/esp-idf!4054

Merge branch 'bugfix/remove_gatts_warning' into 'master'

components/bt: Remove warnings in btc_gatts_arg_deep_copy() that are confusing

See merge request idf/esp-idf!4008

Merge branch 'feature/coex_unforce_wifi_if_no_data_buffered_in_beacon' into 'master'

esp32: unforce wifi if receiving beacon with no data buffered in dream state and reduce force receiving broadcast data time

See merge request idf/esp-idf!3963

https_server : add extern C directive and other minor changes for C++ support

Closes https://github.com/espressif/esp-idf/issues/2887

Merge branch 'doc/btdm_modem_sleep_EVED_mode' into 'master'

doc/btdm_modem_sleep_EVED_mode

See merge request idf/esp-idf!4017

Merge branch 'bugfix/lwip_add_hostname_option_in_dhcp_discover' into 'master'

add hostname option in dhcp discover

See merge request idf/esp-idf!3937

ci: init submodule in assign_test job:

esptool is used by example test, we need to init submodule

pthread tests : test case added for detach functionality

esp32: unforce wifi if receiving beacon with no data buffered in dream
state and reduce force receiving broadcast data time

    1. If receiving beacon which indicates that there is no data buffered,
    do not force to receive WiFi data.
    2. If receiving beacon which indicates that there is broadcast data
    buffered, reduce the time to force receiving broadcast data.

Merge branch 'mesh/bugfix_v3.3_cont' into 'master'

mesh: bugfix

See merge request idf/esp-idf!4009

bugfix/pthread : pthread_detach implementation fixed to correctly delete pthread object when invoked after task completion

component/bt: some miscellaneous modifications for BLE

mesh: update libs

1. when no parent is found, send probe request via broadcast.
2. fix memory leak caused by the remove announcement being sent is not released when esp_mesh_stop() is called.
3. fix modify IE encrypt after mesh is started.
4. ignore esp_mesh_connect() if mesh automatic reconnection is enabled.
5. fix reason is cleared before vote is done.

Merge branch 'bugfix/confserver_on_windows' into 'master'

Fix unable to start confserver on windows

See merge request idf/esp-idf!4022

cmake: fix unable to start confserver on windows

component/bt: add more information and description for bluetooth modem sleep

Add remark that "EVED" mode for bluetooth modem sleep is only used for internal test

Merge branch 'doc/cmake_branch' into 'master'

Make CMake Getting Started guides version-aware

See merge request idf/esp-idf!3984

Merge branch 'mesh/bugfix_v3.3' into 'master'

wifi: fix STAs can not detect disconnection from AP when encrypt transmission is used

See merge request idf/esp-idf!3907

docs: Make Getting Started (CMake) guides version-aware

Also clean up some changes in Chinese CMake guide which were not propagated from the English guide.

doc: cmake: Add description of ESP_PLATFORM variable

Ref: https://github.com/espressif/esp-idf/pull/2601

cmake: Fail CMake if expand_requirements.cmake fails

cmake: Add ESP_PLATFORM in idf_set_variables() as well

(Handles case where idf.py is not being used.)

Ref https://github.com/espressif/esp-idf/pull/2601

Add ESP_PLATFORM to build environment.

Merges https://github.com/espressif/esp-idf/pull/2601

Merge branch 'feature/example_defconfig_ci' into 'master'

ci, examples: use sdkconfig.ci as an extra defaults file, if present

See merge request idf/esp-idf!3934

Merge branch 'feature/freemodbus_move_rs485_mode_control' into 'master'

examples: freemodbus port serial slave move uart mode settings into example

See merge request idf/esp-idf!3870

Merge branch 'bugfix/bbpll_wakeup_reset_2' into 'master'

soc/rtc: reset another BBPLL related register

See merge request idf/esp-idf!3947

Merge branch 'bugfix/ext_ram_bss_align' into 'master'

Fix crash if ext_ram_bss is unaligned length

See merge request idf/esp-idf!4000

Merge branch 'bugfix/mdns_crash_when_query' into 'master'

mdns issues when query

See merge request idf/esp-idf!3910

Merge branch 'bugfix/cmake_list_component_config_alphabetically' into 'master'

List menuconfig component config items alphabetically via component name

See merge request idf/esp-idf!3939

Merge branch 'feature/cut_len_for_header_struct' into 'master'

build: Add trimming PROJECT_VER and PROJECT_NAME vars

See merge request idf/esp-idf!3927

Merge branch 'bugfix/py_imp_deprecated' into 'master'

Fix Python3 deprecation warning for the imp module & run multi-device tests only under Python 2

See merge request idf/esp-idf!3972

docs: list kconfig components alphabetically via component name

ci: Multi-device tests cannot run under Python 3

examples, tools: Fix Python3 deprecation warning for the imp module

cmake: list items in component config via alphabetical component name

components/bt: Remove warnings in btc_gatts_arg_deep_copy() that are confusing

Fixes: https://github.com/espressif/esp-idf/issues/2811
The warning print "NULL value" is only kept for event
BTC_GATTS_ACT_SET_ATTR_VALUE as this can be useful in case user forgets
to set attribute value

Signed-off-by: Hrishikesh Dhayagude <hrishi@espressif.com>

Merge branch 'bugfix/btdm_configure_ssp_in_menuconfig' into 'master'

components/bt: Configure SSP in menuconfig and fix two bugs

See merge request idf/esp-idf!3892

Merge branch 'docs/watchpoints_config_gdbinit' into 'master'

docs: Adds watchpoints limit configuration to example gdbinit

See merge request idf/esp-idf!3502

Merge branch 'bugfix/btdm_fix_crash_adv_scan_coex' into 'master'

component/bt: fix crash when adv and scan coex and optimize duplicate scan

See merge request idf/esp-idf!3975

docs: Adds watchpoints limit configuration to example gdbinit

Closes https://github.com/espressif/esp-idf/issues/2335

mesh: update libs

1. fix STAs can not detect disconnection from AP when encrypt transmission is used.
2. fix can not find hidden APs.
3. for root, modify the active scan time to 120ms.
4. remove all rc when clear parent Wi-Fi configuration.
5. fix error in checking Wi-Fi commit ID.

components/bt: Fix two bugs about pairing

1. Fix Legacy Pairing failed without remote device name
2. Fix discovery no device after disabling SSP

components/bt: Configure SSP in menuconfig

Merge branch 'feature/pystyle_tools' into 'master'

tools: Fix the Python coding style

See merge request idf/esp-idf!3901

psram: Use 8-bit type for _ext_ram_bss_start/_ext_ram_bss_end

Fixes pointer arithmetic when printing size of remaining heap

multi_heap: Fix bug when start of heap is unaligned

Alignment was accounted for in one place only.

TW27954

linker external bss: Align end of ext bss to word boundary

TW27954

Merge branch 'bugfix/windows_install_prerequisites_idf_path' into 'master'

windows_install_prerequisites: Fix bug if IDF_PATH is not set

See merge request idf/esp-idf!3874

Merge branch 'bugfix/wifi_rx_fail' into 'master'

wifi: fix wifi rx fails

See merge request idf/esp-idf!3976

tools: Fix the Python coding style

examples: freemodbus port serial slave move uart mode settings into example

Update freemodbus component file esp-idf/components/freemodbus/port/portserial.c to remove UART mode settings;
Move UART mode settings into esp-idf/examples/protocols/modbus_slave/main/freemodbus.c
Move UART pin settings from Component config into example Kconfig.projbuild file
Move setup of UART port pins from freemodbus component into example file

TW#27721
Closes https://github.com/espressif/esp-idf/issues/2784#issuecomment-443600157

Merge branch 'bugfix/individual_custom_sections' into 'master'

linker: When using section type attributes, create unique sections

See merge request idf/esp-idf!3920

Merge branch 'feature/app_rollback_example' into 'master'

example: App rollback example

See merge request idf/esp-idf!3561

Merge branch 'feature/add_rollback_flags' into 'master'

bootloader/app_update: Add a support of an app rollback.

See merge request idf/esp-idf!3547

linker: When using section type attributes, create unique sections

* Prevents section type conflict errors if (say) const & non-const data
  is put into the same section (ie with DRAM_ATTR)

* Allows linker --gc-sections to remove unused custom sections

Merge branch 'bugfix/unit_test_keep_serial_port_open' into 'master'

unit test: Keep serial port open when running esptool

See merge request idf/esp-idf!3889

wifi: fix wifi rx fails

1. add MAC reset.
2. update libphy.a from 4000 to 4006.

app_update: Add EXCLUDE option

Added two options for PROJECT_NAME and PROJECT_VER variables to exclude them from the firmware image.

Closes: https://github.com/espressif/esp-idf/issues/2803

build: Fix a warning from git describe

Fixed a fatal message when run `git describe`.

Merge branch 'bugfix/clear_intr_status_when_init_hwtimer' into 'master'

bugfix(timer_group):  fixed bug that init hw_timer caused cresh after system soft reset

See merge request idf/esp-idf!3945

Merge branch 'bugfix/fix_aws_iot_example_root_ca' into 'master'

examples: update default root-ca for aws_iot demos

See merge request idf/esp-idf!3929

examples: update default root-ca for aws_iot demos

Merge branch 'doc/network' into 'master'

docs: Rearrange wifi & ethernet docs under "Networking", add tcpip_adapter docs

See merge request idf/esp-idf!3890

driver(timer_group): fixed bug that init hw_timer caused cresh after system soft reset

closes https://github.com/espressif/esp-idf/issues/2756

doc zh_CN: Remove redundant --branch feature/cmake

Forgot to remove when updating the English version.

Closes https://github.com/espressif/esp-idf/issues/2834

Merge branch 'bugfix/btdm_fix_receive_adv_pkt_when_duplicate_scan_enabled' into 'master'

Component/bt: fix receive adv pkt when enable duplicate scan

See merge request idf/esp-idf!3783

Merge branch 'bugfix/tw27963_fix_wifi_stop_bug' into 'master'

esp32: fix WiFi stop bug in WiFi/BT coexist mode

See merge request idf/esp-idf!3979

Merge branch 'bugfix/btdm_prevent_light_sleep' into 'master'

bugfix/btdm_prevent_light_sleep

See merge request idf/esp-idf!3980

unit tests: Fix retrying with a new baud rate in IDFDUT.start_app()

unit tests: Keep serial port open when running esptool

* Call esptool directly not via subprocess
* Use the same serial port instance for listener thread and esptool
* Includes some refactoring for encapsulation of App vs DUT members

unit_test.py: Allow importing tiny-test-fw from IDF_PATH as well as TEST_FW_PATH

tcpip_adapter: Rename DHCP option types to include DHCP in the type name

tcpip_adapter: Update header descriptions, constify some parameters

docs: Add option to redirect documentation pages which have moved

Merge branch 'feature/pystyle_components' into 'master'

components: Correct the Python coding style

See merge request idf/esp-idf!3882

Merge branch 'feature/rename_main_instructions' into 'master'

Add instructions on how to rename main component

See merge request idf/esp-idf!3933

Merge branch 'bugfix/ldgen_make_build_regression' into 'master'

Fix 'command not found' error when building on linux with make

See merge request idf/esp-idf!3977

esp32: fix WiFi stop bug in WiFi/BT coexist mode

This fix includes following changes:
1. Fix the bug that esp_restart()/esp_wifi_stop() sometimes fails in WiFi/BT coexist mode.
2. Add a timer for WiFi stop and stop WiFi forcibly once the timer expires.

component/bt: use a pm_lock to prevent light sleep when bluetooth is enabled due to current imcompatibility

mdns: fixed static memory leak

mdns: check all mallocs for failure and add default hook to log error with free heap

solves crash about _mdns_result_txt_create when stress test

Component/bt: fix receive adv pkt when enable duplicate scan

components: Correct the Python coding style

ci: detect command not found build errors