ci: temp disable http client tests:

connection is not stable. need to replace with local test servers.

tiny-test-fw: support ignore test cases in CI assign test stage

tiny-test-fw: fix exception during print debug info:

DUT log is unicode, might not be able to encode

CI: erase nvs partition before test:

Latest NVS partition bin can't be parsed by old IDF revision. Need to erase before test.

esp32/test: set 60s timeout for one deep sleep case

tiny-test-fw: save DUT log in different thread:

We found some SD card on Raspberry Pi could have very bad performance.
It could take seconds to save small amount of data.
If the DUT receives data and save it as log, then it stops receiving data until log is saved.
This could lead to expect timeout. As an workaround to this issue,
``BaseDUT`` class will create a thread to save logs.
Then data will be passed to ``expect`` as soon as received.

tiny-test-fw: fix incorrect wait timeout in expect

tiny-test-fw: filter examples with test level

tiny-test-fw: print expect failure when test fails

CI: add stage `host_test`:

1. Add `host_test` stage for test jobs running on host.
2. Rename stage `test` to `integration_test`.

CI: minor optimize of CI config file:

1. set shorter expire time for artifacts
2. set dependency for example test jobs, to limit the artifacts it downloads

CI: remove test report stage:

Test report is not used as expected:

1. we rarely download and use test report
2. current test report method doesn't handle large amount data well,
   need to be replaced by other methods

Test report also make test jobs allow to fail. It breaks the
original flow of Gitlab CI and make user confused.

test: add mesh basic function test cases

Merge branch 'feature/wifi_check_wifi_lib_git_commit_id_v3.1' into 'release/v3.1'

check WiFi library git commit id in unit test (backport v3.1)

See merge request idf/esp-idf!2785

Merge branch 'bugfix/fix_pcnt_isr_service_register_bug_for_v3.1' into 'release/v3.1'

driver(pcnt):  Add some comments in pcnt.h for v3.1

See merge request idf/esp-idf!2845

Merge branch 'bugfix/fix_touchpad_wakeup_status_v3.1' into 'release/v3.1'

fix(sleep): swap touchpad num in wakeup status v3.1

See merge request idf/esp-idf!2848

Merge branch 'bugfix/ledc_duty_and_freq_for_v3.1' into 'release/v3.1'

driver(ledc):  fix bugs reported from unit-test and github for v3.1

See merge request idf/esp-idf!2843

Merge branch 'bugfix/secure_boot_padding_v3_1' into 'release/v3.1'

secure boot: Fix padding issue (backport v3.1)

See merge request idf/esp-idf!2833

Merge branch 'bugfix/bootloader_dev_zero_app_count_v3.1' into 'release/v3.1'

bootloader: Fix issue - bs->app_count is zero but ota_data have valid entry (backport  v3.1)

See merge request idf/esp-idf!2847

fix(sleep): swap touchpad num in wakeup status

Merge branch 'bugfix/fix_uart_timeout_bug_when_enable_reftick_v3.1' into 'release/v3.1'

driver(uart): Fix uart time_out bug when using ref_tick for releasev3.1

See merge request idf/esp-idf!2810

bootloader: Fix issue - bs->app_count is zero but ota_data have valid entry

If we have the partition table without any ota_apps but in ota_data have
valide entry, in this case we get an error(hang). This commit fix this
case. If bs->app_count is zero when selecting the factory app.

Closes https://github.com/espressif/esp-idf/issues/2218

Merge branch 'bugfix/deep_sleep_flush_uart_v3.1' into 'release/v3.1'

sleep: fix flushing UARTs when entering deep sleep (backport v3.1)

See merge request idf/esp-idf!2816

bugfix(ledc): fix bugs reported from unit-test and github.

1. In ledc_set_duty_and_update, return if duty updated. Close https://github.com/espressif/esp-idf/issues/2082
2. fix ledc_set_freq function for low speed mode.

Add some comments in pcnt.h.

driver(uart): Fix uart time_out bug when using ref_tick for releasev3.1

check WiFi library git commit id in unit test

Merge branch 'bugfix/beacon_info_do_not_update_after_user_scan_v3.1' into 'release/v3.1'

Wifi: bugfix of beacon info don't update after user scan (backport v3.1)

See merge request idf/esp-idf!2780

Merge branch 'feature/nvs_part_gen_improvements_backportv3.1' into 'release/v3.1'

Feature/nvs part gen improvements (backport v3.1)

See merge request idf/esp-idf!2799

app_update: Don't double-verify secure boot signature during OTA

esp_image_load() already verifies the signature

secure boot: Pad to avoid data after the signature mapping into the address space

Because address space is mapped in 64KB pages, it was possible for unauthenticated data after the
app .bin to become mapped into the flash cache address space.

This problem is solved by 2 changes:

* "esptool elf2image --secure-pad" will pad the image so that the signature block ends close to the
  64KB boundary. Due to alignment constraints it will be 12 bytes too short after signing (but
  with flash encryption, these 12 bytes are still encrypted as part of the last block and can't be
  arbitrarily changed).
* By default, secure boot now requires all app partitions to be a multiple of 64KB in size.

Wifi: bugfix of beacon info don't update after user scan

Merge branch 'bugfix/clear_intr_status_when_enable_intr_v3.1' into 'release/v3.1'

driver(gpio): fix the gpio interrupt false triggering issue(backport v3.1)

See merge request idf/esp-idf!2806

Merge branch 'bugfix/rmt_mem_num_maximum_limit_is_not_accurate_v3.1' into 'release/v3.1'

bugfix(rmt): Modify the rmt_mem_num maximum limit value from 15 to 8.(backport v3.1)

See merge request idf/esp-idf!2808

Merge branch 'bugfix/secure_boot_regression_partitions_v3_1' into 'release/v3.1'

Fix secure boot & flash encryption regression, don't verify partitions as part of secure boot (backport)

See merge request idf/esp-idf!2779

sleep: fix flushing UARTs when entering deep sleep

Since 94250e42a0, UART output is suspended when entering sleep mode
(deep or light sleep). This makes sense for light sleep, where sleep
normally takes small amount of time, and flushing the UART would add
a lot of latency. But this breaks existing behaviour for deep sleep,
where UART output was previously sent out before entering sleep mode.

Closes https://github.com/espressif/esp-idf/issues/2145

Modify the rmt_mem_num maximum limit value from 15 to 8.

driver(gpio) : Fixed the gpio related bug for release v3.1.

nvs_partition_generator: Add support for base64 representation of Binary data

nvs_partition_generator: Modifications to enable using the utility as a Python library

And also use directly as an executable

Merge branch 'bugfix/mdns_remove_backport' into 'release/v3.1'

mdns: Minor fix for mdns_service_remove (backport v3.1)

See merge request idf/esp-idf!2784

Merge branch 'bugfix/autoip_compilation_backportv3.1' into 'release/v3.1'

LWIP AutoIP Compilation Fixed by defining IP_IS_V4_VAL(backport v3.1)

See merge request idf/esp-idf!2787

Merge branch 'bugfix/bt_os_abstraction_layer_v3.1' into 'release/v3.1'

bt: fix OS abstraction layer for correct critical section API usage (backport v3.1)

See merge request idf/esp-idf!2713

Merge branch 'bugfix/gcc8_complation_errors_v3.1' into 'release/v3.1'

gcc8_newlib3: Compilation warnings and errors not specific to newlib v3 (backport v3.1)

See merge request idf/esp-idf!2777

Merge branch 'bugfix/minor_fix_about_ip_route' into 'release/v3.1'

lwip: minor fix about ip route

See merge request idf/esp-idf!2782

LWIP AutoIP Compilation Fixed by defining IP_IS_V4_VAL()

mdns: Minor fix for mdns_service_remove()

Send the Goodbye packet while removing an mDNS service as an "Authoritative" packet so
that the listeners remove the service from their records immediately.

lwip: minor fix about ip route

Minor fix about ip4_route_src_hook()

Merge branch 'bugfix/tw23835_add_source_ip_route_for_unicast_v3.1' into 'release/v3.1'

lwip: add source ip based route for unicast packet (backport v3.1)

See merge request idf/esp-idf!2773

bootloader: Fix warning building reflashable Secure Boot image

bootloader: Don't verify Partition Table as part of Secure Boot

Partition Tables are still signed for backwards compatibility, but signature is no longer checked as
part of bootloader.

Closes https://github.com/espressif/esp-idf/issues/1641

bootloader: Fix secure boot & flash encryption functionality

Fixes regression in 3e0ac4db79.

gcc8_newlib3: Compilation warnings and errors not specific to newlib v3

lwip: add source ip based route for unicast packet

Add source IP based route for unicast packets forwarding.

Merge branch 'bugfix/btdm_err_data_report_for_v3.1' into 'release/v3.1'

bugfix/btdm_err_data_report_for_v3.1(backport v3.1)

See merge request idf/esp-idf!2751

bt: fix OS abstraction layer for correct critical section API usage

Signed-off-by: Mahavir Jain <mahavir@espressif.com>

Merge branch 'bugfix/xthal_get_interrupt_volatile_v3.1' into 'release/v3.1'

xtensa: make XTHAL_GET_INTERRUPT, XTHAL_GET_CCOUNT volatile (backport v3.1)

See merge request idf/esp-idf!2712

component/bt: bugfix for erroneous data reporting always enabled

Merge branch 'bugfix/btdm_invalid_sco_handle_for_v3.1' into 'release/v3.1'

bugfix/btdm_invalid_sco_handle_for_v3.1(backport v3.1)

See merge request idf/esp-idf!2727

Merge branch 'bugfix/rom_libgcc_functions_v3.1' into 'release/v3.1'

Fix linking of libgcc math functions to ROM (backport v3.1)

See merge request idf/esp-idf!2711

Merge branch 'doc/eclipse_setup_v3.1' into 'release/v3.1'

doc: eclipse setup (v3.1 backport)

See merge request idf/esp-idf!2679

Merge branch 'bugfix/disable_lwip_trust_ip_by_default_v3.1' into 'release/v3.1'

lwip: disable ETHARP_TRUST_IP_MAC by default (backport v3.1)

See merge request idf/esp-idf!2720

Merge branch 'bugfix/tw23667_tcp_pcb_purge_assert_v3.1' into 'release/v3.1'

lwip: fix the assertion in tcp_pcb_purge() (backport v3.1)

See merge request idf/esp-idf!2722

Merge branch 'bugfix/wifi_channel_state_information_data_type_v3.1' into 'release/v3.1'

esp32: Change channel state information(CSI) data type from unsigned char to singed char (backport v3.1)

See merge request idf/esp-idf!2697

component/bt: bugfix of invalid SCO handle in HCI number_of_completed_packets event

lwip: fix the assertion in tcp_pcb_purge()

Fix the assertion in tcp_pcb_purge().

lwip: disable ETHARP_TRUST_IP_MAC by default

Disable ETHARP_TRUST_IP_MAC by default because:
1. The LAN peer may not be trustful
2. The LAN peer may has problem to update its ARP entry

xtensa: make XTHAL_GET_INTERRUPT, XTHAL_GET_CCOUNT volatile

INTERRUPT and CCOUNT registers will change outside of program control.
Making the inline assembly used to read these registers volatile
indicates this fact to the compiler.

Fixes https://github.com/espressif/esp-idf/issues/2127

esp32: force pure math functions from libgcc to be linked from ROM

esp32: fix addresses of some libgcc functions in ROM ld script

Merge branch 'bugfix/console_performance' into 'release/v3.1'

idf_monitor: Fix console performance

See merge request idf/esp-idf!2687

esp32: Change channel state information(CSI) data type from unsigned char to singed char

idf_monitor: Fix console performance

https://github.com/espressif/esp-idf/commit/51e42d8e925a20011bb7105da8cc3194d6940a6f
introduced filtering options which handles the last (unterminated) line
with a delay. This introduced poor performance for console applications
when the user interacts with the ESP32 device in the same line because
there is an artificial delay for each key-press.

https://github.com/espressif/esp-idf/commit/bb152030a0057c5a9a048782f917c4fa9d7b770e
decreased the delay but there are still delays for each key-presses.

The current fix makes only one delay per line instead of each
key-presses. When an unterminated line is detected then no more
"delayed" print is used for the given line.

Fixes https://github.com/espressif/esp-idf/issues/2054

doc: Clarify some Eclipse setup steps

Merge branch 'docs/eclipse_regex' into 'master'

Docs: Fix bugs in Eclipse setup in CN

See merge request idf/esp-idf!2620

Merge branch 'bugfix/coex_bug_v3.1' into 'release/v3.1'

esp32: fix coex bug(Backport v3.1)

See merge request idf/esp-idf!2675

esp32: fix coex bug

    1. fix BLE connection missing in coex mode
    2. modify other parameters to make coex priority more reasonable
    3. fix modem sleep procedure trap cause Wifi disable RF when BT is
    working. Such cause that BR/EDR is difficult to be connected, BLE
    connection stability decrease and so on.
    4. modify BR/EDR coexist duration to imrove BR/EDR connect success
    ratio.
    5. Due to the hardware coexist bug, BLE scan interval/window should
    be less than 0x100(about 160ms). Therefore, it will cause BLE cannot
    scan any advertising packet while WiFi have higher priority
    behaviour(such like RX beacon, scan, TX/RX VO packets and etc.).

Merge branch 'bugfix/btdm_fix_gattc_register_multi_srvc_chg_v3.1' into 'release/v3.1'

Component/bt: fix register multi service change when register multi gattc for v3.1

See merge request idf/esp-idf!2668

Merge branch 'bugfix/btdm_bad_pointer_of_bt_gap_v3.1' into 'release/v3.1'

component/bt: Fix some bad point calculations of BT GAP of v3.1

See merge request idf/esp-idf!2669

Merge branch 'bugfix/btdm_bt_remove_device_disconnect_v3.1' into 'release/v3.1'

component/bt: Fix bug of BT and BLE remove bond device of v3.1

See merge request idf/esp-idf!2670

component/bt: Fix bug of BT and BLE remove bond device of v3.1

1. esp_ble_remove_bond_device will only remove BLE bond key and disconnect BLE device.
2. esp_bt_gap_remove_bond_device  will only remove BT bond key and disconnect BT device.

A cherry-pick of MR !2562

component/bt: Fix some bad point calculations of BT GAP of v3.1

Closes https://github.com/espressif/esp-idf/issues/2103

A cherry-pick of MR !2655

Component/bt: fix register multi service change when register multi gattc

Merge branch 'bugfix/esp_err_name_idf_path_v3.1' into 'release/v3.1'

docs: fix error code reference build issue (v3.1)

See merge request idf/esp-idf!2607

Merge branch 'bugfix/btdm_fix_stop_adv_error_in_dual_core_v3.1' into 'release/v3.1'

component/bt: fix stop adv error in dual core for v3.1

See merge request idf/esp-idf!2661

Merge branch 'bugfix/assert_v3.1' into 'release/v3.1'

assert: Fix. Move useful functions from wrapped assert functions (v3.1)

See merge request idf/esp-idf!2605

Merge branch 'bugfix/read_rssi_v3.1' into 'release/v3.1'

bt : fix read rssi conflict when in dual mode

See merge request idf/esp-idf!2618

Merge branch 'bugfix/btdm_respond_error_when_receives_unsupported_request_v3.1' into 'release/v3.1'

component/bt: Fix bug: Respond with the Error Response when receiving a request…

See merge request idf/esp-idf!2662

Merge branch 'bugfix/btdm_some_ble_hid_bugs_v3.1' into 'release/v3.1'

component/bt: Fix some hid bugs of v3.1

See merge request idf/esp-idf!2663

Merge branch 'bugfix/btdm_modem_sleep_prevent_dfs_for_v3.1' into 'release/v3.1'

bugfix/btdm_modem_sleep_prevent_dfs_for_v3.1(backport v3.1)

See merge request idf/esp-idf!2660

Merge branch 'bugfix/btdm_rm_assert_in_isr_for_v3.1' into 'release/v3.1'

bugfix/btdm_rm_assert_in_isr_for_v3.1(backport v3.1)

See merge request idf/esp-idf!2659

Merge branch 'bugfix/btdm_singular_sleep_time_corr_for_v3.1' into 'release/v3.1'

bugfix/btdm_singular_sleep_time_correction_for_v3.1(backport v3.1)

See merge request idf/esp-idf!2658

component/bt: Fix some hid bugs of v3.1

1. Property of HID Information is Read
2. Property of HID Control Point is WriteWithoutResponse

A cherry-pick of MR !2628

component/bt: Fix bug: Respond with the Error Response when receiving a request that it does not support into v3.1

A cherry-pick of MR !2591

Merge branch 'feature/optimize_wifi_memory_v3.1' into 'release/v3.1'

Optimize WiFi memory (backport v3.1)

See merge request idf/esp-idf!2651

component/bt: fix stop adv error in dual core

Merge branch 'bugfix/btdm_fix_no_adv_packet_v3.1' into 'release/v3.1'

component/bt: fix no adv packets for v3.1

See merge request idf/esp-idf!2653

prevent Dynamic Frequency Scaling when using bluetooth modem sleep

This constraint will be elimiated after the issue is fixed

component/bt: remove the call of assert in time conversion functions which can be caused in ISR

component/bt: fix the cornered case caused by singular finetime correction value upon waking up from sleep

1. revert previous changes that adds 1-slot margin for first master Tx event, since this bugfix can handle that case