ICU-20197 ICU4C Multithreaded tests cleanup

ICU-20217 Interprets fuzzer data as UCHar* instead of UTF-8. The conversion
from assumed UTF-8 resulted in an extremely large percentage of Unicode
replacement characters in the data passed to the API under test.

ICU-20217 Uses fuzzer generated bytes to make random selection of locales, converters,
etc., replacing the random number generator. This way the fuzzer can control
the selections.

ICU-20217 Minor follow-ups from code review.
Removes fuzzer target break_iterator_utf32_fuzzer which does not perform
anything useful what the regular break iterator fuzzer target already performs.

ICU-20217 Fixes for-loop body.

ICU-20217 Uses am allocated buffer to pass head-truncated fuzzer data to the
API under test. The fuzzer may otherwise not detect buffer underflow.
by

ICU-20217 Typing fix.

ICU-20217 Fixing typing.

ICU-20217 Improve fuzzer targets, move truncated fuzzer data into a
new buffer to prevent that buffer underflow goes undetected.

ICU-20217 Fixes buffer management of fuzzer-provided data.

ICU-20217 Factor in PR review comments.

ICU-12902 make create/getInstanceForSkeleton use correct calendar; don't try to capitalize empty field

ICU-20243 Setup triggers for the Exhaustive Tests to only build on the master branch.

ICU-20078 Add JP_ERA_2019 constants, export enableTentativeEra(), add intervalFmt tests with eras

ICU-20243 Enable the Exhaustive Tests in the CI builds.

Using a separate YML file for the Exhaustive Tests configuration so that the Azure Pipelines build can be run separately.

ICU-20413 ICU4C: OOM not handled in initStaticTimeZones() in timezone.cpp.
-Use static allocated memory and placement new to avoid OOM failures.

ICU-13320 ICU4J DateFormatSymbols, add getNarrowEras/setNarrowEras (#386)

ICU-10923 Adding wildcard resource matching.

ICU-10923 Adding file replacement mechanism to buildtool.

ICU-20419 Export internal StackUResourceBundle helper, so it can be used in the i18n library.
Replace all current usages of ures_initStackObject() in the i18n library with the StackUResourceBundle helper.

ICU-20431 Both und_XX and _XX should fall back to the default locale

ICU-20414 Add internal ures_openDirectFillIn API, use in getTZDataVersion to avoid memory allocation for UResourceBundle.

ICU-20415 uregex_start64() and end64() truncation.

ICU-20210 ICU-20211 Cherry-pick fixes from CLDR to unblock exhaustive tests.

Cherry-pick cldrbug 11492: Bad symbols for NaN in sv, ksh, kl, se locales.
Cherry-pick cldrbug 11491: sd, month name for July uses character not in exemplars.
Updated the various ICU4J *.jar files as well.

ICU-20434 ICU4C AppVeyor CI builds failing on Cygwin 3.0.0. Use Cygwin to 2.11 for now.

Also remove the redundant VS2017 build from AppVeyor, since we have Azure Pipelines.

ICU-20254 Handling OOM in AffixTokenMatcherWarehouse.

ICU-20284 Updating docs on mutability of currency fraction digits.

ICU-13731 Adding test for default currency symbol.

ICU-20144 Implementing numsys-dependent range pattern loading.

ICU-20144 Adding test for range pattern consistency.

ICU-20383 DateTimePatternGen should map 'j' using timeData, not short time cycle (#419)

ICU-20342 Adding FormattedDateInterval in Java.

- Adds first SpanField to ICU4J.

ICU-10675 Documentation wrong on ICU4C ListFormatter

ICU-10923 Configure should fail when Python fails.

ICU-20313 Adding more docs about thread-safety of Number[Range]Formatter.

ICU-20410 Fix grandfathered tag w/ extensions

ICU-20108 Adding new parseLenients from CLDR 34 to ICU.

ICU-20409 Additional refactoring of FormattedValue implementations.

- Migrates Number[Range] formatter to helper macros.
- Adds additional macros.
- Syncs docstrings between subclasses.

ICU-20144 Adding better documentation and behavior testing on NumberingSystem.

ICU-20380 Adding error code to DecimalFormat::toNumberFormatter().

ICU-20407 hy-arevela/hy-arevmda can. into hy / hyw

ICU-20203 Unicode 12 data 20190214

ICU-12584 Fix memory allocation for getFormats.
Also:
  Add a test case for inner message, other small cleanup.
  Style fixes, using better test methods

ICU-20365 if roundingIncrement significance smaller than maxFrac, do not use it

ICU-20138 Adding a tech-preview API, constrainFieldAndValue, and updating matchhesField.

ICU-20121 Adding span field for FormattedList.

ICU-20244 Fix gcc stringop-overflow warning/error in uloc.cpp.

ICU-11725 Promoting tech-previews in DecimalFormat to @draft.

- Changes Java DecimalFormat boolean get* methods to is*.
- Makes the new draft methods non-virtual.
- Removes obsolete template class in header file.
- Adds proper U_HIDE tags in unum.h and decimfmt.h

ICU-20121 Fixing docs tags in FormattedList.

ICU-20138 Adding matchesField as draft and removing getConstraintType.

ICU-10923 Remove unused variable AVAILABLE_FEATURES.

ICU-20187 drop support for long-obsolete locale ID variants

ICU-20111 move text layout properties data into a new ulayout.icu data file

ICU-20328 Implement LocaleBuilder
Design Doc: https://goo.gl/Qf12p3

ICU-20416 Various OOM fixes for calendar.cpp

ICU-20100 Change the name of the TimeZone::getDisplayName daylight parameter.

The TimeZone::getDisplayName "daylight" parameter conflicts with an existing macro in the CRT "time.h" header.

ICU-20362 segfault/leftover files with long lines

If a file with an input line larger than INT32_MAX (i.e. 2 GB) contains
an UTF8 character after that limit, escapesrc crashes on 64 bit systems
or does not remove incomplete files on 32 bit systems.

The issue is that an unchecked cast from size_t to int32_t can turn
negative, which results in negative offsets during array access.

This will eventually lead to an out of boundary read, which most likely
crashes the tool.

This patch sets a fixed limit on 1 GB to make sure that no side effects
occur if the line is exactly INT32_MAX or a few bytes less. It should
still be way more than anyone would really need.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

ICU-20363 Out of boundary write on empty file.

If gencnval encounters an empty input file the function resolveAlias
triggers an out of boundary write due to uniqueAliasArr pointing to
a 0 byte reserved memory address.

This patch protects the code in question with a check for
knownAliasesCount being not 0.

Signed-off-by: Tobias Stoeckmann <tobias@stoeckmann.org>

ICU-11991 Fixed memory leak in parse.cpp

Squashed commits for merge.

ICU-20342 Adding FormattedDateInterval in C and C++.

- Adds first "span" field category
- Re-implements DateIntervalFormat#fallbackFormat to use FieldPositionHandler
- New temporary wiring in SimpleFormatter

ICU-13789 ICU-20387 ICU4C PerfTest does not build, Upgrade various *.vcxproj files

ICU-20382 ICU4C: pkgdata and genccode support ARM32 but not ARM64 on Windows platforms.

ICU-13256 Implementing FormattedRelativeDateTime in C, C++, and Java.

- Adds additional logic to NumberStringBuilder.
- Extends logic of number::impl::Field type.
- Adds tests for RBNF support.
- Adds tests from ftang's original PR.

ICU-20332 Adding duration-person unit data and APIs to C and J.

- Rebuilds ICU4J data jars.
- Includes a workaround in data loading to be fixed with ICU-20400.

ICU-20378 Changing APIs for UFieldCategory to int32_t.

ICU-12017 Improve line break around numbers.

ICU-20385 Regex, fix pattern compile problem with look-behind patterns that cannot match.

ICU-20401 rbbi break rules, update comments to match current UAX versions.

ICU-20330 simplify LocaleMatcher code:
- widen API from LocalePriorityList to Iterable
- merge getBestMatch(multiple locales) and getBestMatch(single locale) into one function
- process desired locales incrementally, create fewer objects
- reject poor matches early: use bestDistance-demotion for threshold
- add API for java.util.Locale, convert incrementally
- new feature: tracks indexes of supported and desired locales which eliminates conversion of result objects in wrappers around getBestMatch() as shown by the java.util.Locale API here
- simpler data structures, more serialization-friendly (easier to port to C++)
  - e.g., use a BytesTrie each for likelySubtags & locale distance, instead of layers of TreeMap
- un-hardcode locale matcher data; use modern resource bundle functions
- split builder code & runtime code into separate classes
- move LSR to simple top-level value class, cache regionIndex in LSR
- simpler handling of private use languages and pseudolocales
- simplify RegionMapper
- LocaleDistance builder: move the node distance into the DistanceTable, remove DistanceNode
- support distance rules with region codes, not just with variables
- enforce & use distance rule constraints:
  - no rule with *,supported or desired,*
  - no rule with language * and script/region non-*
- distance trie collapse a (desired, supported)=(ANY, ANY) pair into a single *
- look up each desired language only once for all supported LSRs
- remove layers-of-Maps compaction (trie builder compacts)
- remove unused XML printing
- remove other unused code
- make XLocaleMatcherTest.testPerf() exercise locale distance lookup code

ICU-20138 Copy fErrorCode in FormattedValue subclass macro.

ICU-20360 Testing and fixing stack overflow in numparse.

ICU-20121 Changing C API method name to ulistfmt_formatStringsToResult.

ICU-20121 Initial UFormattedList implementation, C.

ICU-20121 Initial FormattedList implementation, C++.

ICU-20389 Add MSVC Debug build to the Azure CI builds.

Also increase the timeout for the debug build.

ICU-20373 simpler state saving for Java string tries via long not object

ICU-20320 Fix the missing digit singleton extension

Add space

add test cases for Java and fix Java code

ICU-20321 Fix ultag_isUnicodeLocaleKey

Returns false when passingin alphanum digit.
Sync with UTS35
https://www.unicode.org/reports/tr35/#Unicode_locale_identifier

address review feedback add unit tests.

Fix Java too

add test cases to c++

Fix format

change test case

ICU-20337 Adding value getters to C++ MeasureUnit API.

ICU-20337 Restoring comments in MeasureUnitTest.java

ICU-20306 Remove incorrect #ifndef U_HIDE_INTERNAL_API around UTEXT_MAGIC

ICU-10923 Fixing warning in testdata build file.

ICU-20375 string tries: covariant clone() return types, and copy constructors

ICU-13081 test self-move without clang warning

ICU-20002 Modify Windows 'distrelease.ps1' for 32-bit (x86) builds

ICU-20213 deprecate BreakIterator::createTitleInstance()

ICU-20376 Add out-of-source build testing to Travis.

ICU-13081 remove C++ moveFrom() functions: still draft, but obsolete since we require C++11 which has std::move()

ICU-20395 Fix cldr-icu-readme.txt to not mention whitelist

ICU-20376 makeconv prepend relative sourcedir to args; only ignore if nothing but a single dot

ICU-20347 Update ICU4J test to reflect expected behavior

ICU-20347 In ICU4J, parsing emoty string should set PARSE_ERROR as before; check ICU4J behavior

ICU-20138 Macros for C and C++ FormattedValue subclass boilerplate.

- Includes macros for implementation only. Headers should be spelled out.

ICU-20138 Adding FormattedValue helper implementation for FPI handlers.

- Changes FieldPositionIterator (FPI) to use tetrads in the UVector32.

ICU-20138 Implementing ufmtval_nextPosition and additional test infra.

- Adds test infra for multi-category formatted values.
- Adds helper method ConstrainedFieldPosition#matchesField, currently internal.

ICU-20253 ICU4C RelativeDateTimeFormatter should fall back to OTHER case, as in ICU4J

ICU-20204 ICU4C: Use the CreateFileMapping API for both the UWP version and Win32 versions.

- CreateFileMappingW is marked for both desktop and UWP apps, so we can call that in both code paths.
- We can use the W version of the CreateFileMapping API instead of A version since we pass a NULL for the name anyways.
- We can call the same API CreateFile[A|W] from both the UWP and Win32 versions of the code, reducing one of the UWP forks.
- Add a work-around for older versions of the Windows 10 SDK UWP headers.
- Remove the code that was creating a custom security descriptor (but setting everything to NULL) and pass null to the API directly. This way we will get the default security descriptor instead of the NULL dacl.
- Change to use nullptr instead of NULL in C++ code.

ICU-20374 need unum_close in new TestParseCases

ICU-20374 Formattable::internalGetCharString should produce int string for types kLong or kInt64

ICU-20388 ICU4C: intltest fails with a "Debug Assertion Break" on MSVC when compiled for Debug.

Need to use free() with malloc() instead of uprv_free().

ICU-13847 ICU-20381 Improve handling of errors (Out-of-Memory) in DecimalFormat class.

- Use move assignment for fields->formatter (LocalizedNumberFormatter) instead of creating new heap object every time.
- Add test cases for DecimalFormat object in invalid state.
- Protect against self-assignment in assignment operator.
- Fix segmentation fault when attempting to compare valid and invalid DecimalFormat objects.
- Changes based on review feedback from Shane.
- Fix minor typos in the public header file.

ICU-20393 ICU4C: Scale move assignment operator leaks the fArbitrary member (96 bytes)

ICU-20217 Replaces seed corpus zip files with the original txt files.
The problem is that Docker receives zip files only as LFS links when
cloning ICU from GitHub. Converting the txt files into zip files, which
is the required corpus format for the fuzzer, will be done by the oss-fuzz
build script.

ICU-20217 Adds fuzzer seed corpus files to the list of files that don't have
copyright notice.

ICU-20386 Adds workaround to icu4c/source/data/Makefile.in: Help python to find
the buildtools directory it needs when running the ICU4C unit tests in an
out-of-source installation.
The change is a quick workaround for now for an issue that can have wide impact.

ICU-20220 ICU4C: Use anonymous namespace instead of 'static' keyword in uspoof.cpp

ICU-9622 Update documentation for MessageFormat and skeletons (#361)

ICU-20357 Adding std::unique_ptr conversions to LocalXyzPointer macro.

ICU-20217 Adds additional ICU4C fuzzers.

ICU-20298 Adding improved locale filtering to buildtool.

- Integrates changes from cldrbug 11802 to ICU.
- Adds test suite for buildtool.
- Adds new filter type "union".

ICU-13839 Adding FormattedNumber API to PluralRules.

- Makes new dependency class for PluralRules+FormattedNumber.