ICU-20593 Buildtool: Implementing new "additive" mode.

ICU-20593 Buildtool: adding some options and improving exec mode.

ICU-20593 Genrb: Remove keys if bundle is empty after filtering.

ICU-20572 build & test with U_NO_DEFAULT_INCLUDE_UTF_HEADERS

ICU-20575 fix broken default locale mapping for C.UTF-8

Regression was in 1afef30549d93c17bb966c6803d5d943cf055925
PR #418 [ICU-20187]

- We dropped the mapping from "C" in uloc_canonicalize,
  but then putil did not handle cases where a codepage was
  set (such as C.UTF-8).

- Add an additional check in uprv_getDefaultLocaleID() for
  locales that end up as "C" or "POSIX" after removing codepage
  suffix.

- Also fix regression where aa@bb would become aa__BB__BB
  (incorrectly doubled __BB)

ICU-20530 Fix header issues based on test/hdrtst

Remove explicit extern "C++" scope.

Remove C++ macros in C mode.

Fix issues detected by make -C test/hdrtst.

Run test/hdrtest during CI to detect future breakage.

Signed-off-by: Alon Bar-Lev <alon.barlev@gmail.com>

ICU-20558 Fix regression in DateTimePatternGenerator

This fixes a regression introduced by commit
b12a927c9365bb38831afbf76fdd0999f8f33deb for issue ICU-13778.

The above commit improved the error checking in the
DateTimePatternGenerator class, adding checks for errors/failures
where there previously was none at all. This was done in order to
catch catastrophic errors like out-of-memory (OOM), and properly
report them to the caller, rather than ignoring/hiding these errors.

However, in doing so it exposed a case where the code was depending
on ignoring errors in order to fall-back to the Gregorian calendar
when the default ICU locale is set to root.

This restores the previous behavior, by allowing the error of
U_MISSING_RESOURCE_ERROR to fall-though and continue without
reporting back an error to the caller.

Note: This regression was technically introduced in ICU 63, and
also effects ICU 64 as well.

ICU-20573 Handle NULL return value correctly, it means empty not error.

ICU-20570 UInitOnce instances, add explicit initialization where it was missing.

ICU-20445 Pass ByteSink to ulocimp_addLikelySubtags().

ICU-20445 Need to export the CharStringByteSink class for Windows and OSX.

ICU-20391 Fix regexp crash with nested look-behinds, from fuzz testing.

ICU-20511 Merge release-64-2 to master

ICU-20553 Updating commit checker docs; makes --rev-range required.

ICU-20511 Merge tag 'release-64-2' into 64-merge-branch

ICU-20563 fix macosx rpath breakage in the data build

- in the rpath case, we do NOT want a trailing space in LD_SONAME

regression was introduced in ICU-20526 with
 83a0542b5b52a30b7af736f5ef6b0405f6582867 (master)
 b76cb6517efa113739a3ffadda7ff024db0d5689 (in maint-64)

(cherry picked from commit 1c553b9cf28d25c0aaf961c5f587f4ad3cee2679)

ICU-20563 fix macosx rpath breakage in the data build

- in the rpath case, we do NOT want a trailing space in LD_SONAME

regression was introduced in ICU-20526 with
 83a0542b5b52a30b7af736f5ef6b0405f6582867 (master)
 b76cb6517efa113739a3ffadda7ff024db0d5689 (in maint-64)

ICU-12431 Update test expectations in TestLocaleNamePackaging.

These test expectations have been out-of-sync with the output that ICU4J
actually generates for quite some time now. This change brings the
expectations in sync with actual behaviour and makes the test pass.

ICU-20513 Treat MSVC warnings C4910 and C4003 as errors in the library code for CI builds.

ICU-20554 Disabled current date sensitive Japanese era test cases for now.

ICU-20511 Merge release-64-2-rc to master

ICU-20544 Regex, Fix assertion failure in positive look-behind

ICU-20511 Merge tag 'release-64-2-rc' into 64-merge-branch

- Rebuilds jar files to resolve merge conflict

ICU-20511 Merge release-64-1 to master

ICU-20544 Regex, fix min/max match length computation with negative look-behind patterns.

ICU-20515 Merging tz2019a changes.

ICU-20550 jaEra: use all valid eras for calendar calculations (Java port)

ICU-20511 Merge branch 'master' into 64-merge-branch

ICU-20550 jaEra: use all valid eras for calendar calculations (#614)

ICU-20543 Fix -Wundef in library and test code.

ICU-20515 BRS64.2 Updated ICU4J API signature file and API change report

ICU-20439 Update ICU4J API signature file for 64.1 GA

ICU-20534 Add Japanese era constant for REIWA in ICU4J JapaneseCalendar

ICU-20537 jaEra: fix leak in SimpleDateFormat::applyPattern

ICU-20537 jaEra: DateIntvFmt load fmts with G, SimpDateFmt.applyPattern update Gannen use, fix tests

ICU-20429 Renaming [Number->Formatted]StringBuilder and refactoring.

- StringSegment, ICU4C:
  * Moved to top icu namespace
  * Compilation unit renamed to string_segment.
- NumberStringBuilder, C and J:
  * Moved to main icu namespace
  * Compilation unit renamed to formatted_string_builder
  * Renamed class to FormattedStringBuilder
- Moves nextPosition logic of NumberStringBuilder to helper class

ICU-20515 ICU4C 64.2 API change report regenerated.

ICU-20515 64.2 BRS, integrate CLDR release-35-1-alpha

ICU-20515 Update readme files

ICU-20539 Use https:// for JDK doc link in javadoc task

ICU-20526 fix pkgdata where LD_SONAME has a trailing space

- added PKGDATA_TRAILING_SPACE to all of the pkgdataMakefile.in file.
- NOTE: Users who create their own pkgdata.inc / icupkg.inc files may need
   to recreate this PKGDATA_TRAILING_SPACE behavior.

- used the above variable, normally undefined, in mh-* files that need a trailing space

- Also, fixed use of system() in pkgdata.cpp per ICU-20538
This was causing pkgdata to return a zero status even on clang
failure, masking this issue.

(cherry picked from commit 83a0542b5b52a30b7af736f5ef6b0405f6582867)

ICU-20497 Unicode 12.1

ICU-20526 fix pkgdata where LD_SONAME has a trailing space

- added PKGDATA_TRAILING_SPACE to all of the pkgdataMakefile.in file.
- NOTE: Users who create their own pkgdata.inc / icupkg.inc files may need
   to recreate this PKGDATA_TRAILING_SPACE behavior.

- used the above variable, normally undefined, in mh-* files that need a trailing space

- Also, fixed use of system() in pkgdata.cpp per ICU-20538
This was causing pkgdata to return a zero status even on clang
failure, masking this issue.

ICU-20535 Added Japanese new era Reiwa to cjdict.txt to support the sequence in word segmentation.

ICU-20528 Fill in testdata/rules.mk when there is no Python.

ICU-20515 Update version numbers, regenerate JARs, regenerate configure

ICU-20475 Japanese Calendar current era calculation should use local time instead of UTC.

ICU-20475 Japanese calendar era calculation should use local time, not UTC (ICU4J)

ICU-20525 Enable Windows 'distrelease.ps1' to select which architecture to package

ICU-20523 Fix typos in API docs for usearch_getMatchedLength

ICU-20522 tzdata2019a updates

ICU-13456 Build Clean in VS doesn't fully clean everything that it should

ICU-20509 Add dependencies on langdata, regiondata to packagingCheck.

ICU-20467 replace the LocaleMatcher implementation, load data from new bundle
- remove the old LocaleMatcher implementation code
- move the XLocaleMatcher code into LocaleMatcher, same for test
- remove unused internal methods
- stop comparing old vs. new performance
- generate langInfo.txt resource bundle file with precomputed likely-subtags and matcher data
- make genrb handle multi-line binary values
- load likely-subtags & distance data from new langInfo.res bundle
- test that built data == loaded data
- move data builders to tools, no more runtime dependency on builder code

ICU-20439 Update ICU4J API change report for 64.1 GA.

ICU-20439 API Change Report for ICU 64 regenerated.

ICU-20439 Fix internal and draft headers.

ICU-20494 Fixes to very large magnitude exponents in number parsing.

- Do not depend on ArithmeticException string in ICU4J.
- Return correct string in ICU4C.
- Fix related issue in applyMaxInteger.

ICU-20516 Fix MSVC Warning C4003: not enough arguments for function-like macro invocation

ICU-20503 Add Python 3 to the CI build bot path and bump Python installer to 3.7.2

ICU-20508 Fixing -Wextra-semi in library code.

ICU-20469 Updating how to control ucadata type in userguide.

ICU-20507 Adding virtual destructor to PathFilter

ICU-20511 Merge maint/maint-64 to master

ICU-20473 Moving collation ucadata option to filter file.

ICU-20439 Updated currency numeric code for YUD to 890.

ICU-20439 BRS64GA Update urename.h

ICU-20469 Fixing typo: locale_tree -> locales_tree

ICU-20439 BRS64GA Update version number and regenerate JAR files

ICU-20439 Updating ICU data from CLDR tag release-35-beta2.

ICU-20439 update config files and instructions for CLDR release-35-beta integration

ICU-20439 Removing ICU patches.

ICU-20439 Updating double-conversion.

ICU-20469 Adding data build tool debugging tips

ICU-20467 get XLocaleMatcher ready for drop-in

Get XLocaleMatcher ready for replacing the LocaleMatcher code.
More simplifications beyond ICU-20330 PR #409, smaller data, some more optimizations.
New API ready to be moved over.

- less work for region partitions distance lookup:
  - encode each array of single-character partition strings as one string
  - look up each desired partition only once, not for each (desired, supported) pair
  - look up the * fallback region distance only for the first mismatch, not for each non-matching pair
- skip region distance lookup if minRegionDistance>=remainingThreshold
- locale distance table: remove subtables that contain only *-* with default script/region distance
- mark intermediate subtag matches via last-character bit 7, not also with a match value
- likely subtags data: prune trailing *-only levels, and skip *-only script levels; likely subtags perf test
- likely subtags: skip_script=1; LSR.indexForRegion(ill-formed)=0 not negative
- likely subtags small optimization: array lookup for first letter of language subtag
- defaultDemotionPerDesiredLocale=distance(en, en-GB)
- favor=script: still reject a script mismatch
- if an explicit default locale is given, prefer that (by LSR), not the first supported locale
- XLocaleMatcher.Builder: copy supported locales into a List not a Set to preserve input indexes; duplicates are harmless
- match by LSR only, not exact locale match; results consistent with no fastpath, simpler, sometimes a little slower
- internal getBestMatch() returns just the suppIndex
- store the best desired locale & index in an LSR iterator
- make an LSR from Locale without ULocale detour
- adjust the XLocaleMatcher API as proposed; remove unused internal methods; clean up LocalePriorityList docs

ICU-20492 Fixing final declarations in DateIntervalFormat.java

ICU-12956 fix buffer overrun of UTF-7 and IMAP-mailbox-name

ICU-20499 Fixing code path for plural form in MutablePatternModifier.

ICU-20489 Removing resfiles.mk files.

Builds res_index.txt based on directory glob minus aliases read from deprecates XML file.

In ICU 64, please use the ICU Data Build Tool instead of reslocal.mk for locale filtering.

ICU-13440 replace obsolete TARGET_IPHONE_SIMULATOR conditional

ICU-20496 Run the Exhaustive Tests on "maint" branches as well.

ICU-20491 ICU4C u_getDataDirectory on Windows shouldn't set path to current directory by default.

This change was introduced by the following commit e9946ec98eb14f485a85f690fb41029d492b03a2.

However, there's really no reason why the Windows UWP version should require the icudtl.dat file
to be in the same directory as the icuuc.dll file.

ICU-11094 Add unit tests

ICU-10291 Optimize IDNA toASCII loop

ICU-20439 64 BRS, integrate CLDR release-35-alpha4

ICU-20203 Unicode 12 final data (only trivial changes)

ICU-20439 Updating cldr-icu-readme.txt to reflect changes in eac8f4b.

ICU-20471 setFormatWidth to 0 should cause padding to be ignored

ICU-20463 Use copybrief for children that are older than parents.

ICU-20488 mutex static constructor fixes.

Remove the dependencies from the ICU library code on static constructors
that were introduced by using std::mutex and condition variables. The
mutexes are lazily initialized by embedding them as local static variables
in getter functions, and relying on the C++ compiler/runtime to do thread
safe initialization of them.

ICU-20264 FixedDecimal.toString locale independent

ICU-13709 fix shadow param inside #ifdef

ICU-20484 Narrow currency symbol should fall back to short symbol, C and J.

- Includes fixes to tests.

ICU-20469 Adding user guide for number skeletons.

Also fixes a minor bug in the syntax and adds tests.

ICU-11908 NumberingSystem, fix the memory management of static cache of numsys names.
Add thread safe cache initialization.

ICU-20479 don’t leave junk in source directory on configure or make check

- see also ICU-20062
- add a `-B` option to the two python invocations on Windows
- set PYTHONDONTWRITEBYTECODE in configure.ac and icudefs.mk.in

Co-authored-by: Fredrik Roubert <roubert@google.com>

ICU-20472 Moving index res file request to tree category.

- Includes other minor cleanup of buildtool.

ICU-20469 Adding userguide for FormattedValue and ICU Data Build Tool.

- Creates new directory structure to store userguide markdown files.

ICU-20359 Fix stack overflow in Regex Pattern Compile.

ICU-20148 fix dup variant and dup ext singleton