ICU-20978 Reduce unnecessary building for tools when cross-building

ICU-20916 late computation of roundedThreshold to ensure it is up to date

ICU-20605 travis: make dist

- run 'make dist' after the linux clang build

ICU-20797 fix UBS compilation error and UBS in test code

Two issues here:

- fix 2 build issue in i18n when compiling with clang++ -fsanitize=undefined
the following two symbols were not exported (and they should be):
  typeinfo for icu::CollationCacheEntry
  typeinfo for icu::numparse::impl::CodePointMatcher

- remove undefined behavior warning in NumberFormatTestTuple.. minor, but very annoying
when repeated many times during every test run. Tends to mask real errors.

> numberformattesttuple.cpp:319:5: runtime error: member access within null pointer of type 'NumberFormatTestTuple'

ICU-20600 build icu-data-bin files

make dist will now produce:
- icu4c-67.1-data-bin-b.zip
- icu4c-67.1-data-bin-l.zip

ICU-20910 C API Change Report Tool updates

- This commit was used to generate ICU4C 65's report
- This commit was inadvertently left out of [ICU-20162]

Changes:
- fixup copyright messages
- code cleanup
- fix unreplaced '$rightVer' in born stable APIs

ICU-21008 Make ant checkTest run tests in exhaustive mode

See #1021

ICU-20984 StringPiece & ByteSink overloads for char8_t*

ICU-21009 LocaleMatcher() order[] always set all elements

ICU-21014 Fix OOM not checked in dtitvfmt.cpp and dtitvinf.cpp

ICU-20987 integrate CLDR release-37-alpha3 to master, adjust MeasureUnitTest.java tools

ICU-20809 Remove FieldPositionIterator from listformatter.h

ICU-21011 Debug print detail size of brk files.

To print it,
$ CXXFLAGS="-DRBBI_DEBUG" ./runConfigureICU --enable-debug --disable-release  Linux/gcc --disable-layoutex
$ make clean
$ U_RBBIDEBUG="size" make

ICU-20879 fix typo in tests, calender → calendar

ICU-20700 uloc_acceptLanguage API doc update

ICU-20936 add LocaleMatcher.Builder.setDirection(with-one-way vs. only-two-way)

ICU-20844 ICU4J, reduce restriction on minInt=minFrac=0

ICU-21006 Improve output from RBBI Monkey Test in ICU4J

See #1023

ICU-20975 update KEYS

- add new key 4569BBC09DA846FC91CBD21CE1BBA44593CF2AE0

ICU-20626 Update Readme badges to add CI-Valgrind pipeline

ICU-20626 Remove "pr:none" from Valgrind CI config to enable comment triggers.

It seems that having "pr:none" completely disables running on PRs, even
when explicitly triggered by a comment.

ICU-20965 Remove VS2015 from CI builds, no longer supported by Azure Pipelines

ICU-20945 Making icudt66.dll for x64 as PE32+

ICU-20626 Adding valgrind to the CI tests for ICU4C.

This adds a separate CI pipeline for running valgrind on ICU4C.

The Azure Pipeline images don't have valgrind installed by default though,
so we need to install valgrind first.

We also add `--error-exitcode=1` to the valgrind options, so that any
errors found by valgrind will fail the CI build.

ICU-20700 reimplement acceptLanguage() using the LocaleMatcher; replace older accept-language-string parsing by LocalePriorityList

ICU-20915 LocaleMatcher no match: always getSupportedIndex()=-1; remove defaultLocaleIndex field; constructor check if locales are equivalent to default, not just equal; simplify locale sorting; minor builder & test deflaking

ICU-20991 Trace BreakIterator/BreakEngine creation

See #1014

ICU-20974 Fix exhaustive test failures

ICU-21000 Fix abort called by DateTimePatternGenerator::getDefaultHourCycle

If you call the API getDefaultHourCycle on an empty DateTimePatternGenerator
instance (ie: no locale) then it calls UPRV_UNREACHABLE which calls abort().
We should return an error code instead of aborting.

ICU-21001 Fixing problems found by running valgrind.

This makes fixes in order to run the icu4c tests (intltest, cintltst,
iotest, and icuinfo) cleanly under valgrind with --leak-check=full.

ICU-21004 Fix buffer over-read in ucal_open

The issue shows under valgrind or as an Address Sanitizer failure.

ICU-20974 Correctly handle extreme values of double.

ICU-20967 add millisecond to DateIntervalFormat

See #978

ICU-20961 Return correct currency plural pattern from DecimalFormat

ICU-21003 Fix CI config to use new Git LFS syntax, add timeout to ICU4J exhaustive test

ICU-20987 integrate CLDR release-37-alpha2 to master (new tools)

ICU-20987 integrate CLDR release-37-alpha1 to master (using new tooling)

ICU-20919 Merge maint/maint-66 into master

ICU-20919 Merge branch 'maint/maint-66' into maint-66-merge

Conflicts:
icu4j/main/shared/data/icudata.jar

ICU-20693 Update README.txt in lib directory to lessen risk of failure when setting up libs.

See #999

ICU-20972 Fix invalid conversion from const char8_t* to const char* (C++20)

ICU-20893 Unicode 13 data 2020feb19

ICU-20969 Fix file permissions (-x) on ICU4C source files.

ICU-20975 BRS66rc update Unicode license copyright

ICU-20842 Fix library names in pkg-config files  on Windows (mingw-w64)

since the move of the DLL to bin/ the library names in .pc files is
wrong. With ICU 65.1, icu-uc.pc contains

Libs: -L${libdir} -licuuc65 -licudt65

the version number should not appear. Indeed, the linker looks for the
libraries in $prefix/lib in the following order (see [1]):

libxxx.dll.a
xxx.dll.a
libxxx.a
cygxxx.dll
libxxx.dll
xxx.dll

As the is only the import library with no versioning (which is normal),
the is a link error when using ICU pc files.

[1] https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/4/html/Using_ld_the_GNU_Linker/win32.html

ICU-20975 update API Change Report for 66

- Compared against ICU4C 65.1
- no substantive change. Just dropped 'preview'

ICU-20852 Fix Makefile to build on Sparc Solaris

ICU-20975 integrate CLDR release-36-1-beta to maint-66

ICU-20876 Regex Grapheme Cluster matching with Break Iterators.

Change the implementation of grapheme cluster matching in regex to use an ICU
break iterator instead of a little one-off state machine.

The old implementation had fallen behind the Unicode UAX-29 specification for
graphem clusters, and could not be easily updated.

The implementation follows the same general pattern that is used for finding
word boundaries with an ICU break iterator. In reviewing that code, a few
improvements to the handling of ICU error codes were also made.

Also note that this change adds a new dependency on Break Iteration.  Regex
patterns that previously would work with ICU builds that were configured with
no break iteration will now fail. But only if they include \X for matching
grapheme cluster boundaries.

ICU-20975 BRS66RC Update version numbers, README files, configure

ICU-20322 Do "make install" on the CI Builds for MinGW.

Also recursively list out the contents of the install directory,
and run the icuinfo.exe program.

ICU-20322 Add icudt*.dll and srtest.exe to .gitignore file.

ICU-20322 On MinGW, move the DLLs to the "bin" directory.

This change builds on Vincent Torri's changes.

This installs the ICU DLL files in $prefix/bin instead of $prefix/lib.

Note: In order to disable this change in behavior you can edit
the "mh-mingw*" file(s). If you set the variable MINGW_MOVEDLLSTOBINDIR
to NO instead of YES, then it will retain the previous behavior of
installing the DLLs into the bin folder.

ICU-20322 Install dll in $prefix/bin instead of $prefix/lib

ICU-20895 ICU_TIMEZONE_FILES_DIR_PREFIX_ENV_VAR

Adds `ICU_TIMEZONE_FILES_DIR_PREFIX_ENV_VAR`, similar to
`ICU_DATA_DIR_PREFIX_ENV_VAR`, that specifies an environment variable
to retrieve and prepend to the ICU time zone data file path.

ICU-20834 Implement UTS35 Locale ID Canonicalization

See #951

ICU-20738 Best-match pattern for 'sS' uses <appendItem> data

ICU-20954 Fix currency spacing in suffix.

ICU-20953 Tell GitHub to treat JSON as JSONC to fix syntax highlighting for comments.

ICU-13836 C++ port of adding exponent for better plurals for compact decimal format

ICU-20939 Fix problem w regexp \b boundaries & UTF-8 text

In regular expressions, when testing for word boundaries with \b, the
boundaries were incorrect when in Unicode mode, meaning that an ICU word break
iterator is being used to find the boundaries, and the text being matched is
UTF-8 encoded.

The bug stemmed from a misunderstanding of how string indexes work with UText
and break iterators, leading to the inclusion of code to convert from UTF-8 to
UTF-16 indexing, when what was wanted was the original UTF-8 index everywhere.
Removing the indexing conversion fixes the problem.

ICU-20958 Prevent SEGV_MAPERR in append

See #971

ICU-11548 Improve regex static UnicodeSets handling

Compiled regular expression patterns make use of several shared common
UnicodeSets. This change simplifies the creation and use of these
static UnicodeSets.

- Pointer fields to the static sets are removed from the compiled patterns,
  and the static variables are accessed directly. The deleted pointers
  were a hold-over from earlier code that did not use shared statics.

- The UnicodeSet pattern literals are changed from hex constants to
  u"string literals".

- The size of fRuleSets (from regexst.h) is changed from a hard-coded 10
  to the number of UnicodeSets actually required. Doing this required
  a change to regexcst.pl to export the required size. Changing and
  rerunning this perl code resulted in massive but benign changes to
  the generated file regexcst.h, the result of perl having changed its
  order of enumeration of hashes since the file was last regenerated.

- UnicodeSets are frozen when possible. Should result in faster matching.

ICU-20744 Add VS Code configuration files for c++

See #899

ICU-20938 Add --skip-dll-export option to genccode to prevent exporting statically linked ICU data from executables.

ICU-20099 Implementing Java ListFormatter proposals for ICU 67.

See #904

ICU-20767 Potential negative index access in one of the sample codes

ICU-13836 Represent suppressed exponent for better plural support

ICU-20693 Tidyups and small fixes for ICU conversion code

ICU-20919 Merge maint/maint-66 to master

ICU-20934 Fix TZ test error

Somehow these tests are now fail on trunks.
Per https://mm.icann.org/pipermail/tz-announce/2019-July/000056.html
     Brazil has canceled DST and will stay on standard time indefinitely.

Cherry-picked from: 11ad8d69fb4c70e529c592d37df5a30c925b6af4

ICU-20942 Update Apache Ivy to 2.5.0 to fix failing ICU4J builds.

ICU-20665 Removing number-dependence from ICU4C FormattedStringBuilder fields.

See #727

ICU-20673 Allow built-in translit ID w/o data.

See #958

ICU-20418 Implementing concise number skeletons in ICU4J.

ICU-20418 Fix indentation of CHECK_NULL in number_skeletons.cpp

ICU-20418 Adding concise number skeletons in ICU4C

ICU-20418 Adding *internal* parse method for core unit identifiers.

Also see ICU-20286

ICU-20921 Adding find and compare to StringPiece

ICU-20875 Include <cstddef> for max_align_t

The definition of max_align_t is not guaranteed to be available unless
the appropriate header is included. Since use of <stddef.h> from C++ is
deprecated, that's <cstddef>, and max_align_t is thus defined under the
std namespace rather than in the global namespace.

ICU-20442 Adding support for hour-cycle on DateTimePatternGenerator

DateTimePatternGenerator needs to consider the hour-cycle preferred by
Locale. This means that we need to to override the hour-cycle when a
locale contains "hc" keyword. This patch is adding such functionality.
In addition, "DateTimePatternGenerator::adjustFieldTypes" should adjust
hour field to properly follow tr35
spec(https://www.unicode.org/reports/tr35/tr35-dates.html#dfst-hour).

ICU-20928 Fix incorrect javadoc reference in DecimalFormatProperties

ParseMode.COMPATIBILITY was eventually renamed to
ParseMode.JAVA_COMPATIBILITY but it's javadoc was not updated.

ICU-20871 Fixed: no rule was defined to create the $(OUTDIR) directory if it didn't exist.

This would cause failures during cross compilation cases such as:

make[6]: Leaving directory '/spksrc/spk/bazarr/work-qoriq-6.1/icu/source/data'
make[5]: *** No rule to make target 'out', needed by 'out/icudt64b.dat'.  Stop.

ICU-20924 Use pkg-config to generate the path to pkgdata.inc

ICU-20934 Fix TZ test error

Somehow these tests are now fail on trunks.
Per https://mm.icann.org/pipermail/tz-announce/2019-July/000056.html
     Brazil has canceled DST and will stay on standard time indefinitely.

ICU-20900 Fix createCanonical

See #922

ICU-20917 LocaleMatcher: prefer a more-default locale

ICU-20310 omit "-true" in toLanguageTag

See #952

ICU-20916 UBSan & ErrorProne fixes

ICU-20916 LocaleMatcher distinguish between equivalent locales

- equivalent but originally unequal
- locale distance shifted left for additional fraction bits with micro distance
- Java more verbose matcher debug output
See #949

ICU-20693 Remember to mention the JAR setup

See #900

ICU-20892 Highlight `.cpyskip.txt` on GitHub.com

ICU-20354 Change 'weekend data' to 'week data'

ICU-12863 Add list style APIs to C and C++

See #894

ICU-20303 Break Iterator, improve handling of look-ahead rules.

- Merge the look-ahead results slots used when multiple rules share a common accepting state.
- Sequentially number the look-ahead result slot. Will eventually allow replacing the runtime map with an array.
- Inhibit chaining out of look-ahead rules. This could never actually happen; when a hard break
  rule matches, the engine is stopped immediately, but the state table was being constructed
  as if it could  happen. Reduces table size for line break rules.
- Remove incorrect handling of fAccepting and fLookAhead fields of a state table row
  when removing duplicate states. Look-ahead slot number was being mis-interpreted as a state number.

ICU-20883 Move UFormattedDateInterval to end of argument list.

ICU-20436 Add getDefaultHourCycle to DateTimePatternGenerator

See #901

ICU-20877 i18n: Don't use C++11 math

It's not available with some libc implementations. Specifically,
BIONIC and uClibc-ng. uprv_ variants are available.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

ICU-20904 Don't use char16_t with C++98/03

When C code includes the ICU headers, the UChar type is defined to be
uint16_t. But when C++ code includes the headers, UChar is char16_t
even when U_SHOW_CPLUSPLUS_API has been set to 0. Apart from arguably
being an inconsistency in the API, this means that C++98 or C++03 code
can't use the C API even though C99 code can.

So, change unicode/umachine.h to check not just whether __cplusplus is
defined but the value of U_CPLUSPLUS_VERSION when deciding how to
typedef UChar.

ICU-20906 Annotate APIs in PluralRules with why they are @internal