ICU-20919 Merge branch 'maint/maint-66' into maint-66-merge

Conflicts:
icu4j/main/shared/data/icudata.jar

ICU-20972 Fix invalid conversion from const char8_t* to const char* (C++20)

ICU-20893 Unicode 13 data 2020feb19

ICU-20969 Fix file permissions (-x) on ICU4C source files.

ICU-20975 BRS66rc update Unicode license copyright

ICU-20842 Fix library names in pkg-config files  on Windows (mingw-w64)

since the move of the DLL to bin/ the library names in .pc files is
wrong. With ICU 65.1, icu-uc.pc contains

Libs: -L${libdir} -licuuc65 -licudt65

the version number should not appear. Indeed, the linker looks for the
libraries in $prefix/lib in the following order (see [1]):

libxxx.dll.a
xxx.dll.a
libxxx.a
cygxxx.dll
libxxx.dll
xxx.dll

As the is only the import library with no versioning (which is normal),
the is a link error when using ICU pc files.

[1] https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/4/html/Using_ld_the_GNU_Linker/win32.html

ICU-20975 update API Change Report for 66

- Compared against ICU4C 65.1
- no substantive change. Just dropped 'preview'

ICU-20852 Fix Makefile to build on Sparc Solaris

ICU-20975 integrate CLDR release-36-1-beta to maint-66

ICU-20876 Regex Grapheme Cluster matching with Break Iterators.

Change the implementation of grapheme cluster matching in regex to use an ICU
break iterator instead of a little one-off state machine.

The old implementation had fallen behind the Unicode UAX-29 specification for
graphem clusters, and could not be easily updated.

The implementation follows the same general pattern that is used for finding
word boundaries with an ICU break iterator. In reviewing that code, a few
improvements to the handling of ICU error codes were also made.

Also note that this change adds a new dependency on Break Iteration.  Regex
patterns that previously would work with ICU builds that were configured with
no break iteration will now fail. But only if they include \X for matching
grapheme cluster boundaries.

ICU-20975 BRS66RC Update version numbers, README files, configure

ICU-20322 Do "make install" on the CI Builds for MinGW.

Also recursively list out the contents of the install directory,
and run the icuinfo.exe program.

ICU-20322 Add icudt*.dll and srtest.exe to .gitignore file.

ICU-20322 On MinGW, move the DLLs to the "bin" directory.

This change builds on Vincent Torri's changes.

This installs the ICU DLL files in $prefix/bin instead of $prefix/lib.

Note: In order to disable this change in behavior you can edit
the "mh-mingw*" file(s). If you set the variable MINGW_MOVEDLLSTOBINDIR
to NO instead of YES, then it will retain the previous behavior of
installing the DLLs into the bin folder.

ICU-20322 Install dll in $prefix/bin instead of $prefix/lib

ICU-20895 ICU_TIMEZONE_FILES_DIR_PREFIX_ENV_VAR

Adds `ICU_TIMEZONE_FILES_DIR_PREFIX_ENV_VAR`, similar to
`ICU_DATA_DIR_PREFIX_ENV_VAR`, that specifies an environment variable
to retrieve and prepend to the ICU time zone data file path.

ICU-20834 Implement UTS35 Locale ID Canonicalization

See #951

ICU-20738 Best-match pattern for 'sS' uses <appendItem> data

ICU-20954 Fix currency spacing in suffix.

ICU-20953 Tell GitHub to treat JSON as JSONC to fix syntax highlighting for comments.

ICU-13836 C++ port of adding exponent for better plurals for compact decimal format

ICU-20939 Fix problem w regexp \b boundaries & UTF-8 text

In regular expressions, when testing for word boundaries with \b, the
boundaries were incorrect when in Unicode mode, meaning that an ICU word break
iterator is being used to find the boundaries, and the text being matched is
UTF-8 encoded.

The bug stemmed from a misunderstanding of how string indexes work with UText
and break iterators, leading to the inclusion of code to convert from UTF-8 to
UTF-16 indexing, when what was wanted was the original UTF-8 index everywhere.
Removing the indexing conversion fixes the problem.

ICU-20958 Prevent SEGV_MAPERR in append

See #971

ICU-11548 Improve regex static UnicodeSets handling

Compiled regular expression patterns make use of several shared common
UnicodeSets. This change simplifies the creation and use of these
static UnicodeSets.

- Pointer fields to the static sets are removed from the compiled patterns,
  and the static variables are accessed directly. The deleted pointers
  were a hold-over from earlier code that did not use shared statics.

- The UnicodeSet pattern literals are changed from hex constants to
  u"string literals".

- The size of fRuleSets (from regexst.h) is changed from a hard-coded 10
  to the number of UnicodeSets actually required. Doing this required
  a change to regexcst.pl to export the required size. Changing and
  rerunning this perl code resulted in massive but benign changes to
  the generated file regexcst.h, the result of perl having changed its
  order of enumeration of hashes since the file was last regenerated.

- UnicodeSets are frozen when possible. Should result in faster matching.

ICU-20744 Add VS Code configuration files for c++

See #899

ICU-20938 Add --skip-dll-export option to genccode to prevent exporting statically linked ICU data from executables.

ICU-20099 Implementing Java ListFormatter proposals for ICU 67.

See #904

ICU-20767 Potential negative index access in one of the sample codes

ICU-13836 Represent suppressed exponent for better plural support

ICU-20693 Tidyups and small fixes for ICU conversion code

ICU-20919 Merge maint/maint-66 to master

ICU-20934 Fix TZ test error

Somehow these tests are now fail on trunks.
Per https://mm.icann.org/pipermail/tz-announce/2019-July/000056.html
     Brazil has canceled DST and will stay on standard time indefinitely.

Cherry-picked from: 11ad8d69fb4c70e529c592d37df5a30c925b6af4

ICU-20942 Update Apache Ivy to 2.5.0 to fix failing ICU4J builds.

ICU-20665 Removing number-dependence from ICU4C FormattedStringBuilder fields.

See #727

ICU-20673 Allow built-in translit ID w/o data.

See #958

ICU-20418 Implementing concise number skeletons in ICU4J.

ICU-20418 Fix indentation of CHECK_NULL in number_skeletons.cpp

ICU-20418 Adding concise number skeletons in ICU4C

ICU-20418 Adding *internal* parse method for core unit identifiers.

Also see ICU-20286

ICU-20921 Adding find and compare to StringPiece

ICU-20875 Include <cstddef> for max_align_t

The definition of max_align_t is not guaranteed to be available unless
the appropriate header is included. Since use of <stddef.h> from C++ is
deprecated, that's <cstddef>, and max_align_t is thus defined under the
std namespace rather than in the global namespace.

ICU-20442 Adding support for hour-cycle on DateTimePatternGenerator

DateTimePatternGenerator needs to consider the hour-cycle preferred by
Locale. This means that we need to to override the hour-cycle when a
locale contains "hc" keyword. This patch is adding such functionality.
In addition, "DateTimePatternGenerator::adjustFieldTypes" should adjust
hour field to properly follow tr35
spec(https://www.unicode.org/reports/tr35/tr35-dates.html#dfst-hour).

ICU-20928 Fix incorrect javadoc reference in DecimalFormatProperties

ParseMode.COMPATIBILITY was eventually renamed to
ParseMode.JAVA_COMPATIBILITY but it's javadoc was not updated.

ICU-20871 Fixed: no rule was defined to create the $(OUTDIR) directory if it didn't exist.

This would cause failures during cross compilation cases such as:

make[6]: Leaving directory '/spksrc/spk/bazarr/work-qoriq-6.1/icu/source/data'
make[5]: *** No rule to make target 'out', needed by 'out/icudt64b.dat'.  Stop.

ICU-20924 Use pkg-config to generate the path to pkgdata.inc

ICU-20934 Fix TZ test error

Somehow these tests are now fail on trunks.
Per https://mm.icann.org/pipermail/tz-announce/2019-July/000056.html
     Brazil has canceled DST and will stay on standard time indefinitely.

ICU-20900 Fix createCanonical

See #922

ICU-20917 LocaleMatcher: prefer a more-default locale

ICU-20310 omit "-true" in toLanguageTag

See #952

ICU-20916 UBSan & ErrorProne fixes

ICU-20916 LocaleMatcher distinguish between equivalent locales

- equivalent but originally unequal
- locale distance shifted left for additional fraction bits with micro distance
- Java more verbose matcher debug output
See #949

ICU-20693 Remember to mention the JAR setup

See #900

ICU-20892 Highlight `.cpyskip.txt` on GitHub.com

ICU-20354 Change 'weekend data' to 'week data'

ICU-12863 Add list style APIs to C and C++

See #894

ICU-20303 Break Iterator, improve handling of look-ahead rules.

- Merge the look-ahead results slots used when multiple rules share a common accepting state.
- Sequentially number the look-ahead result slot. Will eventually allow replacing the runtime map with an array.
- Inhibit chaining out of look-ahead rules. This could never actually happen; when a hard break
  rule matches, the engine is stopped immediately, but the state table was being constructed
  as if it could  happen. Reduces table size for line break rules.
- Remove incorrect handling of fAccepting and fLookAhead fields of a state table row
  when removing duplicate states. Look-ahead slot number was being mis-interpreted as a state number.

ICU-20883 Move UFormattedDateInterval to end of argument list.

ICU-20436 Add getDefaultHourCycle to DateTimePatternGenerator

See #901

ICU-20877 i18n: Don't use C++11 math

It's not available with some libc implementations. Specifically,
BIONIC and uClibc-ng. uprv_ variants are available.

Signed-off-by: Rosen Penev <rosenp@gmail.com>

ICU-20904 Don't use char16_t with C++98/03

When C code includes the ICU headers, the UChar type is defined to be
uint16_t. But when C++ code includes the headers, UChar is char16_t
even when U_SHOW_CPLUSPLUS_API has been set to 0. Apart from arguably
being an inconsistency in the API, this means that C++98 or C++03 code
can't use the C API even though C99 code can.

So, change unicode/umachine.h to check not just whether __cplusplus is
defined but the value of U_CPLUSPLUS_VERSION when deciding how to
typedef UChar.

ICU-20906 Annotate APIs in PluralRules with why they are @internal

ICU-20919 Merge maint/maint-66 (release-66-preview) to master

ICU-20741 Changing SimpleDateTimeFormat::subFormat to only include 1 field at the same position when there is a data fallback

ICU-20873 Add KEYS file to cpyskip.txt for Travis Linter.

ICU-20873 Add PGP key for jefgen to KEYS file

ICU-20873 Add the PGP "KEYS" file to the ICU repo.

This is a copy of the file from:
http://ssl.icu-project.org/KEYS

The ICU project's PGP KEYS file was previously hosted on a separate
server that not all ICU-TC members have access too. This change copies
the current KEYS file into the top-level git repo, so that we can setup
a redirect on the website to point at the checked-in file, rather than
hosting it separately.

ICU-20857 update API Change Report for ICU 66preview

- uses tools updated in [ICU-20910]

ICU-20857 BRS66 Updated ICU4J API change report (also regenerated
icu4j65.api3.gz)

ICU-20857 BRS 66 Clean up import statement

ICU-20857 BRS66 update urename.h

ICU-20857 Update Readme for ICU 66 Preview.

ICU-20907 Disable optimization on Windows when building for ARM64 with Visual Studio versions below 16.4.

ICU-20893 Line break tailorings updated to Unicode 13.

ICU-20890 Change locale_dependencies.py into LOCALE_DEPS.json files

- Refactors Python to make I/O operations more abstract
- Adds stable sample data for Python test

ICU-20857 integrate CLDR release-36-1-preview to maint-66

ICU-20741 Adding tests for C/C++ API into DateFormatTests

ICU-20893 Unicode 13 beta

See PR #915, see changes.txt
- Unicode 13 beta data as of 2019-nov-21
- uprops.icu format version 7.7 with more bits for Script/Script_Extensions
- more bits in spoof checker ScriptSet
- root line break rules adjusted for UAX 14 changes, from Andy
- line break tailorings not yet in sync with root

ICU-20844 remove restriction on minInt=minFrac=0, ensure doFastFormatInt32
and NumberFormatterImpl::writeNumber produce at least 1 result digit (#917)

ICU-20705 Add udtitvfmt_formatCalendarToResult

See #896

ICU-20739 Force seconds if the skeleton has fractional seconds

ICU-20693 Final adjustments for handling forced parent IDs better.

ICU-20693 Adding support for deletion of existing files prior to ICU data generation.

ICU-20693 Reworking Ant structure to better explain and reflect 'tailorings'

ICU-20693 Supporting dependency graph generation (first draft)

See #909

ICU-20693 Make alt-path processing per-locale and remove source values.

remove sources

ICU-20693 Quick tidy of some stale/broken comments

See #908

ICU-20709 Use SIGNUM_COUNT for number of entries in Signum enum.

ICU-20709 Moving rounder call before number properties.

- Changes EXCEPT_ZERO notation to hide sign on numbers that round to zero.
- Adds additional tests for this behavior.

ICU-20709 Refactoring number formatter to apply pattern after compact notation.

ICU-20709 Adding fourth signum type. Converting Java to use enum.

ICU-20884 initialized buffer uloc_getKeywordValue

ICU-20872 remove extra ; after function {}

See #888

ICU-20863 Regex Named Capture map, add a missing nullptr check.

ICU-20863 Regex Named Capture map, add a missing nullptr check.

ICU-20478 Sort variant in (for|to)LanguageTag of icu::Locale and ULocale

See #836

ICU-20872 remove extra ; after function {}

See #888

ICU-20693 Pseudo-locale "alt path" filtering support. (#869)

* ICU-20693 Pseudo-locale "alt path" filtering support.

ICU-20863 Regex, lazy creation and reduced size of map from capture group names to numbers.

ICU-20841 Update buildtool docs according to user feedback.

See #835

ICU-20857 Update version numbers to 66.0.1