Combine SKIP_TOKEN+RETURN_TOKEN into one macro

Move shebang handling into the lexer

Instead of handling shebang lines by adjusting the file pointer in
individual SAPIs, move the handling into the lexer, where this is
both a lot simpler and more robust. Whether the shebang should be
skipped is controlled by CG(skip_shebang) -- we might want to do
that in more cases.

This fixed bugs #60677 and #78066.

Merge branch 'PHP-7.3' into PHP-7.4

Merge branch 'PHP-7.2' into PHP-7.3

Fix bug #77124

This is a backport of 6fcae63f614d1ed4aaeaff7b13a7a4627b1f1312
to PHP 7.2.

Sync mysqlnd version with PHP version

Since mysqlnd is solely developed in the php-src repository, it makes
not much sense to have its own version number, particularly since
nobody cares to update it.  Therefore we use PHP's version number, but
stick with the "mysqlnd" prefix which can be important to distinguish
the mysqli driver (libmysqlclient vs. mysqlnd).

Merge branch 'PHP-7.3' into PHP-7.4

* PHP-7.3:
  typo [ci skip]

typo [ci skip]

Merge branch 'PHP-7.3' into PHP-7.4

* PHP-7.3:
  Fix #78269 password_hash uses weak options for argon2
  Fix #78269 password_hash uses weak options for argon2

Merge branch 'PHP-7.2' into PHP-7.3

* PHP-7.2:
  Fix #78269 password_hash uses weak options for argon2

Fix #78269 password_hash uses weak options for argon2

Fix #78269 password_hash uses weak options for argon2

Merge branch 'PHP-7.3' into PHP-7.4

Emit T_BAD_CHARACTER for unexpected characters

Avoid having holes in the token stream which are annoying and
inefficient to reconstruct on the consumer side.

Fixed bug #78010

Prevent the gc_info from becoming all zero for a registered root
by setting the top bit to one for compressed root addresses.

vectorize string-escape with NEON

On this benchmark:
function simple_string_escape() {
    $a = "test'asd'asd'' asd\'\"asdfasdf";
    for($i=0; $i<512; $i++) {
        $a .= chr($i%256);
    }
    for ($i = 0; $i < 100000; $i++) {
        if ($a === stripslashes(addslashes($a)))
            $a .= chr($i%256);
        else {
            echo "error at i=".$i."\n";
            return;
        }
    }
}
the execution time goes from 21.619s to 8.139s (165% speedup) on an A1 Graviton instance.

When removing the characters that need escaping, i.e., this benchmark:
function simple_string() {
  $a = "testasdasd asdasdfasdf";
  for ($i = 0; $i < 10000; $i++) {
      if ($a === stripslashes(addslashes($a)))
          $a .= "test dedeasdf";
      else {
          echo "error at i=".$i."\n";
          return;
      }
  }
}
the execution time goes from 2.932s down to 0.516s (468% speedup) on an A1 Graviton instance.

Merge branch 'PHP-7.3' into PHP-7.4

Merge branch 'PHP-7.2' into PHP-7.3

Fix bug #78291 Missing opcache directives

New opcache directives have been added recently which are returned
if using `ini_get_all('zend opcache')` but are not listed in the
directives if using `opcache_get_configuration()`.  This fix adds
those missing directives as well as if `opcache.mmap_base` is used
instead of `opcache.lockfile_path`.  Also adds a test to ensure the
directives match with both methods of fetching.

Remove usage of PHP_AIX_LDFLAGS

These are currently not defined since their usage has been removed via
51ca2dba530883a8e07d6869e66ee6c5b3c978a6
and
53349d69ddf7a2ba128f0928fb3b376422611a3b

Remove conditional calls of always available macros

These checks were once relevant for these extensions in PECL and PHP
versions without availability of the checked macros.

Closes GH-4405

Remove unsed zts check for sqlite3

This check was relevant with bundled sqlite library. Removed via
6083a387a81dbbd66d6316a3a12a63f06d5f7109

Closes GH-4403

Remove duplicate PTHREADS template define

The undef PTHREADS converts to define if thread safety is configured.
This step is already done by pthreads m4 macros from TSRM so this now
removes duplicated PTHREADS defines from php_config.h.

Remove timelib outdated defines

- TIMELIB_OMIT_STDINT is not used anymore since
  https://github.com/derickr/timelib/commit/a171f99cf02baf39549ab7209e37565b8b8f6529
- HAVE_GETTIMEOFDAY was defined multiple times in Windows headers
- ext/date/lib/timelib_config.h.win32 does not seem to be used

Closes GH-4400

Remove PHP_MYSQL variable

PHP_MYSQL variable was once defined by the ext/mysql (--with-mysql).

Closes GH-4399

Update changelogs

- PHP-7.4 alpha, beta, RC versions already include bugs logged in the
  NEWS
- some links to RFCs
- php_error_docref0

Remove php_multiple_shlib_versions_ok

Variable usage was removed via
913cec65517f11ebd972f920d1d320b853a175dd

Remove unused recode extension artefacts

Closes GH-4395

Remove checks for always enabled spl and pcre

Closes GH-4397

Remove WARNING_LEVEL fix for QNX

Fix is no longer relevant since the environment variable WARNING_LEVEL
is no longer used to define the value of the -w option for cc.

Closes GH-4398

Fix #78283: no output for explicit environment

This test does not work on Windows, if the child process has OPcache
enabled via php.ini, since TEMP is not set in the environment, so
OPcache can't find the base address file, and terminates the childs.

To avoid this (and potentially some other issues regarding missing
environment variables, such as PATH), we force the child process to
ignore any ini files.

Fix #78282: atime and mtime mismatch

The fix for bug #78241 assumed that `time_t` would always be 64bit, but
actually is 32bit for x86.  We therefore enforce 64bit arithmetic to
avoid wrapping.

Convert all php_error_docref0 to php_error_docref

Closes GH-4394

Remove tsrm_config_common.h

- Checks and defines are not relevant for files that include it anymore
- Some code is not used anymore
- Defines are a bit duplicated in zend_portability.h and TSRM.h file
- MAXPATHLEN defs moved to zend_virtual_cwd.h

No more need to cater to pre-PHP-5.3 or PHP-6 versions

Don't split T_INLINE_HTML at partial PHP tag

If <?php occurs without required trailing whitespace, we should keep
it as part of a single T_INLINE_HTML region.

Merge branch 'PHP-7.3' into PHP-7.4

Merge branch 'PHP-7.2' into PHP-7.3

Use TRY_ADDREF/TRY_DELREF in soap

The DELREF part is a possible fix for bug #78278, the ADDREF part
is a drive-by fix.

Merge branch 'PHP-7.3' into PHP-7.4

Merge branch 'PHP-7.2' into PHP-7.3

Fixed bug #78279

Even if we don't initialize the callback on every request, we
should still reset our globals to default values...

Update NEWS and UPGRADING wrt. ext/recode unbundling

Removed ext/recode

Cf. <https://wiki.php.net/rfc/unbundle_recode>.

Swap implode() argument order in the test helper

Remove duplicate XtOffsetOf() definitions in php.h

These are already defined in zend_portability.h.

Remove unused tsrm_strtok_r() function

There is also a php_strtok_r() function, which is actually used,
but nothing uses the tsrm_strtok_r() variant...

Remove unnecessary uses of allow_url_include in tests

Remove unnecessary uses of restore_include_path() in tests

Swap implode() argument order in some tests

Improve bless_tests

If a string var_dump contains a wildcard, also make the length a
wildcard.

Use common code for double math

Revert "Temporarily skip test"

This reverts commit 4e5a717866ed18c5ee539e339e33cc71f0ac8a88.

As of commit 17f7fb76053cabe20225472debe4d1801221ef9f the test should
no longer hang.

Allow GOTO style helpers in HYBRID VM

Separate "cold" parts of comparison instructions

Separate "cold" parts of binary op instructions

Remove redundant 64-bit ezmlm_hash() test

This test is the same as the as ezmlm_hash_basic.phpt. This function
does not behave differently on 32-bit and 64-bit.

Add ZEND_DEP_ME macro

Convert short tag to standard tag in Zend test file

Closes GH-4389.

Switch to using shell-less proc_open() in various server tests

Support redirect+null descriptors in proc_open

This adds support for doing something like:

    [1 => ['pipe', 'w'], 2 => ['redirect', 1]]

This will make descriptor 2 on the child end a dup'd descriptor 1.
This is mainly useful in conjunction with shell-less mode, because
we don't have an easy way to do "2>&1" there.

Additionally we support:

    [1 => ['pipe', 'w'], 2 => ['null']]

Which would be the same as a >/dev/null or >nul redirect, depending
on platform.

Don't call Reflection::export() internally

export() methods were implemented in a roundabout way, where they
would call Reflection::export(), which would then call __toString().
Cut out the middleman by directly calling __toString().

Merge branch 'PHP-7.3' into PHP-7.4

* PHP-7.3:
  Fix #78212: Segfault in built-in webserver

Fix #78212: Segfault in built-in webserver

Since syslog's ident and facility parameters have been added to
config[1], vsyslog() segfaults on Windows, if openlog() has not been
called before.  We bring back the removed lines to fix this.

[1] <http://git.php.net/?p=php-src.git;a=commit;h=2475337bd8a0fad0dac03db3f5e7e9d331d53653>

Include test name in JUnit testcase name

Azure does not show the classname attribute in any convenient way,
and the file name is the part we usually care about.

Make proc_open_bug64438.phpt more robust

The test currently assumes that we'll first read the data of
stdout and stderr and then see eof on stdout and stderr. However
we could also read stdout, see eof on stdout, read stderr and see
eof on stderr, depending on timing.

Avoid output ordering issues by collecting events into a per-pipe
array, so interleaving is not visible.

neon vectorization for base64

A similar algorithm is used to vectorize on x86_64, with a good description in
https://arxiv.org/abs/1704.00605 . On AArch64 the implementation differs in that
instead of using multiplies to shift bits around, it uses the vld3+vst4 and
vld4+vst3 combinations to load and store interleaved data.  This patch is based
on the NEON implementation of Wojciech Mula:
https://github.com/WojciechMula/base64simd/blob/master/encode/encode.neon.cpp
https://github.com/WojciechMula/base64simd/blob/master/encode/lookup.neon.cpp
and
https://github.com/WojciechMula/base64simd/blob/master/encode/encode.neon.cpp
https://github.com/WojciechMula/base64simd/blob/master/encode/encode.neon.cpp
adapted to php/ext/standard/base64.c and vectorized with factor 16 instead of 8.

On a Graviton A1 instance and on the synthetic benchmarks in
https://github.com/lemire/fastbase64 I see 175% speedup on base64 encoding and
60% speedup on base64 decode compared to the scalar implementation.

The patch passes `make test` regression testing on aarch64-linux.

[AArch64] Use crc32 instructions when available

The time goes from 0.838s down to 0.029s (a 28x speedup) on a Graviton A1
instance and the following benchmark:

function simple_crc32() {
  $a = "foo";
  for ($i = 0; $i < 10000; $i++) {
      crc32($a);
      $a .= "o".$i;
  }
}

Add server conflict to soap custom content type test

Refactor undefining PACKAGE_* symbols

Instead of patching configuration headers template generated by
the given tools - autoheader, this moves patching these symbols to
the configure step before creating and invoking the config.status
and before the configuration header file is generated from the
patched template.

Closes GH-4374

Remove TSRM/tsrm_config.w32.h

The tsrm_config.w32.h file is a simple wrapper for already defined
symbols and includes elsewhere.

Closes GH-4383

Set expectation to reduce hot code fragmentation

Merge branch 'PHP-7.3' into PHP-7.4

Fix bug #78271

When cleaning nops in the dfa pass, we were always keeping the
smart branch inhibiting nop that occurs directly before the jump
instruction. However, as we skip unreachable blocks entirely, it
may happen that we need to keep a nop that occurs further back,
prior to the unreachable blocks. Account for that case now.

We should really do something about the smart branch situation,
this is very fragile...

Align segments on huge page boundary only for x86

Closes GH-4387.

Merge branch 'PHP-7.3' into PHP-7.4

Add CONFLICTS to recognized sections

It does nothing on 7.3, but this makes it easier to write tests in
3rd party extensions.

Fix file collisions in phar tests

Additional fix for mysqli_fork test

Throw notice on array access on illegal type

No notice is thrown for list() accesses, because we did not come
to an agreement regarding patterns like

    while ([$key, $value] = yield $it->next()) { ... }

where silent null access may be desirable.

No effort is made to suppress multiple notices in access chains
likes $x[0][0][0], because the technical complexity this causes
does not seem worthwhile.

RFC: https://wiki.php.net/rfc/notice-for-non-valid-array-container

Fix invalid array access in mysqli_fork test

Reduce cost for references to strings and resources

Rename support_strings to !is_list

In preparation for more behavior that depends on whether it it is
a list() access. Using support_strings for that would be
confusing.

Simplify two unserialize() tests

unserialize() returns false for these now, so it doesn't make sense
to try and do something with the result.

Fix iteration limits in SXE test

Test doesn't look like it's specifically testing out of bounds
access, just two different iteration patterns, so make sure the
limits are correct.

Clean up DateTimeZone::getLocation() test

And avoid invalid array access.

Avoid invalid array access in fcgi.inc

improve libargon2/libsodium compatibility

Use e.g. instead of less common f.e. [ci skip]

Relax argon2 mem_cost down to 64k, bump time_cost to 4

CGI: Fix memory leak on error paths

Avoid unintended inlining

Merge branch 'PHP-7.3' into PHP-7.4

Merge branch 'PHP-7.2' into PHP-7.3

Revert "Fixed bug #76980"

This reverts commit 35353dc49a73a58c17c7896c4c4c3997ef2c007d.

This changes causes issues for Symfony, see
https://github.com/symfony/symfony/issues/32395. I'm reverting it
from PHP 7.2 and PHP 7.3 and only leaving it in PHP 7.4.

Merge remote-tracking branch 'origin/PHP-7.4' into PHP-7.4

Merge branch 'PHP-7.3' into PHP-7.4

* PHP-7.3:
  Upgrade to SQLite 3.28.0

Merge branch 'PHP-7.2' into PHP-7.3

* PHP-7.2:
  Upgrade to SQLite 3.28.0

Merge branch 'PHP-7.1' into PHP-7.2

* PHP-7.1:
  Upgrade to SQLite 3.28.0

Upgrade to SQLite 3.28.0

Over the years, multiple security vulnerabilities[1] have been found
and fixed in SQLite3, so it makes sense to update our bundled libsqlite
to the latest available version.

[1] <https://www.cvedetails.com/vulnerability-list/vendor_id-9237/Sqlite.html>