__alltest.sh: add clang's -fsanitize=memory flavour

Bug: https://github.com/skvadrik/re2c/issues/215
Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Release 1.1.1.

Converted tabs to spaces in .re files and autogenerated files.

Updated CHANGELOG.

Makefile.am: reduced redundant variables.

Makefile.am: simplified clean-up part of bootstrap rule.

Rewrote version-to-vernum converter in RE2C; added more unit tests.

vernum: move version-string-to-vernum converter to a separate helper

No functional change. While at it added tests
to cover past failures:
- "1.1": https://github.com/skvadrik/re2c/issues/211
- "0.14": https://sourceforge.net/p/re2c/bugs/55/

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Rewrite vernum function

Fixes: https://github.com/skvadrik/re2c/issues/211

Release 1.1.

Regenerated docs.

Updated CHANGELOG.

Paper: more tweaks in examples of trace computation.

Increase allocator alignment to pointer size to avoid unaligned reads/writes.

Unaligned operations found by ubsan.

Fixed memory corruption bug (caused by wrong size passed to memcpy).

Found by asan.

Reordered function definitions.

Moved different closure construction algorithms to separate files.

Moved POSIX disambiguation algorithm to a separate file.

Converted tabs to spaces.

Renamed a couple of structs.

Merged a couple of small headers into one.

Gathered all determinization-related data in a struct to avoid passing many parameters.

Use fixed 32-bit indices in lookup tables instead of 'size_t'.

Moved all notes (lengthy comments with names) to the beginning of file.

Rearranged the code a bit with a couple of helper subroutines.

Don't use a dedicated struct for returning multiple values from function.

Simplified back up / restore of tag actions when mapping TDFA states.

Gathered various buffers used for TDFA state mapping in a struct.

Use somewhat more consistent variable naming.

Replaced Kuklewicz POSIX disambiguation algorithm with Okui algorithm.

Changes in the test results are caused by putting negative tags of the
right alternative *before* the alternative.

Pack tag index and sign into one 32-bit field.

Compute and store tag "height" (needed for Okui disambiguation).

Always add structural tags to the RHS of alternative/catenation in POSIX captures.

(Preliminary work before switching from Kuklewicz POSIX disambiguation
algorithm to Okui algorithm.)

Don't move the closing tag of POSIX capture group out of the enclosing iteration.

RE2C used to perform the following optimization: when a POSIX capture is
under iteration, we only need to get tag values of the last iteration
(according to the POSIX standard). Therefore we can move the closing tag
out of loop.

This commit removes this optimization (as part of the effort to switch
from Kuklewicz POSIX disambiguation algorthm to Okui algorithm).

In other words, for RE (x)* re2c used to generate this "optimized" IRE:
    1 (3 x)* 4 2
and now it generates the "canonical" IRE:
    1 (3 x 4)* 2

Updated tests for '--posix-captures' that have been affected by the change.

Allow default copy for POD struct (fixes [-Wclass-memaccess] GCC warning).

Updated GOR1 (fixed the core algorithm to avoid useless re-scans of the same state).

Also, depth-first traversal was done in a slightly incorrect way:
we checked outgoing nodes for admissibility and pushed the corresponding
child states on stack all at once. This is not the same as checking
the first child and recursing into it, then checking the next child,
..., and so on (because we might discover the second child while exploring
the first, and admissiblitiy check for the second child *after* that
might yield false, while *before* exploring the first child it yielded
true).

Pick the shortest available path suffix when generating skeleton path cover.

This also fixes a error in the generation process: sometimes in case
of loops the current node's suffix was set before all of its children
were processed.

Updated test results (in some cases .input files became larger because
of the above fix, in some cases they became smaller because we now pick
the shortest suffix).

Added new test; this one was found by slyfox's fuzzer and revealed the
above bug.

Changed the name of a local variable in the test to avoid collision with skeleton names.

Before tags were added to re2c, skeleton programs only used a limited
number of predefined names, such as 'yych', 'yystate', etc. With tags,
however, this is no longer true as tags may have any names. So now we need
to be more cautios when picking names for sekleton variables.

This patch is only a workaround to make all tests pass; the real solution
requires inventing a good naming scheme for skeleton programs and
regenerating all skeleton test results.

Paper: more tweaks of GOR1.

Fixed error in calculation of maximal skeleton path length.

The error was found by slyfox's fuzzer (a randomly-generated skeleton test).

The bug in the code was, apparently, too early modification of the state's
estimated maximal distance to the end states: the distance was set before
all of the state's children were processed, which resulted in aborting the
accumulation of distance from the remaining children, and, as a consequence,
shorter than necessary max distance for the root itself.

Paper: updated version of GOR1.

Paper: some tweaks for the examples of traces computation.

Paper: another example of traces computation.

Paper: added example of PEs and traces computation.

Fixed processing of #line directives in input files.

The correct behaviour was broken somewhere in between 0.16 and 1.0:
re2c was forgetting to output the chunk of input file that precedes
the #line directive.

Reported by pskocik in #98.

Paper: re-worked the theorem about compatibility of total and partial orders.

Paper: started re-working the theorem about compatibility of total and partial orders.

Paper: made example about parse trees consistent with its description.

Paper: continued restructuring the part about indexed parse trees.

Paper: restructured the IRE construction example.

Paper: added an example of IRE construction.

Paper: added introduction to the second chapter.

Paper: revise basic definitions before introducing partial order on trees.

paper: taken care of Angelo's remarks.

Added option "--conditions" (an alias for "-c" and "--start-conditions").

Fixes issue #206 "wrong long option for -c mode".

Added first part of TDFA paper v2.

Improved error reporting in fuzz-testing script.

If the input starts with a re2c block, apply re2c configurations immediately. (see #201).

Escape backslashes in file names (see #201).

Release 1.0.3.

Fix for #198.

GCC-4.2.1 is unable to compile code like this:

    std::vector<int> v;
    std::vector<int>::const_reverse_iterator i;
    for (i = v.rbegin(); i != v.rend(); ++i) ;

It's unable to deduce const overload for 'rend':

    "no match for ‘operator!=’ in ‘i != std::vector<_Tp, _Alloc>::rend()"

However, the following code compiles fine:

    std::vector<int> v;
    std::vector<int>::const_reverse_iterator i = v.rbegin(), e = v.rend();
    for (i != e; ++i) ;

This was reported by Ryan Shmidt.

Fixed typo in docs (found by Maxim Reznik).

Removed unaccurate example.

Parsing floating-point numbers is hard and re2c doesn't help much,
so this example was somewhat misleading.

Release 1.0.2.

Updated changelog.

Some more fixes to the documentation.

Updated documentation.

Disallow condition names and named definitions to start with digit.

This has always been the intended behavior and was accidentally broken
by commit e3db638fc3e9bfb318edafedbefd02f25f1c1b8c.

Renamed tests.

Updated examples and added them to 'run_tests.sh' script.

Updated changelog.

Added forgotten 'genhelp.sh' to distribution files.

This fixes bug #194 "Build with "--enable-docs" fails".

Added examples to test suite.

Added benchmarks to test suite.

Updated changelog for 1.0.1 version.

Release 1.0.1.

Makefile.am: add paper on Lookahead TDFA to distribution.

Fixed #193: "1.0 build failure on macOS: error: calling a private constructor of class 're2c::Rule'".

Copy constructor and assignment are requred by std::valarray
implementation on macOS.

Release 1.0.

Paper on lookahead TDFA: finished.

Updated help and manpage.

Leave the definition of 'yynmatch' and 'yypmatch' to the user.

With '--posix-captures' RE2C stores submatch results in 'yynmatch'
(the total number of capturing groups for the matching rule) and
'yypmatch' (an array of submatch values for each group).

These variables should be user-defined, so that users can override
default implementation (e.g. make 'yypmatch' an array of integer
offsets rather than an array of pointers). Overriding is only possible
with generic API: if default API is used, then RE2C can autogenerate
'yynmatch' and 'yypmatch' (and so it did prior to this commit).
However, it is better to have the same behavior with both APIs; also,
it is coherent with '--tags' option (RE2C leaves tag definition to
the user).

Updated options list and regenerated docs.

Added short option '-P' corresponding to '--posix-captures'.

Fixed includes with 'include-what-you-use'.

Command:

    $ configure CXX=include-what-you-use CXXFLAGS="--check-also" \
        && make -k 2>log \
        && python2 `which fix_inclydes.py` < log

Paper on Lookahead TDFA: added bibliography.

Amended README instructions for benchmarks.

Paper on Lookahead TDFA: added pictures.

Paper on Lookahead TDFA: fixed captions and ran through aspell.

Paper on Lookahead TDFA: added benchmark results and graphs.

Paper on Lookahead TDFA: reformatted examples.

Tweaked CXXFLAGS in asan build script.

A small tweak in benchmarking scripts that reduces warmup time.

Fuzzers: a bunch of small tweaks.

Skeleton: fixed initialization of maximal path length.

Broken by commit fffb5932ee52127e03b9f7f5ccca83a421d69061.

Path length were initialized with 0 instead 'DIST_ERROR', which caused
incorrect calculation of maximal path length. This in turn caused errors
in estimating the number of byted necessary to hold keys during data
generation in skeleton. The resulting keys were one-byte while maximal
path length was more than one byte, which (fortunately!) caused runtime
errors in skeleton programs.

Example of program that caused skeleton error:
    /*!re2c
        (@t [\x00] [^]{5,6})* {}
    */

The error was hidden for so long because in practice inputs that need
more than one-byte keys are rare, and fuzzer sets 'ulimit -t 10' when
running re2c, so most of such programs were simply aborted. Those that
were not aborted still had a chance of estimating key size correctly.

Fixed cppcheck 'style' warnings.

Used the following command to run cppcheck:

   cppcheck --enable=all --inconclusive --std=posix --quiet --force -I. src/

Fixed headers that were not self-contained.

Used the following command to find errors:

    for h in $(find src/ -name '*.h*'); do echo "CHECKING $h"; g++ -I. -c $h -o foo.o; done

Benchmarks: added README and small samples of input data.

Added scripts that run benchmarks.

Added fuzzers (contributed by Sergei Trofimovich).