Changed the decsription of tags in docs to avoid ambiguity.

Thanks to Des-Nerger for pointing out in bug #140.

Added ninja lexers to tests.

Note: ninja_lexer.ib.c differs from the original lexer in the ninja project,
because the latter was generated with re2c-0.16, which used slightly
different constructs for complex expressions:

Re2c-0.16 used generated something like this:

    ++YYCURSOR;
    if (yych = *YYCURSOR) ...

And the latest re2c generates something like this:

    yych = *++YYCYRSOR;
    if (yych) ...

The difference is insignificant.

Moved tests into subdirectories and deleted some of the largest skeleton tests.

libre2c: added prefix 'TOKEN_' to all parser tokens to avoid name collisions.

Apparently some versions of bison generate token definitions as macros, not
as enum members. If a bison-generated header is included into another file
that contains identifiers identical to the names of parser tokens, all such
identifiers are macro-substituted to a numeric constant. Adding a prefix to
token names reduces the chances of name collision.

This fixes bug #261: "lib/parse.h:49:15: 错误：expected unqualified-id before
numeric constant" reported by qidizi.

Fixed documentation regarding '...:naked' configurations.

Respect 're2c:define:YYFILL:naked' and 're2c:yyfill:parameter' configurations with EOF rule.

Thanks to Nazim Can Bedir for the bug report.

Updated documentation for the new 're2c:sentinel' configuration.

Added some tests for 're2c:sentinel' configuration.

Added -Wsentinel-in-midrule warning and 're2c:sentinel' configurations.

The new analysis is meant to detect potential reads past the end of buffer
resulting from erroneous rules that allow sentinel symbol to occur in the
middle of lexeme. The analysis is only activated in cases bounds checking
is disabled with 're2c:yyfill:enable = 0;' and EOF rule is not used.

For example:

    ['] [^']* [']   { ... }

This may be a naive way to match single-quoted strings; it would crash the
lexer on input like "'aaa\0" (without the closing single quote).

Got rid of PACKAGE_DATE variable altogether (it was used only in the manpage).

Merge pull request #258 from lamby/934697-re2c-please-make-the-build-reproducible

Make the build reproducible

Make the build reproducible

Whilst working on the Reproducible Builds effort [0] we noticed
that re2c could not be built reproducibly.

This is because it used the current build date in the manual page and was
originally filed in Debian as #934697 [1].

This patch uses the SOURCE_DATE_EPOCH [2] environment variable.

 [0] https://reproducible-builds.org/
 [1] https://bugs.debian.org/934697
 [2] https://reproducible-builds.org/specs/source-date-epoch/

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge pull request #256 from certik/license

Package LICENSE file in the release tarball

Updated bootstrap manpage.

Merge pull request #255 from jcfp/master

fix documentation typos

Package LICENSE file in the release tarball

This is important when re2c is packaged in distributions, so that one can
quickly check what license the re2c is distributed under. Distributions
typically use the release tarball, not the git repository, and so this commit
puts the LICENSE file into the release tarball also.

fix documentation typos

Release 1.2.1.

Updated CHANGELOG.

Install standard library files in $(datadir)/re2c/stdlib and search for include files in this location.

This fixes bug #253 "re2c should install unicode_categories.re somewhere"
(reported by Wesley W. Terpstra).

Allow to reset 're2c:eof' configuration.

The ability to reset this configuration is necessary in order to be able to
mix re2c blocks that use EOF rule and blocks that don't.

This fixes bug #254: "Turn off re2c:eof".

Release 1.2.

Updated release script.

Added include/ subdirectory to distribution and updated bootsrap files.

Fixed release date in CHANGELOG.

Re-applied manpage updates (accidentally reverted by previous commits).

Updated CHANGELOG (converted to RST format to be in sync with gh-pages-gen branch).

Updated manpage.

Regenerated bootstrap files (some files were not updated after include-what-you-use fixes).

Paper: cleaned up source files (mostly removed unused files).

Touched the following papers:
- 1994 paper "RE2C: a More Versatile Parser Generator"
- 2017 paper "Tagged Deterministic Finite Automata with Lookahead" (after arXiv publication)
- 2019 paper "Efficient POSIX Submatch Extraction on NFA"

All .pdf and .ps files have been moved to gh-pages-gen branch.

Fixed code generation for EOF rule with '-f --storable-state' option.

Paper: added acknowledgements and adjusted formatting.

Paper: use pgfplots instead of gnuplot to render benchmark results.

Paper: taken care of Angelo's remarks (mostly grammar fixes).

Don't generate 'YYFILL' calls when EOF rule is used with 're2c:yyfill:enable = 0;' configuration.

Note: in the non-EOF-rule case 're2c:yyfill:enable = 0;' results in suppression
of the whole 'YYLIMIT' check together with 'YYFILL' call. In case of EOF rule,
however, we are not bound by backward compatibility and can do a more logical
thing.

Fixed the case of missing default label which is used only by EOF checks.

The current fix may sometimes cause generation of unused default label, because
at the time when it's generated we haven't geerated the code for EOF checks yet
and do nt know if default label is really needed. This is what happens in the
updated test cases.

Omit unnecessary 'else' when generating code for EOF checks.

Renamed misleadingly named parameter.

Updated CHANGELOG.

Updated documentation for new options and directives.

Moved include file with definitions of Unicode categories to 'include/' subdirectory.

Use cast to 'void' instead of attribute 'unused', otherwise we get -Wused-but-marked-unused in debug mode.

Added a few casts to 'printf' args to silence warnings caused by different type width in 32/64 modes.

libre2c test: always run Cox algorithm and skip expected failures.

Cosmetic: shortened macro name a bit and removed 'GXX' as it is also relevant to Clang.

Marked a few debug variables as unused to avoid warnings in release builds.

Makefile.am: added forgotten 'AM_V_GEN' prefix to a couple of build rules.

Disable ceratain warnings on bison-generated output (we have no control over it).

Fixed Clang warning -Wshift-sign-overflow.

Fixed Clang warning -Wexit-time-destructors.

Fixed Clang warning -Wconditional-uninitialized.

Fixed Clang warning -Wmissing-variable-declarations.

Fixed Clang warning -Wunused-template.

Fixed Clang warning -Wunreachable-code (these were real serious errors).

Fixed Clang warning -Wunreachable-code-return.

Fixed Clang warning -Wmissing-prototypes.

Fixed Clang warning -Wc++11-extensions.

Fixed Clang warning -Wmismatched-tags.

Fixed Clang warnings -Wswitch-enum and -Wcovered-switch-default.

Fixed Clang warning -Wshadow.

Fixed Clang warnings -Wextra-semi and -Wextra-semi-stmt.

configure.ac: silenced a few Clang warnings (too noisy, not very helpful).

Fixed test (added forgotten qualification after moving functions into 're2c' namespace).

Added build script that checks that all headers are self-contained.

Fixed includes using include-what-you-use.

Added build script for include-what-you-use.

Updated Mingw build scripts to workaround libtool/slibtool issues.

Currently we need both libtool and slibtool:

  - libtool fails to link self-contained DLL (it ignores '-static-libstdc++
    -static-libgcc'), but manages to link EXEs with static library

  - slibtool manages to link self-contained DLL, but then fails to link the
    final EXEs with it (it passes '-lre2c' before some other predefined object
    file that contains definitions from libgcc)

run_tests.sh: check for re2c existence after (possibly) appending .exe extension.

Build scripts: changed -j5 to -j$(nproc).

Paper: fixed broken references.

Paper: references and spell-checking.

Paper: updated and fixed all the proofs.

Paper: reworked "Benchmarks" section, added "Conclusions and future work" section.

libre2c: don't forget to free static lists (AST nodes, etc.) at the end of 'regfree()'.

Otherwise they accumulate at every 'regcomp()'.

libre2c: clean up cache after matching in lazy algorithms; small tweaks in benchmark.

Cleaning up cache may take considerable time (e.g. if cache is a large
std::map), which should be included in the match time.

Added 'clear()' method to slab allocator.

Paper: removed nested negative tags from TNFA and added complexity analysis.

libre2c: don't add nested negative tags to TNFA, as it increases its size and makes matching slower.

Instead, add only one negative tag (top-level closing one) and record
the remaining tags in its metadata. Use this metadata to update nested
negative tags during TNFA simulation.

libre2c benchmark: make a couple of warmup iterations before the main run.

Paper: added "Benchmarks" section.

libre2c benchmark: print size of each regular expression and the number of capturing groups in it.

libre2c: removed unused variable.

Makefile.am: added 'bench_libre2c' to noinst_PROGRAMS (so that automake picks it as a target).

Paper: added section about lazy disambiguation.

Added a test for '--input-encoding utf8' option.

Added option --input-encoding <ascii | utf8> that allows to use UTF-8 literals in regular expressions.

Allow to mix multiple /*!rules:re2c*/, /*!use:re2c*/ and /*!re2c*/ blocks in -r mode.

libre2c: added GOR1 option for lazy disambiguation algorithm.

libre2c: do not include benchmark in 'make check' programs.

libre2c: added forgotten benchmark data samples.

libre2c: added missing include.

libre2c: updated benchmark.

libre2c: extended lexer to handle some escape sequences in charachter classes.

Inlined closure cleanup in the pruning procedure to further speedup determinization.

Make unreachable rule analysis conditional to further sppedup closure pruning.

Rewrite of closure pruning function to speedup determinization on large automata.

Hash in 4-byte chunks to speedup determinization on large automata.

Use correct formula to find the next aligned address.

The previous formula worked incorrectly for already aligned addresses
(it added alignment to them).

Paper: updated "TNFA construction" section.

configure.ac: use AC_USE_SYSTEM_EXTENSIONS, as --std=c++98 disables POSIX extensions on Cygwin.

Attempted fix for #247.