libre2c_posix: handle empty group () in parser; added more tests.

Make re2c:eof usable with push-model lexers (-f, --storable-state option).

libre2c_posix: parse repetition counters in the lexer.

libre2c_posix: initial support for character classes in parser.

libre2c_posix (test): clear error status on expected failures.

libre2c_posix: skip fictive tags in regexec(); handle dot in parser; added more tests.

libre2c_posix: use C-array initializers instead of variadic functions for offset lists.

Variadic functions cause subtle toolchain-specific errors because integer
literals used to initialize offsets may have different type than the type
expected by variadic function (e.g. int vs long).

libre2c_posix (test): a more concise error message.

libre2c_posix: fixed -Wmaybe-uninitialized GCC warning.

libre2c_posix: fixed memleaks.

Experimental: initial implementation of libre2c_posix, POSIX regexp library based on re2c.

Paper: don't forget to pass precedence matrices to initial closure.

Makefile.am: further simplify parser generation rules and avoid copying file to itself.

Makefile.am: don't forget to run main test suite on `make check`.

Makefile.am: use more universal rules for autogenerated lexers and parsers.

Avoid unexpected removal of untracked files and directories.

Moved function declarations to the header they belong in.

Updated range test.

Use a simple fixed-size slab allocator for ranges.

Handle single chars and 1-char ranges in the same way.

Updated autogenerated files after change of directory layout.

Moved duplicated code into a separate function.

Changed directory layout (cosmetic).

Handle EBCDIC like other encodings instead of coupling it with character validation.

Moved repeated code into a separate function.

Fixed error in range difference with EBCDIC, added tests for various encodings.

Compute range difference before applying encoding expansion to operands.

Added test for bug #238.

Fixed out-of-bounds write caused by misuse of slab allocator in case of large allocation size.

This fixes bug #238.
Found by american fuzzy lop (thanks to Henri Salo).

Adjusting formatting, dropping old macros (cosmetic).

Added tests for debug options.

Added debug options --dump-cfg and --dump-interf.

Moved debug stuff to a separate subdirectory.

Disable --dump-* options in non-debug mode.

Adding --enable-debug to Travis CI configuration.

Added some tests for GTOP closure algorithm.

Added test comparing POSIX closure statistics with GOR1 and GTOP.

In debug build, add " (debug)" to version string.

Small simplifications in GOR1 initialization phase.

Instead of using two stacks to weed out low-precedence initial
configurations with duplicate target state, let them remain on the
bottom of topsort stack, which effectively makes them ignored.

Paper: simplifying GOR1 initialization pseudocode.

Small cosmetic simplifications in POSIX precedence.

Use a specialized simplified version of POSIX comparison for initial configurations.

Intrinsic options that do not have configurations should be immutable.

Added debug option --dump-closure-stats.

Adjust TNFA construction for bounded repetition to the needs of GOR1.

Order initial configurations by POSIX precedence in GOR1.

Added option --posix-closure <gor1|gtop>. Removed configurations for internal options.

Added GTOP SSSP algorithm for computing epsilon-closure with POSIX disambiguation.

GTOP SSSP meand "Global Topsort Single Source Shortes Path".

It is well known that SSSP can be solved in linear time on DAGs (directed
acyclic graphs) by exploring graph nodes in topological order. In our case
TNFA is not a DAG (it may have cycles), but it is possible to compute fake
topologcal order by ignoring back edges.

The algorithm works by having a priority queue of nodes, where priorities
are indices of nodes in fake topological ordering. At each step, the node
with the minimal priority is popped from queue and explored. All nodes
reachable from it on admissible arcs are enqueued, unless they are already
on queue.

The resulting algorithm is of course not optimal: it can get stuck on
graphs with loops, because it will give priority to some of the loop nodes
compared to others for no good reason.

However the algorithm is simple and optimal for DAGs, therefore we keep it.

run_tests.sh: cleanup .inc files.

Converting tabs to spaces (cosmetic).

Eh, some of the asserts were doing useful work and affecting control flow.

Added assert wrapper that is turned on/off with --enable-debug configure option.

Fixed errors in packing of signed integers.

Reduce boilerplate in option parser with a few macros.

Use a couple of helper functions to make string construction easier.

Correctly parse -I option with or without space before the argument.

run_tests.sh: use paths relative to build directory, not to source directory.

Otherwise test results aren't reproducible: they depend on the
location of build directory relative to source directory.

Adding forgotten files to git.

More tests for include directive.

Resolve names of included files relative to including file, not to the main file.

Use correct order when unreading files from lexer buffer.

In lexer buffer nested files come before outer files. In lexer file
stack, however, outer files go before nested files (nested are at the
top). We want to break from the unreading cycle early, therefore we
proceed in reverse order of file offsets in buffer and break as soon
as the end offset is less than cursor (current position).

Simplified lexing of include directive.

Tweaking a couple of labels in lexer to simplify updating of token pointer.

Removed unused struct field.

Added test for EOF rule.

Track current line of each input file separately.

Correctly handle current directory '.' in include paths.

Added -I option (paths to include directories).

Added /*!include:re2c ... */ directive.

Preparations to support #include: keep input files in a stack.

configure.ac: set -Wreturn-type to error.

Initial support of EOF rule.

Updated unicode tests and test generators for newer versions of unicode.

Paper: added two output() functions that convert t-string to parse tree and offsets.

Paper: tweaked TNFA construction.

Lexer: use YYMAXFILL padding and don't forget to shift tag variables in YYFILL.

This fixes bug #232, #233 and #234.
Found by american fuzzy lop (thanks to Henri Salo).

Correctly identify mapped TDFA state with --dump-dfa-raw option.

Makefile.am: enable RE2C warnings (-W option).

Fixed read past the end of buffer in configuration parser.

This fixes bug #231.
Found by american fuzzy lop (thanks to Henri Salo).
Also reported by re2c -W (shame on me for not using it all this time!).

Paper: tweaking TNFA construction.

Makefile.am: build autogenerates files before other targets (they may create headers).

Note: I used $(@:cc=*) construct as bmake doesn't understand $*.* .

Use tags to lex condition goto.

Started using tags in re2c own lexer.

Removed redundant wrapper around output file struct.

Dump header on stdout if filename is not set, but /*!header:re2c:on*/ is used.

Added configurations for -o, --output and -t, --type-header options.

Added missing #line info after /*!header:re2c: ... */ directive.

Renamed:
    /*!header:re2c:1*/ -> /*!header:re2c:on*/
    /*!header:re2c:0*/ -> /*!header:re2c:off*/

Added /*!header:re2c:0*/ and /*!header:re2c:1*/ directives.

Combined with -t, --type-header option, this allows to put arbitrary
parts of the generated output in a header file.

Tweaking condition list lexer.

Merge pull request #230 from sergeyklay/patch-1

Changes for upcoming Travis' infra migration

Changes for upcoming Travis' infra migration

See: https://blog.travis-ci.com/2018-11-19-required-linux-infrastructure-migration

Fixed segfault cause by out of bounds access.

This fixes bug #227.
Found by american fuzzy lop (thanks to Henri Salo).

Moved tests into subdirectories.

Fixed a couple of lexer/parser errors in flex mode (-F option).

This fixes bug #229: re2c option -F (flex syntax) broken,
reported by Robert van Engelen.

A well-formed example that caused syntax error (flex-style raw literal
followed by one or more spaces and a curly brace):

/*!re2c
    a {}
*/

The faulty behaviour goes back as far as re2c-0.13.6 (and supposedly
before that): in flex mode, raw literal may occur in various contexts
both as a regexp (string literal) and an identifier (named definition,
condiiton name). RE2C uses lookahead to infer the context and determine
the appropriate type of lexer token, but it missed some cases.

The fix has two sides. First, if reduces the number of contexts where
the general lexer may encounter raw literal (by using specialized lexers
for condition lists <x,y,...,z> and condition goto => and :=>). Second,
it fixes the lookahead regexps used for context inference.

Also added a bunch of tests (generated by a script).

Suppress -Wnullable warning on <> condition (it has no regexp -- always empty).

Adjusting formatting (cosmetic).

Fixed out of bounds read in configuration lexer (not handling EOF in configuration value).

Found by american fuzzy lop (thanks to Henri Salo).

Small tweaks in lexer subroutines for semantic actions.

Fixed yet another out of bounds read in lexer due to not handling EOF after escape.

Found by american fuzzy lop (thanks to Henri Salo).

Fixed some more out of bounds reads in lexer due to not handling EOF properly.

Found by american fuzzy lop (thanks to Henri Salo).