Use correct order when unreading files from lexer buffer.

In lexer buffer nested files come before outer files. In lexer file
stack, however, outer files go before nested files (nested are at the
top). We want to break from the unreading cycle early, therefore we
proceed in reverse order of file offsets in buffer and break as soon
as the end offset is less than cursor (current position).

Simplified lexing of include directive.

Tweaking a couple of labels in lexer to simplify updating of token pointer.

Removed unused struct field.

Added test for EOF rule.

Track current line of each input file separately.

Correctly handle current directory '.' in include paths.

Added -I option (paths to include directories).

Added /*!include:re2c ... */ directive.

Preparations to support #include: keep input files in a stack.

configure.ac: set -Wreturn-type to error.

Initial support of EOF rule.

Updated unicode tests and test generators for newer versions of unicode.

Paper: added two output() functions that convert t-string to parse tree and offsets.

Paper: tweaked TNFA construction.

Lexer: use YYMAXFILL padding and don't forget to shift tag variables in YYFILL.

This fixes bug #232, #233 and #234.
Found by american fuzzy lop (thanks to Henri Salo).

Correctly identify mapped TDFA state with --dump-dfa-raw option.

Makefile.am: enable RE2C warnings (-W option).

Fixed read past the end of buffer in configuration parser.

This fixes bug #231.
Found by american fuzzy lop (thanks to Henri Salo).
Also reported by re2c -W (shame on me for not using it all this time!).

Paper: tweaking TNFA construction.

Makefile.am: build autogenerates files before other targets (they may create headers).

Note: I used $(@:cc=*) construct as bmake doesn't understand $*.* .

Use tags to lex condition goto.

Started using tags in re2c own lexer.

Removed redundant wrapper around output file struct.

Dump header on stdout if filename is not set, but /*!header:re2c:on*/ is used.

Added configurations for -o, --output and -t, --type-header options.

Added missing #line info after /*!header:re2c: ... */ directive.

Renamed:
    /*!header:re2c:1*/ -> /*!header:re2c:on*/
    /*!header:re2c:0*/ -> /*!header:re2c:off*/

Added /*!header:re2c:0*/ and /*!header:re2c:1*/ directives.

Combined with -t, --type-header option, this allows to put arbitrary
parts of the generated output in a header file.

Tweaking condition list lexer.

Merge pull request #230 from sergeyklay/patch-1

Changes for upcoming Travis' infra migration

Changes for upcoming Travis' infra migration

See: https://blog.travis-ci.com/2018-11-19-required-linux-infrastructure-migration

Fixed segfault cause by out of bounds access.

This fixes bug #227.
Found by american fuzzy lop (thanks to Henri Salo).

Moved tests into subdirectories.

Fixed a couple of lexer/parser errors in flex mode (-F option).

This fixes bug #229: re2c option -F (flex syntax) broken,
reported by Robert van Engelen.

A well-formed example that caused syntax error (flex-style raw literal
followed by one or more spaces and a curly brace):

/*!re2c
    a {}
*/

The faulty behaviour goes back as far as re2c-0.13.6 (and supposedly
before that): in flex mode, raw literal may occur in various contexts
both as a regexp (string literal) and an identifier (named definition,
condiiton name). RE2C uses lookahead to infer the context and determine
the appropriate type of lexer token, but it missed some cases.

The fix has two sides. First, if reduces the number of contexts where
the general lexer may encounter raw literal (by using specialized lexers
for condition lists <x,y,...,z> and condition goto => and :=>). Second,
it fixes the lookahead regexps used for context inference.

Also added a bunch of tests (generated by a script).

Suppress -Wnullable warning on <> condition (it has no regexp -- always empty).

Adjusting formatting (cosmetic).

Fixed out of bounds read in configuration lexer (not handling EOF in configuration value).

Found by american fuzzy lop (thanks to Henri Salo).

Small tweaks in lexer subroutines for semantic actions.

Fixed yet another out of bounds read in lexer due to not handling EOF after escape.

Found by american fuzzy lop (thanks to Henri Salo).

Fixed some more out of bounds reads in lexer due to not handling EOF properly.

Found by american fuzzy lop (thanks to Henri Salo).

Adjusted formatting in the lexer (cosmetic).

Fixed out of bounds read in lexer.

The error was caused by assuming that a sequence of zeroes (used for
padding in YYFILL) cannot form a valid lexeme suffix. This is not the
case with strings, as they may contain arbitrary characters. The fix
is to manually loop over string characters in lexer, stopping at each
zero to check if it's the end of input.

Found by american fuzzy lop (thanks to Henri Salo).

Updated README in libre2c (added a warning that the library is not maintained).

Updated README.

Paper: made TNFA description closer to practice.

Paper: tweaks in the TNFA example.

Paper: changed description of GOR1 following the rework of the algorithm.

Paper: tweaks in picture layout.

Paper: added TNFA example.

Paper: added example for "empty match is better than no match" POSIX rule.

Paper: packed multiple examples of PE comparison in one page.

Paper: dropped explicit submatch indices in TNFA definition.

Paper: handle (e) as (e){1,1} to avoid collapsing multiple submatch groups into one.

Previously we collapsed ((e)) into (e).

Paper: minor tweaks in pseudocode.

Paper: added description of GTOP closure algorithm.

Paper: made GOR pseudocode slightly easier to read.

Merge pull request #224 from trofi/master

src/dfa/closure_posix.cc: pack() tweaks

src/dfa/closure_posix.cc: fix pack() to drop two highest bits

```c
longest | (leftmost << 30);
```
assumes `longest` does not exceed 30 bits. It could if
it's a negative value originally.

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

src/dfa/closure_posix.cc: fix signed shift overflow

signed shift overflow is not defined by C standard.
clang++ -fsanitize=undefined detects it as:

```
src/dfa/closure_posix.cc:207:32: runtime error: left shift of negative value -1
```

This change wraps bit shift arithmetics into unsigned types.

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Merge pull request #223 from metab0t/master

Fix typo

Fix typo

Merge pull request #222 from trofi/master

configure.ac: enable xz tarballs instead of gzip by default

configure.ac: enable xz tarballs instead of gzip by default

`xz` compresses twice as good as `gzip` on `re2c` sources:

```
$ ls -lh *1.1.1*
4,8M re2c-1.1.1.tar.gz
2,5M re2c-1.1.1.tar.xz
```

Switch `make dist` to `xz by default. `gzip` is still available
via `make dist-gzip`.

Reported-by: rofl0r
Bug: https://github.com/skvadrik/re2c/issues/221
Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Paper: added examples of the three rules of POSIX disambiguation.

Merge pull request #220 from trofi/master

src/dfa/dfa.h: simplify constructor to avoid g++-3.4 bug

src/dfa/dfa.h: simplify constructor to avoid g++-3.4 bug

On g++-3.4.6 re2c tests SIGSEGVed due to use of uninitialized data:

```
$ valgrind ... ./re2c -8 a.re -o foo.c
Conditional jump or move depends on uninitialised value(s)
   at 0x432F23: re2c::tcpool_t::insert(re2c::tcmd_t const*) (tcmd.cc:202)
   by 0x421FDA: re2c::freeze_tags(re2c::dfa_t&) (freeze.cc:45)
   by 0x43A7FF: re2c::ast_to_dfa(re2c::spec_t const&, re2c::Output&) (compile.cc:88)
   by 0x43B052: push_back (stl_iterator.h:614)
   by 0x43B052: re2c::compile(re2c::Scanner&, re2c::Output&, re2c::Opt&) (???:0)
   by 0x449D29: main (main.cc:31)
 Uninitialised value was created by a heap allocation
   at 0x403252F: operator new[](unsigned long) (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
   by 0x42FC9E: re2c::find_state(re2c::determ_context_t&) (dfa.h:37)
   by 0x429BD9: re2c::dfa_t::dfa_t(re2c::nfa_t const&, re2c::opt_t const*, std::string const&, re2c::Warn&) (determinization.cc:56)
   by 0x43A76C: re2c::ast_to_dfa(re2c::spec_t const&, re2c::Output&) (compile.cc:69)
   by 0x43B052: push_back (stl_iterator.h:614)
   by 0x43B052: re2c::compile(re2c::Scanner&, re2c::Output&, re2c::Opt&) (???:0)
   by 0x449D29: main (main.cc:31)
```

the problem here arose in default array constructor:

```c++
     explicit dfa_state_t(size_t nchars)
         : // ...
         , tcmd(new tcmd_t*[nchars + 2]()) // +2 for final and fallback epsilon-transitions
         // ...
```

g++-3.4.6 can't figure out zero-initialization rule (likely a gcc bug).

The change uses non-initializing new[] and memset() instead.

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Merge pull request #216 from trofi/master

.travis.yml: run all tests behind 'make check'

Merge pull request #217 from trofi/add-msan

__alltest.sh: add clang's -fsanitize=memory flavour

Fixed bug #215 "A memory read overrun issue in s_to_n32_unsafe.cc".

The error was in the code of the test itself: the special case of zero
wasn't handled correctrly by the function that prepares input data for
the test. As a result, zero-length input string was passed to the test,
which is unexpected: the tested function is an "unsafe" one (as the
name suggests) and is meant to be used on an already validated input.

__alltest.sh: add clang's -fsanitize=memory flavour

Bug: https://github.com/skvadrik/re2c/issues/215
Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

.travis.yml: run all tests behind 'make check'

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Release 1.1.1.

Converted tabs to spaces in .re files and autogenerated files.

Updated CHANGELOG.

Makefile.am: reduced redundant variables.

Makefile.am: simplified clean-up part of bootstrap rule.

Rewrote version-to-vernum converter in RE2C; added more unit tests.

vernum: move version-string-to-vernum converter to a separate helper

No functional change. While at it added tests
to cover past failures:
- "1.1": https://github.com/skvadrik/re2c/issues/211
- "0.14": https://sourceforge.net/p/re2c/bugs/55/

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

Rewrite vernum function

Fixes: https://github.com/skvadrik/re2c/issues/211

Release 1.1.

Regenerated docs.

Updated CHANGELOG.

Paper: more tweaks in examples of trace computation.

Increase allocator alignment to pointer size to avoid unaligned reads/writes.

Unaligned operations found by ubsan.

Fixed memory corruption bug (caused by wrong size passed to memcpy).

Found by asan.

Reordered function definitions.

Moved different closure construction algorithms to separate files.

Moved POSIX disambiguation algorithm to a separate file.

Converted tabs to spaces.

Renamed a couple of structs.

Merged a couple of small headers into one.

Gathered all determinization-related data in a struct to avoid passing many parameters.

Use fixed 32-bit indices in lookup tables instead of 'size_t'.

Moved all notes (lengthy comments with names) to the beginning of file.

Rearranged the code a bit with a couple of helper subroutines.

Don't use a dedicated struct for returning multiple values from function.

Simplified back up / restore of tag actions when mapping TDFA states.

Gathered various buffers used for TDFA state mapping in a struct.

Use somewhat more consistent variable naming.

Replaced Kuklewicz POSIX disambiguation algorithm with Okui algorithm.

Changes in the test results are caused by putting negative tags of the
right alternative *before* the alternative.