test: document automake convention for skipped exit status.

test: let testwrapper scripts be run by ${SHELL}.

This allows user to use a different shell if /bin/sh has problems.
The use of $SHELL (variable) to run scripts is already an Automake
convention. All shell scripts in build-aux are run by $SHELL.

test: Remove test scripts bashisms.

They now all work under a POSIX compliant sh. Specifically, 'dash' can
now be used for running "make check" tests.

Note that none of these scripts has ever been using a pipe, so
`set -o pipefail` is unnecessary and removed.

test: exit on '-1' test non-zero status.

If a '-1' test program returns a non-zero status, don't go further and
compare it's (numeric) output values. This allows a '-1' test to
indicate a "skip" status or an otherwise error. (Currently no such '-1'
test would skip like this, though.)

Shell syntax note: `set -e` will not exit with the syntax like this
`test $(false) = $(false);`. The exit statuses of `false` in the
example will be ignored instead. But putting the output in a variable,
such as `VAR=$(false)`, DOES exit.

build: Fix 'make indent' target

This 'make indent' target has not been working since the directories
reorganization in flex 2.6.0. Now make it work again.

Note that the current indent profile breaks many styles of existing
code. The indent target should not be used until the .indent.pro
options are reviewed for desireability.

build: Simplify indent program detection

filter: Don't emit #line if %option noline set

One place emitting a #line directive to the generated header was
missed in commit 647a92b9f4 when resolving #55. Fix it to respect
gen_line_dirs as well.

translation: refresh po files from translation project

c++: Fix yyrestart(NULL) SEGV.

Binding a reference to a dereferenced null pointer is invalid and
compilers optimise away the &file == 0 check. We need a real stream.

yyin is available already, and yyrestart(NULL) is only supported when
yyin will not be used, so there is no harm in just passing in that.
Since we now always have a valid stream, we can skip the null check
too.

Fixes #98.

scanner: join symbol list.

Removed a newline that caused a problem building the scanner in some
circumstances. Specifically:

'bad character' error  when executing

/bin/sh ../build-aux/ylwrap scan.l lex.yy.c scan.c -- flex

scanner: remove void cast before fprintf

doc: update NEWS for 2.6.3 release

build: New configure option '--disable-bootstrap'.

If configure is run with '--disable-bootstrap', then stage1flex won't
be built and stage1scan.c will be generated by sed'ing scan.c.

This option is intended to workaround bootstrap bugs rather than to
fix the bootstrapping issues which are proving subtler and harder to
fix than anyone would like.

build: "make clean" deletes stage1scan.c, stage1flex

build: allow building libfl even with --disable-libfl.

For various reasons, we may wish to build libfl explicitly even when
configure has been run with the --disable-libfl option. This is
possible, now, via 'make -C src libfl.la'.

scanner: remove trailing whitespace in skeleton

scanner: Disallow, overquote '[' and ']' in prefix

scanner: allocate correct buffer size for m4 path.

Flex did not check the length of the m4 path which could lead to a
buffer overflow in some cases. Additionally, not all platforms believe
in PATH_MAX, so stop relying on it.

Fixes #138

doc: note no more libcompat in NEWS

build: explain empty lib/Makefile.am

build: warn about cross compiling with *alloc

build: Link $(LIBOBJS) from src/ dir, remove libcompat.la.

The libcompat.la library was small and less friendly to bootstrapping
and cross compilation. Now, we will simply link individual object
files as needed, which is simpler.

build: Let stage1flex respect LFLAGS

doc: describe --disable-libfl in NEWS

build: Add --disable-libfl configure option.

Disabling libfl is useful when building flex for a cross-toolchain.

Fixes: GH-99

fix backwards incompatible changes in 2.6.2.

This patch addscompatibility `#defines` for all macros affected by
`%prefix`.

Fixes #113.

git: ignore quote_in_comment artifacts

Fixes a major bug in Flex's own lexing of literals.

My changes caused Flex to mishandle string and character literals in
line comments.  This commit fixes them.

Fixes #113.

Fix unportable test(1) operator.

"==" is only supported by bash, "=" is the standard comparison
operator.

Add more escaping tests

Fix another escaping bug

in non-indented verbatim section 2 code.

I also did some reformatting.

build: fix false negatives for help2man and texi2dvi

HELP2MAN and TEXI2DVI (or the corresponding ac_prog variables) will
never be zero length as they fall back to the missing script; check for
the fall back and warn on that instead of always warning.

doc: Don't delete flex.1 during "make distclean".

flex.1 is pre-generated in release tarball. If we delete it, the next
"configure and make" on the source directory will then require help2man
unnecessarily.

Only regenerate the man page when required.

Make the flex binary an order-only prerequisite, and add back the
prerequisites from before 7cfb440. This prevents rebuilding the man page
whenever the flex binary is rebuilt, which causes problems if help2man
is not installed and will never work when cross compiling.

Fixes #108.

build: no longer build PIC version of libfl.

The PIC version of libfl was not being built correctly. From the lack
of bug reports around this problem, we conclude that the PIC version
of libfl is not used and so we drop it from the build build targets
for flex.

doc: README.md formatting fixes

* Wrap everything in the raw document in 72 char per line limit.
* Proper casing for terms "Git" and "GitHub" (don't try to look lazy).
* Add unordered list marks when needed.
* Say `configure && make && make install` and quoted for fixed-width
  font.

Signed-off-by: Kang-Che Sung <explorer09@gmail.com>

build: version 2.6.3 begins

doc: mark 2.6.2 release date

build: switch xz to lzip

Fix M4 quotation in section 2 prologue and refactor duplicated code

Update flex.texi: Removed repedative wording

"Flex used to" was written twice at the beginning of Chapter 9, paragraph 2.

Improved M4 quotation

This fixes M4 quotation of certain strings beginning with `yy` (in
section 3 of the input file only) and character literals.  The new
quotation method is also less brittle and faster.

Tests that relied on the old behavior were fixed.

Also, `yyconst` is no longer defined; use `const` (which it
unconditionally was defined to) instead.

build: for automake, flex is foreign

doc: mv README to README.md

doc: touch up README

doc: README no longer mentions sourceforge

doc: update NEWS with more post-2.6.1 additions

Fix M4 quoting of section 3.

This fixes M4 quoting of section 3 of the input file, including escape
sequences and character constants.

Tests were added to verify the behavior in section 3 with respect to
quoting. Both escaping of quotes and quoting of potential macro-start
characters are tested. Existing tests were also fixed to account for the new -- and now correct -- behavior. Many tests relied on the old behavior of expanding M4 macros
in section 3.  They needed to be updated for the new behavior.

Fix yyrestart(NULL) SEGV.

scanner: M4 quoting fixes

Support `make indent` for out of source builds

Simplify some shell code

no longer generate K&R C scanners

Fix escaping of `[[` and `]]` in strings

Previously, `[[` and `]]` were not escaped in strings, which led
to bad interactions with m4.

Also, don't break strings on newline, as GCC et al support whitespace
between a backslash and the subsequent newline.

new sv translation

Delete action_m4_define from misc.c

This function was not used and always triggered a fatal error when run.

test: run direct tests from srcdir

Exited with error code on some conditions in include tests

test: drop .exe when making input file names

test: removed dependencies for include tests

Avoid realloc on every call of sf_push()

Currently, every call to sf_push() realloc()'s _sf_stack, even if the
maximum size _sf_max wasn't changed. As the indentation beneath the
"if" clause already indicates, the realloc() should only be executed
if _sf_max was increased.

Found by compiling flex with the -Wmisleading-indentation flags of gcc,
which leads to the following warning:

scanflags.c: In function ‘sf_push’:
scanflags.c:42:5: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
     if (_sf_top_ix + 1 >= _sf_max)
     ^~
scanflags.c:44:9: note: ...this statement, but the latter is misleadingly indented as if it is guarded by the ‘if’
         _sf_stk = realloc(_sf_stk, sizeof(scanflags_t) * _sf_max);
         ^~~~~~~

build: prettified command to build man page

build: added man page to DISTCLEANFILES

remove unused TODO, BUGS files

removed to.do/ directory

gettext: removed flex.skl from POTFILES.in file list

fix skel.c dependency (missing tables_shared.c) and
 polish build rule

Also remove references to srcdir since skel.c is no longer mentioned in po/POTFILES.in.

fix flex.1 dependency

git clean -fdx && ./autogen.sh && \
  mkdir -p ../build && cd ../build && ../flex/configure && make -j10 && \
  make dist

failed with:

>  help2man: can't get `--help' info from ../../flex/src/flex

Note:
  There is no dependency except for the flex binary.

fix stage1scan.c and stage1scan.l dependency

git clean -fdx && ./autogen.sh && \
  mkdir -p ../build && cd ../build && ../flex/configure && make -j10

failed with:

> ../src/stage1flex -o stage1scan.c stage1scan.l
> stage1flex: can't open stage1scan.l

Note:
  stage1scan.c is not necessairy in the "make dist" generated tar.gz file.
  stage1flex will be build from scan.c (which is distributed),
    and this will then generate stage1scan.c from scan.l

gettext: list src/flex.skl in po/POTFILES.in

warning in generated code, with -Ca

warning: conversion to 'yy_state_type' from 'flex_uint32_t' may change the sign of the result [-Wsign-conversion]

suppress `WARNINGFLAGS' for the almost obsolete `noansi' test cases

configure option `--enable-warnings' and `WARNINGFLAGS'

`WARNINGFLAGS' can be passed when invoking `configure'
 and when invoking `make'

if configure switch `--enable-warnings' was given
  then default to something useful if we have `GCC'

`WARNINGFLAGS' is not used when compiling `stage1flex'
  to avoid unnecessary clutter

Fix potential buffer overflow in strncat()

When using clang/llvm 3.8 to compile flex, the following warning is
emitted:

main.c:378:27: warning: the value of the size argument in 'strncat' is too large, might lead to a buffer overflow [-Wstrncat-size]
                                        strncat(m4_path, m4, sizeof(m4_path));
                                                             ^~~~~~~~~~~~~~~
main.c:378:27: note: change the argument to be the free space in the destination buffer minus the terminating null byte
                                        strncat(m4_path, m4, sizeof(m4_path));
                                                             ^~~~~~~~~~~~~~~
                                                             sizeof(m4_path) - strlen(m4_path) - 1

Fix it up by using the solution proposed by the warning message.

build: simplified dependency tracking so parallel make runs succeed

avoid warning in generated code, with -Cf

warning: conversion to 'unsigned int' from 'int' may change the sign of the result [-Wsign-conversion]

mention v2.6.2; summarize changes since 2.6.1

doc: corrected example in manual, gh#67

warning: conversion to 'size_t' from 'int' may change the sign of the result [-Wsign-conversion]

warning: conversion to 'long unsigned int' from 'int' may change the sign of the result [-Wsign-conversion]

warning: conversion to 'flex_uint32_t' from 'long unsigned int' may alter its value [-Wconversion]

struct yytbl_reader, member bread is of type flex_uint32_t

warning: redundant redeclaration of '...' [-Wredundant-decls]

warning: no previous prototype for '...' [-Wmissing-prototypes]

warning: unused variable 'fp' [-Wunused-variable]

main(), warning: redundant redeclaration of 'main' [-Wredundant-decls]

main(), warning: old-style function definition [-Wold-style-definition]

main(), warning: old-style function definition [-Wold-style-definition]

Fix two more casts

Fixes yyl compare with unsigned warning

Suppress portability warnings in Makefile generation

generated code, in yyensure_buffer_stack(), change type of local `num_to_alloc'

which is exclusively used in yy_size_t context

generated code, in yy_get_next_buffer(), change type of local `number_to_move'

suits better, because `yy_n_chars' and `yy_buf_size' are of type `int'

generated code, `_yybytes_len' is of type `int', fix code accordingly

generated code, `max_size' seems to be of type `int', fix casts accordingly

generated code, here `new_size' is of type `int', fix casts accordingly

generated code, `yy_buf_size' is of type `int', fix casts accordingly

generated code, `offset' is of type `int'

generated code, `yy_more_len' is of type `int'

scan.l, rewrite two loops to avoid unneccesairy casting

improve readability