test: enable more silent building of tests.

When running 'make V=0 check', some compile and link steps are made
less verbose and some are not.  This cleans up most steps that are
not.

These have no effect if V=0 is not specified.

build: Delete comments from skeleton file.

Since the comments in flex.skl are, by hypothesis, not needed in
skel.c, we remove them. THis reduces the size of the resulting
executable somewhat.

build: do not generate lib/Makefile.in.

Files in lib/ are picked up and built using makefile directives in
src/Makefile.am. Remove the need to generate lib/Makefile.in and the
stub lib/Makefile.am.

gettext: revert listing generated .c files

FLEX_EXIT() is the preferred way to exit flex

Fix myesc() 'sptr' conditionals

* Don't call isascii() here. It's deprecated in POSIX and not needed
  for myesc's case.
* The check of the character class and range here should match what's
  defined as {ESCSEQ} in scan.l, so for [[:xdigit:]] we use isxdigit();
  for [0-7] we check '0' <= c <= '7' (not isdigit(c) because isdigit is
  locale-dependant in standard's sense)
* Add missing length limit for "\x<hex>" (<hex> is at most 2 digits)

Obsolete htoui() and otoui(); use strtoul().

No sense to keep these two function when libc's strtoul() can do the
same job, but better.

scanner: update yy_buf_size after yyrealloc()

build: use lowest versions for gettext, automake.

gettext: more recent makevars; new script to update po files.

Previously, "make dist" and similar commands would cause the po files
to be updated, which is incorrect. The more recent version now used
should not do this.

Replaced Rules-getpo by extra script to manually update and rebuild all po files.

gettext: list generated files instead of flex, bison sources in POTFILES.in.

Listing the flex and bison sources -- as the gettext manual suggests
-- causes warnings. Listing the generated C files for the lexer and
parser removes the warnings. Since both files contain line directives,
any translator who needs to refer back to those files should be able
to find the context in which strings are needed.

build: only touch ChangeLog if it does not exist

build: list earliest useable versions for automake

build: check for how to call libtoolize.

Previously, we would call libtoolize and if that failed, we would call
glibtoolize since some platforms have the libtoolize program under
that name.

Instead, we check to see if the environment variable LIBTOOLIZE is set
and use that if so. Otherwise, we try to find a program "libtoolize"
on the path and failing that glibtoolize. We alert the user if no
suitable program can be found.

build: support cross compiling.

Check for cross compiling. If cross compiling, build stage1flex using a
custom link command.
We also override LDADD since that adds the replacement implementations
that are cross compiled, and instead always use the replacement library
implementations.

We don't use BUILD_OBJEXT and BUILD_EXEEXT since it seems that automake
does not support these.

Fixes #78.

build: Include <strings.h>; add strcasecmp() check to configure.

strings.h (not string.h) is the standard-defined include header for
strcasecmp(). Include <strings.h> for portability (even though glibc
exposes strcasecmp() declaration also in <string.h> by default).

build: Let configure error if missing required functions, headers..

`configure` will now error if a required header or function is not
found on the system.

Also add comments on optional functions checks.

Add sys/stats.h and sys/wait.h to list of required headers in
configure.

This fixes issue #180.

scanner: compute powers of two faster.

Replace the naive "for" loop in determining power of two with a clever
bitwise solution. This code is around the Internet already and is in
Public Domain.

test: skip pthread test when needed files missing.

"Unlisting" the pthread test when libpthread is not available is never
a good idea. Should let it compile into a stub program that returns
the "skip" status.

configure.ac and tests/Makefile.am are edited so that pthread test can
be built anyway, but only works (not as the stub) when both pthread.h
and libpthread are detected on the system.

Also fix a small typo in tests/pthread.l comments.

build: mv scan.c when building dist.

Revert change to copy scan.c when building the distribution
archive. Move it instead. This satisfies automake's notions of what
should be clean and ensures that the distribution archive contains a
just-built copy of scan.c.

Fixes #186

build: don't assume distdir/scan.c is writeable

build: Add dist-hook to force remake scan.c.

This will ensure the flex scanner included in release tarball being
generated by exactly the flex version to be released.

Here's one catch after this change: You may not run "make dist" or
"make distdir" if you configure the flex source to be cross-compiled.

build: respect '--localedir' from configure.

Makefile shouldn't overwrite the 'localedir' variable, because that's
what '--localedir' option in 'configure' is for.

build: Remove "-I$(top_srcdir)/intl" from CPPFLAGS.

Revert commit e02c3d27eeb6b53ec82532ab080c23ce26813fd4

("include the intl/ subdirectory when searching for include files")

Flex doesn't come with libintl source code, so inclusion of
$(top_srcdir)/intl subdirectory during compiling is unnecessary.

This flag seems to be left after "remove intl from dist"
(commit 8f45da06adbd7dbcdfdbdd5c20ff4c47fc504f35) without someone
cleaning this up.

Users who need to build with gettext functionality from libintl would
use the '--with-libintl-prefix' configure option.

scanner: fix regcomp's error reporting, double malloc.

Fix unneeded double malloc - let regerror(). Write its message after
our "regcomp for (regex) failed: " string.

Also, errbuf cannot be free()'d because of flexfatal containing a
longjmp.

test: Skip bison tests if bison is not available

build: remove repeated bison detection from configure.

AC_PROG_YACC already detects the bison program. We can just use it,
and make notice if [ $YACC != 'bison -y' ]

Remove unused AC_SUBST([BISON], ...).

Add AM_CONDITIONAL([HAVE_BISON], ...) so that we can skip bison tests
in testsuite when bison is absent.

We don't make any attempt to detect other yacc implementations since
flex is developed with bison. While it would be possible, the need
isn't there right now. It would be possible to add a --with-parser
option that defaulted to bison if such a need cropped up.

build: fix Makefile parse.h dependency clauses.

The current clauses stating "main.c: parse.h" and "yylex.c: parse.h" do
not work as expected. Make did not try to build parse.h upon building
flex-main.o as it would think main.c exist already and ignore the
clause. Fix this by explicitly stating that the .o files depend on
parse.h instead.

This dependency bug only happens if user builds flex from a
checked-out repository.

test: Remake *_scanner.c if *_scanner.h is missing.

If a ${foo}_scanner.c exists but the respective ${foo}_scanner.h is
missing, then 'make' can halt. Fix this by deleting the
${foo}_scanner.c file and then remake it. This rule is the same as the
automake-generated rule for .c files that require LEX or YACC (except
automake will use ylwrap).

test: remove BUILT_SOURCES; add missing dependencies.

Without BUILT_SOURCES in Makefile, no test sources in tests/ will be
built when using the default "make all" target. This is desireable for
people who are just building flex but who do not want to run, and
therefore, build any part of the test suite.

Also fix missing sources dependencies:

    bison_nr_scanner.$(OBJEXT): bison_nr_parser.h
    bison_yylloc_scanner.$(OBJEXT): bison_yylloc_parser.h
    bison_yylval_scanner.$(OBJEXT): bison_yylval_parser.h

build: detect overflow for [re]allocate_array.

Use reallocarray() when we have it (i.e. in OpenBSD system). When we
don't, use equivalent overflow detection for our allocate_array and
reallocate_array functions.

Remove lib/reallocarray.c from our LIBOBJS as we no longer need it.

Provide a fallback SIZE_MAX macro definition in flexint.h (not
preprocessor friendly, but enough for our reallocate_array use case).

doc: v2.6.4

build: more BSD make and vpath build fixes.

BSD make doesn't like $< with more than one source
specified. Additionally, make sure to specify srcdir when referring to
source files since vpath builds depend on this.

build: Fix skel.c generation with BSD make

Add more defines in the non-reentrant part.

Fix the reentrant part; don't "#define yyfoo yyfoo" because it breaks
code that does #ifndef yywrap ..

scanner: Add yyparse prototype

scanner: move comment for consistency

scanner: Use array instead of pointer

scanner: manage path to m4 better.

Avoid alloca() for SSP; it is better anyway; since we don't need to
strdup the path.

scanner: Avoid creating unused label

Cast argument to avoid arithmetic on void *.

scanner: Use strncpy

scanner: Use prefix when defining yywrap to avoid redefinition.

Fixes regression introduced in v2.6.3.

scanner: Include stdarg.h for va_list

scanner: Rename warn to lwarn.

This avoids a naming conflict in NetBSD's  libc.

test: document automake convention for skipped exit status.

test: let testwrapper scripts be run by ${SHELL}.

This allows user to use a different shell if /bin/sh has problems.
The use of $SHELL (variable) to run scripts is already an Automake
convention. All shell scripts in build-aux are run by $SHELL.

test: Remove test scripts bashisms.

They now all work under a POSIX compliant sh. Specifically, 'dash' can
now be used for running "make check" tests.

Note that none of these scripts has ever been using a pipe, so
`set -o pipefail` is unnecessary and removed.

test: exit on '-1' test non-zero status.

If a '-1' test program returns a non-zero status, don't go further and
compare it's (numeric) output values. This allows a '-1' test to
indicate a "skip" status or an otherwise error. (Currently no such '-1'
test would skip like this, though.)

Shell syntax note: `set -e` will not exit with the syntax like this
`test $(false) = $(false);`. The exit statuses of `false` in the
example will be ignored instead. But putting the output in a variable,
such as `VAR=$(false)`, DOES exit.

build: Fix 'make indent' target

This 'make indent' target has not been working since the directories
reorganization in flex 2.6.0. Now make it work again.

Note that the current indent profile breaks many styles of existing
code. The indent target should not be used until the .indent.pro
options are reviewed for desireability.

build: Simplify indent program detection

filter: Don't emit #line if %option noline set

One place emitting a #line directive to the generated header was
missed in commit 647a92b9f4 when resolving #55. Fix it to respect
gen_line_dirs as well.

translation: refresh po files from translation project

c++: Fix yyrestart(NULL) SEGV.

Binding a reference to a dereferenced null pointer is invalid and
compilers optimise away the &file == 0 check. We need a real stream.

yyin is available already, and yyrestart(NULL) is only supported when
yyin will not be used, so there is no harm in just passing in that.
Since we now always have a valid stream, we can skip the null check
too.

Fixes #98.

scanner: join symbol list.

Removed a newline that caused a problem building the scanner in some
circumstances. Specifically:

'bad character' error  when executing

/bin/sh ../build-aux/ylwrap scan.l lex.yy.c scan.c -- flex

scanner: remove void cast before fprintf

doc: update NEWS for 2.6.3 release

build: New configure option '--disable-bootstrap'.

If configure is run with '--disable-bootstrap', then stage1flex won't
be built and stage1scan.c will be generated by sed'ing scan.c.

This option is intended to workaround bootstrap bugs rather than to
fix the bootstrapping issues which are proving subtler and harder to
fix than anyone would like.

build: "make clean" deletes stage1scan.c, stage1flex

build: allow building libfl even with --disable-libfl.

For various reasons, we may wish to build libfl explicitly even when
configure has been run with the --disable-libfl option. This is
possible, now, via 'make -C src libfl.la'.

scanner: remove trailing whitespace in skeleton

scanner: Disallow, overquote '[' and ']' in prefix

scanner: allocate correct buffer size for m4 path.

Flex did not check the length of the m4 path which could lead to a
buffer overflow in some cases. Additionally, not all platforms believe
in PATH_MAX, so stop relying on it.

Fixes #138

doc: note no more libcompat in NEWS

build: explain empty lib/Makefile.am

build: warn about cross compiling with *alloc

build: Link $(LIBOBJS) from src/ dir, remove libcompat.la.

The libcompat.la library was small and less friendly to bootstrapping
and cross compilation. Now, we will simply link individual object
files as needed, which is simpler.

build: Let stage1flex respect LFLAGS

doc: describe --disable-libfl in NEWS

build: Add --disable-libfl configure option.

Disabling libfl is useful when building flex for a cross-toolchain.

Fixes: GH-99

fix backwards incompatible changes in 2.6.2.

This patch addscompatibility `#defines` for all macros affected by
`%prefix`.

Fixes #113.

git: ignore quote_in_comment artifacts

Fixes a major bug in Flex's own lexing of literals.

My changes caused Flex to mishandle string and character literals in
line comments.  This commit fixes them.

Fixes #113.

Fix unportable test(1) operator.

"==" is only supported by bash, "=" is the standard comparison
operator.

Add more escaping tests

Fix another escaping bug

in non-indented verbatim section 2 code.

I also did some reformatting.

build: fix false negatives for help2man and texi2dvi

HELP2MAN and TEXI2DVI (or the corresponding ac_prog variables) will
never be zero length as they fall back to the missing script; check for
the fall back and warn on that instead of always warning.

doc: Don't delete flex.1 during "make distclean".

flex.1 is pre-generated in release tarball. If we delete it, the next
"configure and make" on the source directory will then require help2man
unnecessarily.

Only regenerate the man page when required.

Make the flex binary an order-only prerequisite, and add back the
prerequisites from before 7cfb440. This prevents rebuilding the man page
whenever the flex binary is rebuilt, which causes problems if help2man
is not installed and will never work when cross compiling.

Fixes #108.

build: no longer build PIC version of libfl.

The PIC version of libfl was not being built correctly. From the lack
of bug reports around this problem, we conclude that the PIC version
of libfl is not used and so we drop it from the build build targets
for flex.

doc: README.md formatting fixes

* Wrap everything in the raw document in 72 char per line limit.
* Proper casing for terms "Git" and "GitHub" (don't try to look lazy).
* Add unordered list marks when needed.
* Say `configure && make && make install` and quoted for fixed-width
  font.

Signed-off-by: Kang-Che Sung <explorer09@gmail.com>

build: version 2.6.3 begins

doc: mark 2.6.2 release date

build: switch xz to lzip

Fix M4 quotation in section 2 prologue and refactor duplicated code

Update flex.texi: Removed repedative wording

"Flex used to" was written twice at the beginning of Chapter 9, paragraph 2.

Improved M4 quotation

This fixes M4 quotation of certain strings beginning with `yy` (in
section 3 of the input file only) and character literals.  The new
quotation method is also less brittle and faster.

Tests that relied on the old behavior were fixed.

Also, `yyconst` is no longer defined; use `const` (which it
unconditionally was defined to) instead.

build: for automake, flex is foreign

doc: mv README to README.md

doc: touch up README

doc: README no longer mentions sourceforge

doc: update NEWS with more post-2.6.1 additions

Fix M4 quoting of section 3.

This fixes M4 quoting of section 3 of the input file, including escape
sequences and character constants.

Tests were added to verify the behavior in section 3 with respect to
quoting. Both escaping of quotes and quoting of potential macro-start
characters are tested. Existing tests were also fixed to account for the new -- and now correct -- behavior. Many tests relied on the old behavior of expanding M4 macros
in section 3.  They needed to be updated for the new behavior.

Fix yyrestart(NULL) SEGV.

scanner: M4 quoting fixes

Support `make indent` for out of source builds

Simplify some shell code

no longer generate K&R C scanners

Fix escaping of `[[` and `]]` in strings

Previously, `[[` and `]]` were not escaped in strings, which led
to bad interactions with m4.

Also, don't break strings on newline, as GCC et al support whitespace
between a backslash and the subsequent newline.

new sv translation