doc: mark 2.6.2 release date

build: switch xz to lzip

Fix M4 quotation in section 2 prologue and refactor duplicated code

Update flex.texi: Removed repedative wording

"Flex used to" was written twice at the beginning of Chapter 9, paragraph 2.

Improved M4 quotation

This fixes M4 quotation of certain strings beginning with `yy` (in
section 3 of the input file only) and character literals.  The new
quotation method is also less brittle and faster.

Tests that relied on the old behavior were fixed.

Also, `yyconst` is no longer defined; use `const` (which it
unconditionally was defined to) instead.

build: for automake, flex is foreign

doc: mv README to README.md

doc: touch up README

doc: README no longer mentions sourceforge

doc: update NEWS with more post-2.6.1 additions

Fix M4 quoting of section 3.

This fixes M4 quoting of section 3 of the input file, including escape
sequences and character constants.

Tests were added to verify the behavior in section 3 with respect to
quoting. Both escaping of quotes and quoting of potential macro-start
characters are tested. Existing tests were also fixed to account for the new -- and now correct -- behavior. Many tests relied on the old behavior of expanding M4 macros
in section 3.  They needed to be updated for the new behavior.

Fix yyrestart(NULL) SEGV.

scanner: M4 quoting fixes

Support `make indent` for out of source builds

Simplify some shell code

no longer generate K&R C scanners

Fix escaping of `[[` and `]]` in strings

Previously, `[[` and `]]` were not escaped in strings, which led
to bad interactions with m4.

Also, don't break strings on newline, as GCC et al support whitespace
between a backslash and the subsequent newline.

new sv translation

Delete action_m4_define from misc.c

This function was not used and always triggered a fatal error when run.

test: run direct tests from srcdir

Exited with error code on some conditions in include tests

test: drop .exe when making input file names

test: removed dependencies for include tests

Avoid realloc on every call of sf_push()

Currently, every call to sf_push() realloc()'s _sf_stack, even if the
maximum size _sf_max wasn't changed. As the indentation beneath the
"if" clause already indicates, the realloc() should only be executed
if _sf_max was increased.

Found by compiling flex with the -Wmisleading-indentation flags of gcc,
which leads to the following warning:

scanflags.c: In function ‘sf_push’:
scanflags.c:42:5: warning: this ‘if’ clause does not guard... [-Wmisleading-indentation]
     if (_sf_top_ix + 1 >= _sf_max)
     ^~
scanflags.c:44:9: note: ...this statement, but the latter is misleadingly indented as if it is guarded by the ‘if’
         _sf_stk = realloc(_sf_stk, sizeof(scanflags_t) * _sf_max);
         ^~~~~~~

build: prettified command to build man page

build: added man page to DISTCLEANFILES

remove unused TODO, BUGS files

removed to.do/ directory

gettext: removed flex.skl from POTFILES.in file list

fix skel.c dependency (missing tables_shared.c) and
 polish build rule

Also remove references to srcdir since skel.c is no longer mentioned in po/POTFILES.in.

fix flex.1 dependency

git clean -fdx && ./autogen.sh && \
  mkdir -p ../build && cd ../build && ../flex/configure && make -j10 && \
  make dist

failed with:

>  help2man: can't get `--help' info from ../../flex/src/flex

Note:
  There is no dependency except for the flex binary.

fix stage1scan.c and stage1scan.l dependency

git clean -fdx && ./autogen.sh && \
  mkdir -p ../build && cd ../build && ../flex/configure && make -j10

failed with:

> ../src/stage1flex -o stage1scan.c stage1scan.l
> stage1flex: can't open stage1scan.l

Note:
  stage1scan.c is not necessairy in the "make dist" generated tar.gz file.
  stage1flex will be build from scan.c (which is distributed),
    and this will then generate stage1scan.c from scan.l

gettext: list src/flex.skl in po/POTFILES.in

warning in generated code, with -Ca

warning: conversion to 'yy_state_type' from 'flex_uint32_t' may change the sign of the result [-Wsign-conversion]

suppress `WARNINGFLAGS' for the almost obsolete `noansi' test cases

configure option `--enable-warnings' and `WARNINGFLAGS'

`WARNINGFLAGS' can be passed when invoking `configure'
 and when invoking `make'

if configure switch `--enable-warnings' was given
  then default to something useful if we have `GCC'

`WARNINGFLAGS' is not used when compiling `stage1flex'
  to avoid unnecessary clutter

Fix potential buffer overflow in strncat()

When using clang/llvm 3.8 to compile flex, the following warning is
emitted:

main.c:378:27: warning: the value of the size argument in 'strncat' is too large, might lead to a buffer overflow [-Wstrncat-size]
                                        strncat(m4_path, m4, sizeof(m4_path));
                                                             ^~~~~~~~~~~~~~~
main.c:378:27: note: change the argument to be the free space in the destination buffer minus the terminating null byte
                                        strncat(m4_path, m4, sizeof(m4_path));
                                                             ^~~~~~~~~~~~~~~
                                                             sizeof(m4_path) - strlen(m4_path) - 1

Fix it up by using the solution proposed by the warning message.

build: simplified dependency tracking so parallel make runs succeed

avoid warning in generated code, with -Cf

warning: conversion to 'unsigned int' from 'int' may change the sign of the result [-Wsign-conversion]

mention v2.6.2; summarize changes since 2.6.1

doc: corrected example in manual, gh#67

warning: conversion to 'size_t' from 'int' may change the sign of the result [-Wsign-conversion]

warning: conversion to 'long unsigned int' from 'int' may change the sign of the result [-Wsign-conversion]

warning: conversion to 'flex_uint32_t' from 'long unsigned int' may alter its value [-Wconversion]

struct yytbl_reader, member bread is of type flex_uint32_t

warning: redundant redeclaration of '...' [-Wredundant-decls]

warning: no previous prototype for '...' [-Wmissing-prototypes]

warning: unused variable 'fp' [-Wunused-variable]

main(), warning: redundant redeclaration of 'main' [-Wredundant-decls]

main(), warning: old-style function definition [-Wold-style-definition]

main(), warning: old-style function definition [-Wold-style-definition]

Fix two more casts

Fixes yyl compare with unsigned warning

Suppress portability warnings in Makefile generation

generated code, in yyensure_buffer_stack(), change type of local `num_to_alloc'

which is exclusively used in yy_size_t context

generated code, in yy_get_next_buffer(), change type of local `number_to_move'

suits better, because `yy_n_chars' and `yy_buf_size' are of type `int'

generated code, `_yybytes_len' is of type `int', fix code accordingly

generated code, `max_size' seems to be of type `int', fix casts accordingly

generated code, here `new_size' is of type `int', fix casts accordingly

generated code, `yy_buf_size' is of type `int', fix casts accordingly

generated code, `offset' is of type `int'

generated code, `yy_more_len' is of type `int'

scan.l, rewrite two loops to avoid unneccesairy casting

improve readability

another cast in tblcmp.c to avoid warning

casts in buf_append() to get rid of warnings

cast to suite type of flex_uint32_t td_lolen

cast to get rid of warnings

cast and fix usage of log10(), ceil to prevent buffer overflow

tables.c, sprinkle casts to get rid of warnings

yytbl_data_compress(), change type of local newsz to get rid of warnings

change type of struct yytbl_writer.total_written to get rid of warnings

change argument type of yytbl_writen() to get rid of warnings

yytbl_write8/16/32(), change type of local variables to get rid of warnings

change return type and rename int htoi()/otoi() --> unsigned int htoui()/otoui()

Mention 2.6.1 release date

avoid warning, add (int) cast to the read() return value

For similiarity with the fread() case.

avoid warning, POSIX says yyless() has an `int' argument

use type size_t in filter_tee_header() to avoid warnings

add (size_t) casts to malloc invocations to prevent warnings

add (int) casts to some strlen() invocations to prevent warnings

ndlookup(), char *, to get rid of casts and warnings

ndinstal(), char *, to get rid of casts and warnings

cclinstal() and ccllookup(), char *, to get rid of casts and warnings

warning: redundant redeclaration of ‘gen_next_state’ [-Wredundant-decls]

warning: no previous prototype for ‘mkecstbl’ [-Wmissing-prototypes]

warning: suggest parentheses around assignment used as truth value [-Wparentheses]

warning: redundant redeclaration of ‘yywrap’ [-Wredundant-decls]

warning: redundant redeclaration of ‘yylval’ [-Wredundant-decls]

warning: redundant redeclaration of ‘yyin’ [-Wredundant-decls]

warning: redundant redeclaration of ‘yyparse’ [-Wredundant-decls]

unification, rename some more

rename these too for improved similiarity:
  OPTION_OP OPT_HEADER OPT_EXTRA_TYPE OPT_TABLES

fix name clash, OPT_OUTFILE from parse.y and from options.h

these collide:
  OPT_OUTFILE OPT_PREFIX OPT_YYCLASS
rename them TOK_... in the parser

Prototyped reallocarray implementation

Removed custom strcasecmp() function

fwrite wants a size_t, yyleng is int per posix

Remove some unneeded casts

warning: negative integer implicitly converted to unsigned type [-Wsign-conversion]

dfa.c:157:24: warning: conversion to 'size_t' from 'int' may change the sign of the result [-Wsign-conversion]

most certainly safe cast

ccl.c:86:19: warning: conversion to 'unsigned char' from 'int' may alter its value [-Wconversion]

ch seems to have been checked for proper range some lines above

warning: deprecated directive, use '%pure-parser' [-Wdeprecated]