Handle NUL in escaped-string output

When escaping string (e.g. for `@tsv` or `@csv` outputs),
escape NULs as '\0'.

Existing behaviour, unchanged by this patch:

    $ echo '"a\u0000b"' | ./jq '.'
    "a\u0000b"
    $ echo '"a\u0000b"' | ./jq -r '.' | od -a
    0000000   a nul   b  nl
    0000004

When using `@tsv`, escape NUL to `\0`:

    $ echo '"a\u0000b"' | ./jq -r '[.]|@tsv'
    a\0b
    $ echo '"a\u0000b"' | ./jq '[.]|@tsv'
    "a\\0b"

manual.yml: Clarify how to specify keys with ":" and special chars.

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

docs: expand @tsv section - add escape sequences.

@tsv: escape \r, \n, \\

When using '@tsv' output format with '-r' option,
escape \r, \n and \\ in addition to \t.

Example:
    $ printf '{"id":"hello\\ttab\\nworld","x":43 }' | jq .
    {
      "id": "hello\ttab\nworld",
      "x": 43
    }

Before: newlines are not escaped, generating invalid TSV output:

    $ printf '{"id":"hello\\ttab\\nworld","x":43 }' \
        | ./jq-old -r '[.id,.x] | @tsv'
    hello\ttab
    world 43

After: newlines are properly escaped:

    $ printf '{"id":"hello\\ttab\\nworld","x":43 }' \
        | ./jq-new -r '[.id, .x] | @tsv'
    hello\ttab\nworld 43

Before: backslashes themselves are not escaped, so there's no way to
distinguish between escaped characters and 'real' backslashes
(in the example below, there is should not be newline, despite the
output containing "\n".

    $ printf '{"x":"hello\\ttab\\\\new world"}' \
        | ./jq-old -r '[.x]|@tsv'
    hello\ttab\new world

After: backslashes are escaped:

    $ printf '{"x":"hello\\ttab\\\\new world"}' \
        | ./jq-new -r '[.x]|@tsv'
    hello\ttab\\new world

Test fix for mktime

Add `$__loc__` (fix #740)

Include filename and lineno in error messages

Tweak fix for #719

detect and report output writing errors

Detect output errors when the program exits.

Currently:
    $ echo '{}' | jq . > /dev/full && echo ok
    ok

with the patch:
    $ echo '{}' | jq . > /dev/full && echo ok
    Error: writing output failed: No space left on device

also apply to hardware/network/other I/O errors.

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

Adds Dockerfile

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

partial handling of input errors

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

always propagate input errors to exit code

Improve robustness in automated system when using exit code in shell scripts,
by exiting with code 2 if there was any input error (even overriding other
possible error exit codes).
Exit code 2 is already used to indicate system errors.

Without the patch:
   $ jq . no-such-file ; echo $?
   jq: no-such-file: No such file or directory
   0

With the patch:
   $ jq . no-such-file ; echo $?
   jq: no-such-file: No such file or directory
   2

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

Better argfile fix (#705, fix #736)

Drop name-less label/break for now

See #734 and #658.

Fix #735

Add more date builtins

Merge pull request #720 from agordon/exit-code-5-exceptions

exit with non-zero code on runtime exceptions

Automake: jq depends on version.h (fix #721)

exit with non-zero code on runtime exceptions

With this change, runtime exceptions are propagated to non-zero exit
code of 'jq', allow better scripting and automation. The new exit code
value is 5.

This allows using the shell's and/or operations ('&&' and '||') to
detect input runtime exceptions.

Before:
runtime exceptions are printed to STDERR, but not reported as non-zero exit-code:
    $ echo '"hello"' | jq '.|tonumber' ; echo $?
    jq: error: Invalid numeric literal at EOF at line 1, column 5 (while parsing 'hello')
    0

After:
    $ echo '"hello"' | ./jq '.|tonumber' ;  echo $?
    jq: error: Invalid numeric literal at EOF at line 1, column 5 (while parsing 'hello')
    5

Note that there's a subtle interplay when using "-e" option.
The value of the non-zero exit code changes from 4 to 5, but it still
indicates a 'failure' or non-true value.

Before:
    $ echo '"hello"' | jq -e '.|tonumber' ;  echo $?
    jq: error: Invalid numeric literal at EOF at line 1, column 5 (while parsing 'hello')
    4

After:
    $ echo '"hello"' | ./jq -e '.|tonumber' ;  echo $?
    jq: error: Invalid numeric literal at EOF at line 1, column 5 (while parsing 'hello')
    5

Fix #718

Add date builtins (fix #364)

Windows support for strptime() is missing.  We can add a copy of one
from a BSD later.

Remove -i option (#704)

In-place editing should be implemented with builtins for file I/O.

Fix #705 (--argfile weirdness)

Test in-place functionality; fix #704

Fix #702

Merge pull request #701 from sseemayer/master

Correct automake and autoconf version requirements

Correct automake and autoconf version requirements

Mention --disable-maintainer-mode in bison error

Merge pull request #699 from hroptatyr/oniguruma-detection

Fix oniguruma detection logic

Fix oniguruma detection logic

At the moment, a failed oniguruma header check would leave
HAVE_ONIGURUMA set to 1 still, resulting in a compiler error
in builtin.c.

README tweaks

Add --disable-maintainer-mode; make bison optional

Also flex is now optional.

The outputs of flex and bison are now committed.  By default they get
built, but users who want to build from git can now

    ./configure --disable-maintainer-mode

to turn off the dependency on bison and flex.

Maintainers must, of course, commit the bison and/or flex outputs when
they make changes to parser.y and/or lexer.l, respectively.

Make Oniguruma/regexp optional

Tests won't pass if built without Oniguruma.  We don't have a way to
make a test optional yet.  That will come later.  For now the ability to
reduce build-time dependencies could really help some users.

Reduce number of msg callback typedefs

Refactor moar: move parts of main.c into libjq

This adds utility functions for reading and parsing files that should be
easy to use by other apps, together with jq_start()/jq_next().

Refactor handling of inputs in main() (fix #667)

Much of this could be in libjq.  Eventually all of the work of reading
from files and looping over `jq_next()` should move into libjq, with
`main()` mostly doing all the command-line option processing.

Merge pull request #692 from kim-toms/enhance-from_entries

Enhance from_entries to better deal with Amazon AWS Tags

Enhance from_entries to better deal with Amazon AWS Tags

Fix sequence warnings (fix #686)

Usage message for -h should go to stdout

Merge pull request #678 from isomorphisms/patch-1

readability

readability

Easier to read dashes than hyphens imho.

Fix --raw-input

Merge pull request #669 from joelpurra/join-empty-array-668

Empty arrays join/1 to an empty string, fixes #668 bug introduced by 9760245

Empty arrays join/1 to an empty string, fixes #668 bug introduced by 9760245

Add `debug` and `stderr` builtins

And refactor setup of jv dump flags.

join/1: respect empty strings (fix #668)

Split on empty sep: fix #552 moar

Fix docs for `split/0`

Fix #552

Fix --run-tests arg handling

Look for jq/main.jq for imports

Add comments to tests/run

Fix tests/run in from-tar-ball case

Drop useless use of scripts/version

Add static build instructions (fix #294)

Fix warning in util.c

Include missing EXTRA_DIST items; fix #661

Add mkstemp() for mingw build

Fix memleak introduced run-tests enhancement

Add more missing test files

Add missing test file

Move some module tests into all.test

Further module system revamp (fix #659)

To import a module now use:

    # Import module.jq file:
    import "relative/path/to/module" as foo;

    # Use the module's defs as foo::<def-name>

To import a JSON file:

    # Read file.json:
    import "relative/path/to/file" as $foo;
    #
    # Use as $foo::foo

Using `-L` now drops the builtin library path and appends the requested
path to the empty array (or the result of an earlier `-L`).

Support for the `$JQ_LIBRARY_PATH` environment variable has been
removed.

Add `label $name | EXP`; fix `break`

This is to fix the problem where `break` is dynamic, not lexical.

With this it should be possible to do this sort of thing:

    label $break | inputs | if ... then $break|error else . end

This is a backwards-incompatible change for master, but the previous
`break` hadn't shipped yet.

Still needed:

 - testing

Remove string indexing by string (fix #454)

This turns out to have been a bad idea:

    "foo"|.["o"]

it interacts badly with `path()`.

See #454 for the gory details.

Fix parser leak (fuzzing)

Fix lineno counting in jq_test.c

Add support for testing erroneous programs

This will allow moving tests of some tests from tests/run to
tests/all.test.  It will also be useful for more extensive testing of
language features where we want nice error messages, or errors at all,
to be produced, particularly language features where the errors arise at
compile-, codegen-, or link-time rather than parse-time.

This does not check for run-time errors though -- those we can already
check for with try/catch.

    $ jq --run-tests
    %%FAIL
    break
    jq: error: break used outside labeled control structure
    ^D
    1 of 1 tests passed (0 malformed)
    $

Make --run-tests more informative

Print the line number and program text on the same output line where a
failure is reported, for all failures that were already reported on
lines starting with '***'.  This makes poring over test logs with
failures much easier.

Allow resetting of jq err callback

This will be useful for the upcoming test-erroneous-programs improvement
to --run-tests, so we can switch between the default error reporting
method (print to stderr) to a method internal to --run-tests, and back.

The idea is that when testing programs that are expected to compile (and
link), it'd be nice if errors continue going to stderr, while when
testing programs that must fail to compile (or link), the error has to
be captured so it can be compared to the error expected by the test.

Fix streaming bug (fuzzing)

transpose/0 for possibly jagged matrices

bsearch(x) (binary search): builtin.c (tested), with documentation and test case. Always yields an integer (even if input is unsorted); returns (-1 - ix) if x is not in input array.

ascii_upcase/0 and ascii_downcase/0

Add `debug` builtin

And refactor setup of jv dump flags.

Don't force C API users to set input cb

Make jq --run-tests show test line numbers

Fix uninitialized struct field

Streaming parser torture tests

Fuzz JSON parser

Better quoting in tests/run

Add Streaming parser (--stream)

Streaming means that outputs are produced as soon as possible.  With the
`foreach` syntax one can write programs which reduce portions of the
streaming parse of a large input (reduce into proper JSON values, for
example), and discard the rest, processing incrementally.

This:

    $ jq -c --stream .

should produce the same output as this:

    $ jq -c '. as $dot | path(..) as $p | $dot | getpath($p) | [$p,.]'

The output of `jq --stream .` should be a sequence of`[[<path>],<leaf>]`
and `[[<path>]]` values.  The latter indicate that the array/object at
that path ended.

Scalars and empty arrays and objects are leaf values for this purpose.

For example, a truncated input produces a path as soon as possible, then
later the error:

    $ printf '[0,\n'|./jq -c --stream .
    [[0],0]
    parse error: Unfinished JSON term at EOF at line 3, column 0
    $

Allow C-coded functions to `empty`

Just return a jv_invalid() without a message.

Add BLOCK_8() macro

Fix `foreach` non-progation of errors

Errors were being re-propagated as "break".

Also add `error/0` builtin, which made this fix easier.

Allow zero-length buffers in jv_parser_set_buf()

If the caller is at EOF and has no more bytes to feed the parser, how is
the parser to be told about the EOF condition?  A small fix to allow
zero-length buffers in jv_parser_set_buf() fixes this problem (it also
makes it easier to deal with async I/O: feed the parser whatever is
available, including nothing).

Fix in and inside

Merge pull request #624 from Janrain-Colin/patch-1

Doc correction

Merge pull request #366 from slapresta/inversed-contains

Added `in` command

Merge pull request #628 from slapresta/map-on-objects

Modify map\1 so that it works on objects

Fix infinite loop in read_more() (fix #656)

Fix EOF handling; fix #656

Merge pull request #651 from eiiches/fix-examples

Fix several errors in the manual

Add @tsv; fix #645

Merge pull request #653 from msabramo/patch-1

.travis.yml: Set sudo false; use containers

Module search revamp for pkg managers

The search path listed in an import directive can now be an array.  The
top-level search path is appended.  Null and empty strings in the path
terminate any search.  The "." in "." and "./*" is replaced with the
directory containing the file doing the import (for command-line
programs this is the current directory, though that may be a bad idea).

No version numbers or anything of the sort are gratuitously added to the
search paths.

All this makes external package managers possible by allowing
dependencies to be installed local to dependents.

Fix bug caused by 8ca07a0

Fix #348: reject unescaped control chars

Merge pull request #601 from slapresta/redefine-any-all

Define {any,all}/0,1 in terms of {any,all}/2

Use __attribute__ __printf__ with GCC