Make jq.h usable from C++

Previously, with clang++:
jq.h:46:37: error: typedef redefinition with different
      types ('struct jq_util_input_state *' vs 'jq_util_input_state')

With g++:
jq.h:46:37: error: conflicting declaration
      ‘typedef struct jq_util_input_state* jq_util_input_state’

This typedef was added to libjq by commit 0d41447 which was
after the 1.4 release, so although it is a public API, this
is not a backcompat break because it has never been in a
release.

Specifying the "*" at all uses of jq_util_input_state is
slightly tedious, but jq_state already works that way, so at
least it will be consistent.

Fix Windows build

Document math support

Remove `pow10` for now; CHECK_MATH_FUNC needs work

The CHECK_MATH_FUNC() m4 macro needs work.  It should use
AC_RUN_IFELSE(), not just AC_LINK_IFELSE(), and it should #define
_GNU_SOURCE and/or other such feature macros in the prologue to get
non-standard math functions (alternatvely jq should only support
standard math functions).

docs and diagram for exec_stack

strftime wrong day-of-week (fix #838)

Document --run-tests

Make --run-tests' jv_test() quiet

Make --run-tests less verbose by default

Adding --debug-trace or --debug-dump-disasm before --run-tests now makes
it verbose.

Add more basic number tests

Add `pow`, better libm detection (fix #443)

gcov exclusions

flag to enable gcov and coveralls

add configure option to run tests without valgrind

Fix braino in merging the previous commit

There's a mantest that shows how to use `env`.  Well, we need to set the
env var as expected then, else it will fail.

get Travis CI working

Restore import into caller's namespace

Slight re-phrasing of module docs

Use set -u in tests/setup

Fix #830

Update Adavanced section of manual

Document `{$var}`

Add `{$var}` `. as {$var}` syntax (fix #831)

Add streaming utilities (fix #827)

Alternative implementation of tovalues

Add combinations/0 and combinations/1

WriteFile() on WIN32 when stdout isatty (fix #824)

Use WriteFile() and bypass stdio IFF stdout isatty and we're on Windows.

Fix test failure introduced by previous commit

fix errors flagged by clang static analyzer

builtin.c: bug - free of uninitialized jv
compile.c: missing assertion
jq_test.c: buggy logic / unreachable code
jv.c: missing assertion
jv_alloc.c: false positive - intentional read of uninitialized memory
jv_file.c: dead code

Fix #811: use CommandLineToArgvW() and _wfopen()

fix use after free in f_strptime

separate jq, oniguruma, sh, and man tests

argv[] may not be UTF-8 (fix #811)

Add alloca() discovery to configure.ac

The build failed on FreeBSD as there is no alloca.h.  This patch is
lifted from the autoconf documentation.

Fix `finites`

fix broken tests in manual.yml

Fix #802

Add isnormal and related, rename *inf

Fix #814: raise on div-0, add inf isinf nan isnan

Fix infinite loop on error in sequence parser

Sequence parser: wait for RS on startup (fix #687)

Per-RFC7464.

Fix infinite loop on EOF bug

Add Missing Makefile Dependency

main.c requires version.h, but there is no logic marking this dependency
in the Makefile. This commit adds the dependency to the Makefile
template.

Clarify array destructuring docs

array and object destructuring (fix #533)

`. as [$i, $j, $k] | ...`
`. as {a: $i, b: $j} | ...`
`. as [[[$i]], {a: $j}] | ...`
`foreach . as [$i, $j, $k] (...)`
`reduce . as {a: $i, b: $j} (...)`

Remove extension from links

The downloads are available without an extension.

Add --tab and -indent n options

Improve usage message

Fixup --slurpfile/argile docs

Add --slurpfile

Better handling of stdout errors

Fix --argfile memleak (fix #799 part 2)

Fix jv_load_file() (partial fix #799)

Revert "Fix #705 (--argfile weirdness)"

This reverts commit 3d2ab93b116f966b071e835a6656452cafc61aef.

Revert "Better argfile fix (#705, fix #736)"

This reverts commit 4f8567476d3a6e8b5b422d05190f777221b984fb.

Add jv_mem_strdup*() and callocs too

Add ./configure --enable-all-static instead

Always add -all-static when --enable-static

Update parser.c

Keywords should be OK as object keys (fix #794)

With this change it's now OK to use keywords as object keys like so:

    {if:0}

Fix Windows build: util.c

Fix #793

Add wrapping and clamping to jv_array_slice

Fix #716.  Fix #717.

Print offending object in runtime error messages

When reporting an error to the user, add information about the offending
object/value (possibly truncated).

The goal is to give a user some context regarding which input object
caused the runtime error.

Examples:

    $ echo '"hello"' | ./jq '-.'
    jq: error: string ("hello") cannot be negated

    $ echo '"very-long-string"' | ./jq '-.'
    jq: error: string ("very-long-...) cannot be negated

    $ echo '["1",2]' | ./jq '.|join(",")'
    jq: error: string (",") and number (2) cannot be added

    $ echo '["1","2",{"a":{"b":{"c":33}}}]' | ./jq '.|join(",")'
    jq: error: string (",") and object ({"a":{"b":{...) cannot be added

    $ echo '{"a":{"b":{"c":33}}}' | ./jq '.a | @tsv'
    jq: error: object ({"b":{"c":33}}) cannot be tsv-formatted, only array

(Fix #754)

Fix error message for @tsv

Don't test input_filename/line_number yet

Add filename/line functions to jq (fix #753)

This adds `input_filename` and `input_line_number` built-in functions
for use in, for example, `error` messages.

Example:

    $ printf '{"a":1}\n{"a":2}\n' > 4.json
    $ printf '{"a":"hello"}\n' > 5.json
    $ ./jq '{ "file":input_filename, "line":input_line_number, "value":.a }' 4.json 5.json
    {
      "file": "4.json",
      "line": 1,
      "value": 1
    }
    {
      "file": "4.json",
      "line": 2,
      "value": 2
    }
    {
      "file": "5.json",
      "line": 1,
      "value": "hello"
    }

Fix formatting error in manual.yml

Report filename:line on runtime errors (fix #752)

With this patch, jq run-time errors printed to stderr will contain the
filename and line of the offending input.

But note that the JSON text parser does (yet) print the input filename
on parse error.  A jq run-time error is a jq program error, not
including syntax errors nor JSON text input format errors.

Examples:

With stdin and multiple lines:

    $ printf '{"a":43}\n{"a":{"b":66}}\n' | ./jq '.a+1'
    44
    jq: error (at stdin:2): object and number cannot be added

With multiple files:

    $ printf '{"a":43}' > 1.json
    $ printf '{"a":"hello"}\n' > 2.json
    $ printf '{"a":{"b":66}}\n' > 3.json
    $ ./jq '[.a]|@tsv' 1.json 2.json 3.json
    "43"
    "hello"
    jq: error (at 3.json:1): object is not valid in a csv row

With very long lines (spanning multiple `fgets` calls):

    $ (  printf '{"a":43}\n' ;
         printf '{"a":{"b":[' ; seq 10000 | paste -d, -s | tr -d '\n' ;
         printf ']}}\n' ;
         printf '{"a":"hello"}\n' ) | ./jq '[.a] | @tsv'
    "43"
    jq: error (at stdin:2): object is not valid in a csv row
    "hello"

With raw input:

    $ seq 1000 | ./jq --raw-input 'select(.=="700") | . + 10'
    jq: error (at stdin:700): string and number cannot be added

Caveat:
The reported line will be the last line of the (valid) parsed JSON data.
Example:

    $ printf '{\n"a":\n"hello"\n\n\n}\n' | ./jq '.a+4'
    jq: error (at stdin:6): string and number cannot be added

Fix spelling

Document gsub/3

Fix gsub, add gsub/3 (fix #782)

Add -all-static when --enable-static

Fix --stream assertion

Add error injection library

Report read errors too (and fix #772)

Fix README

README: send questions to SO and Freenode

usage() should check fprintf() result (fix #771)

Use jv_mem_alloc() in compile.c (fix #771)

Fix header guards (fix #770)

--raw-input wrongly adds NULs (fix #761)

With `inputs` builtin, -n and -R can now coexist

--raw-input ought to read NULs (partial fix #760)

We can't know how many bytes fgets() read when we reach EOF and fgets()
didn't see a newline; we can only assume that at least strlen(buf) bytes
were read.  This is quite obnoxious if one wants to use NULs in raw
input, but at least we can make reading "a\0b\0c\0" with no newline
yield "a\0b\0c", losing only the final sequence of NULs.

We can't use getline() either, since it will want to allocate a buffer
big enough for an entire line, and we might not have any newlines in our
input.  A complete fix will have to use getc() or read(), preferably the
latter.

--slurp --raw-input is broken (fix #761)

from_entries is broken (fix #767)

regex functions: report informative error if not available.

When trying to use the new regex functions (match/test/sub/capture/etc)
in a JQ that was compiled without the ONIGURAMA regex library,
report an informative error message instead of a 'not defined' error.

Before:

    $ echo '"foo"' | ./jq-old 'test("foo")'
    jq: error: test/1 is not defined at <top-level>, line 1:
    test("foo")
    jq: 1 compile error

After:

    $ echo '"foo"' | ./jq 'test("foo")'
    jq: error: jq was compiled without ONIGURAMA regex libary. match/test/sub and related functions are not available.

Fixes manual generation with psych

When running `make` I ran into a couple of problems building the manual. While
I'm not entirely sure that this is the root cause, it appears to have been
related to the fact that ruby 2.0 dropped syck completely in favor of psych
(which was introduced in 1.9.2) for YAML processing. I'm currently using ruby
2.1.0p0.

I'm assuming that the fact that the YAML engine was explicitly set to syck in
the Rakefile was an attempt to work around some incompatibility between the two
libraries, so I looked into what would be necessary to get it to work with the
newer one. The changes to `manual.yml` ended up being pretty minor: I ran it
through `iconv` to convert some ISO-8859-1 characters to UTF-8 and added some
quotes in places (apparently you can't start a string value with '`').

Handle NUL in escaped-string output

When escaping string (e.g. for `@tsv` or `@csv` outputs),
escape NULs as '\0'.

Existing behaviour, unchanged by this patch:

    $ echo '"a\u0000b"' | ./jq '.'
    "a\u0000b"
    $ echo '"a\u0000b"' | ./jq -r '.' | od -a
    0000000   a nul   b  nl
    0000004

When using `@tsv`, escape NUL to `\0`:

    $ echo '"a\u0000b"' | ./jq -r '[.]|@tsv'
    a\0b
    $ echo '"a\u0000b"' | ./jq '[.]|@tsv'
    "a\\0b"

manual.yml: Clarify how to specify keys with ":" and special chars.

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

docs: expand @tsv section - add escape sequences.

@tsv: escape \r, \n, \\

When using '@tsv' output format with '-r' option,
escape \r, \n and \\ in addition to \t.

Example:
    $ printf '{"id":"hello\\ttab\\nworld","x":43 }' | jq .
    {
      "id": "hello\ttab\nworld",
      "x": 43
    }

Before: newlines are not escaped, generating invalid TSV output:

    $ printf '{"id":"hello\\ttab\\nworld","x":43 }' \
        | ./jq-old -r '[.id,.x] | @tsv'
    hello\ttab
    world 43

After: newlines are properly escaped:

    $ printf '{"id":"hello\\ttab\\nworld","x":43 }' \
        | ./jq-new -r '[.id, .x] | @tsv'
    hello\ttab\nworld 43

Before: backslashes themselves are not escaped, so there's no way to
distinguish between escaped characters and 'real' backslashes
(in the example below, there is should not be newline, despite the
output containing "\n".

    $ printf '{"x":"hello\\ttab\\\\new world"}' \
        | ./jq-old -r '[.x]|@tsv'
    hello\ttab\new world

After: backslashes are escaped:

    $ printf '{"x":"hello\\ttab\\\\new world"}' \
        | ./jq-new -r '[.x]|@tsv'
    hello\ttab\\new world

Test fix for mktime

Add `$__loc__` (fix #740)

Include filename and lineno in error messages

Tweak fix for #719

detect and report output writing errors

Detect output errors when the program exits.

Currently:
    $ echo '{}' | jq . > /dev/full && echo ok
    ok

with the patch:
    $ echo '{}' | jq . > /dev/full && echo ok
    Error: writing output failed: No space left on device

also apply to hardware/network/other I/O errors.

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

Adds Dockerfile

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

partial handling of input errors

Signed-off-by: Nicolas Williams <nico@cryptonector.com>

always propagate input errors to exit code

Improve robustness in automated system when using exit code in shell scripts,
by exiting with code 2 if there was any input error (even overriding other
possible error exit codes).
Exit code 2 is already used to indicate system errors.

Without the patch:
   $ jq . no-such-file ; echo $?
   jq: no-such-file: No such file or directory
   0

With the patch:
   $ jq . no-such-file ; echo $?
   jq: no-such-file: No such file or directory
   2

Signed-off-by: Nicolas Williams <nico@cryptonector.com>