Merge pull request #1403 from Argoday/master

Use unsorted keys in walk

Deal with strptime() on OS X and *BSD (fix #1415)

strptime() on OS X and *BSDs (reputedly) does not set tm_wday and
tm_yday unless corresponding %U and %j format specifiers were used.
That can be... surprising when one parsed year, month, and day anyways.
Glibc's strptime() conveniently sets tm_wday and tm_yday in those cases,
but OS X's does not, ignoring them completely.

This commit makes jq compute those where possible, though the day of
week computation may be wrong for dates before 1900-03-01 or after
2099-12-31.

Attempt to fix #1415

OS X (and *BSD) strptime() does not set tm_wday nor tm_yday unless
corresponding format options are used.  That means we must call timegm()
to set them.

Add private my_timegm()

Fix HAVE_TM_TM_GMT_OFF usage

Use AC_CHECK_MATH_FUNC() for all math functions

Fix jv_load_file() assertion (fix #1410)

Improved git build instructions.

Use unsorted keys in walk

Preserve key sorting order when executing in walk, if sorted keys is desired `--sort-keys` should be used to explicitly obtain sorted keys.

Add JQ_COLORS env var for color config (fix #1252)

Fix build

Always use jv_mem_*alloc()

def isempty(g)  # Testing 'isempty(empty)' at line number 1364

Update oniguruma to fix #1370

Don't require java to build gh-pages

Add collect example with pipeline

Add missing close-backtick in docs

Also fix `jn/2` and `yn/2`

Fix frexp, modf, lgamma_r (fix #1374)

Allow . as {$a:$b} destructuring

Add flex/bison outputs

Add more destructuring tests

Add --debug-trace=all for detailed debug output

When tracing execution, print the whole stack, not just the items used by the
current opcode

Fix a tripped assertion when generating reduces

A noop body, while useless, should still compile successfully

Add alternation destructuring operator `?//`

This is a first pass to show the implementation.
It needs tests and evaluation, but doesn't break any existing tests.

NOT READY FOR MERGING

Conditional exprs are not path exprs (fix #1368)

The conditional expression in if-then-elif-else-end cannot contribute to
path expressions because it doesn't change the input to any of the then/
elif/else expressions.  These must be generated via gen_subexp().

See also #1366.

Make and build dist in travis-CI (#1356)

Make configure.ac work for shallow clones

Make scripts/version work in shallow clones

Shallow clones don't have tags.  Use git describe --always --dirty in
such cases.

XXX Add branch name.

Fix make dist

Fix off-by-one bug in #1108 fix

Array slice overflows (fix #1108)

getpath/1 should be a path expression (fix #1358)

It needs to be possible to do something like

    getpath($paths[]) += 1

meaning: increment all the paths in . that are listed in $paths[].

In order to do this getpath() needs to update the jq->path and
jq->value_at_path as necessary.

Fix name of builtins in the builtins/0 output

Fix warning about environ

Fix --without-oniguruma build

Fix environ Win32 build problem

Add `halt`, `halt_error` builtins (fix #386)

Document `stderr`

Fix memory leak

Fix Appveyor for non-master branches

fixup

Add $ENV builtin variable to access environment

Fix error message for undefined vars

Preserve precious vars in configure.ac (fix #795)

Document $ARGS and friends

Add $ARGS, --args and --jsonargs (fix #1345)

jq_compile_args(): allow object args to be object

Add jv_object_has()

Make test/shtest test of constant folding robust

Rather than testing that a constant expression produces so many
instructions, test that a variety of of such expressions produce the
same number of instructions.  This will make future changes in the
compiler less likely to break this test.

Improve Appveyor build

Among other things, make TESTS=... breaks when using modules/oniguruma,
so set SUBDIRS= then.

Windows: configure fails to detect missing math

For some reason AC_CHECK_MATH_FUNC() on Windows is not detecting a
handful of math functions as not being supported.  This commit is a bit
of a hack.

Make comment consistent with code

Don't call SetConsoleOutputCP

Should use wide-string function instead of SetConsoleOutputCP.

Fixes #1121

Quiet a compiler warning

Windows: Also use -lshlwapi for jq(1)

When using builtin Oniguruma, set flags correctly

This should fix the Travis-CI build.

Document `localtime` and `strflocaltime`

Add `localtime` and `strflocaltime` (fix #1349)

Improve manual section on assignment forms

Revert e7caf68 for Dockerfile

Attempt to use builtin Oniguruma for CIs

Allow ./configure --with-oniguruma=builtin

This allows one to force the use of jq's builtin copy of Oniguruma
(builtin as a git submodule).

We still need to fix make dist to include that copy of Oniguruma.

Allow var bindings in path expressions (#1347)

The expression in a variable binding is not and must not be seen as
being part of a path expression in which the variable binding appears.

Add local oniguruma submodule

Configure should still allow use of prebuilt onigurumas (whether
system-installed or in a special prefix).  If these are not found, and
configure was not called with `--without-oniguruma`, then use the vendored
oniguruma module.  If configure was called with `--without-oniguruma`, then we
do not build regex functionality into jq.

Improve manual

Add `builtins` builtin

Fix memory leak in libm cfunctions

Merge pull request #1089 from l8nite/base64_decode

Add @base64d for decoding base64 #47

fix truncate_stream to match docs

Add more missing math functions

Fix handling of unsupported math functions

Promote wiki more in README

Improve docs somewhat, inspired by #1326

Make |= delete LHS when RHS is empty (Fix #1314)

Now that #1313 is fixed, |= no longer outputs null when the RHS update
expression outputs empty.

When a user wants to keep the current value of the LHS they would have
the RHS update expression output `.`, so having `empty` achieve the same
thing would be redundant.  The obvious thing to do is to delete the LHS
when the RHS update outputs `empty` (i.e., doesn't output any values).

It's reasonable to think that existing programs won't be broken by this
change, because reduce and |= not handling empty well is clearly a bug.
(Though it's possible that some programs were using empty to quickly
terminate reduce or |=, it's not likely.  They should use label/break
instead.)

Prior to this change |= would use the _last_ value output by the RHS
update expression.  With this change |= will use the _first_ value
instead.  This change _is_ a minor backwards-incompatible change.  It
may or may not be acceptable; we'll see.  It is a useful change in that
it makes |= faster when the update expression produces multiple values.

recurse (i.e., ..) needs to find leaf nulls

Add SQL-style operators (#1322)

Make first(g) more efficient: extract only 1 value

first(g) was extracting two values, which, if g is slow, made first(g)
slow.  And if the second extraction were to throw an error, then
first(g) would throw that error, which is clearly not the right thing to
do.  Besides that, first(g) was allocating garbage, which it no longer
does.

reduce: handle empty updates (fix #1313)

Solaris needs XPG6 for c99

Merge pull request #1317 from wtlangford/dont-split-utf8-sequences

Handle cut-off UTF-8 sequences when reading files

Handle cut-off UTF-8 sequences when reading files

Read additional bytes from the file to complete the UTF-8 sequence so the bytes
in it don't get converted to U+FFFD replacement characters.

Parse no deeper than MAX_PARSING_DEPTH

    while true; do printf '{"deeper": '; done | jq .

Skip printing what's below a MAX_PRINT_DEPTH

This addresses #1136, and mitigates a stack exhaustion when printing
a very deeply nested term.

gen_utf8_tables: remove unused variable

Revert "Disable appveyor build for now"

This reverts commit 0b8218515eabf1a967eba0dbcc7a0e5ae031a509.

There is a new oniguruma package which previously trashed the build.

Typo fixed

simply -> simple

Documentation clarification suggestions

Update download instructions for Arch

jq has been in the community repo for [just over a year now][0].

[0]: https://projects.archlinux.org/svntogit/community.git/commit/trunk?h=packages/jq&id=8d5e06065bc92bf56ea651970c9bda07fb545554

Typo: s/more/mode/ in `--seq`

Fix input_(line_number|filename) leak memory

Fix cross-compile tmp dir removal

- cd out of the tmp dir before attempting to remove it.

Disable appveyor build for now

Remove David from maintainers

Travis-CI build for OSX (fix #1083)

Always test sort_by/group_by post-#1082

Make jv_sort stable regardless of qsort details.

Add AppVeyor badge to README.md

Thanks @JanSchulz, @nicowilliams!

Add --enable-ubsan (undefined behavior sanitizer)