Ensure travis has a python version we expect

Remove an accidentally committed debug file

Add configure guards around literal jv_numbers

Allow building jq in a mode that doesn't use decnumber for benchmarking
purposes. decnumber support is enabled by default, and this option is
meant to be removed once we're happy with the performance.

[tests] print test # from the start of the tests file to help with skip and take

Save literal value of the parsed number to preserve it for the output

Extend jv_number to use decNumber for storing number literals. Any math
operations on the numbers will truncate them to double precision.
Comparisons when both numbers are literal numbers will compare them
without truncation.

Delay conversion of numbers to doubles until a math operation is performed,
to preserve precision. A literal jv_number will only need conversion to
double once, and will reuse the resultant double on subsequent
conversions.

Outputting literal jv_numbers preserves the original precision.

Add strong pthread requirement to manage contexts/allocations for
converting numbers between their decNumber, string, and double formats.

Add decNumber library

The library adds support for decimal numbers of arbitrary length.
Downloaded from ICU, under ICU 1.8.1 license
http://download.icu-project.org/files/decNumber/decNumber-icu-368.zip

Merge pull request #1948 from eli-schwartz/no-pacman-sy

docs: fix seriously dangerous download instructions for Arch Linux

docs: fix seriously dangerous download instructions for Arch Linux

The current instructions tell users to perform two actions:
- update the package database
- install the jq package

The only thing users need to or should be doing is actually installing
the jq package -- regardless of which version is being installed.
Guidelines on how to perform system updates are massively out of scope.

In the case of partially performing a system update as a prerequisite
for installing jq, the official guidance from Arch Linux is not to do
this: partial updates are not supported, we refuse to support them, and
anyone who does try to perform them anyway is assumed to know so much
about their system that they clearly do not ever need help from anyone
else (which is a good thing since they won't get it). The result is a
frankensteined system that can only ever be supported by the person who
frankensteined it to begin with. The only reason the package manager
even allows it to occur in the first place is because other
distributions using pacman might have different LTS policies, and
because it would prevent expert users from being in control of their
system, as per the traditional Unix philosophy:

"Unix was not designed to stop you from doing stupid things, because
that would also stop you from doing clever things."

Consequences of performing partial updates without understanding the
ramifications in extensive detail can include breaking the partially
updated application (jq), breaking any application that shares a mutual
dependency with the partially updated application (which jq is *lucky*
to only depend on the ever-backwards-compatible glibc), or breaking the
entire operating system by leaving armed traps behind for the next time
a `pacman -S new-package` is executed and thereby breaks *its* cascading
dependencies.

See:
https://wiki.archlinux.org/index.php/System_maintenance#Partial_upgrades_are_unsupported

Merge pull request #1944 from tessus/doc-improvement

clarify filter usage

clarify filter usage

The current paragraph is not complete, since a digit is not a special character.

Changing it to:

    If the key contains special characters or starts with a digit,
    you need to surround it with double quotes like this:
    `."foo$"`, or else `.["foo$"]`.

Makefile.am: fix builtin.inc with out-of-root builds

Improve jv_is_integer()

jq_util_input_init: Zero memory using calloc

Calloc will zero the allocated memory which makes one memset and a
number of explicit zero assignments redundant.

Dockerfile: Uninstall oniguruma before distclean

Run `make uninstall` for oniguruma before running the recursive
distclean that will remove oniguruma's Makefile and cause a build error
due to missing make target.

Dockerfile: Fetch dependency as git submodule

Fetch oniguruma using git submodule instead of a release tarball. It
will fix a build problem, caused by jq's autotools configuration, trying
to run `make distclean` recursively in an empty modules directory. This
will also improve the maintainability of the Dockerfile.

Dockerfile: Change base image to Debian Stable

Dockerfile: Add missing dependency to pip3

Dockerfile: Specify locale settings

Avoid RuntimeError in pipenv by setting LC_ALL and LANG to C.UTF-8.

Dockerfile: Set noninteractive

Configure the environment to inform debconf that it's running in
noninteractive mode, to avoid some warnings.

Add pkg-config file for libjq

pkg-config is a common interface to resolve build details. It will
become easier to incorporate libjq in other projects by providing this
interface.

Fix assert in generator subexpressions (fix #1875)

Expressions of the form `path(EXPR) | select(GENERATOR)`, where `EXPR`
is a path expression and `GENERATOR` is a generator conditional
expression (e.g., `has("a"), has("b")`) cause an assertion if the
jq_state VM is torn down too soon.  That assert() was only correct if
assuming that the conditional is not a generator.

If the conditional is generator, then what we see is that when
backtracking a SUBEXP_END is executed without a corresponding
SUBEXP_BEGIN because the entire conditional is bracketed with
SUBEXP_BEGIN and SUBEXP_END, and since it's resumed in the middle, in
between the brackets.

Rather than assert that the jq->path_len being restored has some
particular value, we can simply re-compute it from the restored
jq->path.

Fix tests/jq.test for c72ed135

Fix tests/shtest broken by 2b4d51f

Disable docs by default; don't mantest if no docs

Identify progname in more errors (fix #1860)

However, we should really use the argv[0] progname, not just jq.
Someday we may want to support aliases which automatically add certain
options, etc.

Add -b / --binary option for Windows

Allow .["foo"].["bar"]

Allow keywords in more places (fix #1868)

Restore cfunction arity in builtins/0

Count arguments up-front at definition/invocation instead of doing it at
bind time, which comes after generating builtins/0 since e843a4f.

Bind libraries backward for consistent shadowing

Fix regression on ~/.jq being a directory

Fix alpine build

Make shtest verbose 2 diag. alpine build failure

Temporarily(?) make tests/shtest verbose to help diagnose Travis alpine
build failures.

Change contains to return true for empty string needles

The behavior of memmem for an empty needle is inconsistent between
implementations of libc.
Our tests imply that we want an empty string needle to be true,
so check for an empty needle before calling memmem.

Configure appveyor build to use python

Cleanup leftover references to ruby

Configure travis build to use python

Remove ruby dependency from mantests

Remove ruby dependency from manpage build

Remove ruby dependency from website build

Simplify and optimize SQLish builtins

Fix bizarre bsearch/1 behaviour with a stream argument

Make tostream much more efficient

(`path(.[])` is a streaming `keys`!)

Reimplement fromstream/1 more compactly

Simplify definition of range/3

New implementation in terms of while/2, and branches immediately on $by
to avoid checking the sign of $by *in* the loop.

Simplify type-select builtins

Add more tests for any and all

Redefine isempty/1, and the all and any series

Fixes the bug where all and any evaluate one more item than needed.

Remove scalars_or_empty

No need to block_drop_unreferenced after builtins

(The correctness of this change is more obvious after the rename.)

Rename block_bind_incremental to block_bind_referenced

block_bind_incremental is block_bind_referenced in a loop backwards. For
an 1-inst block, it does the same thing and isn't too much more
expensive, so it's not really useful to keep both.

Also, block_bind_referenced was a better name for the function.

Fix block flipping in block_drop_unreferenced

Since 605bfb3, block_drop_unreferenced actually reverses the order of
instructions in the block it's run against. This bug was hidden by the
fact that normally it's run *twice* against the main program, flipping
it back, and that order of function definitionss doesn't really matter
after symbol resolution.

Merge pull request #1837 from muhmuhten/limit_0

Ensure limit(0; ...) is empty

Rewrite `_assign/2` using `$argument` syntax

Work around fgets()'s lack of length reporting

Stop losing \0s from the end of files because we don't know how much
fgets() read into our buffer. If we prefill the buffer with anything
other than zeroes, we can actually tell the difference between the
terminator and unused space in the buffer.

This is possibly more expensive, but at least it should be correct.

Fixes #1504

Fix if-then-else example formatting

Document optional `else` clause of `if`

Support "if" without "else" clause

Defaults the else clause to the identity filter "." if an else clause is
missing.

The following two jq programs are considered equivalent:

```
if .foo then
    .foo = "bar"
else
    .
end
```

```
if .foo then
    .foo = "bar"
end
```

Bind data imports properly when already resolved

Make builtin binding fast again by binding only referenced symbols

Avoid doing the internal binding of top-level symbols in the parser,
leaving that work to be done in a post-processing step. For builtins,
this lets us do a reference-aware bind step (block_bind_incremental)
*after* generating builtins/0.

Libraries are a bit trickier since they may be bound multiple times, so
instead of thinking through the implications I added (block_bind_self)
to resolve all internal symbols immediately.

Load ~/.jq as a library instead of with builtins

Remove the special code which loads ~/.jq in builtin.c, and instead glue
an optional include which points to the same file onto the main program
in linker.c.

Fixes a minor bug where errors in ~/.jq would be labelled <builtin>.

Add import metadata key "optional"

A library marked is imported if found, but silently skipped if missing.
This is the desired semantic for the auto-include at ~/.jq

Replace TOP-before-imports special case with assert

The case isn't actually possible afaict.

Catch .. as the first component of a module path

Only the second and subsequent path components were being checked, which
I guess is theoretically security-relevant.

There's no apparent point to reconstructing the path after splitting it
by adding /s back in, either.

Pass on the error message when rel_path is invalid

"Module path must be a string" is not a useful error message when the
reason the module path isn't a string is because the string it was got
replaced with an invalid with an error message for some other reason.

Also fixes a few memory leaks on early exits.

Simplify definition of block_bind_referenced

Allow globbing on Windows

The mingw-w64 runtime expands wildcards, which causes a discrepancy
between `main`'s `argv` (multiple file names) and Windows' `wargv` (a
single wildcard).  Use `wmain` to retrieve the wide character args.

Make UTC time on Windows

Windows has `_mkgmtime` for the UTC equivalent of `mktime`.

Add ISO 8601-specific strptime

Implement `strptime` for systems lacking it, but only supporting the
ISO 8601 format string.

Prevent redirecting to NUL crash

Windows regards the `NUL` device as tty, which causes `WriteFile` to
fail (the bytes written pointer cannot be `NULL` in this case).  Tweak
the color test to ensure tty is accurate.

Possibly enable color output on Windows (#1494)

Windows 10 supports color output, but it must be explicitly enabled;
ANSICON provides support for other versions.  Enable color if either of
those are available.  Resolves #1494.

Reimplement block_drop_unreferenced in linear time

Merge pull request #1818 from muhmuhten/free_in_index

Make sure to free in jv_string_indexes

Improve linking time by marking subtrees with unbound symbols

Fix infinite loop in index("") (fix #1815)

FIX if-then-else example

"(.+)" doesn't match new line characters so the link generated for [if-then-else](https://github.com/stedolan/jq/blob/90bc29c1b544c0436ec44246e180fdbb6d6384df/docs/content/3.manual/v1.5/manual.yml#L1804) doesn't work

Define error/1 in terms of error/0

The parser generates a call to error/0 on break. Having that exported
from C directly removes a language dependency on builtin.jq.

In any case, error/0 seems to be the more fundamental operation, seeing
as the old C impementation of error/1 did nothing useful with its input.

Export input/0 directly from C, removing _input/0

The distinction between input/0 and _input/0 has been unnecessary since
a9c613..7dc34b, which moved end-of-input handling into C and replaced
the jq definition of input with `def input: _input;`

builtin/f_match: prevent overruns of input_string

If these values do not match exactly, it is because the UTF-8 is invalid
anyway and we counted codepoints differently than oniguruma did.  Perhaps it
would be better to error out here, but at least one similar loop already
uses < vs != and since we're off the rails anyway this might be OK.  It is
certainly better than overruning the buffer.

Resolves https://github.com/stedolan/jq/issues/1804

builtin/f_match: call onig_error_code_to_str with einfo correctly

Unify timegm fallbacks into my_mktime

my_timegm was introduced in 1900c7 to add a mktime fallback used in
4a6241, the subsequently removed in c53823. As a result of this code
shuffling, the jq mktime function (f_mktime) wound up using a fallback
even on systems where timegm is available, with incorrect results in
some time zones with DST, e.g.

% TZ=America/New_York jq -n '"2018-08-31T00:00:00Z"|fromdate|todate'
"2018-08-31T01:00:00Z"

This undoes 1900c7 and moves the workaround it added into the #else of
my_mktime.

Fix build on BSD make

Replace uses of the nonstandard $^ variable by explicitly specifying the
source filenames. This is the only obvious thing preventing the build
from running correctly on non-GNU make.

Fix include/import namespace confusion

Add tests for built-in function `contains`

`contains` should handle embedded NULs (fix #1732)

Merge pull request #1774 from dooglus/patch-1

Fix grammar typo.

Out-of-srcdir builds: AM_CPPFLAGS=-I${srcdir}/src

builtin: add missing windows.h include

Follow-up fix to b436156f5 because BOOL and DWORD
are not built-in to mingw64.

Makefile.am: add no-undefined for win32

"Undefined symbols are not allowed in x86_64-w64-mingw32 shared libraries"

This was also applied in the official MINGW-packages repo:
Alexpux/MINGW-packages@b5566c58a

Mingw-w64 on windows doesn't have `setenv`, fix that.

Signed-off-by: HE, Tao <sighingnow@gmail.com>

Make fromstream/1 more efficient

fix --exit-code issues #1142 and #1139

* Set default error code to -4 in main(), Fixes #1142
* fix --exit-code with more than one object in input, Fixes #1139
    - Return code 1 or 4 based on last output, not last input.

Ensure that `${builddir}/src` exists

Merge pull request #1779 from gvangool/update-NEWS

Adds the release info for 1.6 to NEWS

Adds the release info for 1.6 to NEWS

Allow variable refs as object keys {$key:value}

Users are often surprised by the requirement to parenthesize any
non-trivial object key expressions in object constructors.  E.g.,
{"a"+"b":1}.  This commit adds one more kind of key expression besides
literals and idents: variable references.

A common use case for this is jq programs as JSON templates to fill in
with variables computed from inputs or passed in on the command-line.
E.g., {some_key:$value}.  Now users can also use, e.g., {$key:$value}.

This and the restrictions on key and value expressions in object
constructors are now clarified a bit in the documentation.

Fix grammar typo.

'operator' needs to be plural here.

Merge pull request #1768 from haochenx/readme-add-automake-as-build-dependency-in

add automake as build dependency to README.md