document regex limit.

Update regex recommendation.

Limit regex search for BEGIN to the first 4K of the file.

If requested, limit search length.

recognize nonorton ghost files. Joerg Jenderek

- fix non-ascii.
- mention recent changes

further optimize awk by not looking for the BEGIN regex until we found the
BEGIN (Jan Kaluza)

fix endianness problem.

CVE-2014-0207: Prevent 0 element vectors and vectors longer than the number
of properties from accessing random memory.

add linux device tree.

PR/343: dosexec mime broken

PR/354: Fix stray ^M's

PR/354: Encoding irregularities.

PR/352: Support for Hangul (Korean) Word Processor 5.x Files (*.hwp)

PR/347: Windows patches.

remove unused.

PR/346: New sereal magic

PR/353: Dagobert Michelsen: Add "file.h" to get proper headers for intptr_t

Roman I Khimov:
access() can't handle NULL as first argument and we can end up
calling it this way if inname is NULL in file_or_fd() and fd is a
pipe. Issue spotted by clang static analysis.

Roman I Khimov:
Remove useless assignments found by clang static analysis.

Roman I Khimov:
If cdf_count_chain() is called with sid < 0, then we end up returning
zero length, which in turn leads to calloc() calls for 0 bytes in
cdf_read_long_sector_chain(), cdf_read_short_sector_chain() and
cdf_read_ssat(). Depending on calloc() implementation we can end
up returning -1 or 0 from those. As negative sid is probably wrong
case anyway, it might be better to always return -1.
Issue found by clang static analysis.

Roman I Khimov:
If file_reset() fails for some reason, we pass uninitialized sb to
close_and_restore() which uses it for utimes().
Issue spotted by clang static analysis.

Fix coredump in clang caused by missing array terminator element.

merge dup VDI
move virtual images from msdos to virtual

more lz4

Fix for uninialized title (Jan Kaluza)

Remove loop that kept reading the same offset (Jan Kaluza)

_POSIX2_RE_DUP_MAX is 255 on most systems.

Compile regex during the magic compilation process so that we catch bad
regular expressions early.

factor out all the duplicated regex code into a wrapper.

Apply patches from file-CVE-2012-1571.patch
From Francisco Alonso Espejo:
    file < 5.18/git version can be made to crash when checking some
    corrupt CDF files (Using an invalid cdf_read_short_sector size)
    The problem I found here, is that in most situations (if
    h_short_sec_size_p2 > 8) because the blocksize is 512 and normal
    values are 06 which means reading 64 bytes.As long as the check
    for the block size copy is not checked properly (there's an assert
    that makes wrong/invalid assumptions)

PR/351: Fix compilation of empty files.

Code to detect gnu attributes, and start of parser.

From Christoph Biedl:
Debian bug #745546 et al: At the moment, the magic for "Macromedia
Flash data" and "Macromedia Flash Video" is just three printable
characters, no wonder this results in mis-detection of text files.

"Flash Video" is easy to fix, according to Wikipedia the forth
octet must have value 1.

"Flash data" is more work. The length information at offset 4 must be
non-zero, and the version number at offset 3 must be sound. According
to the pdf document, the latest version is 19, I found a few examples
in the lower twenties, so 32 should be a sane limit for the time
being. There are however quite a few files with version 255, and since
the virus scanners created an alert for all of them, they are now
reported as "suspicious".

Kill %h %hh and %l modifiers for bytes, shorts, and longs respectively.
Use nothing, for all types except quads which need %ll

Add missing specifiers for %h?

fix integer format widths

add perl hash magic

Fix wrong ifdef configure test (Jean-Louis CHARTON)

try to fix memcpy (Jean-Louis CHARTON)

kill c99 comments, aix does not like them (Jean-Louis CHARTON)

PR/337: Fix incorrect handling of offsets (wrong sign)
Test:
$ perl -e 'print "ABC", "\xff\xff", "\x00"x70000, "DEF"' > abc.data
$ cat abc.magic
0 string ABC ABC test file format
>(3.s) search/0x3000 DEF \b, DEF sub type
$ file -m abc.magic abc.data
abc.data: ABC test file format, DEF sub type

PR/339: updates from Rick Richardson

PR/340: New magic for snappy framing

PR/345: add tests for intptr_t and uintptr_t

Fix regression: If a file was already bytes, don't try to convert it.
From: Arfrever Frehtes Taifersar Arahesis

New fixes

PR/341: Jan Kaluza: Fix memory leak

PR/342: Jan Kaluza: Reverse order of evaluation to fix out of bounds read.

raise the strength of the targa magic, instead of dropping the cursor magic
so that they does not get recognized as lotus 123 files. From Christoph Biedl

remove extra line (Christoph Biedl)

capitalize sparc

Improve library detection, (Christoph Biedl)

fix compilation without fmt debug.

reduce strength of windows cursors so that they don't win over Targa files
(Christoph Biedl)

- Add some debugging code to print incorrect formats.
- Fix "long" formats which in magic "long" == 32 bit, which is not
  what "long" means in "C".

welcome to 5.18

add megaraid.

minor changes

Turn heading into markdown heading.

Verify that PR/336 is addressed also.

Document the release procedure.

add ConTeXt documents

add fmtcheck

today's changes

PR/319: Remove superfluous call to file_ascmagic_with_encoding. file_encoding
should have set looks_text correctly before, and file_ascmagic already calls
file_ascmagic_with_encoding if it needs to.

PR/320: Issue a warning for mime types that are attached to magic entries
that don't yet have descriptions.

Fix mime entries that were attached to magic entries that did not yet
have descriptions.

PR/333: Be more precise about counting the strength of a regex, by counting the
number of actual matching characters specified in them.

PR/334: don't try to free the magic list if it was not allocated, since this
is an error.

remove debugging printf.

remove bogus comment

fix bug intruduced by the locale changes.

Add ID.

Sort list of packages for ease of maintenance.

Remove explicit autotools-dev.

Fix typo another way. Per Christoph Biedl.

escape space.

Fix typo.

Add compiled delphi magic

Explain date number format (Christoph Biedl)

FIx windows icons and cursors (Christoph Biedl)

the detection of MS-Windows icon files was buggy and incomplete. Since
non-animated cursors have a very similar format, they are added here,
too.

Some details: Using only the very first four octets for determination
has always some risk of false detection. So additionally look at
offset 9 which should always be zero, but according to Wikipedia might
also be 0xff.

In "number of colors" at offset 8, the zero value previously was used
to describe "256 colors", according to Wikipedia this isn't true, so
it was dropped.

On a side node: This introduces another usage of name/use. I'm afraid
we might sooner or later end up in name clashes on these identifiers.
Feel free to extend them like prefixing with the file name "msdos-".

Also, I was a bit surprised no "message" in "use" is printed, I wanted
to do

    >>4 use     ico-dir     MS Windows icon resource

but that message gets lost. Hence the hackery

    >>0 byte    x           MS Windows icon resource
    >>4 use     ico-dir

So a feature request: Print any message in "use".

This patch by the way fixes Debian#562250. It just got a little
bigger.

Sync README.DEVELOPER and .travis.yml

Minimize the number and size of dependencies and remove redundant
packages from the list.

document the apple option (Christoph Biedl)

clarify the syntax for string searches (Christoph Biedl)

Add a couple of missing files

just commit the yml, not all the html surrounding it.

make this travis friendly.

Debian#605143: Appearently there's a formatting error in the
presentation of some not-so-often MS-DOS executables.

From Christoph Biedl, factor our riff magic

from glensc for testing

one more

new changes

fix typo, add comment of perhaps a simpler path to success

don't compare SIZE_MAX to off_t; if they are the same size in bytes it is
wrong. Use a more appropriate comparison.

typo

Fixes from Christoph Biedl:

Inspired by Debian#588953 that rightly complained about poor
recognition of avr32 ELF files: There have been changes since the
original bug submission, file(1) now detects them as

| ELF 32-bit MSB executable, *unknown arch 0xb9* version 1 (SYSV) (...)

but this was an impetus to update the list of "machines" (ELF speak),
or "architectures".

The list was taken from binutils-2.24:include/elf/common.h with some
extra research. Numbers marked "reserved" were excluded.

Additional changes:

* sorted strictly by machine number.
* some missing trailing comma added.
* slight change in Motorola names for clarity.
* fix obviously wrong endianess in 138 = LatticeMico32.
* marked all inofficial numbers as such (unless already "obsolete").
* description trimmed to keep strings short. Perhaps even any
  trailing "familiy" should be dropped for the same reason.

For your information, the two attached files were used as starting
point:

elf-archs-file.magic: The relevant lines in magic/Magic/elf
elf-archs-binutils.magic: The relevant lines in include/elf/common.h,
    sorted, converted into magic

As you can see, several names still differ, and it's not always easy
to judge which is better. The most prominent difference is machine
number 9, "IBM System/370" vs. "Amdahl". There's a reason for both,
and I decided to keep the name currently used by file(1).

Fun fact: file(1) knows more machine numbers than binutils.

sign police.

PR/323: Tobias Stoeckmann: Add size_t overflow check for stat.

PR/324: Sebastian Willing: Add CuBase

PR/326: Mark Schreiber: Add Abook (console addressbook program used with mutt)