add EICAR

welcome to 5.14

PR/242: Move strength to the parent pattern since setting them in "use"
pattern does not affect the parent.

PR/241: Jan Kaluza: Add python 3.3

when treating block and char files as regular, pretend we did not find
anything in fsmagic.

filesystems detail patch from joerg jenderek

Not all files in directory sample/dbase are identified
alright (see output file dbase-5.13-old.txt and dbase-mime-5.13-old.txt)

HELP.CA1 is misidentified as "DBase 3 index file" and HELP.CA3 is
misidentified as "DBase 3 data file" because the magic line for DBase 3
inside msdos magic are too weak. In reality these files are the split files
of HELP.zip , a zip file with 12 extra Bytes of Turbo C.
For the example z-machine.bin i got beside the right message
"Infocom (Z-machine 3, Release 9 / Serial 123456)" also a wrong
identification as "DBase 3 data file (no records)".
Also all Android files (all *.xml except sybase-ianywhere-cdx.trid.xml) are
misidentified as "DBase 3 data file".
The two files umlaut-test-v2.dbf and umlaut-test-v4.dbf are not recognized
as DBase , because the magic lines test only for version 3 of dbase. And so
other versions are not found.
The first programs to create DBase files run under DOS, but nowadays such
xBase files can be created by Libre Office for example running under Linux.
So i removed test lines in msdos ( see file-5.13-msdos-xBase.diff ) and add
right test lines in database magic.
Using information from
http://www.dbase.com/Knowledgebase/INT/db7_file_fmt.htm
http://www.clicketyclick.dk/databases/xbase/format/dbf.html
http://home.f1.htw-berlin.de/scheibl/db/intern/dBase.htm
i inspect at offset zero 4 byte sequence VVYYMMDD ,where month (MM) must be
in the range from 1 to 12, days (DD) in the range from 1 to 31. The lowest
DBase version (VV) is two.  By these tests Infocom game Z-machine and  the
Androids *.xml files are skipped.
Then i tried to test some reserved fields , which should be 0 . But this
does not work for offset 30 , where i found 0x3901 for T4.DBF or 0x710 for
T5.DBF andT6.DBF. So i use byte at offset 27, which was 0 for all inspected
Dbase files. This is reserved for multi-user dBASE. So i do not know if my
test is reliable for such exotic cases. After this test HELP.CA3 is
skipped.
Further long zero found at offset 24 is the result for .DBF files whereas
for.MDX files this is a low positive number , because it expresses
production flag, tag numbers(<=0x30), tag length(<=0x20), reserved byte
(NULL) . After some additional tests i display version info (VV byte) for
MDX and DBF files by subroutine xbase-type
For my examples VV is in the set (2,3,4,0x30,0x83). So i do not know if all
exotic xBase variants are described right, especially by information in
http://msdn.microsoft.com/en-US/library/st4a0s68(v=vs.80).aspx
Then i use the subroutine xbase-date to test and print the
creation-date and update-date (YY-DD-MM). The date information is only
stored as byte. Values below 100 should be 19YY, but i found samples were
correct interpretation is 20YY (for example umlaut-LibreOffice3.6.3.dbf)
not corresponding with information. Values equal or greater hundred should
be interpreted as 1900+VV, but at the moment they are displayed ugly as
1yy. So may be somebody can fix this problem. I also display number and
sizes
of records or tags and the name of the first item.

No xBase memo file (*.dbt *.DBT *.FPT) is identified correctly ( see output
dbt-5.13-old.txt ). This files have few characteristic sequences ( 0 or 3
at offset 16) . So i test values of some reserved bytes for the existence
of 0 or low values. For my inspected examples this works, but there may be
exist samples which contain garbage values at that points. Furthermore i
has to use some "if -else-if" constructs to match all memo file variants,
for which type and additional information is displayed by subroutine
xbase-memo-print.
After these test all memo files are identified correctly ( see output
dbt-5.13-new.txt ) except test-FoxPro_Enc.FPT, because it is an encrypted
file.

The dbase memo file adressen.dbt is is not misidentified as
"DBase 3 data file (no records)", but also characterised wrong as
"VMS Alpha executable". According to comments in vms magic files
real VMS files should look like examples vms-test6.bin or vms-test7.bin.
So i put the additional the following magic test line inside vms file.
>8 ubelong 0xec020000
After applying file-5.13-vms_dbt.diff only  vms-test*.bin are identified
correct as "VMS Alpha executable". Because i have no knowledge about VMS
an expert has to check my diff file for correctness.

The  Xbase index files t3-CHAR.NDX is misidentified as "X11 SNF font data,
LSB first". According to information found at
http://computer-programming-forum.com/51-perl/8f22fb96d2e34bab.htm
the same 4 byte version info at offset zero should also occur at offset 104
So i add  additional test line
>104 lelong 00000004 X11 SNF font data, LSB first
to fonts magic.
Because i found no Server Natural Font (.SNF) and had no tool bdftosnf,
i could not verify these fixes made by my patch
file-5.13-fonts-X11-SNF_NDX.diff

The 2 dbase memo files T5.DBT and T6.DBT are misidentified
(see output file pcx-5.13-old.txt ) as " PCX ver. 2.5 image data" without
geometry information because these files with 0xa000000 at offset 0 match
these magic line:
0 beshort 0x0a00 PCX ver. 2.5 image data
So i patch images magic files.
According to http://de.wikipedia.org/wiki/PCX and
http://web.archive.org/web/20100206055706/http://www.qzx.com/pc-gpe/pcx.txt
i test for bytes 0x0a,version byte (0,2,3,4,5),compression byte flag(0,1)
and bit depth by line
0 ubelong&0xffF8fe00 0x0a000000
For real PCX files bit depth at offset 3 is greater 0. So sample DBT files
are excluded by additional test line
>3 ubyte >0
By further inspection i saw that signed values are used ,especially for
dpi, planes, coordinates, which should be always positive and not negative.
Converting 65432x10-xab.png (right identified as
PNG image data, 65432 x 10) by xnview to 65432x10-xab.pcx
gives wrong "PCX ver. 3.0 image data bounding box [0, 0] - [-105, 9], 3
planes each of 8-bit colour, 72 x 72 dpi, uncompressed"
So i replaced signed pattern by unsigned for such values.
Furthermore 60x20-v4-graytext.pcx is identified OK as "PCX for Windows
image data", but no geometry information is displayed, because original
magic does this only for PCX files with version "ver. 3.0 image data"
After applying file-5.13-images_pcx.diff test files for PCX  are identified
all right (see output file pcx-5.13-new.txt )

Unfortunately SYLLABI2.CDX and SYLLABUS.CDX are identified wrong as
"Applesoft BASIC program data" because magic test in apple magic file was
to general:
0       belong&0xff00ff 0x80000 Applesoft BASIC program data
If i understood the magic fragment right first line number is  stored
at offset 2 as leshort. For both files this value is zero, where
for real Applesoft BASIC that value should be positive in my opinion.
So with my patch file file-5.13-apple-basic.diff sent to mailing list
at 3.February 2013 these 2 examples are not misidentified any more.
But an expert for Applesoft BASIC should double check my diff file.
In reality these files are indices of the dBase databases with same main
name and extension dbf.

The FoxPro memo file NG.FPT is misidentifies as "MPEG sequence, v4"
because this file start with byte sequence "000001b0 00000100 00000000"
and in animation the 2 following test lines are too general:
0        belong&0xFFFFFF00  0x00000100
>3       byte               0xB0           MPEG sequence, v4
For me it seems that non zero byte at offset 4 describes the variant like
for example "simple @ L1". If this is a true NG.FPT could be differed from
MGEP by the following additional  line
>>4      byte               !0             MPEG sequence, v4
Because i have no knowledge for MEG files i add this line only as comment
line (file-5.13-animation-NG_FPT.diff). So an expert has to revise this
things.

The dBASE memo file biblio.dbt is misidentified as "Dyalog APL"
because "0 byte 0xaa" is a too weak magic pattern.
 Also Dyalog-test3.bin is characterised as "Dyalog APL workspace type 0
subtype 0 32-bit classic big-endian Dyalog APL workspace version 0 .0\012-
Dyalog APL". Three "Dyalog APL" entries does not make sense in my opinion.
Also the version format "0 .0" should appear as "n.m". Unfortunately i do
not have knowledge about  Dyalog APL. So an expert has to revise the
dyadic magic file and fix this very erroneous file.

After changing database magic by file-5.13-database-xBase.diff
and applying the other patches i got finally a much more correcter
classification (see output  dbase-5.13-new.txt and
dbase-mime-5.13-new.txt ).
There are still some files that are not identified. So to do is DBASE index
file *.NDX, DBASE Compound Index file *.CDX, dBASE IV Printer Driver *.PRF.
Maybe i will do it in the future

All diffs, output and sample files are stored under
http://mitglied.multimania.de/jenderek/file/

today's changes

- increase strength to beat Linux/i386 core
- remove trailing whitespace

keep track of white-space printed so that we can recurse properly.

update ignore files with new entries

Remove array code that was avoiding int64_t use. The rest of the code
uses int64_t, so this does not make sense, and the code was broken on
LP64 Big Endian (sparc64 eg).

so we don't remove this

maintain the current flip value on recursive calls unless you encounter
another ^. From Toby Peterson

- put back missing indirect call
- more \b in use entries.

handle NOSPACE in indirect and use magic.

Today's fixes.

limit recursion level for mget

fix subarchitectur x86_64

Split out the mach-o-cpu definitions since they are also used by fat binaries
and share them.

add the initial offset so that recursive "use" invocations work.

allow octal formats

better debugging printfs

- avoid 0 offset causing an infinite loop.
- XXX: should limit indirect nesting.

fix stray return -1; from glen at delfi dot ee

add magic.h.in to the dist files.

bump version

fix previous, reading section name.

recognize panasonic channel list database (Joerg Jenderek)

more patches from Joerg Jenderek:

For some Microsoft  initial program loaders (IPL) not only the locations
with the characteristic error messages changes.
But also the strings itself varies from "Invalid partition table"
to "Ungültige Partitionstabelle" or "Table de partition erronée"
depending on the language of the Microsoft operating system (for
english,german or french)
So for example file (wmbr-9m-fr.bin and mbr-win7.bin in sample directory
mbr_msdos ) are not characterized as "MBR" ( see output
mbr_msdos-5.12-old.txt )

So i removed the old tests for Microsoft DOS and Windows MBR  and replaced
them by  looking for \x33\xc0\x8e\xd0\xbc\x00\x7c , the characteristic
assembler instructions "xor ax,ax;mov ss,ax;mov sp,7c00"  according to
information of http://thestarman.pcministry.com/asm/mbr/
By this test line all inspected examples are identified as MS-MBR except
for hdimage-msdos3.21-es.mbr. This seem to belongs to Spanish Microsoft
MS-DOS version 3.21 .
So i add additional magic test for that special assembler instructions. By
looking for characteristic assembler instructions at offset 8 i was able to
identify MBR for  Microsoft version "DOS 2" until Windows 7 and display
this version information correctly.
For the old "DOS 2" only the Author name differs ("David Litton" , "A
Pehrsson" ; see samples hdimage-msdos2.11-sv.mbr and mbr-2.x.bin). So i
display this information too.
If available an non zero disk signature at offset 0x1B8 is displayed,
whereas in old version this was called unspecified by ", Serial" with
sometimes wrong typ ubelong (See also
http://en.wikipedia.org/wiki/MBR_disk_signature#ID)

According to http://mirror.href.com/thestarman/asm/mbr/mystery.htm
the physical drive number and a time stamp is stored in some MBR versions
during creation.So i display this information too like in mbr-3.3_myth.bin.

error messages inside mbr are printed for example by assembler
instructions: mov si,06nn;...;int 10
where nn is string offset varying for different languages.
So i use indirect  offset to display this various messages like for german
"Ungültige Partitionstabelle"
"Fehler beim Laden des Betriebssystems"
"Betriebssystem fehlt"
or for english
"Invalid partition table"
"Error loading operating system"
"Missing operating system"
i also use this strings or different offset values to characterise the
different language variants.

After changing filesystems magic by file-5.12-filesystems-msdos-mbr.diff
these files are identified correctly as "MS-MBR" (see output
mbr_msdos-5.12-new.txt).

All diffs, output and sample files are stored under
http://mitglied.multimania.de/jenderek/file/

new gpt magic from Rogier Goossens

- use pread
- add reading of section header names to determine if an ELF file is stripped
  (Jan Kaluza)

- Don't set the unsigned flag if the type was not unsigned
- Add missing names in the type array, and assertion to make sure they
  are kept consistent

- don't subtract o from nbytes; mcopy deals with adjusting the length when
  considering the offset.
- add a bit more verbose debugging.

fix split lines

fix incorrect offset.

start search after the signature

remove junk entries

add android backups

fix all non-ascii characters.

Normalize name to ascii

convert to octal

bump jpeg.

Don't confuse NTFS filesystems with Hitachi COFF (Joerg Jenderek)
The hitachi coff magic is too weak and perhaps it should be commented out?

more disk formats from John Elliott

bump mime desc

fix mime types. (Thomas Ledoux)

Check sizeof long long from Werner Fink.

PR/234: +40 is a lot, for the boot sector, it wins over linux kernels which
is bad. Bump it down to +30

fix wrapped line

include the offset

PR/233: Magic contains embedded space.

PR/232: Jan Kaluza: JPEG files are detected as Minix filesystems

re-factor gnome.

more fixes from Guy Harris

mention fsmagic fix.

Add a space if we printed some magic.

update source list

- Warn about continuation levels which are not contiguous when increasing.
- Fix broken magic files discovered by that test.

More fixes

add "public" because this is needed outside libmagic (in file)

use BUILT_SOURCES

new a.out file

From Guy Harris:

There are several entries in the magic database for files that begin
with a 4-byte big-endian or little-endian octal 407, 410, and 413,
because several different flavors of UN*X used, at least in their
earliest days, the 32-bit a.out format with the standard magic numbers.

I've removed them and placed entries in a new "aout" file, and just
labeled them as "little-endian 32-bit" and "big-endian 32-bit"
executables, so that, for example, UNIX/32V VAX binaries aren't
misidentified as 386 binaries, or *vice versa*; unless we look at the
actual code, or find some other way of distinguishing between them,
there's no way to identify those as anything other than little-endian
32-bit binaries.  I also commented out some entries in "unknown" that
would have matched the same files that other entries would also have
matched.

I've also added "a.out" to the description strings for several a.out
file formats.

As "mips" contained some of those entries, as a result of being a bit of
a mix between MIPS stuff and SGI stuff, I also moved all the stuff that
has nothing to do with the MIPS architecture into "sgi".  (Yes, SGI did
own MIPS Technologies for a while, but it didn't do so originally and
doesn't do so now, and the stuff that got moved has nothing to do with
the MIPS architecture.)

In addition, I cleaned up the "ar" archive file entries, removing some
duplicates, fixing some "random" archive checks (they were using an
offset of 8 for older archive formats, but in those older archive
formats the archive entries start at an earlier offset, so the name of
the first entry is at an offset of 2 or 4), and adding an entry for the
entry Apple's ranlib adds (it has a longer name, and OS X uses the BSD
flavor of the "portable" archive format, so the name is at an offset of
68 rather than 8).  I also added a comment to indicate what I suspect
"thin" archives are (a type of archive produced by GNU ar).

Add 5.2 from Steven Kreuzer

merge assignments

Document {d,u}Q (Guy Harris)

only allow one digit chars, but allow any other character except a digit
after them. (Guy Harris)

add fulldump bit (Lorinczy Zsigmond)

merge duplicate entries

add raw, from Alfredo Ortega

add: International Color Consortium profile file magic

Implement [du]{1,2,4,8} (Guy Harris)

fix bitcode data (Guy Harris)

check for the right magic_version()

- always initialize ml->map
- free map

re-do the map and allocation of magic entries to simplify things

PR/228: Fix magic deallocation when the magic file is not mmapped. This is the
case for windows.

PR/225: beat x86 boot sector

$> does not work all the time

implement magic_version

document magic_version

the continuation error is a magic error.

PR/229: Fix not portable pointer comparison code.

Use "name" and "use" so that we have only one set of entries for pcap
files, and add a bunch of additional link-layer header types. (Guy Harris)

add more link layer types (Guy Harris)

fix processor offsets (Guy Harris)

Add llvm bitcode objects; from Guy Harris

remove ?

use "universal binary". From Guy Harris

Patch from Guy Harris, fixing a typo in the name, masks, and unhandled archs

escape the period in the keywords

Need to pass the returnval that the child match determined in the use case.
This broke the elf mime printing, where softmagic returned a non-match although
the child match() actually printed something.

new sentence, new line

use case insensitive match

fix bogus magic

lint fixes

welcome to 5.12

missing backslash

PR/224: Add geospatial designs recognition. Guess on little endian.