tools: Use $TMPDIR instead of $TEMP

TMPDIR is a more standard environment variable for locating the
temp directory on Unix. In addition since this is only used in
tests, remove the code from the generic p11_path_expand() func.

In general remove the possibility for forks to put $HOME or $TEMP
environment variables in configured paths. This was possible
due to code in p11_path_expand() but not something we supported.

https://bugzilla.redhat.com/show_bug.cgi?id=985017

Fix various issues highlighted by coverity scanner

Among others fix possible usage of large stack allocation.

open files with O_CLOEXEC when possible

This helps prevent leaked file descriptors when the library is
used in a process which exec's.

opendir() already uses O_CLOEXEC on platforms that support O_CLOEXEC
so we don't need to make changes there.

In addition read config files using p11_mmap_open() so that we get
the simple benefits of O_CLOEXEC with the open() call there.

https://bugzilla.redhat.com/show_bug.cgi?id=984986

buffer: Check for unlikely integer overflow

If we see an integer overflow here something has gone horribly wrong
(or malicious code is present). So treat this as unrecoverable, and
fail if we're going to overflow.

https://bugzilla.redhat.com/show_bug.cgi?id=985019

Make preconditions abort unconditionally when scanning with coverity

This reflects that preconditions are invalid/unreachable on a
functioning system and with valid input. We do not try to recover
from such conditions.

In addition teach coverity about how our test suite fails

See http://p11-glue.freedesktop.org/doc/p11-kit/devel-building-style.html

https://bugzilla.redhat.com/show_bug.cgi?id=985005

iter: Document guarantees for filter matches argumet

The matches argument is always initialized to CK_TRUE when a filter
is called, and it's up to filters to set it to CK_FALSE. Filters
don't need to set to CK_TRUE.

https://bugzilla.redhat.com/show_bug.cgi?id=985009

Fixes for some recent win32 regressions

Remove erroneous comments about readdir() and thread-safety

https://bugzilla.redhat.com/show_bug.cgi?id=984989

Build with -fno-common to catch definition problems

Fix some global variables not declared as extern

https://bugs.freedesktop.org/show_bug.cgi?id=66015

Various documentation tweaks and fixes for warnings

Add support for using freebl3 for SHA1 and MD5 hashing

Since we don't want to link freebl3 to libp11-kit.so where it isn't
needed, move the SHA-1 and MD5 digest functionality to the trust/
directory.

trust: Fix the 'p11-kit extract' command

This is supposed to call over to 'trust extract' and wasn't
working correctly.

trust: Fix bug with load validation failures

trust: Add a basic 'anchor' command to store a new anchor

trust: Fix various issues writing objects in trust token

 * Create directory before trying to write files to it
 * Handle write failures appropriately

Refactor how we build and store objects in the index to handle
the above cases properly.

trust: Mark CKA_X_DISTRUSTED as a boolean attribute

trust: Support token directory paths in user's home directory

trust: Explicitly specify which formats parser should parse

trust: Support using the parser without an asn1_cache

asn1: In p11_asn1_read() allocate an extra null terminator

As a courtesy for callers.

common: Fix typo, and don't escape '6' in URL encoding

p11-kit: Add P11_KIT_MODULE_TRUSTED flag

A new flag to pass to p11_kit_modules_load() and related functions
which limits loaded modules to ones with "trust-policy: yes".

trust: Port to use CKA_PUBLIC_KEY_INFO and updated trust store spec

 * Use the concepts and PKCS#11 objects described in the
   recently updated (still work in progress) storing trust spec.
 * Define our own CKA_X_PUBLIC_KEY_INFO define for now, since the
   the CKA_PUBLIC_KEY_INFO isn't defined yet.
 * Most notably, the association between certificates and stapled
   extensions is by public key.
 * Rework some of the tests to take into account the above.

trust: Add p11_oid_hash() and various oid strings

trust: Add p11_asn1_read() and p11_asn1_free() functions

Some helpers for commonly used ASN.1 related stuff.

trust: Initial support for writing out token objects

 * The objects are written out in the p11-kit persist format
 * Parser marks files in p11-kit persist format as modifiable

trust: If token path is a file, don't try loading subdirectories

trust: Correctly handle persisting OIDs with zero length

trust: Don't write out internal attributes when persisting

trust: Add support for saving files with unique file names

path: Add p11_path_canon() function

Cleans up a filename with readable characters.

trust: Rename p11_index_batch() to p11_index_load()

The name makes it clearer what's going on. This is only used
during loading, so we can track whether a change has resulted
from the trust module or from the file storage.

trust: Implement reloading of token data

 * Reload token data whenever a new session is opened.
 * Only reload files/directories that have changed.
 * Move duplicate anchor/blacklist detection logic into
   the extract code. This is in line with the approach
   being discussed on the mailing lists and spec document.
 * New internal attribute CKA_X_ORIGIN set on all objects
   so we can track where an object came from, and replace
   it when reloaded.

In general this is a prerequisite for modification of objects
reload before modify is necessary to prevent multiple callers
clobbering each other's changes.

iter: Add iteration mode where session is not busy

In order to use the session we are iterating on for other tasks
such as other C_FindObject() calls, we need to make sure that
it's not in the middle of a find operation. Finish up the
complete find operation in advance of returning objects from
a session.

Make this the default mode. The previous behavior remains
as an option. Add tests.

path: Add p11_path_prefix() function

Checks if a wellformed path is identical to or a prefix
of another path.

trust: Implement validation for creating/modifying objects

Fix dependency between p11-kit command and library

Fix running trust module tests under distcheck

Reorganize various components

 * p11-kit library and tool in the p11-kit/ subdirectory
 * trust module and new trust tool in trust/ subdirectory
 * No more tools/ subdirectory
 * Lots less in the common/ subdirectory

Merge branch 'stable'

trust: Writable module PKCS#11 token functions

Although we don't actually write anything out yet, make the
various PKCS#11 functions behave properly when faced with
requests to write to token objects

trust: Move the extract-trust external placeholder command into trust/

trust: Print out usage when extract-trust run incorrectly

Also sorta covers --help and -h usage

tools: Fix passing args to external commands

There were various bugs passing arguments, with duplicates being
passed, as well as certain arguments being skipped.t

tools: Only use our private path when looking for external commands

Instead of looking for external commands in the path, just look
for them in our private directory.

We want to be conservative early on, and limit what sorta things
we have to maintain later. We can later remove this restriction
if a real use case presents itself.

trust: Correctly reflect the CK_TOKEN_INFO writability flags

Correctly set the CKF_TOKEN_WRITE_PROTECTED flag for paths
which we will be able to write to.

path: Add p11_path_parent() function

Gets the parent element of the path, removing the last component.
Handles trailing and duplicate path separators correctly.

path: Fix expanding of paths and tests

common: Abort test cases when one fails

Merge branch 'stable'

Release version 0.18.3

trust: Fix crash when C_Initialize args are NULL

https://bugs.freedesktop.org/show_bug.cgi?id=65401

trust: Fix reinitialization of trust module

Track number of C_Initialize calls, and require similar number
of C_Finalize calls to finalize.

This fixes leaks/disappearing sessions in the trust module.

https://bugs.freedesktop.org/show_bug.cgi?id=65401

Fix uninitialized p11_library_once

https://bugs.freedesktop.org/show_bug.cgi?id=57714

Force Mac OS shared library extension to .so

Darwin and libtool seem confused about what shared library
extension they actually use.

https://bugs.freedesktop.org/show_bug.cgi?id=57714

Fix uninitialized p11_library_once

https://bugs.freedesktop.org/show_bug.cgi?id=57714

Force Mac OS shared library extension to .so

Darwin and libtool seem confused about what shared library
extension they actually use.

https://bugs.freedesktop.org/show_bug.cgi?id=57714

persist: Support for writing out p11-kit persist files

constants: Tweaks and add mechanisms

pem: Write PEM data directly to a buffer

url: Encode directly to a buffer

Release version 0.19.1

Mark p11_kit_message() as a stable function

Fix building of applications using CRYPTOKI_GNU style

Bump the version for deprecated function documentation

Fix up Makefile.am files for automake 1.13 warnings

Our own unit testing framework

 * Support the TAP protocol
 * Much cleaner without having to carry around state
 * First class support for setup/teardown
 * Port the common tests
 * Wait on porting other tests until we've merged outstanding code

Further reorganization of the core module tracking

 * Keep the module ownership apart from the tracking of module
   function pointers, since these are only relevant for unmanaged
   modules.
 * Less assumptions that each module has a raw unmanaged module
   function pointer.
 * More clarity in the naming of dictionaries tracking the modules.

Pull the argv parsing code into its own file

So it can be used from multiple code paths

Support /xxx/yyy as an absolute path with Win32

Because win32 code doesn't just run on windows, wine runs
with unix style paths.

Bump the version number to unstable

Add the log-calls module config option

If 'log-calls = yes' is set then all the PKCS#11 modules are logged
to stderr.

Manage C_CloseAllSessions function for multiple callers

Make C_CloseAllSessions work for different callers. Track the sessions
that each caller opens and close just those when C_CloseAllSessiosn is
called.

Update the proxy module to use managed PKCS#11 modules

Each time C_GetFunctionList is called on the proxy module, a new
managed PKCS#11 set of functions is returned. These are all cleaned
up when the module is unloaded.

We want the proxy module to continue to work even without the highly
recommended libffi. For that reason we still keep the old behavior of
sharing state in the proxy module.

p11-kit: Managed PKCS#11 module loading

Support a new managed style module loading for PKCS#11 modules. This
allows us to better coordinate between multiple callers of the same
PKCS#11 modules and provide hooks into their behavior.

This meant redoing the public facing API. The old methods are now
deprecated, marked and documented as such.

Use libffi to implement mixins for managed code

 * This allows us to call into subclassed PKCS#11 modules as if
   they were plain old PKCS#11 modules
 * libffi is an optional dependency

Add subclassable CK_X_FUNCTION_LIST

One of the flaws in PKCS#11 for our usage is that each PKCS#11 module
is not passed the pointer to the function list, ie: the vtable

Here we define a new function list vtable, where each PKCS#11 function
takes the vtable itself as the first argument. We use this new
list internally to represent subclassable PKCS#11 modules for
various features.

Fail early when running automaint.sh

Implement valgrind's hellgrind checks for threading problems

And cleanup our locks/locking model. There's no need to use
recursive locks, especially since we can't use them on all
platforms. In addition adjust taking of locks during initialization
so that there's no chance of deadlocking here.

Release version 0.18.2

Patch to make test-lexer depend on ASN.1

https://bugs.freedesktop.org/show_bug.cgi?id=64378

Reduce libtasn1 dependency to 2.3

 * This passes all checks and is compatible

Release version 0.18.1

doc: Use gtk-doc in the no-tmpl flavor

manual: Use a consistent docbook version

Put the external tools in $libdir/p11-kit

These are possibly architecture specific binaries, so they should be
in $libdir/p11-kit and not in $datadir/p11-kit

Release version 0.18.0

Fix off by one in date parsing code

We didn't treat the two digit year 00 as a valid year, whereas it
actually represents the year 2000. This is in a non-critical code path.

Don't print erroneous debug messages when skipping files

The parser automatically skips over files that it cannot parse. Don't
print confusing debug messages about DER parse failures when it does so.

Update to MurmurHash3

This should also fix problems with accessing memory in a non-aligned
fashion on platforms where this causes problems.

https://bugs.freedesktop.org/show_bug.cgi?id=62819

Don't respect timezones for CKA_START_DATE or CKA_END_DATE

The PKCS#11 specification does not note what timezone these dates
are in. In addition the time values are not represented in PKCS#11.

So don't reinterpret certificate dates, other than filling in the
century for dates that have a two digit year.

Lastly, these are low resolution optional fields so not being all
strict about timezones here is appropriate.

https://bugs.freedesktop.org/show_bug.cgi?id=62825

trust: Fix logic for matching invalid NSS serial numbers

Sometimes NSS queries for trust objects using invalid serial numbers
that do not have their DER decoding. We fixed this earlier, but want
to make sure there are no corner cases, accidentally not matching
serial numbers that happen to start with the same bytes as a DER
TLV would.

More compatible path munging and handling code

Centralize the path handling code, so we can remove unixy assumptions
and have a chance of running on Windows. The current goal is to run
all the tests on Windows.

Includes some code from LRN <lrn1986@gmail.com>

https://bugs.freedesktop.org/show_bug.cgi?id=63062

Don't use free() on memory allocated by LocalFree()

ihttps://bugs.freedesktop.org/show_bug.cgi?id=63046

Separate library init from message code

Put library init/uninit code its into their own statically
linked library so that they don't get linked into the p11-kit
executable.

Refactor the message code so that the library initialization can
plug in its per thread message buffer.

https://bugs.freedesktop.org/show_bug.cgi?id=63046

Don't use library locks from p11-kit tool

The global library p11_library_mutex is for libraries to use, so don't
use it from any code in common/, which is also used by the p11-kit tool

https://bugs.freedesktop.org/show_bug.cgi?id=63046

Add new script for setting up p11-kit for a maintainer

Add win32 cross build, and build out of tree

Fix build on Win32

Don't reference an undefined macro

https://bugs.freedesktop.org/show_bug.cgi?id=63046

Fix documentation so it builds out of tree

Fix build with automake 1.13

Also remove some generated files from the po/ directory.