trust: Implement reloading of token data

 * Reload token data whenever a new session is opened.
 * Only reload files/directories that have changed.
 * Move duplicate anchor/blacklist detection logic into
   the extract code. This is in line with the approach
   being discussed on the mailing lists and spec document.
 * New internal attribute CKA_X_ORIGIN set on all objects
   so we can track where an object came from, and replace
   it when reloaded.

In general this is a prerequisite for modification of objects
reload before modify is necessary to prevent multiple callers
clobbering each other's changes.

iter: Add iteration mode where session is not busy

In order to use the session we are iterating on for other tasks
such as other C_FindObject() calls, we need to make sure that
it's not in the middle of a find operation. Finish up the
complete find operation in advance of returning objects from
a session.

Make this the default mode. The previous behavior remains
as an option. Add tests.

path: Add p11_path_prefix() function

Checks if a wellformed path is identical to or a prefix
of another path.

trust: Implement validation for creating/modifying objects

Fix dependency between p11-kit command and library

Fix running trust module tests under distcheck

Reorganize various components

 * p11-kit library and tool in the p11-kit/ subdirectory
 * trust module and new trust tool in trust/ subdirectory
 * No more tools/ subdirectory
 * Lots less in the common/ subdirectory

Merge branch 'stable'

trust: Writable module PKCS#11 token functions

Although we don't actually write anything out yet, make the
various PKCS#11 functions behave properly when faced with
requests to write to token objects

trust: Move the extract-trust external placeholder command into trust/

trust: Print out usage when extract-trust run incorrectly

Also sorta covers --help and -h usage

tools: Fix passing args to external commands

There were various bugs passing arguments, with duplicates being
passed, as well as certain arguments being skipped.t

tools: Only use our private path when looking for external commands

Instead of looking for external commands in the path, just look
for them in our private directory.

We want to be conservative early on, and limit what sorta things
we have to maintain later. We can later remove this restriction
if a real use case presents itself.

trust: Correctly reflect the CK_TOKEN_INFO writability flags

Correctly set the CKF_TOKEN_WRITE_PROTECTED flag for paths
which we will be able to write to.

path: Add p11_path_parent() function

Gets the parent element of the path, removing the last component.
Handles trailing and duplicate path separators correctly.

path: Fix expanding of paths and tests

common: Abort test cases when one fails

Merge branch 'stable'

Release version 0.18.3

trust: Fix crash when C_Initialize args are NULL

https://bugs.freedesktop.org/show_bug.cgi?id=65401

trust: Fix reinitialization of trust module

Track number of C_Initialize calls, and require similar number
of C_Finalize calls to finalize.

This fixes leaks/disappearing sessions in the trust module.

https://bugs.freedesktop.org/show_bug.cgi?id=65401

Fix uninitialized p11_library_once

https://bugs.freedesktop.org/show_bug.cgi?id=57714

Force Mac OS shared library extension to .so

Darwin and libtool seem confused about what shared library
extension they actually use.

https://bugs.freedesktop.org/show_bug.cgi?id=57714

Fix uninitialized p11_library_once

https://bugs.freedesktop.org/show_bug.cgi?id=57714

Force Mac OS shared library extension to .so

Darwin and libtool seem confused about what shared library
extension they actually use.

https://bugs.freedesktop.org/show_bug.cgi?id=57714

persist: Support for writing out p11-kit persist files

constants: Tweaks and add mechanisms

pem: Write PEM data directly to a buffer

url: Encode directly to a buffer

Release version 0.19.1

Mark p11_kit_message() as a stable function

Fix building of applications using CRYPTOKI_GNU style

Bump the version for deprecated function documentation

Fix up Makefile.am files for automake 1.13 warnings

Our own unit testing framework

 * Support the TAP protocol
 * Much cleaner without having to carry around state
 * First class support for setup/teardown
 * Port the common tests
 * Wait on porting other tests until we've merged outstanding code

Further reorganization of the core module tracking

 * Keep the module ownership apart from the tracking of module
   function pointers, since these are only relevant for unmanaged
   modules.
 * Less assumptions that each module has a raw unmanaged module
   function pointer.
 * More clarity in the naming of dictionaries tracking the modules.

Pull the argv parsing code into its own file

So it can be used from multiple code paths

Support /xxx/yyy as an absolute path with Win32

Because win32 code doesn't just run on windows, wine runs
with unix style paths.

Bump the version number to unstable

Add the log-calls module config option

If 'log-calls = yes' is set then all the PKCS#11 modules are logged
to stderr.

Manage C_CloseAllSessions function for multiple callers

Make C_CloseAllSessions work for different callers. Track the sessions
that each caller opens and close just those when C_CloseAllSessiosn is
called.

Update the proxy module to use managed PKCS#11 modules

Each time C_GetFunctionList is called on the proxy module, a new
managed PKCS#11 set of functions is returned. These are all cleaned
up when the module is unloaded.

We want the proxy module to continue to work even without the highly
recommended libffi. For that reason we still keep the old behavior of
sharing state in the proxy module.

p11-kit: Managed PKCS#11 module loading

Support a new managed style module loading for PKCS#11 modules. This
allows us to better coordinate between multiple callers of the same
PKCS#11 modules and provide hooks into their behavior.

This meant redoing the public facing API. The old methods are now
deprecated, marked and documented as such.

Use libffi to implement mixins for managed code

 * This allows us to call into subclassed PKCS#11 modules as if
   they were plain old PKCS#11 modules
 * libffi is an optional dependency

Add subclassable CK_X_FUNCTION_LIST

One of the flaws in PKCS#11 for our usage is that each PKCS#11 module
is not passed the pointer to the function list, ie: the vtable

Here we define a new function list vtable, where each PKCS#11 function
takes the vtable itself as the first argument. We use this new
list internally to represent subclassable PKCS#11 modules for
various features.

Fail early when running automaint.sh

Implement valgrind's hellgrind checks for threading problems

And cleanup our locks/locking model. There's no need to use
recursive locks, especially since we can't use them on all
platforms. In addition adjust taking of locks during initialization
so that there's no chance of deadlocking here.

Release version 0.18.2

Patch to make test-lexer depend on ASN.1

https://bugs.freedesktop.org/show_bug.cgi?id=64378

Reduce libtasn1 dependency to 2.3

 * This passes all checks and is compatible

Release version 0.18.1

doc: Use gtk-doc in the no-tmpl flavor

manual: Use a consistent docbook version

Put the external tools in $libdir/p11-kit

These are possibly architecture specific binaries, so they should be
in $libdir/p11-kit and not in $datadir/p11-kit

Release version 0.18.0

Fix off by one in date parsing code

We didn't treat the two digit year 00 as a valid year, whereas it
actually represents the year 2000. This is in a non-critical code path.

Don't print erroneous debug messages when skipping files

The parser automatically skips over files that it cannot parse. Don't
print confusing debug messages about DER parse failures when it does so.

Update to MurmurHash3

This should also fix problems with accessing memory in a non-aligned
fashion on platforms where this causes problems.

https://bugs.freedesktop.org/show_bug.cgi?id=62819

Don't respect timezones for CKA_START_DATE or CKA_END_DATE

The PKCS#11 specification does not note what timezone these dates
are in. In addition the time values are not represented in PKCS#11.

So don't reinterpret certificate dates, other than filling in the
century for dates that have a two digit year.

Lastly, these are low resolution optional fields so not being all
strict about timezones here is appropriate.

https://bugs.freedesktop.org/show_bug.cgi?id=62825

trust: Fix logic for matching invalid NSS serial numbers

Sometimes NSS queries for trust objects using invalid serial numbers
that do not have their DER decoding. We fixed this earlier, but want
to make sure there are no corner cases, accidentally not matching
serial numbers that happen to start with the same bytes as a DER
TLV would.

More compatible path munging and handling code

Centralize the path handling code, so we can remove unixy assumptions
and have a chance of running on Windows. The current goal is to run
all the tests on Windows.

Includes some code from LRN <lrn1986@gmail.com>

https://bugs.freedesktop.org/show_bug.cgi?id=63062

Don't use free() on memory allocated by LocalFree()

ihttps://bugs.freedesktop.org/show_bug.cgi?id=63046

Separate library init from message code

Put library init/uninit code its into their own statically
linked library so that they don't get linked into the p11-kit
executable.

Refactor the message code so that the library initialization can
plug in its per thread message buffer.

https://bugs.freedesktop.org/show_bug.cgi?id=63046

Don't use library locks from p11-kit tool

The global library p11_library_mutex is for libraries to use, so don't
use it from any code in common/, which is also used by the p11-kit tool

https://bugs.freedesktop.org/show_bug.cgi?id=63046

Add new script for setting up p11-kit for a maintainer

Add win32 cross build, and build out of tree

Fix build on Win32

Don't reference an undefined macro

https://bugs.freedesktop.org/show_bug.cgi?id=63046

Fix documentation so it builds out of tree

Fix build with automake 1.13

Also remove some generated files from the po/ directory.

Use CKA_X_CERTIFICATE_VALUE for trust assertions

These don't contain the CKA_VALUE attribute for certificate data
but rather the CKA_X_CERTIFICATE_VALUE attribute.

https://bugs.freedesktop.org/show_bug.cgi?id=62896

Don't complain when applications call C_Logout or C_Login

Some callers erroneously call our C_Logout function, like NSS.
So return appropriate error codes in these cases.

https://bugs.freedesktop.org/show_bug.cgi?id=62874

Release version 0.17.5

Don't try to guess at overflowing time values on 32-bit systems

Since CKA_START_DATE and CKA_END_DATE are the only places
where we want to parse out times, and these are optional, just
leave blank if the time overflows what libc can handle on
a 32-bit system.

https://bugs.freedesktop.org/show_bug.cgi?id=62825

Fix testing of murmur hash on bigendian systems

The murmur hash produces different output depending on the architecture

https://bugzilla.redhat.com/show_bug.cgi?id=927394

Release 0.17.4

Fix memory leaks reported by 'make leakcheck'

Fix invalid memory accesses reported by 'make memcheck'

These are things that showed up in valgrind while running the tests.

Add a bit of infrastructure for running valgrind

 * make memcheck: Runs basic memory checking
 * make leakcheck: Also runs leak checking

trust: Predictable behavior with duplicate certificates in token

If duplicate certificates are present in a token, we warn about this,
and don't really recommend it. However we have predictable behavior
where blacklist is prefered to anchor is preferred to unknown trust.

https://bugs.freedesktop.org/show_bug.cgi?id=62548

trust: Rework index to be faster and more usable

The index now uses a sort of cross between a hash table and a bloom
filter internally to select matching items. This is needed for the
massive amount of lookups we want to do during loading.

In addition make p11_index_find() and p11_index_replace() easier
to use.

attrs: Print out the CKA_VALUE for certificates when debugging

While it's true that we shouldn't be pritning out CKA_VALUE in
certain cases, like for keys, we obviously can do so for certificates.

We don't have keys anyway, but in the interest of being general
purpose use the class to determine whether CKA_VALUE can be printed

hash: Add the murmur2 hash and start using it

Add implementation of the murmur2 hash function, and start using
it for our dictionaries. Our implementation is incremental
like our other hash functions.

Also remove p11_oid_hash() which wasn't being used.

In addition fix several tests whose success was based on the
way that the dictionary hashed. This was a hidden testing bug.

hash: Rename file and functions for hashes

We're going to be adding other hashes. Also build as part of a
different common library.

Release version 0.17.3

trust: Use descriptive labels for tokens

Try to determine which one is the system trust input token,
and which one is the default token by using datadir and sysconfdir
respectively.

https://bugs.freedesktop.org/show_bug.cgi?id=62534

trust: Remove the temporary built in distrust objects

These should now be loaded from the .p11-kit persist format.

extract: Make extracted output directories read-only

This is not a security feature or anything like that, but a hint
that the files are managed by the extract tool and should not be
modified manually.

trust: Don't use POSIX or GNU basename()

Both are nasty. Do our own, and test it a bit

https://bugs.freedesktop.org/show_bug.cgi?id=62479

Do not export (de)constructor

Rename p11_kit_init and p11_kit_fini to _p11_kit_init and _p11_kit_fini
respectively to stop them from being exported in the ABI. It does not seem
to be necessary.

Release version 0.17.2

trust: Fix trust tests on 32-bit builds

trust: Fix invalid varargs call in the builder

Release version 0.17.1

 * Fix distcheck bugs surrounding the strndup() workaround

trust: Provide better debugging of trust module functions

Make C_FindObjects() and C_GetAttributeValue() functions dump the
attributes that they're dealing with when in debug mode.

attrs: Change p11_attrs_to_string() to allow static templates

Allow passing the number of attributes to print, which lets us use
this directly on templates passed in by callers of the PKCS#11 API.

trust: Handle incorrectly encoded CKA_SERIAL_NUMBER lookups

Handle lookups for trust objects (by NSS) which expect CKA_SERIAL_NUMBER
attributes without appropriate DER encoding.

In addition allow creation of NSS trust objects as PKCS#11 session
objects, so that we can test this behavior.

Add workaround for broken strndup() in firefox

Unconditionally use our own strndup() until this issue is resolved
and in the stable versions of various distros.

See: https://bugzilla.mozilla.org/show_bug.cgi?id=826171

compat: Fix trivial comment

Use the nickname x-distrusted for CKA_X_DISTRUSTED

This is a non-standard PKCS#11 attribute, so has the X prefix
like the other ones we've added.

trust: Better generation of nss objects and assertions for serial+issuer

In many cases certficates are distrusted by serial+issuer. Make sure
this works, and fix various cases where we weren't generating
compat NSS objects and compat trust assertions for these types
of input.

Refine looking up of attributes in arrays

There was a class of bugs for looking up invalid or empty
attributes in the internal PKCS#11 attribute arrays.

 * Refine what p11_attrs_find_valid() treats as valid
 * Rename p11_attrs_is_empty() to p11_attrs_terminator() for clarity