header cleanup in apps/

(oops) Apologies all, that last header-cleanup commit was from the wrong
tree. This further reduces header interdependencies, and makes some
associated cleanups.

Reduce header interdependencies, initially in engine.h (the rest of the
changes are the fallout). As this could break source code that doesn't
directly include headers for interfaces it uses, changes to recursive
includes are covered by the OPENSSL_NO_DEPRECATED symbol. It's better to
define this when building and using openssl, and then adapt code where
necessary - this is how to stay current. However the mechanism exists for
the lethargic.

Clear error if unique_subject lookup fails.

Add some root CAs.

Avoid undefined results when the parameter is out of range.

Don't use C++ reserved word.

Oops forgot CHANGES entry.

New function X509_POLICY_NODE_print()

Add symbol hacks for some long names.
make update

This is essentially Intel 32-bit compiler tune-up. To start with all
available compiler versions generated bogus machine code trying to
compile new crypto/des/cfb_enc.c. Secondly, 8th version defines
__GNUC__ macro, but fails to compile *some* inline assembler correctly.
Note that all versions of icc implement MSC-like _lrot[rl] intrinsic,
which is used now instead of offensive asm. Finally, unnecessary linker
dependencies are eliminated. Most notably dependency from libirc.a
caused trouble at application start-up, if libcrypto.so is linked with
-Bsymbolic (which it is).

Enhance EVP code to generate random symmetric keys of the
appropriate form, for example correct DES parity.

Update S/MIME code and EVP_SealInit to use new functions.

PR: 700

Make {i2v,v2i}_ASN1_BIT_STRING global.

make update

Remove obsolete files.

Allow CRLs to be passed into X509_STORE_CTX. This is useful when the
verified structure can contain its own CRLs (such as PKCS#7 signedData).

Tidy up some of the verify code.

Extend OID config module format.

Free up BIO properly when using streaming S/MIME sign.

Remove BN_CTX debug from debug-steve

SSL_COMP_get_compression_method is a typo (a missing 's' at the end of
the symbol name).

Move the definition of Win32_rename(), since the macro rename gets undefined
in the middle of the code on Windows, and that disrupts operations in functions
later that use rename()...
PR: 853

Wrap code starting with a definition.
PR: 854

Change spaces to symbols in names.
PR: 856

Make prototypes for some callback pointers.

A couple more cases where RAND_add() gets an integer instead of a
doule as last argument.

RAND_add() wants a double as it's last argument.

Fix loads of warnings in policy code.

I'll remember to try to compile this with warnings enabled next time :-)

Fix ASN1 warnings.

Adjust various bignum functions to use BN_CTX for variables instead of
locally initialising their own.

NB: I've removed the "BN_clear_free()" loops for the exit-paths in some of
these functions, and that may be a major part of the performance
improvements we're seeing. The "free" part can be removed because we're
using BN_CTX. The "clear" part OTOH can be removed because BN_CTX
destruction automatically performs this task, so performing it inside
functions that may be called repeatedly is wasteful. This is currently safe
within openssl due to the fact that BN_CTX objects are never created for
longer than a single high-level operation. However, that is only because
there's currently no mechanism in openssl for thread-local storage. Beyond
that, this might be an issue for applications using the bignum API directly
and caching their own BN_CTX objects. The solution is to introduce a flag
to BN_CTX_start() that allows its variables to be automatically sanitised
on release during BN_CTX_end(). This way any higher-level function (and
perhaps the application) can specify this flag in its own
BN_CTX_start()/BN_CTX_end() pair, and this will cause inner-loop functions
specifying the flag to be ignored so that sanitisation is handled only once
back out at the higher level. I will be implementing this in the near
future.

Replace the BN_CTX implementation with my current work. I'm leaving the
little TODO list in there as well as the debugging code (only enabled if
BN_CTX_DEBUG is defined).

I'd appreciate as much review and testing as can be spared for this. I'll
commit some changes to other parts of the bignum code shortly to make
better use of this implementation (no more fixed size limitations). Note
also that under identical optimisations, I'm seeing a noticable speed
increase over openssl-0.9.7 - so any feedback to confirm/deny this on other
systems would also be most welcome.

Adds warnings about two curves and fixes the "seed" value for two other
curves.

Submitted by: Nils Larsch

... and this should likewise fix up those RSA implementations that weren't
already built and tested.

By adding a BN_CTX parameter to the 'rsa_mod_exp' callback, private key
operations no longer require two distinct BN_CTX structures. This may put
more "strain" on the current BN_CTX implementation (which has a fixed limit
to the number of variables it will hold), but so far this limit is not
triggered by any of the tests pass and I will be changing BN_CTX in the
near future to avoid this problem anyway.

This also changes the default RSA implementation code to use the BN_CTX in
favour of initialising some of its variables locally in each function.

Damn, I was a bit hasty with my fix and hadn't spotted the linker
dependency from asn1.

Remove some warnings.

Protect against gcc's "warning: cast does not match function type".

Don't define fd for platforms that do not use it, as some may not declare fileno() properly

Correct constness problems.

Make it easier to buld test applications...

Only build the PKCS#7 test applications if "pkcs7" is present in
SDIRS.

Add store.h among the exported headers on VMS.

o_str.h isn't a public header file, so make sure it will still be
included.

o_str.h isn't a public header file.

Typo...

Make sure toupper() is properly declared.

Make it clear that for RSA_NO_PADDING, flen must be RSA_size(rsa)

make update

Sync the VMS build with Unix.

Initial support for certificate policy checking and evaluation.

This is currently *very* experimental and needs to be more fully integrated
with the main verification code.

Correct minor spelling error.
PR: 845

Change \t to real tab in echo argument.
PR: 847

Remove a warning for conversion double->long.  This has impacts on Windows.
PR: 849

Make sure fd is defined where it should.
PR: 849

Note my bignum hijinx in case app maintainers are using CHANGES for their
porting efforts. Also, add Richard's name to the prior change.

Variety of belt-tightenings in the bignum code. (Please help test this!)

- Remove some unnecessary "+1"-like fudges. Sizes should be handled
  exactly, as enlarging size parameters causes needless bloat and may just
  make bugs less likely rather than fixing them: bn_expand() macro,
  bn_expand_internal(), and BN_sqr().
- Deprecate bn_dup_expand() - it's new since 0.9.7, unused, and not that
  useful.
- Remove unnecessary zeroing of unused bytes in bn_expand2().
- Rewrite BN_set_word() - it should be much simpler, the previous
  complexities probably date from old mismatched type issues.
- Add missing bn_check_top() macros in bn_word.c
- Improve some degenerate case handling in BN_[add|sub]_word(), add
  comments, and avoid a bignum expansion if an overflow isn't possible.

Avoid warnings.

Constify d2i, s2i, c2i and r2i functions and other associated
functions and macros.

This change has associated tags: LEVITTE_before_const and
LEVITTE_after_const.  Those will be removed when this change has been
properly reviewed.

It was just pointed out to me that it's better to cast to double...

Make sure that the last argument to RAND_add() is a float, or some
compilers may complain.

Make sure we use unsigned constants, or come compilers may complain.

Convert openssl code not to assume the deprecated form of BN_zero().

Remove certain redundant BN_zero() initialisations, because BN_CTX_get(),
BN_init(), [etc] already initialise to zero.

Correct error checking in bn_sqr.c, and be less wishy-wash about how/why
the result's 'top' value is set (note also, 'max' is always > 0 at this
point).

The efforts to eliminate the dual-representation of zero and to ensure
bignums are passed in and out of functions and APIs in a consistent form
has highlighted that zero-valued bignums don't need any allocated word
data. The use of BN_set_word() to initialise a bignum to zero causes
needless allocation and gives it a return value that must be checked. This
change converts BN_zero() to a self-contained macro that has no
return/expression value and does not cause any expansion of bignum data.

Note, it would be tempting to rewrite the deprecated version as a
success-valued comma expression, such as;
   #define BN_zero(a) ((a)->top = (a)->neg = 0, 1)
However, this evaluates 'a' twice and would confuse initialisation loops
(eg. while(..) { BN_zero(bn++) } ). As such, the deprecated version
continues to use BN_set_word().

Document a change I'd already made, and at the same time, correct the
change to work properly; BN_zero() should set 'neg' to zero as well as
'top' to match the behaviour of BN_new().

IRIX 6.x shared build fix-up.

For reference. Note that both cc and gcc support -Wl flag, but we can't
use -Wl,-[not]all with both drivers, because cc rearranges options
passed through -Wl. We can't use -Wl,-all,libcrypto.a,-notall with cc
either, because it refuses to start with "no input" error.

static

Minimise the amount of code dependent on BN_DEBUG_RAND. In particular,
redefine bn_clear_top2max() to be a NOP in the non-debugging case, and
remove some unnecessary usages in bn_nist.c.

Submitted by: Nils Larsch
Reviewed by: Geoff Thorpe, Ulf Möller

More changes coming out of the bignum auditing. BN_CTX_get() should ideally
return a "zero" bignum as BN_new() does - so reset 'top'. During
BN_CTX_end(), released bignums should be consistent so enforce this in
debug builds. Also, reduce the number of wasted BN_clear_free() calls from
BN_CTX_end() (typically by 75% or so).

Submitted by: Nils Larsch
Reviewed by: Geoff Thorpe, Ulf Möller

Fix policy constraints syntax.

Support for inhibitAnyPolicy extension.

typo

Cleanup ASN1 OID module when it exits.

Call autoconfig code in pkcs7 utility.

Memory leak fix.

Various X509 fixes. Disable broken certificate workarounds
when X509_V_FLAG_X509_STRICT is set. Check for CRLSign in
CRL issuer certificates. Reject CRLs with unhandled (any)
critical extensions.

Typos.

Reported by: Jose Castejon-Amenedo <Jose.Castejon-Amenedo@hp.com>

Make our page with pointers to binary distributions visible in the FAQ

Indent some of the code examples.

Config docs.

Documentation of the KISS autoconfig functions.

More autoconfig docs.

Avoid a memory leak in OCSP_parse_url().
Notified by Paul Siegel <psiegel@corestreet.com>

Initial docs for the OpenSSL library configuration via openssl.cnf

Add ECDSA documentation.

Submitted by: Nils Larsch

AES is spelled AES, not ASE.  Oops...

Make sure the given EVP_PKEY is updated in the PEM_STRING_PKCS8INF case also.
PR: 833

Document the AES options for 'openssl smime'.
PR: 834

A cleanup of the ecs_ossl.c code and some (doxygen) comments for ecdsa.h

Submitted by: Nils Larsch
Reviewed by: Geoff Thorpe

When adding positive elements, we can use BN_uadd() instead of BN_add().

Submitted by: Nils Larsch
Reviewed by: Geoff Thorpe

Use an OCTET STRING for the encoding of an OCSP nonce value.

The old raw format can't be handled by some implementations
and updates to RFC2560 will make this mandatory.

minor signed/unsigned warning fixes

Fix handling of -offset and -length in asn1parse tool.

If -offset exceeds -length of data available exit with an error.

Don't read past end of total data available when -offset supplied.

If -length exceeds total available truncate it.

Typo in crypto/bn/asm/x86_64.c, bn_div_words().
PR: 821

Add flag to avoid continuous
memory allocate when calling EVP_MD_CTX_copy_ex().

Without this HMAC is several times slower than
< 0.9.7.

Typo in PA-RISC 2 rules in crypto/bn/Makefile.ssl

HP/UX PA-RISC 2 targets update.

Remove typos

-Wtraditional was a little too much...

Typo

In the development branch, it feels quite all right to warn on a lot
more stuff.

make update

Add the missing parts for DES CFB1 and CFB8.
Add the corresponding AES parts while I'm at it.
make update