CABAC trellis opts part 2: C optimizations

Hoist the branch on coef value out of the loop over node contexts.
Special cases for each possible coef value (0,1,n).
Special case for dc-only blocks.
Template the main loop for two common subsets of nodes, to avoid a bunch of branches about which nodes are live.
Use the nonupdating version of cabac_size_decision in more cases, and omit those bins from the node struct.
CABAC offsets are now compile-time constants.
Change TRELLIS_SCORE_MAX from a specific constant to anything negative, which is cheaper to test.
Remove dct_weight2_zigzag[], since trellis has to lookup zigzag[] anyway.

60% faster on x86_64.
25k->18k codesize.

CABAC trellis opts part 1: minor change in output
Due to different tie-break order.

x86inc improvements for 64-bit

Add support for all x86-64 registers
Prefer caller-saved register over callee-saved on WIN64
Support up to 15 function arguments

High bit depth SSE2/AVX add8x8_idct8 and add16x16_idct8
From Google Code-In.

MMX/SSE2/AVX predict_8x16_p, high bit depth fdct8
From Google Code-In.

XOP 8-bit fDCT
Use integer MAC for one of the SUMSUB passes.  About a dozen cycles faster for 16x16.

High bit depth intra_sad_x3_4x4
From Google Code-In.

Use a large LUT for CAVLC zero-run bit codes
Helps the most with trellis and RD, but also helps with bitstream writing.
Seems at worst neutral even in the extreme case of a CPU with small L2 cache (e.g. ARM Cortex A8).

High bit depth intra_sad_x3_8x8, intra_satd_x3_4x4/8x8c/16x16
Also add an ACCUM macro to handle accumulator-induced add-or-swap more concisely.

MMX 10-bit predict_8x8c_h and predict_8x16c_h
From Google Code-In.

Some MBAFF x86 assembly functions.
deblock_chroma_420_mbaff, plus 422/422_intra_mbaff implemented using existing functions.
From Google Code-In.

More ARM NEON assembly functions
predict_8x8_v, predict_4x4_dc_top, predict_8x8_ddl, predict_8x8_ddr, predict_8x8_vl, predict_8x8_vr, predict_8x8_hd, predict_8x8_hu.
From Google Code-In.

More 4:2:2 asm functions
High bit depth version of deblock_h_chroma_422.
Regular and high bit depth versions of deblock_h_chroma_intra_422.
High bit depth pixel_vsad.
SSE2 high bit depth and MMX 8-bit predict_8x8_vl.
Our first GCI patch this year!

SSE2 and SSSE3 versions of sub8x16_dct_dc
Also slightly faster sub8x8_dct_dc

Resize filter updates
Use AVPixFmtDescriptors to pick the most compatible x264 csp for any pixel format.
Fix deprecated use of av_set_int.
Now requires libavutil >= 51.19.0

Add out-of-tree build support

Limit SSIM to 100db
Avoids floating point error for infinite SSIM (lossless).

Fix wrong conditional inclusion of inttypes.h
inttypes.h is required by encoder/ratecontrol.c for SCNxxx macros, and HAVE_STDINT_H does not imply having inttypes.h.
stdint.h is a subset of inttypes.h, but this isn't enough for x264.
This change fixes building x264 with Android's toolchain.

Fix crash with sliced threads and input height <= 112

Fix loading custom 8x8 chroma quant matrices in 4:4:4

Fix PCM cost overflow

Fix overflow in 8-bit x86 vsad asm function

Fix crash in --fullhelp when compiled against recent ffmpeg
Don't assume all pixel formats have a description.

Fix regression in r2118
Broke trellis with i16x16 macroblocks.

Modify MBAFF chroma deblock functions to handle U/V at the same time
Allows for more convenient asm implementations.

CABAC trellis optimizations: use SIMD quant
Significant speed increase, minor change in output due to rounding.

YUV range detection and support for x264CLI
Two new options: --input-range and --range.
--input-range forces the range of the input in case of misdetection; auto by default.
-- range sets the range of the output; x264cli will convert if necessary, TV by default.
--fullrange is now removed as a CLI option (but the libx264 API is unchanged).

Pass through user data

Remove unpredictable branch in CABAC dqp

x86inc: AVX symmetry optimization
3-arg AVX ops with a memory arg can only have it in src2,
whereas SSE emulation of 3-arg prefers to have it in src1 (i.e. the move).
So, if the op is symmetric and the wrong one is memory, swap them.
Eliminates redundant moves in some cases when using 3-operand without AVX with memory arguments.
Also fix movss and movsd in some cases, and flag shufps correctly as float.

checkasm: shut up gcc warnings, fix some naming of functions in results

checkasm: fix build on ARM
Because of how ALIGNED_ARRAY_16 is defined on ARM, array initialisers cannot be used here.  Use memset() instead.

Improve makefile rules
Remove the need for "make clean" after most reconfigures.

Mark some local functions as static, cosmetics

Fix crash if timecode file opening fails

Configure: force PIC for shared build on PARISC and MIPS

Improve yasm version check
Previous check allowed certain earlier versions that weren't fully compatible.

Add fenc prefetching to adaptive quant
Many fewer cache misses, faster adaptive quant.

Split prefetch_fenc between colorspaces
Add 4:2:2 version.

Some more 4:2:2 x86 asm
coeff_last8, coeff_level_run8, var2_8x16, predict_8x16c_dc, satd_4x16, intra_mbcmp_8x16c_x3, deblock_h_chroma_422

Remove obsolete versions of intra_mbcmp_x3
intra_mbcmp_x3 is unnecessary if x9 exists (SSSE3 and onwards).

SSSE3/SSE4/AVX 9-way fully merged i8x8 analysis (sa8d_x9)
x86_64 only for now, due to register requirements (like sa8d_x3).

i8x8 analysis cycles (per partition):
 penryn sandybridge bulldozer
616->600  482->374  418->356  preset=faster
892->632  725->387  598->373  preset=medium
948->650  789->409  673->383  preset=slower

SSSE3/SSE4/AVX 9-way fully merged i8x8 analysis (sad_x9)
~3 times faster than current analysis, plus (like intra_sad_x9_4x4) analyzes all modes without shortcuts.

Merge i4x4 prediction with intra_mbcmp_x9_4x4
Avoids a redundant prediction after analysis.

Inline i4x4/i8x8 encode into intra analysis
Larger code size, but faster.

Initial XOP and FMA4 support on AMD Bulldozer
~10% faster Hadamard functions (SATD/SA8D/hadamard_ac) plus other improvements.

ARM: update NEON chroma deblock functions to NV12 pixel format

Add /usr/lib/{64/}values-xpg6.o to $LDFLAGS on Solaris
This is required for POSIX.1-2001 compliance.

Fix linker test for -Bsymbolic
The Solaris linker only accepts -Bsymbolic for objects compiled in dynamic mode (i.e. shared objects), so pass -shared to gcc.
Additionally, for x86_32 unresolved textrels cause a linker error so mark the .text section as 'impure'.

Add $SOFLAGS to exported SOFLAGS make variable

Allow setting a chroma format at compile time
Gives a slight speed increase and significant binary size reduction when only one chroma format is needed.

Improve profile help
List high422/high444 profiles, and don't show non-high-bit-depth profiles in high bit depth builds.

Fix infinite loop parsing TDecimate Mode 3 timecode v1 files

Fix some integer overflows/signedness errors found by IOC
The only real bug here is in slicetype.c, which may or may not affect real encodes.

Fix pixel_var2 with 4:2:2 encoding
Might have caused artifacts or suboptimal chroma compression.

Fix chroma intra analysis in 4:4:4 lossless mode

Fix use of uninitialized MVs in sub8x8 RDO

Fix detection of Alpha CPU arch on alphaev67

Optimize x86 asm for Intel macro-op fusion
That is, place all loop counter tests right before their conditional jumps.

CAVLC: clean up and restructure
Somewhat faster CAVLC and RD bit-counting.

CABAC: clean up and restructure
Somewhat faster CABAC and RD bit-counting.

Some initial 4:2:2 x86 asm

4:2:2 encoding support

SSSE3/SSE4 9-way fully merged i4x4 analysis (sad/satd_x9)

i4x4 analysis cycles (per partition):
penryn   sandybridge
184-> 75  157-> 54  preset=superfast (sad)
281->165  225->124  preset=faster    (satd with early termination)
332->165  263->124  preset=medium
379->165  297->124  preset=slower    (satd without early termination)

This is the first code in x264 that intentionally produces different behavior
on different cpus: satd_x9 is implemented only on ssse3+ and checks all intra
directions, whereas the old code (on fast presets) may early terminate after
checking only some of them. There is no systematic difference on slow presets,
though they still occasionally disagree about tiebreaks.

For ease of debugging, add an option "--cpu-independent" to disable satd_x9
and any analogous future code.

Faster intra_mbcmp_x3 for versions without dedicated asm
Select asm subroutines more intelligently in the wrapper functions.

Optimize x86 intra_predict_4x4 and 8x8

High bit depth Penryn, Sandybridge cycles:
4x4_ddl: 11->10,  9-> 8
4x4_ddr: 15->13, 12->11
4x4_hd:        , 15->12
4x4_hu:        , 14->13
4x4_vr:  15->14, 14->12
8x8_ddl: 32->19, 19->14
8x8_ddr: 42->19, 21->14
8x8_hd:        , 15->13
8x8_hu:  21->17, 16->12
8x8_vr:  33->19,

8-bit Penryn, Sandybridge cycles:
4x4_ddr: 24->15,
4x4_hd:  24->16,
4x4_hu:  23->15,
4x4_vr:  23->16,
4x4_vl:  10-> 9,
8x8_ddl: 23->15,
8x8_hd:        , 17->14
8x8_hu:        , 15->14
8x8_vr:  20->16, 17->13

Use realistic alignment for intra pred benchmarks in checkasm

Fix frame packing SEI with --frame-packing 0
According to the spec, when frame_packing_arrangement_type is equal to 0, quincunx_sampling_flag shall be equal to 1.

Fix install/uninstall shared libs if SYS is WINDOWS/CYGWIN

Add Hurd support to configure

Optimize x86 intra_satd_x3_*
~7% faster.

Optimize x86 intra_sa8d_x3_8x8
~40% faster.
Also some other minor asm cosmetics.

Scale interlaced refs/mvs for mvr predictors
Slightly improves compression and fixes a Valgrind error.

Optimize predict_8x8_filter and incidentally remove a valgrind false-positive

Don't override flat SSE2 dequant functions with non-flat AVX ones
Slightly faster.

Shut up some valgrind false-positives

Avoid some unnecessary allocations with B-frames/CABAC off

Fix typo in p8x8 RD analysis
Passed wrong idx to trellis.

Fix invalid memory accesses in x86 lowres_init when width <= 16

Fix intermediate conversion for YUVJ* pixfmts with 4:4:4 encoding

Fix pic_out returned by x264_encoder_encode with 4:4:4

Fix zeroing of mvr predictors in bskip blocks

Fix: chroma planes for weightp analysis were not initted if U early-terminates and V doesn't.

Expand borders before chroma weightp analysis
Prevents mc from using uninitialized source pixels.

Another 4:4:4 chroma weightp bug fix

Fix typo in help

Improve support for varying resolution between passes
Should give much better quality, but still doesn't support MB-tree yet.
Also check for the same interlaced options between passes.
Various minor ratecontrol cosmetics.

asm cosmetics: base-4 constants for shuffles

Enable some existing asm functions that were missing function pointers
pixel_ads1_avx, predict_8x8_hd_avxx
High bit depth mc_copy_w8_sse2, denoise_dct_avx, prefetch_fenc/ref, and several pixel*sse4.

Remove some unused, broken, and/or useless functions
Unused frame_sort.
Unused x86_64 dequant_4x4dc_mmx2, predict_8x8_vr_mmx2.
Unused and broken high_depth integral_init*h_sse4, optimize_chroma_*, dequant_flat_*, sub8x8_dct_dc_*, zigzag_sub_*.
Useless high_depth dequant_sse4, dequant_dc_sse4.

asm cosmetics: merge all the variants of ABS macros

asm cosmetics part 2
These changes were split out of the cpuflags commit because they change the output executable.

asm cosmetics: INIT_MMX/XMM/YMM now support a cpuflags argument

Reduces the number of macro args that need to be passed around.
Allows multiple implementations of a given macro (e.g. PALIGNR) to check
cpuflags at the location where the macro is defined, instead of having
to select implementations by %define at toplevel.
Remove INIT_AVX, as it's replaced by "INIT_XMM avx".

This commit does not change the stripped executable.

Import x86inc.asm patches from libav

Cosmetics: s/mmxext/mmx2/

Fix two bugs in 4:4:4 chroma weightp analysis
Caused slightly worse compression.

Fix "--asm avx"
Previously required "--asm sse2fast,fastshuffle,sse4.2,avx".

Re-add support for glibc <2.6, which doesn't have CPU_COUNT

Avoid using deprecated libavformat functions
Replace av_find_stream_info with avformat_find_stream_info.
Now requires libavformat 53.3.0 or newer.

Use assembly versions of some deblocking functions in MBAFF