initial commit of line search branch

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

the array D for the diagonal matrix in Hessian isn't needed for l2_loss problems
so we remove it. It's now only used for lr.

Fix minor issues in describing the build of windows binaries

in "Building Windows Binaries" of README stress that binaries are
already available and they need to do it only if they want to
"re-build" the binaries.

fixed repeated declaration of variable j in function train.

Windows and matlab binaries built on KKT

Combine Xv and XTv and add sparse operator class

In Hv function, we combine the Xv and XTv operations to
significantly improve the performance.
For detailed analysis, please check Fig. 3 in
http://www.csie.ntu.edu.tw/~cjlin/papers/multicore_liblinear_icdm.pdf
In addition, we replace some repeated linear operations with functions
in the new class, sparse_operator, to improve the readability.

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

fix a spelling error in a comment

Change %lf to %g in do_find_parameter_C() for Readability

Fix the python interface for windows

Add find_parameter_C to linear.def,
and add lib to all target in Makefile.win.

We fix the warning messege of the 'fscanf' function in this commit.

In the last one 'fscanf', we use the 'if' statment to check the 'return value'
because its 'return value' is different from the others.

Note that '__VA_ARGS__' in the 'define' function is not support in C89.

Catch the exception to display the error message

Wrap entire make.m into a function such that we dont't
pollute the variable namespace. Without this, make.m
will introduce a variable called "err".

fix an indentation problem in python/liblinearutil.py

change 2014 to 2015 in copyright

Windows and matlab binaries built on KKT

Fix bug and memory leaks in 2.0
- For SVR, model_->w was not initialized.
  Now it is initialized in train().
- For parameter search, subprob of CV and its x, y are not freed
  at the end of find_parameter_C().
- There were problems in checking prev_w for stopping condition.
  It wrongly allocated memory for num_unchange_w < 0.
  Flow control is modified.
- Reposition w_new in tron to reduce peak memory usage.
- Now print nr_fold when parameter search starts.

README: example for -c with -C

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

Windows binary (with matlab binaries) compiled on KKT

warm start parameter search supported
 -add functions for parameter search
 -add init_sol in struct parameter
 -modify function train to support initial solution for L2R_LR and L2R_L2LOSS_SVC
 -interface and train.c update: option -C is added

Windows binary (with matlab binaries) compiled on KKT

Squashed commit of the following:

commit 3f867438140182ad5edeb7b5fff11fbe39216052
Author: boyu <r02222047@ntu.edu.tw>
Date:   Mon Jun 29 04:23:22 2015 +0800

    num_unchanged_w

commit d8fce5f7a19fa14bcfe0245be1217741706bb913
Author: boyu <r02222047@ntu.edu.tw>
Date:   Sun Jun 28 14:57:25 2015 +0800

    windows math.h log ambiguous fix

commit 52d5addd8179f247f56df8eb098fa24751b8bf0c
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Sat Jun 27 16:38:04 2015 +0800

    c_double * 0 => None

commit 24e0fac8d23b31de54c28ab4a790d4fe56f5f3b0
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Sat Jun 27 15:04:27 2015 +0800

    default of -C: L2R_LR => L2R_L2LOSS_SVC

commit fd170647d2808ff3ff97e4af7d2e76734a5ffd7a
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Sat Jun 27 00:11:36 2015 +0800

    Fix NULL pointer bug, python README

commit 947cfa1226a774e79675c7280d2de6719545ff29
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 26 23:50:34 2015 +0800

    fix

commit 225d35ed39d2b9028ae4da1005183ea65a30d5f1
Merge: adf59e5 5d5b3a6
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 26 23:49:37 2015 +0800

    Merge branch 'parasearch' of svm:liblr into parasearch

commit adf59e5ecc60e5b943bf0083a8d53156463125a9
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 26 23:49:12 2015 +0800

    fix

commit 5d5b3a60edd41b4585c669f210b0bb67f83900b4
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Fri Jun 26 21:07:31 2015 +0800

    README

commit bcdde0a776b6f7f1023ec65733d689834c9c445d
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 26 19:52:57 2015 +0800

    num_unchanged_w; README

commit 97b4b7a2af81767effadaaa3549f29e5866320e3
Author: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>
Date:   Thu Jun 25 20:07:24 2015 -0700

    minor changes to ensure consistency

commit b982e1c0fed146c82efc616de49f10323fb9ae8f
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 26 02:56:29 2015 +0800

    naming and indent

commit a46ba8359de45401f9693ef27c1bfd2ed968118e
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 26 02:40:07 2015 +0800

    comments except 67 and interface

commit 75b8a547eb742240127f39599f94427d1bf9300e
Merge: 83dc99b 1c9b998
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 23:05:58 2015 +0800

    Merge branch 'parasearch' of svm:liblr into parasearch

commit 83dc99b843569c4fa868ad0c9eb669a7e1e9ac9b
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 23:05:22 2015 +0800

    solver specified

commit 1c9b9989046244ba6b983abffc742f931290c692
Merge: 1be6f38 e25481b
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Thu Jun 25 22:24:21 2015 +0800

    Merge branch 'parasearch' of svm.csie.ntu.edu.tw:liblr into parasearch

commit 1be6f384358d79b86d602dcfbae0d2bd0c0ff951
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Thu Jun 25 22:23:58 2015 +0800

    MATLAB interface README

commit e25481bd5325a6d2fc076af20ed55c3afd02b62b
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 20:56:16 2015 +0800

    unchanged_w undo

commit e41852838bae0acec5e64e20e6de308179456597
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 13:03:41 2015 +0800

    python fix

commit d86ef0693eb18e7b763b3e18581c56b2054283c4
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 13:00:50 2015 +0800

    comments 6/25

commit ffc1831a7a28113925ed4825ad57e67a4f26124b
Merge: fed01f9 a29f7b1
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 12:47:23 2015 +0800

    Merge branch 'parasearch' of svm:liblr into parasearch

commit fed01f95c27b720d9755a1f5a0601c76ae0e75f8
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 25 12:24:29 2015 +0800

    python

commit a29f7b111a5b464bcd612490da00b4952db95167
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Thu Jun 25 11:22:28 2015 +0800

    comments 20150625: train.c matlab/train.c

commit d25ac8709c095be2406cf3eda6125e34197e5966
Merge: e45c874 4dc5739
Author: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>
Date:   Thu Jun 25 02:30:18 2015 +0800

    Merge branch 'parasearch' of svm.csie.ntu.edu.tw:liblr into parasearch

    Conflicts:
     linear.cpp

commit e45c8742e8ef05a47c7c9613807ca7954ab21925
Author: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>
Date:   Thu Jun 25 02:26:37 2015 +0800

    reorder variables' declaration in find_parameter_C

commit 4dc57397a193faf761cf3602d8daae027a6930de
Author: boyu <r02222047@ntu.edu.tw>
Date:   Wed Jun 24 23:25:31 2015 +0800

    fix

commit a37f6180940470d491fa7db0db88a7801903fbf8
Author: boyu <r02222047@ntu.edu.tw>
Date:   Wed Jun 24 18:32:21 2015 +0800

    fix

commit bf8dcd427e82f52da413406eac84189445ef12a9
Author: Chia-Hua Ho <b95082@csie.ntu.edu.tw>
Date:   Wed Jun 24 18:09:49 2015 +0800

    MATLAB interface

commit 10ec863e6560e16fa3edb5b45387961efbd3bbbe
Author: boyu <r02222047@ntu.edu.tw>
Date:   Wed Jun 24 15:55:07 2015 +0800

    comments 0618; merge the two new subroutine

commit 069daa543cfd6bb0f2b858a3a4c6ac60d385f32e
Author: boyu <r02222047@ntu.edu.tw>
Date:   Thu Jun 18 19:08:50 2015 +0800

    CV separate; init_sol in param; remove interactive

commit 64bdcf116bca2ecc2c6956dbe62a8c517c31528f
Author: boyu <r02222047@ntu.edu.tw>
Date:   Sat Jun 13 00:29:30 2015 +0800

    intial check on 2015 6 11

commit ae3fd7104ef587834ab06b5fdadaacaefb757ffe
Author: boyu <r02222047@ntu.edu.tw>
Date:   Fri Jun 12 18:50:06 2015 +0800

    nolable

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

Explain "Parameters" of the returned MATLAB/Octave model. It contains only solver type now

Using include "linear.h" instead of include "../linear.h"

Commented by Carnë Draug <carandraug+dev@gmail.com>:

The Matlab Makefile already has .. on the -I option for the compiler
so this was not required. This was only required for the make.m Matlab
and Octave script, so it was modified to include .. on the search path.

This change is required to build the mex files using a libsvm library
different than the one in this distribution.  Maybe a system-wide
install of libsvm, or just another version for testing.

See the pull request for details: https://github.com/cjlin1/libsvm/pull/29

Matlab/Octave: use the standard method of checking OCTAVE_VERSION to distinguish between the two.

Commented by Carnë Draug <carandraug+dev@gmail.com>

See the pull request for details: https://github.com/cjlin1/libsvm/pull/30

Make the indention of set_locale consistent with the group convention

symbolic link of libsvmread/write.c changed to hardlink
as files are not accessable in liblinear git directory

[Update] set windows 64bit as default

Change the access permissions to window binary from 644 to 755.

Check return value of setlocale().

setlocale() is allowed to return NULL.  In particular, this happens on
Bionic (Android's libc) because it doesn't support C locales.

Signed-off-by: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>

compile new version windows binary

Compile 64-bit windows binary to replace 32-bit windows binary.

explicit list blas/*.c for consistency with octave
(as for octave explicit names are needed)

Compile windows binary.

add three functions:
get_decfun_coef, get_decfun_bias, and check_regression_model
to linear.def

In get_decfun_coef and get_decfun_bias, a zero value is returned in all invalid
cases. We decide not to return NaN because we are not sure if it can be
properly assigned in all platforms. (For example, ``double nan = 0.0/0.0;''
won't compile in Visual Studio.)

To support nnz > 2^32, change the data type of the variables related to nnz.
Data types of some other variables are also changed to be consistent with the
data types returned by matlab functions.

remove ^M in the end of each line in make.m

1. use "extern C" in blas to make sure the compiled function names are always not mangled.
2. replace ``#'' with ``='' in matlab/Makefile

replace long int with size_t in linear.cpp and train.c

add two functions get_decfun_coef and get_decfun_bias

use __all__ in Python interfaces to make sure only useful things are visible to the users

Expand the expression of blas to fix the compiling error

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

stopping condition of l1 solvers uses 1-norm rather than inf norm
(wrong description in README)

initialize Gnorm1_init with -1

initialize Gnorm1_init with NAN

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

fix the following bug

- model_->bias = (int)ptr[0];
+ model_->bias = ptr[0];

modify matlab/train.c to check if the label vector is in dense format.

Change the year of COPYRIGHT from 2013 to 2014

Modify SHVER from 1 to 2.

matlab Makefile modified, octave removed

Modify README so that user can build 64 bit windows binary
Fix a bug in Makefile.win: __WIN32__ should be _WIN32

remove one space in matlab/README

compiled windows binary

Replace long with long int in linear.cpp for consistency

Change the type of nnz (counter of nonzero elements) in "transpose" in "linear.cpp" from "int" to "long."

revert previous two accidental commits

set number of threads

.

Modify python README so that users can run the examples without errors.

fix a bug: use "delete[] C" instead of "delete C" in train_one

Fix the mixing tab and space problem in tron.cpp.

Modify function group_classes in linear.cpp to ensure label[0] = 1 if class labels are +1 and -1

Fix the bug of type error when calling set_to_default_values() in python interface

Updated a switch statement.
Changed it to the convention.

Matlab interface parameter checking
Check 'nlhs' argument.
Allow various output size for predict.

Let nr_fold = l when nr_fold > l in CV

Signed-off-by: Po-Wei Wang <xflash96@gmail.com>

change the year to 2013

Compile windows binary.

Modify Python interface, major changes are:
    + Find local library first.
    + Change show() to __str__.

Add return 0 into print_null in predict.c,
because it is used to replace printf for the "-q" option
and printf will return the number of characters it printed.
In train we do not need this because the two "info" are different.

Fix some indention

fix a typo in make.m

fix some typo in README and matlab/make.m

update windows binary to correct version. (previous revision is 64-bit)

remove duplicated blas.h in blas/Makefile
fix a syntax bug in matlab/predict.c
update windows binary

Fix a typo(CXXC) in Makefile.win.

Fixed a bug of -q option of predict in matlab interface

Added -q option for predict and modified the solver type usage message

Remove matlab/run.m in trunk.

Modify the make.m of matlab,
the line after else should be moved right.

fix typos in python/README.

Fix bug. get_label() returns integer list. model.get_type() is not supported.

Fix bugs.
- svm_read_problem should accept regression problems.
- The model name in load_model should be encoded.

 copyright year 2012

Add windows binary files.

indicating -b 1 is only for testing

Add -s 11, 12, 13 to python and matlab interfaces.

- Add regression solvers (-s 11, 12, 13).
- In L1-regularized solvers, Gp <= H*w[j] and Gn >= H*w[j] become
  Gp < H*w[j] and Gp > H*w[j].
- For tron solvers, C array is used instead of Cp and Cn as the
  argument of the constructors of function classes.

Fix the type "-W1" to the correct option "-Wl"

Because model_ is a global variable, do_predict(input, output, model_)
does not need the third argument.

In python interface, file names should be encoded in save_model and load_model.
After python 3.2, we need to use bytes instead of a unicode string.

In the README file of python interface, p_val should be p_label
in the usage of evaluations().

Makefile is modified such that creating the shared library
works well on unix platforms by looking at the result of uname(1).
- We need this because Mac OS now does not ignore "-soname" which is used
  in Linux and BSD.
- We use uname(1) rather than $OSTYPE because uname(1) is available everywhere
- Instead of using the if-else of make, we use the if-else of shell. The
  reason is the syntax of if-else for gnu-make and bsd-make are different.