change SHVER from 4 to 5

due to earlier introduction of

- one-class svm

- no regularization of the bias

linear.cpp (check_parameter): only check value of p if L2R_L2LOSS_SVR.

The parameter `p` is only used by the L2R_L2LOSS_SVR solver so skip
checking its value unless using it.  This is important because it has
no default value meaning that we are effectively forcing the user to
set it even if they don't use it.

Signed-off-by: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>

fixed type of struct problem y

Add instructions for Python home-directory installation

Fix minor issue of README

Update prebuilt binaries for windows

in matlab/README mention that Windows users must copy mex files to the matlab directory

change version number for 2.43 release
change year in COPYRIGHT

improve installation description in python/README

Add more instructions for the python interface installation

Fix package name and README

Fix package name error

Replace tabs with four spaces in Python files

Co-authored-by: Yu-Sheng Li <kevin1kevin1k@gmail.com>
Co-authored-by: Jui-Nan Yen <gkevinyen5418@gmail.com>

Enable installation with PyPI

Co-authored-by: Yu-Sheng Li <kevin1kevin1k@gmail.com>
Co-authored-by: Jui-Nan Yen <gkevinyen5418@gmail.com>

Change the CFLAGS setting ` CFLAGS="\$CFLAGS -std=c99" ' to default setting in the mex functions,
that is, we remove it in the mex functions.

We have tested this change with the environments `Visual Studio 2019' and `MinGW' in `Windows 10',
`GCC/G++' in `Linux'.

Adjust eps parameter comment in README: "stopping tolerance"

The comment was changed in linear.h via https://github.com/cjlin1/liblinear/commit/7b0193baec9a443684e4a079ae4a2040971f67cf.
However, the code snippet in the README was not adjusted.

Signed-off-by: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>

Move warning reaching max iter for dual L1-loss SVM and dual L1-loss SVR to train_one()

Add back warning for dual L1-loss SVM and dual L1-loss SVR

minor fixes:

- COPYRIGHT year

- return var instead of return (var) for constancy

In train_one we specify max_iter of dual solvers to be 300, but
the default max_iter in function definition was 500.
For example,

static int solve_l2r_l1l2_svc(const problem *prob, const parameter *param, double *w, double Cp, double Cn, int max_iter=500)

Now 500 is changed to 300 to reflect what we really used.

Update windows and matlab binaries

Stopping conditon of dual CD method for L1- and L2-loss SVM is changed

Currently the stopping condition is M-m <= \epsilon, where

M = max proj_gard(alpha) and m = min proj_grad(alpha).

This condition works well in practice, but we must ensure that the
following situation does not occur.

  M, m >> 0  or M,m << 0
but
  M - m <= \epsilon.

From the optimality condition, |M| and |m| must be close to zero.
For example, because

  grad_i f(0) = -1, for all i.

M=m= -1 and they satisfy M-m <= \epsilon.  Thus we add |M| <=\epsilon
and |m| <= \epsilon$ into the stopping condition.  In fact we can use
only these two inequalities as the stopping condition, but for
historical reasons we keep M-m <= \epsilon as the main condition to
check.

Update windows and matlab binaries

update version number in linear.h for 2.42 release

Automatic switching from dual CD to primal Newton if slow convergence occurs.

For l2-regularized logistic regression and L2-loss linear SVM,
liblinear provides two types of solvers: dual CD and primal Newton.
They are respectively first-order and second-order methods,
and are suitable under different circumstances.

The default solver (dual CD) may be slow
in some situations (e.g., data not scaled). In the past,
if slow convergence occurs, liblinear
issues a warning message suggesting users to use the
primal Newton method. In this commit this switch becomes automatic
to ensure that a reasonably good approximate solution of the
optimization problem is directly returned to the user.

The main change is in train_one(). It checks if iter of dual CD >= max_iter
and then switch to call primal Newton. Stopping tolerance is also adjusted.

minor changes:
- in comments tabs replaced with spaces
- for calling dual solvers, instead of passing individual parameters, the structure param is now passed

- add max Newton iter warning in newton.cpp

- in code comments replace tabs with spaces

Two changes in newton.cpp

- in the previous version, the output is like

init f 1.403e+07
iter  1 f 5.390e+06 |g| 6.197e+05 CG   2 step_size 1.00e+00

we indeed print

f(w_k) |g(w_{k-1})|

So |g| 6.197e+05 is the grad at f(0) = 1.403e+07.

The output is changed to

init f 1.403e+07 |g| 6.197e+05
iter  1 f 5.390e+06 |g| 2.118e+05 CG   2 step_size 1.00e+00
iter  2 f 1.925e+06 |g| 7.244e+04 CG   4 step_size 1.00e+00

Each line shows the new f and |g| after an iteration with
CG steps and line search step_size

- in pcg(), we calculate

        alpha = zTr/ddot_(&n, d, &inc, Hd, &inc);

before the stopping condition based on quadratic approximations.
But after the previous CG step, the new zTr and dHd may both be zero
(or very close to zero). Then 0/0 may occur. In such a situation CG
should stop. Now a safeguard check is added:

+ dHd = ddot_(&n, d, &inc, Hd, &inc);
+ // avoid 0/0 in getting alpha
+ if (dHd <= 1.0e-16)
+ break;

Remove unused local variable

Signed-off-by: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>

Remove unused parameter

Signed-off-by: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>

Export get_decfun_rho and check_oneclass_model from liblinear.dll

Signed-off-by: Chih-Jen Lin <cjlin@csie.ntu.edu.tw>

update version number in linear.h to 2.41

Update windows and matlab binaries

Add one-class (-s 21) help message to matlab/train.c

modifications are made for one-class svm:

-In liblinear.cpp, fix bug that rho is wrongly calculated

-In matlab/linear_model_matlab.c, fix bug that matlab did not
read rho from matlab model struct

-In matlab/train.c, a default nu was not set, now 0.5

Fix Makefile.win and update windows and matlab binaries

add -R explanation in README (and mention that generally it's not needed)

Add -R option to matlab and python interface

Newton solver is changed from trust region to line search

Specific changes are as follows.

- file name change:

tron.cpp and tron.h are changed to newton.cpp and newton.h, respectively.

In newton.cpp, the subroutine trpcg is changed to pcg.

Some functions (in the class newton) used for trust region are removed.

- classes of functions in linear.cpp:

A new class of function l2r_erm_fun is added to cover lr and svm.
It assumes the following function form

min_w w^Tw/2 + \sum C_i \xi(w^Tx_i), where \xi() is the loss

Some common utilities in particular the line-search subroutine (see below) are
implemented here.

- line search subroutines:

A special line-search subroutine for l2r_erm_fun is implemented in linear.cpp
so for each step size the function value can be cheaply calculated.

A base implementation of line search is provided in newton.cpp, where it
calculates every function value from scratch.

We require that the line-search subroutine to update w and also maintain
the function value.

- CG stopping criterion

It's changed to check a quadratic approximation instead of the
residual. See the release notes of version 2.40.

- CG stopping tolerance

LIBLINEAR enlarged eps_cg if the initial primal solution is not
null. This was from Chu et al. (2015) to avoid too many CG steps
in warm start for parameter selection. We found that this setting
is no longer needed; see details in version 2.40 release notes.

Add a new option -R for not regularizing the bias

version number in linear.h updated to 2.40

Fix one comment in linear.cpp and a description of get_decfun_bias() in python/README

solver for one-class SVM supported
    -add new solver ONECLASS_SVM (-s 21)
    -add function solve_oneclass_svm
    -add new attribute rho to model
    -add new attribute nu to parameter
    -modify function check_parameter, get_decfun_bias
        to reject one-class SVM from accessing bias
    -modify/add function get_decfun_coef, get_decfun_rho, get_w_value
        for one-class SVM to get its decision function
    -add function check_oneclass_model
    -modify python/MATLAB interface and train.c update
    -REDME update

init_sol in the parameter structure was introduced earlier but no explanation in README. Now added

change SHVER from 3 to 4 due to the function name change or new functions

-  TRON::trcg -> changed to TRON::trcpg (version 2.20)
-  find_parameters_C -> changed to find_parameters (version 2.30)
-  possibly a new solver for one-class SVM

change a feature_node * variable name from s to xi in get_diag_preconditioner() for consistency with other places

fix a bug in README building windows binaries
update the directory in README to fit visual studio latest version
modify the explanation in matlab/README installation

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

in commit 347607e403e8b43e097ee409a908aa0d186e09f5
we added return 0 into print_null in predict.c. This should
be applied to matlab/predict.c as well.

Remove trailing white-space

Add log message to matlab/train.c in function do_find_parameters

Remove redundant trailing whitespace in linear.cpp, python/liblinearutil.py and tron.cpp

remove an unnecessary tab in train.c

Update windows and matlab binaries

The binaries are built by VC 2015 & matlab R2016b on Windows 10

Change find_parameter_C to find_parameters in linear.def

Fix find_parameters function parameter struct type in linear.h

Remove a redundant newline in help message

change version number in liblinear.h to 2.30 for the new release
also change year in COPYRIGHT

Fix some minor indentation and space issues

L2R_L2LOSS_SVR warm start parameter search supported
-add function find_parameters for parameter search
-modify function find_parameter_C as subroutine of find_parameters
-add function calc_max_p for maximal p parameter for L2R_L2LOSS_SVR
-modify function calc_start_C for L2R_L2LOSS_SVR
-modify function train to support initial solution for L2R_L2LOSS_SVR
-change L2R_L2LOSS_SVR default -e to (0.0001)
-change parameter stopping condition from num_unchanged_w == 3 to 5
-modify python/MATLAB interface and train.c update
-REDME update

Explain in python/README that commonutil.py includes functions for both LIBSVM/LIBLINEAR

Fix compiling issues in matlab interface

Use mex command to build binary files to prevent compatibility issues

in solve_l1r_l2_svc, loss_old is initialized in a for loop over num_linesearch
by
if(num_linesearch == 0)
Some compiler think it's not initialized.. Hence this change add loss_old = 0 when it's declared.

a _cstr function to encode string to utf-8. Use it for file names in
loading and saving model. The _cstr implementations are different for
python 2.x and 3.x
This changes follows from the modification in libsvm

version number changed to 2.22 for next release

set a max_cg_iter for the CG while loop.

remove trailing space

in README use an example to explain that -C returns only the best
parameter rather than a model. Users must use the selected parameter
to train a model.

change year info in COPYRIGHT

Update windows and matlab binaries

The binaries are built by VC 2015 & matlab R2016b on Windows 10

Change version number to 221 for 2.21 release

Changes due to a modification of the same file in LIBSVM:

use array for reading data in python/commonutil.py to lower the memory usage

Changes due to a bug of the same file in LIBSVM:

fix a bug in python/commonutil.py for reading pre-computed kernel

Rename get_diagH to get_diag_preconditioner

Changes due to a bug of the same file in LIBSVM:

    Fix a bug in python/commonutil.py that the function "csr_scale" does not return the scaled data

Include LIBSVM's svm-scale.c in the package.

    Add two functions (csr_find_scale_param, csr_scale) for data scaling in python interface.

    Remove utility functions (svm_read_problem, evaluations) in liblinearutil.py and directly use them from LIBSVM's commonutil.py. Functions for scaling are also put in commonutil.py.

In svm_read_problem we removed zeros while reading data. Changed to keep them for consistency with LIBSVM (for which zeros must be kept for pre-computed kernels)

add section title "Quick Start with Scipy" in table of contents

Print more digit of predicted labels (%.17g) as more accurate target values may be needed for regression. This change follows from the recent changes in LIBSVM.

Fix a bug in svm_read_problem of python/liblinearutil.py so float(val) rather than val is used to detect zero fearue values.

print more digits of model parameter: %.16g to %.17g

Fixed bug and optimize code in TRON::tron

Variable "iter" and "w" won't change in the
while loop of function TRON::tron when the
direction does not lead to sufficient
function-value decrease, so using expression
"iter == 1" as a flag to initialize variables
will cause problems in the first step.
We introduce a new variable "delta_adjusted" to
fix the bug.

The function call "fun_obj->get_diagH(M)" and the
calculation of "(1-alpha_pcg) I + alpha_pcg M"
can be saved if "iter" and "w" remains the same.
We move some lines of code to save the
calculation.

Instructions in README for building windows dynamic library: libsvm.dll
should be liblinear.dll

move l2r_lr_fun::get_diagH(double *M) to an earlier place to be consistent
with l2r_l2_svc_fun::get_diagH(double *M)

version number in linear.h changed to 220 for 2.20 release

Update windows and matlab binaries

The binaries are built by VC 2015 & matlab R2016b on Windows 10

Add mixed diagonal preconditioner to TRON method

We use (1-alpha)*I + alpha*diag(H_k) with
alpha=0.01 as a preconditioner to run PCG in TRON
method.

Following lines are the changes:
- Change TRON::trcg to TRON::trpcg with
additional argument M for PCG iterations
- Add l2r_l2_svc_fun::get_diagH and
l2r_l2_svc_fun::get_diagH to get diagonal
component of Hessian
- Add static function uTMv for weighted dot
for vector u and v with weight M

For detailed analysis, please check
http://www.csie.ntu.edu.tw/~cjlin/papers/tron_pcg/precondition.pdf

change year info in COPYRIGHT

in load_model() of linear.cpp, parameters for training only won't be assigned after reading the model. However, we initialize arrays as NULL for safety. This follows the earlier change in libsvm

Update windows and matlab binaries

The binaries are built by VC 2010 & matlab 2013a on Windows 10

Merge branch 'master' of svm.csie.ntu.edu.tw:liblr

Add Scipy Support for Python Interface

Remove unused fscanf in load_model in linear.cpp

Since FSCANF() function will check if the program
successfully read a double each time in for loop
(line 2887 in linear.cpp), the lines from 2888 to
2891 in linear.cpp are redundant and may cause
error in new version of VS compiler (14.0).

Fix coding style

Modify README for better clarification

Add version information in LIBLINEAR README

Add version number for LIBLINEAR

remove trailing spaces and tabs

fix a description in README: the size of w is nr_feature*nr_class but we didn't mention the exception when nr_class = 2.

Add new region updating rule in TRON method

The new rule will change delta to delta*sigma3 when
actred >= eta2*prered and step reach trust region boundary in CG
iterations.

Following lines are the changes:
- Add new argument reach_boundary in TRON::trcg method to return whether
step from CG iterations reached boundary or not.
- Add new enlarge rule using the result reach_boundary returned from
TRON::trcg in TRON::tron method.

Remove an unnecessary check for actural reduction

Remove a redundant array in Hv functions