simtest: Add new tests to check sadf XML header validity

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: XML: Update XSD document so that XML header validates

Trying to validate XML output from "sadf -Hx" fails because some
elements are expected to be found, e.g.:

$ sadf -Hx | xmllint --schema xml/sysstat.xsd -
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE sysstat PUBLIC "DTD v3.8 sysstat //EN" "http://pagesperso-orange.fr/sebastien.godard/sysstat-3.8.dtd">
<sysstat xmlns="http://pagesperso-orange.fr/sebastien.godard/sysstat" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://pagesperso-orange.fr/sebastien.godard sysstat.xsd">
<sysdata-version>3.8</sysdata-version>
<host nodename="linux-4.home">
<sysname>Linux</sysname>
<release>5.0.16-100.fc28.x86_64</release>
<machine>x86_64</machine>
<number-of-cpus>8</number-of-cpus>
<file-date>2019-10-12</file-date>
<file-utc-time>16:03:24</file-utc-time>
<timezone>CET</timezone>
</host>
</sysstat>
-:9: element host: Schemas validity error : Element '{http://pagesperso-orange.fr/sebastien.godard/sysstat}host': Missing child element(s). Expected is ( {http://pagesperso-orange.fr/sebastien.godard/sysstat}statistics ).
- fails to validate

Update XSD document to indicate that "statistics" and "restarts"
elements may not exist.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save timezone value in archive file

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update tests output to take into account timezone value

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Display timezone value

Update sadf to display timezone value in the XML, JSON and Header
formats.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update DTD and XSD documents to take into account new timezone field

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Add timezone value in binary data file

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Check for FIXME tags at the end of the tests list

Move test used to look for FIXME tags at the end of the list.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Make sure we can read file headers structures from older
versions

Reading the file_header or file_activity structures from a daily data
file from an older version where fewer fields were present might be a
problem as we allocate buffers based on the size of the structure from
the file. This buffer would ithen be to small for the remap_struct()
function to remap the fields to current (larger) structures.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure: Add more checks

Check for more include files.
In particular, make sure that <linux/sched.h> and <pcp/impl.h> files
exist before including them.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make sure TZ variable is taken into account

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make more tests independent from timezone value

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Try to get more info from test 00571

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Change 'flags' type from unsigned int to uint64_t

Need more bits for future extensions.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update test expected result for sadf raw output

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Enhance raw format ouput

Now also display records header contents in debug mode.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Fix false positive test result

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat-12.2.0

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.1.7

sysstat version 12.1.7 final packaging.
lsm and spec files updated.
Changelog added.

The main new feature brought by this version is the support for stable
identifiers for sar disks statistics. This stable identifier (which
won't change across reboots) is the WWN (World-Wide Name) of the device.
The sar and sadf commands included in this version are also ready to read
new formats of binary data files which could arrive in a (hopefully)
distant future.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with the Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add non regression test for sa2 shell script

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure: Add sar_dir configuration variable

This variable defines the directory where the sar binary command is
located.
This variable will be used in sa2 shell script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add more non regression tests

Test sa1 shell script.
Also look for FIXME tags in code.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure: Add new conf_file variable

This variable contains the name of sysstat main configuration file
(this file is named sysstat by default and is normally located in the
/etc/sysconfig directory)

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix null pointer dereferences

Fix CID#349500 & CID#349501.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Make sure structures are init'ed before using

Fix CID#349503.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Check string's size when copying

Make sure string's contents won't overflow.
Fix CID#349502.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Fix insecure data handling

Check values read from file before using.
Fix CID#349504.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Keep code used to create a binary datafile

I had in mind to throw away this file. Keep it anyway as it might be
reused one day.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add non regression test on datafiles extra structures

data-extra-12.1.7 is a binary datafile with a next generation format (it
contains various extra structures that could be added in a future
sysstat version).
This test makes sure that current sysstat version will be able to read
such a format.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update sadf -H output in tests results

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Update again sadf -H output

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadc: Add support for several types of extra records

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update sadf -H output in tests results

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Update sadf -H output

Also display now if extra structures are present in file or not.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Add extra flexibility in case of a change of file format

Add some extra code to sar and sadf so that they can read new
structures saved in daily binary data files. No changes in binary data
files are planned at the present time, but should a change happen in a
(hopefully) distant future, current sar and sadf commands will be able
to read this new format.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sa_conv.c: Make sure all structures are init'ed before use

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make tests independant from current locale

Depending on the locale used, decimal values might use a comma instead
of a decimal point. Make sure that a decimal point is always used.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadc: Make sure all structures are init'ed before use

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix #232: Memory corruption bug due to Integer Overflow in remap_struct()

Try to avoid integer overflow when reading a corrupted binary datafile
with sadf.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Update manual page

Explain new option "-j SID".

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Update usage message

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Fix comment

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add non regression tests for stable identifier support

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Stable Id support: Update non regression test

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadc: Add stable identifier support for disks statistics

This patch adds new fields to stats_disk structure to save a stable
identifier for each block device (see issue #195).
A stable identifier is a name that should not change across reboots for
the same physical device.
At the present time this stable identifier is the WWN (World Wide Name)
id that is read from /dev/disk/by-id if it exists for the device.
If it doesn't exist then we fall back on using the pretty name (sda,
sda1, etc.).
The stable identifier is always collected by sadc when disks statistics
are collected (sadc option "-S DISK | XDISK").
It can be printed by sar (or sadf) with the option "-j SID" (SID stands
for Stable IDentifier).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix #231: Make iostat tests independent from the timezone value

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Fix test for sar forward compatibility

version.h and sysconfig.h files are ignored by default (cf. .gitignore
file). So rename them so that they can be taken into account.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add non regression test for sar forward compatibility

This test makes sure that an old sar version (here, 12.0.1) can still
read a binary data file created by latest up-to-date sar version.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat-12.1.7

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.1.6

sysstat version 12.1.6 final packaging.
lsm and spec files updated.
Changelog added.

In this version, the iostat command has been heavily modified for better
performance. In particular devices structures are now dynamically allocated
to make sure you won't miss a device if many of them are added to the
system while iostat is running. Also sysstat test environment now
includes a large set of non regression tests for iostat.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with the Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix #230: Memory corruption bug due to Integer Overflow in remap_struct()

(See problem description in issue #230.)
Check that the number of fields (long long integers, long integers or
integers) as read from a system activity binary datafile multiplied by
its alignment width doesn't overflow, i.e. the result must not be
smaller than the number of fields.

Reported-by: Ren Kimura
Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add a comment concerning CPU values displayed in RAW mode

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update data used for sar cross-day test

Previous data-cd data file had some bogus values leading to strange data
being displayed by sar (e.g. average values of 0.00 for CPU).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Fix sar -s/-e output on datafile spanning two days

This patch fixes the output of the following command:

TZ=GMT ./sar -f tests/data-cd -s 23:59:58
Linux 1.2.3-TEST (SYSSTAT.TEST)  05/01/2019  _x86_64_ (8 CPU)

11:59:58 PM     CPU     %user     %nice   %system   %iowait    %steal     %idle
11:59:59 PM     all      2.28      0.00      1.93      0.50      0.00     95.29
12:00:00 AM     all      2.66     23.20      2.27      0.16      0.00     71.71
12:00:01 AM     all      6.53      9.63      4.42      0.54      0.00     78.89
Average:        all      4.01     13.45      3.02      0.39      0.00     79.13

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix comment

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Add new non regression tests

These tests focus on devices with a slash in their name (e.g.
cciss/c0d0...).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Make sure that devices that have a slash in their name get
properly printed

Make sure that devices that have a slash in their name (e.g.
cciss/c0d0...) are displayed with their real name, not their name used
to save them in the linked list ('/' character is replaced with '!'
there).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Start tests on current root directory

Don't assume that tests always start on tests/root1 directory.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Removed unused definitions from iostat.h

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Use the right major and minor numbers to read partitions stats

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix issue when a UUID is given on the command line

A command like "iostat -j UUID 2578463f-6947-48c7-8b09-876a4145cfb1 1 2"
didn't work because the UUID name was considered as the interval of time
to use. This patch fixes the problem.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Increase array size in get_devname_from_sysfs() function

Array might be too small in test mode. So increase its size.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Update non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Major code refactoring

This patch adds the following features:
* Structures for devices statistics are now dynamically allocated. It is
no longer possible to miss a device if many of them are added into the
system while iostat is running.
* Check for devices which are removed then inserted again into the
system. iostat will no longer display abormally high numbers in these
cases.
* Better handle devices entered on the command line, which may be
partitions and/or whole devices.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Small update in sysstat.ioconf file

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add new sar/sadc non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Fix compilation warnings

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: sar: Add non regression tests for sensors statistics

Sensors statistics cannot be read in Travis CI environment because the
requested library is not available. But we can at least display sensors
statistics from a binary datafile already containing them.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update do_test script

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Try to simulate the addition of a new FB host

For this, we need to make sure that FB hosts will always be read in
the same order (and especially on Travis CI VM) though this may depend
on the underlying filesystem implementation.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: RAW: Fix the place where the NEW tag is printed for FB hosts

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: XML: Fix bad transmission word statistics for FB hosts

A wrong variable was used to calculate the transmission word statistics
for FB hosts. Fix this.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Better handle the case when FB hosts are added to the system

If a new Fibre Channel host is registered in the system, now display its
statistics even for the interval during which it has been registered. In
this case, its initial counters values are considered as 0.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make sure we are in GMT timezone for iostat test 02430

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make it possible to use /dev/sdb in iostat test

/dev/sdb probably doesn't exist on Travis CI virtual machine, making
iostat non regression test using it fail.
Make sure we stay in our simulation environment by providing a
replacement function for realpath() system call.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add debug code

Display canonicalized absolute pathnames.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Improve iostat non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add more iostat non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix prototype definition in systest.h

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make sure all directories are created

Empty directories are not taken into account but git. So create a file
in each of them.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'akosiaris-master'

Merge branch 'master' of https://github.com/akosiaris/sysstat into akosiaris-master

simtest: Add iostat non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update sar/sadc/sadf non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Remove real-time tests

Real-time tests are no longer useful since they are now simulated.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix wrong CPU stats displayed with option -y

CPU statistics written for the first sample was wrong when option -y was
used. This was because the interval of time used was that since system
startup whereas it should have been the interval of time since last
sample (which is not displayed with option -y).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Allow more space for persistent type directory names

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Check for InCsumErrors for EICMP as well

In 789cd86fb0, read_net_icmp() obtained code to differentiate between
the old and new format of /proc/net/snmp, which differ by the addition
of "InCsumErrors" in the 3rd position. Add the exact same handling logic
to read_net_eicmp() as well

Signed-off-by: Alexandros Kosiaris <akosiaris@gmail.com>

simtest: Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Update manual page

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Allow to select individual CPU/interrupts with option -A

Previously, using option -A with sar or sadf would display statistics
for all CPU and interrupts (i.e. using -A would also imply -P ALL -I
ALL).
Now this will be true only if the user didn't specify explicitly a list
of CPU or interrupts using options -P or -I.
Example: "sar -A -P1,4" will display all possible statistics but only those
concerning CPU 1 and 4 for CPU-related metrics.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Remove unused output file

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Fix test 01405

Make test independent from timezone value.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Update non regression tests

Make sure that the result of the test (success/failure) is based on the
exit code of the sysstat command.

Also add a new non regression test: Check that sadf -g terminates
properly on a truncated input file.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add/update non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make tests results independent from sysstat version

Set sysstat version to 99.9.9 in test mode.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update FAQ.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>