sadf: PCP: Add support for A_FS activity

Add metrics displayed by "sar -F" (filesystem statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix iostat regression for groups of devices

Device groups specified with iostat's option -g were no longer
displayed in the device report because of a regression introduced by
commit ccda26c. Fix that.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update documentation

Explain how options -s and -e are used with sadf.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Time used by options -s/-e no longer depends on the timezone value

The time specified with options -s and -e used by sadf has no longer to
be expressed in local time. This time is now consistent with that
displayed by sadf, e.g.: If sadf displays its timestamps in local time
then the time specified with options -s/-e is considered as expressed in
local time. If sadf displays its timestamps in UTC then the time used
with options -s/-e is also considered as expressed in UTC.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Keep adding more non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Use nanoseconds to distinguish between saDD and saYYYYMMDD

When no input datafile is specified, sar uses the most recent file
between saDD and saYYYYMMDD. The comparison had a precision of a second,
which is quite enough for normal use. Yet I needed more precision for
use in simulation tests. So use now a precision of the nanosecond.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add more non regression tests again

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Add more non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Allow option -i when no input file is specified

Option -i can be used if no datafile is specified  by the user (e.g. a
syntax like "sar -i 600" should not display an error).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix #222: Invalid JSON output displayed by iostat

Commit 5adec60 introduced a regression: JSON output was no longer valid
when option -y was used with iostat.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Don't collect sensors statistics

The statistics will depend on the host where the tests are run. So
don't collect them.
They also should not appear in datafile header displayed by sadf -H.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Make also sadf SVG output independent from the timezone value

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

simtest: Don't add another FC host

Don't add another Fibre Channel host when running sysstat simulation
tests. The output displayed by sar and sadf will depend on the order in
which filenames are read, which is dependent on the underlying
filesystem implementation, thus making tests non reproducible.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Make tests results independent from timezone value

Set TZ variable to GMT to make sure that all the data read by sar won't
depend on the local timezone value.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add sysstat simulation test environment

This patch adds all the necessary files to be able to run non regression
tests with reproducible results. The tests run in a simulated
environment composed of kernel files with predefined values.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Cosmetic changes in code

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Cosmetic fix in manual page

Option -u appears twice when describing -A option.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadc: Fix bad number of CPU displayed in a LINUX RESTART message

sadc didn't take into account properly a different number of CPU
When appending data to an existing file. This was because the number of
CPU recorded with the restart message was overwritten with that
originally saved in the file.
This patch fixes the problem.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Better detect if a disk has been unregistered then registered again

If a disk was mounted read-only then sar might not detect that a disk
had been unregistered then registered again. This is because detection
is based on counters (like number of written sectors) going down. Yet
with a read-only device, the number of written sectors is always 0 and
is never decremented.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Add missing %gnice CPU value for tickless CPU

A field (which should be displayed as 0.00) was missing in CPU
statistics displayed by "sar -u ALL" for tickless CPUs.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat-12.1.5

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.1.4

sysstat version 12.1.4 final packaging.
lsm and spec files updated.
Changelog added.

This version adds initial support for PCP (Performance Co-Pilot) output
format. sadf can now export part of its data to a PCP archive file.
This support is still experimental and will be completed in next sysstat
version.

This version also fixes several bugs. The major ones are:
* autofs entries in /etc/mtab are now ignored so that sar/sadf don't
mount the corresponding filesystems when reading their statistics.
* JSON output for iostat and mpstat has been improved so that the
commands can be interrupted with ^C (SIGINT signal) and we still get a
valid JSON output.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with the Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update sadf manual page

Explain new PCP-related options.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Fix seg fault on empty data files

Trying to display XML or JSON data (with sadf -x/-j) from a data file
containing only RESTART records created a core dump.
This patch fixes that.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Remove some debug code

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save COMMENT records in PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save RESTART records in PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add new flag FO_ITEM_LIST

This flag indicates that the linked list containing items names should
be created.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add new flag FO_LC_NUMERIC_C

This flag indicates that corresponding output format shall use a decimal
point, e.g. to be locale independant (SVG output) or compliant with
RFC7159 (JSON output).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add a function prototype to each output format

Each outpout format now defines the function used to display its
statistics.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge pull request #218 from danny-smit/217-add-umask-sysconfig-variable

#217: add umask sysconfig variable for sa1 and sa2

#217: add umask sysconfig variable for sa1 and sa2

sadf: PCP: Add support for A_NET_SOFT activity

Add metrics displayed by "sar -n SOFT" (network softnet statistics) to
PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Fix illegal result timestamp error

pmiWrite() function (from the PCP API) has a very nasty impact on
mktime().
Once pmiWrite has been called, subsequent mktime() calls will no longer
give the same result using the same input data, resulting in timestamps
that can be wrong because associated with a different timezone.
This patch tries to fix that.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_PWR_CPU activity

Add metrics displayed by "sar -m CPU" (CPU frequency statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Fix CPU metrics definition

CPU#1 is not necessarily selected by the user when PCP archive is
created. So don't use it to define per-cpu metrics.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add all interrupts statistics to PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Include pcp/impl.h file

Fix "undefined reference to pmInDom_build() function" error that could
happen on some machines.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save hostname in PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_SOCK6 activity

Add metrics displayed by "sar -n SOCK6" (IPv6 network sockets
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_SOCK activity

Add metrics displayed by "sar -n SOCK" (network sockets statistics) to
PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_ICMP6 and A_NET_EICMP6 activities

Add metrics displayed by "sar -n ICMP6" and "sar -n EICMP6" (ICMPv6
network statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_UDP6 activity

Add metrics displayed by "sar -n UDP6" (UDPv6 network statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_IP6 and A_NET_EIP6 activities

Add metrics displayed by "sar -n IP6" and "sar -n EIP6" (IPv6 network
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_UDP activity

Add metrics displayed by "sar -n UDP" (UDP network statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_TCP and A_NET_ETCP activities

Add metrics displayed by "sar -n TCP" and "sar -n ETCP" (network TCP
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_ICMP and A_NET_EICMP activities

Add metrics displayed by "sar -n ICMP" and "sar -n EICMP" (network ICMP
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Fix variable name

This is quite a silly error...

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Simplify code used to take into account timezone value

flags variable is already a global one. Don't need to pass it
explicitly.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Take into account timezone value

The user can choose to save data in PCP archive with timestamps in UTC
(by default) or in local time (when option -T is used).
Timezone value, which is saved in PCP archive, is set accordingly.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_IP and A_NET_EIP activities

Add metrics displayed by "sar -n IP" and "sar -n EIP" (network IP
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: rename metric getatt -> getattr

This is the real name of this RPC call. Use it for NFS activity.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_NFSD activity

Add metrics displayed by "sar -n NFSD" (NFS server statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_NFS activity

Add metrics displayed by "sar -n NFS" (NFS client statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_SERIAL activity

Add metrics displayed by "sar -y" (serial lines statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Cosmetic fixes

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Define domain constants

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Simplify pcp_def_cpu_metrics() function

Variable "first" not needed.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_DEV and A_NET_EDEV activities

Add metrics displayed by "sar -n DEV" and "sar -n EDEV" (network
interfaces statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_KTABLES activity

Add metrics displayed by "sar -v" (kernel tables statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_PAGE activity

Add metrics displayed by "sar -B" (paging statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_IO activity

Add metrics displayed by "sar -b" (I/O and transfer rate statistics) to
PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_SWAP activity

Add metrics displayed by "sar -W" (swapping statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_IRQ activity

Add metric displayed by "sar -I SUM" (total number of interrupts per
second) to PCP archive.
Individual interrupts are not taken into account.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_MEMORY activity

Add metrics displayed by "sar -r [ALL]" (memory statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

pcp_def_metrics.c: Fix comment

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadc: Change variable name dis -> dish

Make it a bit longer to quiet LGTM.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf.c: Fix local variable hiding global one

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadc.c: Remove unused global variable

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Fix local variables hiding global ones.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

pidstat: Make pid_array_nr variable local

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

mpstat: Fix local variable hiding global one

cpu_nr and node_nr are global variable names. Don't use the same name
for local variables.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Change some variables scope

Make iodev_nr and dlist_idx local variables (based on an LGTM alert).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'odubaj-autofs-not-counting'

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'autofs-not-counting' of https://github.com/odubaj/sysstat into odubaj-autofs-not-counting

Update rd_stats.c

Update count.c

removed memset() before sscanf() - not needed

sadc: Make sure nr of items are always counted for certain activities

Commit f81fc24 modified sadc so that the number of items are counted
only for activities which are collected by sadc.
In fact certain activities need to be counted even if they are not
collected. This is the case for A_CPU: We need to know the number of CPU
for various reasons (from displaying the report header to saving it in
the header of a new saXX datafile).
So add a new flag (AO_ALWAYS_COUNTED) to indicate which activities
should always be counted, be they collected or not.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'avoid-triggering-automounts' of https://github.com/odubaj/sysstat

Fix #214: mpstat: JSON output should display "all" for global CPU use

Displaying "-1" for CPU number in mpstat's JSON output format is not
consistent with what mpstat uses for other options.
So display "all" instead.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat, mpstat: Fix JSON output when stopped by SIGINT

Remove extra comma in JSON output displayed by iostat and mpstat when
stopped by SIGINT.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix missing "}" and "]" in JSON output when stopped by SIGINT

Add a SIGINT handler to iostat so that JSON output can be ended properly
when the user presses Ctrl/C.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge pull request #212 from hying-caritas/fix_mpstat_json_int

Fix missing "}" and "]" in JSON output when stopped by SIGINT

Fix missing "}" and "]" in JSON output when stopped by SIGINT

When mpstat is stopped by SIGINT, the JSON output will miss the
trailing "}" and "]" because SIGINT handler isn't called.  Fixed this
via setup SIGINT handler for JSON output too.

ignoring autofs as real filesystem by counting number of valid filesystems and getting all valid filesystems

sadf: PCP: Create a separate file for metrics definition

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_CPU activity

Add metrics displayed by "sar -u [ALL]" (CPU statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

avoiding triggering automounts, bug #1670060

sadf: PCP: Add missing #ifdef statement

pmiWrite() function only exists if PCP library exists.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_PCSW activity

Add metrics displayed by "sar -w" (task creation and context switch
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Don't test for activities available in file if only the header
needs to be displayed

When only the header needs to be displayed with an output format like
e.g. XML then don't test for activities available in file.
E.g.:
sadc -S A_NULL,A_QUEUE datafile 1 2
Then "sadf -Hx datafile" should not display error message "Requested
activities not available in file".

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Initial support for A_QUEUE activity

This is the initial (and experimental) support for creating PCP archives
by sadf.
I used the work made by Steve Kay (@stevekay) to create this patch: See
issue #136.
At the present time, only A_QUEUE activity is supported (i.e. the
metrics displayed by "sar -q").

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: Update Makefile

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add new options "-l" and "pcparchive="

PCP (Performance CoPilot) will be a new output format for sadf.
Add new option "-l" to select this format. The keyword "pcparchive="
used with option -O will indicate the name of the PCP archive file to
create, e.g.:

$ sadf -l -O pcparchive=foo /var/log/sa/saXX (...)

If no archive file is specified then sadf will use the same name
as the sar data file.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: Add option --disable-pcp to configuration scripts

PCP (Performance CoPilot) will be suported by default by sysstat if PCP
development libraries are available.
Add a new option (--disable-pcp) to 'configure' script to allow user to
disable PCP support even if PCP libraries are installed.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure: Don't check for sensors library if --disable-sensors used

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

json_stats.h: Replace XML -> JSON

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>