Add sysstat simulation test environment

This patch adds all the necessary files to be able to run non regression
tests with reproducible results. The tests run in a simulated
environment composed of kernel files with predefined values.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Cosmetic changes in code

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Cosmetic fix in manual page

Option -u appears twice when describing -A option.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadc: Fix bad number of CPU displayed in a LINUX RESTART message

sadc didn't take into account properly a different number of CPU
When appending data to an existing file. This was because the number of
CPU recorded with the restart message was overwritten with that
originally saved in the file.
This patch fixes the problem.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Better detect if a disk has been unregistered then registered again

If a disk was mounted read-only then sar might not detect that a disk
had been unregistered then registered again. This is because detection
is based on counters (like number of written sectors) going down. Yet
with a read-only device, the number of written sectors is always 0 and
is never decremented.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Add missing %gnice CPU value for tickless CPU

A field (which should be displayed as 0.00) was missing in CPU
statistics displayed by "sar -u ALL" for tickless CPUs.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat-12.1.5

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.1.4

sysstat version 12.1.4 final packaging.
lsm and spec files updated.
Changelog added.

This version adds initial support for PCP (Performance Co-Pilot) output
format. sadf can now export part of its data to a PCP archive file.
This support is still experimental and will be completed in next sysstat
version.

This version also fixes several bugs. The major ones are:
* autofs entries in /etc/mtab are now ignored so that sar/sadf don't
mount the corresponding filesystems when reading their statistics.
* JSON output for iostat and mpstat has been improved so that the
commands can be interrupted with ^C (SIGINT signal) and we still get a
valid JSON output.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with the Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update sadf manual page

Explain new PCP-related options.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Fix seg fault on empty data files

Trying to display XML or JSON data (with sadf -x/-j) from a data file
containing only RESTART records created a core dump.
This patch fixes that.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Remove some debug code

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save COMMENT records in PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save RESTART records in PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add new flag FO_ITEM_LIST

This flag indicates that the linked list containing items names should
be created.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add new flag FO_LC_NUMERIC_C

This flag indicates that corresponding output format shall use a decimal
point, e.g. to be locale independant (SVG output) or compliant with
RFC7159 (JSON output).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add a function prototype to each output format

Each outpout format now defines the function used to display its
statistics.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge pull request #218 from danny-smit/217-add-umask-sysconfig-variable

#217: add umask sysconfig variable for sa1 and sa2

#217: add umask sysconfig variable for sa1 and sa2

sadf: PCP: Add support for A_NET_SOFT activity

Add metrics displayed by "sar -n SOFT" (network softnet statistics) to
PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Fix illegal result timestamp error

pmiWrite() function (from the PCP API) has a very nasty impact on
mktime().
Once pmiWrite has been called, subsequent mktime() calls will no longer
give the same result using the same input data, resulting in timestamps
that can be wrong because associated with a different timezone.
This patch tries to fix that.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_PWR_CPU activity

Add metrics displayed by "sar -m CPU" (CPU frequency statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Fix CPU metrics definition

CPU#1 is not necessarily selected by the user when PCP archive is
created. So don't use it to define per-cpu metrics.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add all interrupts statistics to PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Include pcp/impl.h file

Fix "undefined reference to pmInDom_build() function" error that could
happen on some machines.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Save hostname in PCP archive

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_SOCK6 activity

Add metrics displayed by "sar -n SOCK6" (IPv6 network sockets
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_SOCK activity

Add metrics displayed by "sar -n SOCK" (network sockets statistics) to
PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_ICMP6 and A_NET_EICMP6 activities

Add metrics displayed by "sar -n ICMP6" and "sar -n EICMP6" (ICMPv6
network statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_UDP6 activity

Add metrics displayed by "sar -n UDP6" (UDPv6 network statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_IP6 and A_NET_EIP6 activities

Add metrics displayed by "sar -n IP6" and "sar -n EIP6" (IPv6 network
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_UDP activity

Add metrics displayed by "sar -n UDP" (UDP network statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_TCP and A_NET_ETCP activities

Add metrics displayed by "sar -n TCP" and "sar -n ETCP" (network TCP
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_ICMP and A_NET_EICMP activities

Add metrics displayed by "sar -n ICMP" and "sar -n EICMP" (network ICMP
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Fix variable name

This is quite a silly error...

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Simplify code used to take into account timezone value

flags variable is already a global one. Don't need to pass it
explicitly.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Take into account timezone value

The user can choose to save data in PCP archive with timestamps in UTC
(by default) or in local time (when option -T is used).
Timezone value, which is saved in PCP archive, is set accordingly.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_IP and A_NET_EIP activities

Add metrics displayed by "sar -n IP" and "sar -n EIP" (network IP
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: rename metric getatt -> getattr

This is the real name of this RPC call. Use it for NFS activity.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_NFSD activity

Add metrics displayed by "sar -n NFSD" (NFS server statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_NFS activity

Add metrics displayed by "sar -n NFS" (NFS client statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_SERIAL activity

Add metrics displayed by "sar -y" (serial lines statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Cosmetic fixes

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Define domain constants

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Simplify pcp_def_cpu_metrics() function

Variable "first" not needed.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_NET_DEV and A_NET_EDEV activities

Add metrics displayed by "sar -n DEV" and "sar -n EDEV" (network
interfaces statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_KTABLES activity

Add metrics displayed by "sar -v" (kernel tables statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_PAGE activity

Add metrics displayed by "sar -B" (paging statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_IO activity

Add metrics displayed by "sar -b" (I/O and transfer rate statistics) to
PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_SWAP activity

Add metrics displayed by "sar -W" (swapping statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_IRQ activity

Add metric displayed by "sar -I SUM" (total number of interrupts per
second) to PCP archive.
Individual interrupts are not taken into account.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_MEMORY activity

Add metrics displayed by "sar -r [ALL]" (memory statistics) to PCP
archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

pcp_def_metrics.c: Fix comment

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadc: Change variable name dis -> dish

Make it a bit longer to quiet LGTM.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf.c: Fix local variable hiding global one

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadc.c: Remove unused global variable

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar/sadf: Fix local variables hiding global ones.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

pidstat: Make pid_array_nr variable local

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

mpstat: Fix local variable hiding global one

cpu_nr and node_nr are global variable names. Don't use the same name
for local variables.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Change some variables scope

Make iodev_nr and dlist_idx local variables (based on an LGTM alert).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'odubaj-autofs-not-counting'

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'autofs-not-counting' of https://github.com/odubaj/sysstat into odubaj-autofs-not-counting

Update rd_stats.c

Update count.c

removed memset() before sscanf() - not needed

sadc: Make sure nr of items are always counted for certain activities

Commit f81fc24 modified sadc so that the number of items are counted
only for activities which are collected by sadc.
In fact certain activities need to be counted even if they are not
collected. This is the case for A_CPU: We need to know the number of CPU
for various reasons (from displaying the report header to saving it in
the header of a new saXX datafile).
So add a new flag (AO_ALWAYS_COUNTED) to indicate which activities
should always be counted, be they collected or not.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'avoid-triggering-automounts' of https://github.com/odubaj/sysstat

Fix #214: mpstat: JSON output should display "all" for global CPU use

Displaying "-1" for CPU number in mpstat's JSON output format is not
consistent with what mpstat uses for other options.
So display "all" instead.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat, mpstat: Fix JSON output when stopped by SIGINT

Remove extra comma in JSON output displayed by iostat and mpstat when
stopped by SIGINT.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

iostat: Fix missing "}" and "]" in JSON output when stopped by SIGINT

Add a SIGINT handler to iostat so that JSON output can be ended properly
when the user presses Ctrl/C.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge pull request #212 from hying-caritas/fix_mpstat_json_int

Fix missing "}" and "]" in JSON output when stopped by SIGINT

Fix missing "}" and "]" in JSON output when stopped by SIGINT

When mpstat is stopped by SIGINT, the JSON output will miss the
trailing "}" and "]" because SIGINT handler isn't called.  Fixed this
via setup SIGINT handler for JSON output too.

ignoring autofs as real filesystem by counting number of valid filesystems and getting all valid filesystems

sadf: PCP: Create a separate file for metrics definition

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_CPU activity

Add metrics displayed by "sar -u [ALL]" (CPU statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

avoiding triggering automounts, bug #1670060

sadf: PCP: Add missing #ifdef statement

pmiWrite() function only exists if PCP library exists.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add support for A_PCSW activity

Add metrics displayed by "sar -w" (task creation and context switch
statistics) to PCP archive.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Don't test for activities available in file if only the header
needs to be displayed

When only the header needs to be displayed with an output format like
e.g. XML then don't test for activities available in file.
E.g.:
sadc -S A_NULL,A_QUEUE datafile 1 2
Then "sadf -Hx datafile" should not display error message "Requested
activities not available in file".

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Initial support for A_QUEUE activity

This is the initial (and experimental) support for creating PCP archives
by sadf.
I used the work made by Steve Kay (@stevekay) to create this patch: See
issue #136.
At the present time, only A_QUEUE activity is supported (i.e. the
metrics displayed by "sar -q").

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: Update Makefile

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: PCP: Add new options "-l" and "pcparchive="

PCP (Performance CoPilot) will be a new output format for sadf.
Add new option "-l" to select this format. The keyword "pcparchive="
used with option -O will indicate the name of the PCP archive file to
create, e.g.:

$ sadf -l -O pcparchive=foo /var/log/sa/saXX (...)

If no archive file is specified then sadf will use the same name
as the sar data file.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: Add option --disable-pcp to configuration scripts

PCP (Performance CoPilot) will be suported by default by sysstat if PCP
development libraries are available.
Add a new option (--disable-pcp) to 'configure' script to allow user to
disable PCP support even if PCP libraries are installed.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure: Don't check for sensors library if --disable-sensors used

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

json_stats.h: Replace XML -> JSON

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Cosmetic fix in manual page

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Small update to sadc and sadf manual pages

sadc manual page had been updated to take into account new flag -f, but
its date hadn't been modified.

Fix typo in sadf manual page.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat-12.1.4

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.1.3

sysstat version 12.1.3 final packaging.
lsm and spec files updated.
Changelog added.
Copyright year updated (2018 > 2019)

With this version, the user will be able to select different color
palettes to draw the SVG graphs with sadf. One of those palettes can be
fully customized using an environment variable (S_COLORS_PALETTE).
This version also adds a new flag (-f) to sadc to force fdatasync() use
when data are written (this feature has been contributed by Kyle
Walker).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with the Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge pull request #209 from Joungkyun/master

update korean translate (ko.po)

updated Korean translation file with pot file from 2018-12-14

Merge branch 'kyle-walker-fdatasync'

sadc: Add a -f flag to force fdatasync() use

For quite some time, the sadc utility has not used fdatasync() when writing
stat information to disk. This resulted in instances where data files could
be corrupted or entries lost if a system encountered a sudden reset
condition. This change adds a "-f" flag which can be used to bring back the
previous behaviour if end users require it.

Note, the fdatasync() lowers the likelihood of lost data, but does so at
the expense of performance within the write operation.

sadf: Update manual page

Explain how the color palette can be customized by the user
using the S_COLORS_PALETTE environment variable.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: SVG: Allow user to customize color palette

Add a new environment variable (S_COLORS_PALETTE) that can be used to
customize the color palette used by sadf to draw its graphs.
This variable is taken into account when the custom color palette has
been selected ("sadf -g -O customcol (...)").
The contents of this variable is a colon-separated list of six-digit,
three-byte hexadecimal numbers (hex triplets) that represent colors.
Detailed explanations will be given in sadf manual page.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Update manual page

Explain new bwcol option.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: SVG: Update custom color palette

Change default colors used for custom color palette.
Those colors should be better for black and white printers.
See #205.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: SVG: Add new "bwcol" option

Add a new option to sadf SVG output.
This option tells sadf to use a black & white palette to draw its
graphs.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: SVG: Fix wrong variable used to draw discard IO graph

Fix silly error in svg_stats.c, where values used to draw graph for
discard IO were those for writes.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Update manual page

Explain new option "customcol".

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>