Merge pull request #342 from shaleen-bathla/master

mpstat: return void from rw_mpstat_loop

mpstat: return void from rw_mpstat_loop

Previous commits removed the usage of return value
from rw_mpstat_loop()
Hence change return value from int to void.

Signed-off-by: Shaleen Bathla <shaleen.bathla@oracle.com>

Update non regression tests

...and add a new non regression test for mpstat -H.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

mpstat: Fix missing sample after physically hotplugging vCPU

When a vCPU is physically hotplugged, mpstat with its option -H skips
one line of statistics:

$ ./mpstat -H -P ALL 5 5
Linux 5.4.17-2136.310.7.1.el8uek.x86_64 (localhost.localdomain) 10/10/2022 x86_64 (3 CPU)

10:11:22 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
10:11:27 AM all 0.07 0.00 0.07 0.00 0.07 0.00 0.00 0.00 0.00 99.80
10:11:27 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
10:11:27 AM 1 0.20 0.00 0.20 0.00 0.20 0.00 0.00 0.00 0.00 99.40
10:11:27 AM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00

10:11:27 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
10:11:32 AM all 0.00 0.00 0.07 0.00 0.07 0.00 0.00 0.00 0.00 99.87
10:11:32 AM 0 0.00 0.00 0.00 0.00 0.20 0.00 0.00 0.00 0.00 99.80
10:11:32 AM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
10:11:32 AM 2 0.00 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.80
[ 1154.848226] CPU3 has been hot-added
[ 1154.862315] smpboot: Booting Node 0 Processor 3 APIC 0x3
[ 1154.863956] kvm-clock: cpu 3, msr adc010c1, secondary cpu clock
[ 1154.884436] KVM setup async PF for cpu 3
[ 1154.886055] kvm-stealtime: cpu 3, msr 13b9b2040
[ 1154.887657] Will online and init hotplugged CPU: 3

10:11:32 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
<<<<<<< No sample for 10:11:37 >>>>>>>
10:11:42 AM all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
10:11:42 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
10:11:42 AM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
10:11:42 AM 2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
10:11:42 AM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00

This patch makes sure that we get a line of stats for every interval of
time, even when a vCPU is physically hotplugged.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'shaleen-bathla-master'

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

mpstat : add -H option to handle vCPU physical hotplug

For virtualized environments, physical CPU hotplug can occur.
OR to be more precise vCPU physical hotplug can occur.

Currently, mpstat does not detect physical hotplug when running with an interval.
Example : mpstat -P ALL 5
When -H option is given, display stats of physically hotplugged vCPU also.
Example : mpstat -H -P ALL 5

This is done only when -H option is provided to remain legacy compatible.

Also updated the man page describing the new option.

Signed-off-by: Shaleen Bathla <shaleen.bathla@oracle.com>

mpstat : Add reset parameter to salloc_mp_struct()

To reset stats structs memory, add parameter to salloc_mp_struct().

This will be used in the next commit for introducing -H option for
handling vCPU physical hotplugs.

Use realloc calls which will help in resizing the structs also.
if reset is TRUE, memory will be cleared else not cleared

Signed-off-by: Shaleen Bathla <shaleen.bathla@oracle.com>

configure: Update configure file to deal with newer autoconf version

Rename configure.in file to configure.ac.
Run autoupdate to upgrade configure file.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure.in: Look for sys/wait.h include file

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

pidstat: pidstat should return the exit code of the child process (#339)

When a process is monitored with option -e, pidstat should return the
exit code of this process and a default value of 0.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: Fix timestamps written to PCP archive file

We should not consider true time / local time or UTC modes.
The timezone in which data will be displayed should be selected using
options -z / -Z with pmdumplog command.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge get_locatime() and get_gmtime() functions

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update DTD and XSD documents

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Display timezone for all output formats

The timezone is now displayed even in local time (-T) and in true time
mode (-t).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Fix typo in manual page

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

SVG: Fix timestamps displayed in true time mode

Hours, minutes and seconds are saved as 8-bit values in structure
record_header. This is not enough to avoid a possible overflow when
calculating X-axis graduations.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf_misc.c: Remove *tzname[] declaration

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Print time zone instead of UTC in true time mode

This patch expands the scope of patch 217ee12 for all formats generated
by sadf.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'ObiWahn-master'

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

doc-fix: remove `-I int_list` from man-page and help.

Interrupts are can be specified via the `--int=int_list` option.

SVG: Print time zone instead of UTC in true time mode (#331)

sadf -g -t should not display "UTC" but the real time zone of the user
who created the datafile.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

README: Display old syntax if option --now not available (#334)

Display the commands that can be used when option --now is not supported
by systemd.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

README: consolidate systemctl commands

Turn off gcc's tree-slp-vectorize option

sadf crashes in non regression test nr. 00610 with a segmentation fault:

$ sadf -c tests/data-10.3.1 >/dev/null
file_magic: OK
HZ: Using current value: 100
file_header: OK
file_activity: A_CPU A_PCSW A_IRQ A_SWAP A_PAGE A_IO A_MEMORY A_HUGE A_KTABLES A_QUEUE A_DISK A_NET_DEV A_NET_EDEV A_NET_NFS A_NET_NFSD A_NET_SOCK A_NET_IP A_NET_EIP A_NET_ICMP A_NET_EICMP A_NET_TCP A_NET_ETCP A_NET_UDP A_NET_SOCK6 A_NET_IP6 A_NET_EIP6 A_NET_ICMP6 A_NET_EICMP6 A_NET_UDP6 A_PWR_CPU A_PWR_FAN A_PWR_TEMP A_PWR_USB A_FS OK
Statistics:
HRHCHnuunu...uuuunununu...uu......uu...n.n.n.n.Segmentation fault (core dumped)

It turns out that the problem is due to gcc optimizations made with
option -O2. Unsetting tree-slp-vectorize flag fixes that problem.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add "debug" target to iconfig script

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update sysstat(5) manual page

Explain new REPEAT_HEADER variable.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add REPEAT_HEADER variable to sysstat configuration file (#332)

This variable will make it easier to tell sa2 script to insert header
lines in the reports.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add "local" and "xlocal" targets to iconfig script

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update sar manual page

Explain new environment variable (S_REPEAT_HEADER).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Add new environment variable S_REPEAT_HEADER (#332)

Add new environment variable S_REPEAT_HEADER.
This variable will contain the number of lines after which a header has
to be displayed by sar when stdout is not a terminal.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add support for option -t with sadf's SVG output (#331)

When sadf was used to display SVG graphs, it was not possible to display
the timestamps (on the X axis) in the same locale as that of the file
creator. This was because option -t was not supported by sadf in SVG
output format. This patch fixes that.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sa_conv.c: Use sizeof() instead of a constant

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Make structures' size from older versions immutable

The size of structures used by older sysstat versions should not depend
on the size of current sysstat version.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'bmwiedemann-master'

Declare sadc dependency on libsyscom.a

Without this patch, make -j1 would try to link sadc
and fail to find libsyscom.a

Fixes #329

Signed-off-by: Bernhard M. Wiedemann <bwiedemann@suse.de>

Merge branch 'Rtoax-patch-1'

Remove whitespace characters at the end of a line

Merge branch 'stevekay-tidy3'

code style, blank line after while

code style, space after while

code style fix, space after if

fix typo, mid-night -> midnight

fix rrd links in FAQ, as existing links gave a 404

Merge branch 'stevekay-feature_A'

Merge branch 'feature_A' of https://github.com/stevekay/sysstat into stevekay-feature_A

pacify gcc checks

Limit irq_name to size within its bounds

Starting sysstat 12.7.1

configure script updated.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.6.0

sysstat version 12.6.0 final packaging.
Changelog added.
spec and lsm files updated.

This version adds a new metric (softnet backlog) to the software-based
network processing activity.
It also fixes several bugs concerning the recent interrupts statistics
rewritten code, and to metrics names used by sadf in the PCP output
format.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with the Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'cbagwell-32bit-time-be'

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Convert 64-bit time value to time_t as needed

On platforms with 32-bit time_t, code up converts it to a 64-bit data
type.  The pointer to this 64-bit value is incorrectly passed to
a few functions that accept a pointer to a 32-bit time_t.

On little endian platforms the original 32-bit time_t value will be visible
this way but on big endian platforms only zeros will be seen and time
will be show as wrong values.

Update code to convert to time_t to be compatible with 32-bit be
platforms.

sadc: Add new non regression tests

Test ill-formed datafiles.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'lzaoral-ldflags'

Update non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Merge branch 'ldflags' of https://github.com/lzaoral/sysstat into lzaoral-ldflags

PCP: Fix multiple metrics name problems

Replace metric name "kernel.percpu.cpu.wait.total" (which was defined
but not used) with "kernel.percpu.cpu.iowait".

"kernel.percpu.cpu.int" was used but not defined. Replace it with
"kernel.percpu.cpu.irq.total" and define it.

Fix metric name "mem.util.buffers" -> Replace it with "mem.util.bufmem".

Fix metric name "mem.util.stack" -> Replace it with
"mem.util.kernelStack".

Fix metric name "mem.util.vmused" -> Replace it with
"mem.util.vmallocUsed".

Define metric name "disk.dev.total_bytes".

Fix metric name "network.ip.ipoutrequests" -> Replace it with
"network.ip.outrequests".

Fix metric name "network.ip.ipreasmreqds" -> Replace it with
"network.ip.reasmreqds".

Fix metric name "network.ip.ipreasmoks" -> Replace it with
"network.ip.reasmoks".

Fix metric name "network.tcp.tcpestabresets" -> Replace it with
"network.tcp.estabresets".

FIx metric name "network.tcp.tcpretranssegs" -> Replace it with
"network.tcp.retranssegs".

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

configure: print LDFLAGS in final summary

configure: do not overwrite LDFLAGS in test for 32-bit libsensors

Makefile: honour LDFLAGS passed to ./configure

The configure script help says that the LDFLAGS environment variable can be
used to pass additional flags to linker during build.

However, Makefile.in did not mention this variable at all so the additional
flags were silently skipped.

pr_stats.c: Cosmetic changes

One printf("\n") is enough...

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: A_NET_SOFT: Fix how average backlog length is calculated

Backlog length is an instantaneous value, not a value calculated over
the time interval. Its average value should be calculated in a specific
way.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: A_NET_SOFT: Make sure backlog length variable is set to zero

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: A_NET_SOFT: Fix JSON/XML output

Remove extra comma.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update sar manual page

Explain new softnet metric: backlog length.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: A_NET_SOFT: Add new metric softnet network backlog (#315)

New metric added in kernel 5.10
https://github.com/torvalds/linux/commit/7d58e6555870d01d85b181ba2a16b217a1ea8bdd

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: A_NET_SOFT: Add new metric: softnet backlog length

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: A_NET_SOFT: Fix name for flow_limit metric

Metric name was flow_limit_count in pcp_def_metrics.c but used as
flow_limit in pcp_stats.c
This name mismatch resulted in no value being displayed.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Softnet backlog: Update DTD and XSD documents

Update DTD and XSD documents to take into account new softnet backlog
length metric (A_NET_SOFT).

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update FAQ (#313)

Make it clear that we actually use kibibytes, mebibytes, etc.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update non regression tests

Add new columns to some of the /proc/net/softnet_stat files.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

A_NET_SOFT: Use CPU id from /proc/net/softnet_stat

CPU id has been added as a new column in /proc/net/softnet_stat in
kernel 5.10. Use it to map data to their corresponding CPU.
See #315.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

get_global_int_statistics(): Cast to size_t before operation is done

Use a cast to ensure that the multiplication is done using size_t.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix maximum value for A_IRQ activity

@nr_max is the upper bound associated with the number of CPU, not the
number of interrupts.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Increase NR2_MAX value

This value is the upper bound for @nr2 value. Increase it to 4096
since it is now used for A_IRQ activity as the highest possible value
for the number of interrupts.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add sanity checks on values read from file

Check upper bounds for @nr and @nr2 read from file to convert.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Remove unneeded variable assignment

nr_types_nr[] array contents are constant. Don't need to set
nr_types_nr[2].

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: Add basic colorization to sadf's output

Colorization concerns only comments displayed in CSV and RAW formats.
It also concerns some hints displayed in RAW format in debug mode.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat-12.6.0

configure script updated.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat-12.5.6

sysstat version 12.5.6 final packaging.
Changelog added.
spec and lsm files updated.

This version includes a complete rewriting of the code used to collect
and display interrupts statistics. These are now collected from the
/proc/interrupts file instead of the /proc/stat one, and are displayed
for each CPU.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update NLS translations

Sync with The Translation Project.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Copyright year: Switch to 2022

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Update non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Make sure that all the buffers are copied in copy_structures()

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

A_IRQ: Also optimize get_global_int_statistics() function

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

A_IRQ: Fix pretty printing

Make sure interrupt name is printed after all per-CPU interrupt values
in pretty mode.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

A_NET_SOFT: Slight optimization in get_global_soft_statistics() function

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sadf: JSON: Don't display interrupt nr when all selected CPU are offline

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Add new non regression tests

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

XML: Update DTD and XSD documents

If the user selects only a CPU which happens to be offline then the XML
output generated by sadf -x will contain no cpu element.
Update DTD and XSD documents so that the XML output won't be considered
as invalid.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: A_NET_NFS(D): Fix instance names for getattr call

RPC call is getattr and not lookup.
The instance definition in pcp_stats.c was wrong for getattr call for
NFS and NFSD activities. Yet pcp_stats.c used the expected name getattr,
resulting in a name mismatch and no values being displayed.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

PCP: A_NET_SOFT: Fix flow_limit_count metric's unit

Unit for flow_limit_count metric is that of a counter.
Problem exists only for CPU "all". Unit is correct for per-CPU metric.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Use strings definition whenever possible

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Fix typos in comments

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Use sizeof() instead of hard-coded values with snprintf() function

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

rndr_stats.c: Use NOVAL instead of NULL as last arg for cons() function

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>