sar: Take into account a change of CPU number in sar datafile (2)

sadc now accepts a change of CPU count when inserting a restart mark. In
this case, sadc sets the new value in file's header (last_cpu_nr field)
then rewrites it.
The new number of CPU is also written after the restart mark record in
file.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sar: Take into account a change of CPU number in sar datafile (1)

On virtual machine, after CPU change (e.g. power off machine ->
add 1 cpu -> power on machine), sar command doesn't display
previous data (from today) from the current saXX file.

This is the first patch aimed at making sar able to take into account
a change of CPU count in its datafiles.

This patch adds a new field into file's header data (last_cpu_nr)
which gives the number of CPU the machine had when the last sample of
data was appended to the file.
Sar data file format is no longer compatible with that from previous
sysstat versions. To be able to add other fields to file's header
in the future without making it incompatible again, also add a
field (header_size) to file's magic data giving the size of file's
header.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Rename nfsiostat command to nfsiostat-sysstat

nfsiostat was added to the sysstat package in 2010, but such a command
has already existed in the nfs-utils package since 2008.
So to avoid confusion, rename nfsiostat to nfsiostat-sysstat and
indicate it is now obsolete.
The nfsiostat command from the sysstat package will be removed in a
future version since we don't need two similar commands.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

Starting sysstat 10.3.1

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@users.noreply.github.com>

sysstat 10.2.1

sysstat version 10.2.1 final packaging.
lsm and spec files updated.
Changelog added.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

NLS: Sync'd with Translation Project

Sync'd with Translation Project: Euskadi (Basque) translation updated.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Remove hardcoded size values

Use sizeof() macro instead of hardcoded size values in various parts of
the code.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Cosmetic fixes

The title says it all...

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Add option --enable-copy-only to configure script

Add a new option (--enable-configure-only) to configure script. This
option makes sure that files are only copied when installing sysstat and
that nothing else (like activating a service for distro using systemd)
is done. This may be useful when creating sysstat package.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Update DTD and XSD documents

Update DTD and XSD documents to take into account the creation time of
the datafile displayed by sadf -x.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

sadf now displays file creation time

sadf -H, sadf -x and sadf -j now display the creation time of the
datafile. This time was available in the header of the datafile.
Time is displayed in UTC.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Take $DESTDIR variable into account when installing sysstat service used by systemd.

Previous code for installing sysstat using systemd needed rw permissions
to the root directory. Yet some users and distributions want to install
files into $(DESTDIR) before actually installing into the root directory.
So take $DESTDIR variable into account.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat: Updated manual page

Update pidstat manual page to document the new metric added to "pidstat
-d" (block I/O delays).

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat: Add block I/O delays metric

Add a new metric (block I/O delays, measured in clock ticks) to output
displayed by pidstat -d.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Starting sysstat 10.2.1

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

sysstat 10.2.0

sysstat version 10.2.0 final packaging.
lsm, spec and CREDITs files updated.
Changelog added.
Typo and cosmetic fixes.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

NLS : Sync'd with Translation Project

Sync'd with Translation Project: Various  translations updated.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Rework online/offline procedure check

Rework patch from troosh: No need to add ".present" field to stats_cpu
structure. Online CPUs can be displayed with mpstat option "-P ON".

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Rework procedures used to count processors on the machine

Rework patch from troosh: No need to duplicate code used to
count the number of processors available on the machine.
Use a flag (@highest) instead.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Print total number of CPUs in header

Skipping missing CPU and to interrupt statistics

Hide CPUs in offline

Find the maximum number of the CPU, not the total number of CPUs in online

pidstat: Display stats since boot time for a list of given processes

pidstat displays statistics since system startup when the interval and
count parameters are not set on the command line (eg. entering "pidstat
-d" will display I/O statistics for all processes that have had I/O
activity since boot time). But pidstat couldn't display those stats when
some PID numbers were entered on the command line (eg. "pidstat -d -p
1234" to display I/O stats since system startup for process 1234).
This patch makes it possible now.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Rearrange options displayed by sar -h

Rearrange options displayed by sar in its short help message
(sar -h): The upper case option should be displayed before its lower
case counterpart to be consistent with options order displayed by sar
usage message or displayed in sar manual page.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat displays -1 for unknown I/O statistics

pidstat -d now displays -1 for I/O statistics values when the
file containing the statistics data for the corresponding process cannot
be read (permission denied or file non existent).

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat stack utilization statistics were not always properly refreshed

Stack utilization statistics displayed by "pidstat -s" were sometimes
not displayed for some processes although values had changed.
This was because stack stats were displayed together with memory stats,
but pidstat was looking only for a variation in memory counters values
to decide whether to display the corresponding process or not.
So now process memory and stack statistics independently.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat: Documentation update

Give information about new option -v in pidstat manual page.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat: Add new option -v

Add option -v to pidstat. This option enables the user to display the
number of threads and the number of file descriptors associated with
each task.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

mpstat/pidstat exit immediately when SIGINT caught during 1st interval

The mpstat and pidstat commands display their average statistics when
they are interrupted by the user with control-C (SIGINT signal).
But when the signal was caught during the first interval of time (ie.
before any statistics had been displayed), trying to display some
average values is irrelevant. So make them exit immediately in this
case.

Add "prealloc" variable to configure script

sar (or sadc) allocates empty records in the data files it creates so
that it can save statistics for devices (disks, network interfaces,
etc.) that may be added to the system after the file was created.
The drawback is that data files take more space on disk than actually
strictly necessary.
Using the "prealloc" variable with configure (before compiling sysstat),
the user can tell how much space he wants to allocate.
This variable will determine the size of data files created by sar/sadc.
The default value is 1, meaning that some empty records will be
allocated.
A value of 0 means that data files will be the smallest possible.

Add XZ compressed target to Makefile

Add xdist target to Makefile: This will make a tarball compressed with
the xz compression program.

Starting sysstat 10.2.0

Update sysstat version number in configure script.

sysstat-10.1.7

sysstat version 10.1.7 final packaging.
lsm, spec and CREDITS files updated.
Changelog added.
Various cosmetic changes.

Update sadf manual page

Small change in sadf manual page.

NLS: Sync'd with Translation Project

Syncing with the Translation Project: Various translations updated.

Fix wrong permissions for data file created by sa1 script

If HISTORY is greater than 28, the sa1 script does not execute the
command "umask 0022" until after the new output file is created,
allowing it to have the wrong permissions if the root umask is not set
to 0022. So move the umask command above that "if" statement.

Reported-by: Peter Schiffer <pschiffe@redhat.com.fake>
Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Documentation fixes and updates

Small fixes in sa1(8) and sa2(8) manual pages.
Also improve sa2(8) and sysstat(5) manual pages notably about keeping
data files and reports history.

Fix sar log file corruption in odd Feb 28th edge-case

The sar scripts /usr/lib/sa/sa1 and sa2 both normally use logs in
/var/log/sa itself, but if HISTORY is > 28 , the scripts use a tree of
log directories under /var/log/sa.

When HISTORY is < 28, then /usr/lib/sa/sa2's action to expunge old logs
which are more than HISTORY days old will mean that "tomorrow's" saXX
file never exists prior to /usr/lib/sa/sa1 creating it on the first pass
of the day.

However, when HISTORY == 28, then on March 1st in a non-leap year, the
log file sa01 will already exist from Feb 1st having not been
pre-expunged by the sa2 script. Similarly for March 2nd through 28th.

So now make sure that the sa1 script deletes the log file
if it is from a previous month. This way this will
prevent a log file from a month ago being re-used "today".

Replace comma with semi-colon in filesystem .hdr_line

Update iostat manual page: Fix a small inaccuracy regarding %util field

iostat manual page used to say that device saturation occured when the
value of %util was close to 100%. This is true for devices serving
requests serially but not necessariyl for devices able to serve multiple
requests simultaneously. So update iostat manual page accordingly.

Use a lightweight static library to compile some sysstat commands

Create two versions of the "librdstats.a" static library: one having all
the functions to read stats and which will be used by sadc, the other
having only a minimal subset of functions used by other commands like
iostat or pidstat.
The result is a much smaller binary file for iostat (size is 29% smaller
than before), pidstat (-27%), mpstat (-40%), nfsiostat (-43%) and
cifsiostat (-43%).

Small fix in sadc manual page about optional activities

Activities which are not collected by sadc by default are not limited to
interrupts and devices statistics. So update sadc manual page
accordingly.

"sar -o" now collects all possible statistics

sar now collects all possible statistics (including partitions ones)
when data are saved into a file with option -o ("sar -o" calls sadc
with option "-S XALL" instead of "-S ALL").

Merge branch 'remove-redundant-null-checks' of https://github.com/mnogu/sysstat

Merge branch 'fix-resource-leak' of https://github.com/mnogu/sysstat

Close file descriptor before exit.

Use %u instead of %d for unsigned int variables.

Fix resource leak.

fclose() is missing.

Remove redundant NULL checks.

Remove NULL checks before free() because free(NULL) performs no operation.

Small fix for "sar -A" in sar manual page

Indicate that filesystems statistics are also included in stats
displayed by sar -A (that is to say: option -F is also set when sar -A
is entered on the command line).

%ifutil: Documentation update

Update sar manual page to explain the meaning of %ifutil,
a new field added to sar network devices statistics.

%ifutil: Update sadf output to take into account the new metric

This patch updates the various output formats of sadf (CSV, ppc, JSON,
XML) to take into account the new %ifutil metric added to sar network
devices statistics.
DTD and XSD documents have also been updated accordingly.

%ifutil: Add NIC utilization percentage to sar network stats

This patch adds %ifutil to statistics displayed by sar -n.
%ifutil is a new metric giving the utilization percentage of the
corresponding network interface.

Update Makefile to allow for parallel execution

Rewrite rule for librdstats.a in Makefile to prevent possible file
corruption when using make -j.

Beautify the output of some manual pages

Always put commands names (and some of their options) in bold characters
in manual pages.

Collect filesystems stats only when sadc option "-S XDISK" is used

Make sadc collect filesystems statistics (those displayed by sar option
-F) only when option "-S XDISK" is used.
Filesystems are actually closer to partitions than to disks. So it makes
more sense for sadc to collect them when option "-S XDISK" is used
rather than option "-S DISK".
Update sadc and sar manual pages to reflect the change.

Fix a wrong assertion in sadf manual page

In its EXAMPLE section, sadf manual page says that

sadf -d /var/log/sa/sa21 -- -r -n DEV

extracts memory, swap space and network statistics from the data file.
This is no longer true as swap statistics are now displayed with option
-S and not option -r. So fix the wrong comment.

Merge branch 'master' of https://github.com/aloofschipperke/sysstat

Pull fix from Kevin Johnson:
Fix syntax error for gnumake.

Starting sysstat version 10.1.7

Change version number to 10.1.7 in configure script.

fix syntax error for gnumake

sysstat-10.1.6

sysstat version 10.1.6 final packaging.
lsm and spec files updated.

NLS: Sync'd with Translation Project

Syncinc with the Translation Project: Translations updated for cs, da
and hr languages.

NLS: Turkish translation added

Turkish translation added, from the Translation Project.

Tell where interrupts data come from in mpstat manual page

mpstat manual page now tells that interrupts data displayed by
mpstat -I CPU come from /proc/interrupts file, and that interrupts data
displayed by mpstat -I SCPU come from /proc/softirqs file, so that the
meaning of each interrupts can be more easily understood by users.

Fix type for "intr" attribute in XSD document

Type for "intr" attribute was integer in XSD document.
Yet its value can sometimes be "sum" when displaying statistics for the
total number of interrupts received per second (sar -I SUM).
So change its type to string.

Handle octal codes in filesystems mount point names

sar -F was unable to get statistics about filesystems whose mount points
(as given by /etc/mtab file) had octal codes in their names.
So now sar replaces those octal codes with their corresponding
characters before trying to collect stats about them.

Filesystems stats: Display unmounted filesystems in summary list

This patch enables sar -F to display filesystems in its summary list (the
last stats displayed by sar) even if those filesystems have been
unmounted before the end of the report.

Fix bad comments

I sometimes use the copy-and-paste function from my editor too
rapidly...

Filesystems statistics (part 7): Documentation updates

This patch updates sar manual page to describe option -F used to display
filesystems statistics.
CHANGES file is also updated.

Split rd_stats.c and rd_stats.h files

rd_stats.c file was becoming really big. So remove from it functions
used to count the number of items and put them in a separate file
(count.c).
Functions prototypes go to count.h.

Fix "memfree" element type in XSD document.

Type of "memfree" element (from memory statistics) was "negativeInteger"
in XSD document. Use "nonNegativeInteger instead" since it can never be
negative.
Also update CHANGES file.

Filesystems statistics (part 6): XML output format

This patch adds XML output format for filesystems statistics. This
format can be displayed with sadf option -x.
DTD and XML Schema (xsd) documents have also been updated.

Filesystems statistics (part 5): JSON output format

This patch adds JSON output format for filesystems statistics. This
format can be displayed with sadf option -j.

Filesystems statistics (part 4): ppc and db output formats

This patch adds ppc and database (CSV) output formats for filesystems
statistics. These formats can be displayed with sadf options -p and -d.

Also add a new flag (PT_USERND) to the render() function so that
a statistic value can be rounded to the nearest integer value.

Various cosmetic code changes

Nothing interesting here, except that things have to be cleaned
sometimes...

Filesystems statistics for sar (part 3): Display statistics

This patch makes sar display filesystems statistics collected by sadc.
No average statistics are calculated here (filesystems can be unmounted,
then mounted again, making average values meaningless). Instead, sar displays again
the list of filesystems.

Replace "Mb" with "MB" in filesystems statistics header line

"Mb" could be confused with MBits. So use "MB" to indicate that
filesystem usage is actually expressed in MBytes (MiB in fact).

Filesystems statistics for sar (part 2): Read statistics

This patch reads statistics for mounted filesystems except for
pseudo-filesystems which are ignored.
It also determines the number of filesystems for which stats will be
read.
Oh, and it adds another field to the stats_filesystem structure so that
filesystem name can be saved ;-)

Remove unused constants from header files

Several constants defined in header files were no longer used.
So remove them.
Note that S_F_PER_PROC constant (used in sar code to indicate that
option -P has been entered on the commnd line) has also been deleted.
We can know that option -P has been used if the CPU bitmap has at
least one bit set.

Added filesystems statistics to sar (part 1): Basic definitions and structures

A new option (-F) has been added to sar. This option tells sar to display
filesystems statistics.
This first patch adds the corresponding structures, constants and the new
functions prototypes.
sar's help and usage messages have also been updated.

Allow for more options to be grouped together.

Sysstat command options can now be 'collapsed' (grouped) when
not followed by an argument. So it's now possible for example
to enter 'iostat -px 2 5' since no device name is given to
option -p.
This also concerns pidstat option -U: You can now enter for example
'pidstat -wU' to display switching activity for tasks together with
their user name.

Typos fixed. README file updated.

Fixed some typos in code comments. Also updated README file where some
information were outdated.

Cosmetic fix in pidstat manual page.

Starting 10.1.6 version.
Cosmetic fix in pidstat manual page ("username" in synopsis section wasn't underlined).

10.1.5 final packaging.

Updated CHANGES, lsm and spec files.
Code squeezed.

NLS updated.

Sync'd with translation project.

Cosmetic fixes in pidstat manual page.

Replace "the real user name of the task" with "the name of the real
user owning the task" in pidstat manual page.

mpstat now takes into account every interrupt per processor
so that their number adds up to the number displayed for CPU "all".

mpstat used to sum only numerical interrupts (those with names like
"0", "1", etc. and not "LOC", ...). But the number of interrupts
per processor (displayed by mpstat -I SUM -P ALL) doesn't add up
to what is displayed for "all". To fix this, take into account all
interrupts per processor in /proc/interrupts file.

Message from Shergill, Gurinder <gurinder.shergill@hp.com> 13/03/2013:

I am seeing something odd with mpstat. It shows 0 for all the CPUs except 0 even though there are interrupts going to other CPUs and the number doesn't add up to what is displayed for "all". I can confirm that there is very high level of I/O activity on the system (resulting in about 200k intr/s). I have tried multiple system and seen the same behavior. I have also tried multiple different kernels (3.7.10, 3.8.2, also the distro kernel with RHEL 6.3 & 6.4).

Finally, I downloaded the latest sources for sysstat and built them on one of my systems, but even with that I get the same behavior.

Fixed a bug where systemd unit file couldn't be installed
because PKG_PROG_PKG_CONFIG macro wasn't expanded in configure
script.

Mail from Peter Schiffer <pschiffe@redhat.com> 08/03/2013:

I'm writing you regarding a little problem I've noticed when running
./configure script:

./configure: line 3923: PKG_PROG_PKG_CONFIG: command not found
checking for systemctl... /bin/systemctl
./configure: line 3975: --variable=systemdsystemunitdir: command not found

According to Google, you might be missing pkg-config program in your
path while generating configure script from configure.in file.
Because of this, systemd unit file won't be installed while doing make
install.

Fixed a small inconsistency in pidstat usage message.

Benno Schulenberg (from the Translation Project) reported that
pidstat synopsis should be "-U [ <username> ]" instead of "-U [ username ]"

10.1.4 final packaging.

Updated CHANGES, spec and lsm files.

NLS updated.

Sync'd with translation project.

pidstat's option -U updated.

pidstat's option -U can now be followed by a user name.
In this case, only tasks belonging to the specified user are
displayed by iostat.
pidstat manual page updated.

Now use sigaction() instead of signal() for signals handling.

signal() manual page explicitly says to avoid using it for
signal handling, because of portability problems among other.
So use now sigaction() for that.

pidstat can now display the username of the tasks being monitored.

A new option (-U) has been added to pidstat: This option is used
to display the real user name of the tasks being monitored instead
of the UID. pidstat manual page has been updated.

pidstat now displays task's UID.

pidstat now displays the real user ID of every task being monitored.
Its manual page has also been updated.

FAQ updated.

Fixed some typos. Also some examples were no longer valid: Fixed them.

mpstat and sar now stop and displays its average stats when it receives
SIGINT (crtl/c).

mpstat and sar/sadc now catch SIGINT (ctrl/c) and display their average
statistics when received.

pidstat now stops and displays its average
stats when it receives SIGINT (crtl/c).

pidstat now catches SIGINT and displays average statistics
when received.

10.1.3 final packaging.

Sync'd with Translation Project. Updated lsm and spec files.

Removed several unused definitions in header files.

Some constants in header files were no longer used. So remove them.