Starting sysstat 10.2.1

Update sysstat version number in configure script.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

sysstat 10.2.0

sysstat version 10.2.0 final packaging.
lsm, spec and CREDITs files updated.
Changelog added.
Typo and cosmetic fixes.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

NLS : Sync'd with Translation Project

Sync'd with Translation Project: Various  translations updated.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Rework online/offline procedure check

Rework patch from troosh: No need to add ".present" field to stats_cpu
structure. Online CPUs can be displayed with mpstat option "-P ON".

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Rework procedures used to count processors on the machine

Rework patch from troosh: No need to duplicate code used to
count the number of processors available on the machine.
Use a flag (@highest) instead.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Print total number of CPUs in header

Skipping missing CPU and to interrupt statistics

Hide CPUs in offline

Find the maximum number of the CPU, not the total number of CPUs in online

pidstat: Display stats since boot time for a list of given processes

pidstat displays statistics since system startup when the interval and
count parameters are not set on the command line (eg. entering "pidstat
-d" will display I/O statistics for all processes that have had I/O
activity since boot time). But pidstat couldn't display those stats when
some PID numbers were entered on the command line (eg. "pidstat -d -p
1234" to display I/O stats since system startup for process 1234).
This patch makes it possible now.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Rearrange options displayed by sar -h

Rearrange options displayed by sar in its short help message
(sar -h): The upper case option should be displayed before its lower
case counterpart to be consistent with options order displayed by sar
usage message or displayed in sar manual page.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat displays -1 for unknown I/O statistics

pidstat -d now displays -1 for I/O statistics values when the
file containing the statistics data for the corresponding process cannot
be read (permission denied or file non existent).

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat stack utilization statistics were not always properly refreshed

Stack utilization statistics displayed by "pidstat -s" were sometimes
not displayed for some processes although values had changed.
This was because stack stats were displayed together with memory stats,
but pidstat was looking only for a variation in memory counters values
to decide whether to display the corresponding process or not.
So now process memory and stack statistics independently.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat: Documentation update

Give information about new option -v in pidstat manual page.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

pidstat: Add new option -v

Add option -v to pidstat. This option enables the user to display the
number of threads and the number of file descriptors associated with
each task.

Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

mpstat/pidstat exit immediately when SIGINT caught during 1st interval

The mpstat and pidstat commands display their average statistics when
they are interrupted by the user with control-C (SIGINT signal).
But when the signal was caught during the first interval of time (ie.
before any statistics had been displayed), trying to display some
average values is irrelevant. So make them exit immediately in this
case.

Add "prealloc" variable to configure script

sar (or sadc) allocates empty records in the data files it creates so
that it can save statistics for devices (disks, network interfaces,
etc.) that may be added to the system after the file was created.
The drawback is that data files take more space on disk than actually
strictly necessary.
Using the "prealloc" variable with configure (before compiling sysstat),
the user can tell how much space he wants to allocate.
This variable will determine the size of data files created by sar/sadc.
The default value is 1, meaning that some empty records will be
allocated.
A value of 0 means that data files will be the smallest possible.

Add XZ compressed target to Makefile

Add xdist target to Makefile: This will make a tarball compressed with
the xz compression program.

Starting sysstat 10.2.0

Update sysstat version number in configure script.

sysstat-10.1.7

sysstat version 10.1.7 final packaging.
lsm, spec and CREDITS files updated.
Changelog added.
Various cosmetic changes.

Update sadf manual page

Small change in sadf manual page.

NLS: Sync'd with Translation Project

Syncing with the Translation Project: Various translations updated.

Fix wrong permissions for data file created by sa1 script

If HISTORY is greater than 28, the sa1 script does not execute the
command "umask 0022" until after the new output file is created,
allowing it to have the wrong permissions if the root umask is not set
to 0022. So move the umask command above that "if" statement.

Reported-by: Peter Schiffer <pschiffe@redhat.com.fake>
Signed-off-by: Sebastien GODARD <sysstat@orange.fr.fake>

Documentation fixes and updates

Small fixes in sa1(8) and sa2(8) manual pages.
Also improve sa2(8) and sysstat(5) manual pages notably about keeping
data files and reports history.

Fix sar log file corruption in odd Feb 28th edge-case

The sar scripts /usr/lib/sa/sa1 and sa2 both normally use logs in
/var/log/sa itself, but if HISTORY is > 28 , the scripts use a tree of
log directories under /var/log/sa.

When HISTORY is < 28, then /usr/lib/sa/sa2's action to expunge old logs
which are more than HISTORY days old will mean that "tomorrow's" saXX
file never exists prior to /usr/lib/sa/sa1 creating it on the first pass
of the day.

However, when HISTORY == 28, then on March 1st in a non-leap year, the
log file sa01 will already exist from Feb 1st having not been
pre-expunged by the sa2 script. Similarly for March 2nd through 28th.

So now make sure that the sa1 script deletes the log file
if it is from a previous month. This way this will
prevent a log file from a month ago being re-used "today".

Replace comma with semi-colon in filesystem .hdr_line

Update iostat manual page: Fix a small inaccuracy regarding %util field

iostat manual page used to say that device saturation occured when the
value of %util was close to 100%. This is true for devices serving
requests serially but not necessariyl for devices able to serve multiple
requests simultaneously. So update iostat manual page accordingly.

Use a lightweight static library to compile some sysstat commands

Create two versions of the "librdstats.a" static library: one having all
the functions to read stats and which will be used by sadc, the other
having only a minimal subset of functions used by other commands like
iostat or pidstat.
The result is a much smaller binary file for iostat (size is 29% smaller
than before), pidstat (-27%), mpstat (-40%), nfsiostat (-43%) and
cifsiostat (-43%).

Small fix in sadc manual page about optional activities

Activities which are not collected by sadc by default are not limited to
interrupts and devices statistics. So update sadc manual page
accordingly.

"sar -o" now collects all possible statistics

sar now collects all possible statistics (including partitions ones)
when data are saved into a file with option -o ("sar -o" calls sadc
with option "-S XALL" instead of "-S ALL").

Merge branch 'remove-redundant-null-checks' of https://github.com/mnogu/sysstat

Merge branch 'fix-resource-leak' of https://github.com/mnogu/sysstat

Close file descriptor before exit.

Use %u instead of %d for unsigned int variables.

Fix resource leak.

fclose() is missing.

Remove redundant NULL checks.

Remove NULL checks before free() because free(NULL) performs no operation.

Small fix for "sar -A" in sar manual page

Indicate that filesystems statistics are also included in stats
displayed by sar -A (that is to say: option -F is also set when sar -A
is entered on the command line).

%ifutil: Documentation update

Update sar manual page to explain the meaning of %ifutil,
a new field added to sar network devices statistics.

%ifutil: Update sadf output to take into account the new metric

This patch updates the various output formats of sadf (CSV, ppc, JSON,
XML) to take into account the new %ifutil metric added to sar network
devices statistics.
DTD and XSD documents have also been updated accordingly.

%ifutil: Add NIC utilization percentage to sar network stats

This patch adds %ifutil to statistics displayed by sar -n.
%ifutil is a new metric giving the utilization percentage of the
corresponding network interface.

Update Makefile to allow for parallel execution

Rewrite rule for librdstats.a in Makefile to prevent possible file
corruption when using make -j.

Beautify the output of some manual pages

Always put commands names (and some of their options) in bold characters
in manual pages.

Collect filesystems stats only when sadc option "-S XDISK" is used

Make sadc collect filesystems statistics (those displayed by sar option
-F) only when option "-S XDISK" is used.
Filesystems are actually closer to partitions than to disks. So it makes
more sense for sadc to collect them when option "-S XDISK" is used
rather than option "-S DISK".
Update sadc and sar manual pages to reflect the change.

Fix a wrong assertion in sadf manual page

In its EXAMPLE section, sadf manual page says that

sadf -d /var/log/sa/sa21 -- -r -n DEV

extracts memory, swap space and network statistics from the data file.
This is no longer true as swap statistics are now displayed with option
-S and not option -r. So fix the wrong comment.

Merge branch 'master' of https://github.com/aloofschipperke/sysstat

Pull fix from Kevin Johnson:
Fix syntax error for gnumake.

Starting sysstat version 10.1.7

Change version number to 10.1.7 in configure script.

fix syntax error for gnumake

sysstat-10.1.6

sysstat version 10.1.6 final packaging.
lsm and spec files updated.

NLS: Sync'd with Translation Project

Syncinc with the Translation Project: Translations updated for cs, da
and hr languages.

NLS: Turkish translation added

Turkish translation added, from the Translation Project.

Tell where interrupts data come from in mpstat manual page

mpstat manual page now tells that interrupts data displayed by
mpstat -I CPU come from /proc/interrupts file, and that interrupts data
displayed by mpstat -I SCPU come from /proc/softirqs file, so that the
meaning of each interrupts can be more easily understood by users.

Fix type for "intr" attribute in XSD document

Type for "intr" attribute was integer in XSD document.
Yet its value can sometimes be "sum" when displaying statistics for the
total number of interrupts received per second (sar -I SUM).
So change its type to string.

Handle octal codes in filesystems mount point names

sar -F was unable to get statistics about filesystems whose mount points
(as given by /etc/mtab file) had octal codes in their names.
So now sar replaces those octal codes with their corresponding
characters before trying to collect stats about them.

Filesystems stats: Display unmounted filesystems in summary list

This patch enables sar -F to display filesystems in its summary list (the
last stats displayed by sar) even if those filesystems have been
unmounted before the end of the report.

Fix bad comments

I sometimes use the copy-and-paste function from my editor too
rapidly...

Filesystems statistics (part 7): Documentation updates

This patch updates sar manual page to describe option -F used to display
filesystems statistics.
CHANGES file is also updated.

Split rd_stats.c and rd_stats.h files

rd_stats.c file was becoming really big. So remove from it functions
used to count the number of items and put them in a separate file
(count.c).
Functions prototypes go to count.h.

Fix "memfree" element type in XSD document.

Type of "memfree" element (from memory statistics) was "negativeInteger"
in XSD document. Use "nonNegativeInteger instead" since it can never be
negative.
Also update CHANGES file.

Filesystems statistics (part 6): XML output format

This patch adds XML output format for filesystems statistics. This
format can be displayed with sadf option -x.
DTD and XML Schema (xsd) documents have also been updated.

Filesystems statistics (part 5): JSON output format

This patch adds JSON output format for filesystems statistics. This
format can be displayed with sadf option -j.

Filesystems statistics (part 4): ppc and db output formats

This patch adds ppc and database (CSV) output formats for filesystems
statistics. These formats can be displayed with sadf options -p and -d.

Also add a new flag (PT_USERND) to the render() function so that
a statistic value can be rounded to the nearest integer value.

Various cosmetic code changes

Nothing interesting here, except that things have to be cleaned
sometimes...

Filesystems statistics for sar (part 3): Display statistics

This patch makes sar display filesystems statistics collected by sadc.
No average statistics are calculated here (filesystems can be unmounted,
then mounted again, making average values meaningless). Instead, sar displays again
the list of filesystems.

Replace "Mb" with "MB" in filesystems statistics header line

"Mb" could be confused with MBits. So use "MB" to indicate that
filesystem usage is actually expressed in MBytes (MiB in fact).

Filesystems statistics for sar (part 2): Read statistics

This patch reads statistics for mounted filesystems except for
pseudo-filesystems which are ignored.
It also determines the number of filesystems for which stats will be
read.
Oh, and it adds another field to the stats_filesystem structure so that
filesystem name can be saved ;-)

Remove unused constants from header files

Several constants defined in header files were no longer used.
So remove them.
Note that S_F_PER_PROC constant (used in sar code to indicate that
option -P has been entered on the commnd line) has also been deleted.
We can know that option -P has been used if the CPU bitmap has at
least one bit set.

Added filesystems statistics to sar (part 1): Basic definitions and structures

A new option (-F) has been added to sar. This option tells sar to display
filesystems statistics.
This first patch adds the corresponding structures, constants and the new
functions prototypes.
sar's help and usage messages have also been updated.

Allow for more options to be grouped together.

Sysstat command options can now be 'collapsed' (grouped) when
not followed by an argument. So it's now possible for example
to enter 'iostat -px 2 5' since no device name is given to
option -p.
This also concerns pidstat option -U: You can now enter for example
'pidstat -wU' to display switching activity for tasks together with
their user name.

Typos fixed. README file updated.

Fixed some typos in code comments. Also updated README file where some
information were outdated.

Cosmetic fix in pidstat manual page.

Starting 10.1.6 version.
Cosmetic fix in pidstat manual page ("username" in synopsis section wasn't underlined).

10.1.5 final packaging.

Updated CHANGES, lsm and spec files.
Code squeezed.

NLS updated.

Sync'd with translation project.

Cosmetic fixes in pidstat manual page.

Replace "the real user name of the task" with "the name of the real
user owning the task" in pidstat manual page.

mpstat now takes into account every interrupt per processor
so that their number adds up to the number displayed for CPU "all".

mpstat used to sum only numerical interrupts (those with names like
"0", "1", etc. and not "LOC", ...). But the number of interrupts
per processor (displayed by mpstat -I SUM -P ALL) doesn't add up
to what is displayed for "all". To fix this, take into account all
interrupts per processor in /proc/interrupts file.

Message from Shergill, Gurinder <gurinder.shergill@hp.com> 13/03/2013:

I am seeing something odd with mpstat. It shows 0 for all the CPUs except 0 even though there are interrupts going to other CPUs and the number doesn't add up to what is displayed for "all". I can confirm that there is very high level of I/O activity on the system (resulting in about 200k intr/s). I have tried multiple system and seen the same behavior. I have also tried multiple different kernels (3.7.10, 3.8.2, also the distro kernel with RHEL 6.3 & 6.4).

Finally, I downloaded the latest sources for sysstat and built them on one of my systems, but even with that I get the same behavior.

Fixed a bug where systemd unit file couldn't be installed
because PKG_PROG_PKG_CONFIG macro wasn't expanded in configure
script.

Mail from Peter Schiffer <pschiffe@redhat.com> 08/03/2013:

I'm writing you regarding a little problem I've noticed when running
./configure script:

./configure: line 3923: PKG_PROG_PKG_CONFIG: command not found
checking for systemctl... /bin/systemctl
./configure: line 3975: --variable=systemdsystemunitdir: command not found

According to Google, you might be missing pkg-config program in your
path while generating configure script from configure.in file.
Because of this, systemd unit file won't be installed while doing make
install.

Fixed a small inconsistency in pidstat usage message.

Benno Schulenberg (from the Translation Project) reported that
pidstat synopsis should be "-U [ <username> ]" instead of "-U [ username ]"

10.1.4 final packaging.

Updated CHANGES, spec and lsm files.

NLS updated.

Sync'd with translation project.

pidstat's option -U updated.

pidstat's option -U can now be followed by a user name.
In this case, only tasks belonging to the specified user are
displayed by iostat.
pidstat manual page updated.

Now use sigaction() instead of signal() for signals handling.

signal() manual page explicitly says to avoid using it for
signal handling, because of portability problems among other.
So use now sigaction() for that.

pidstat can now display the username of the tasks being monitored.

A new option (-U) has been added to pidstat: This option is used
to display the real user name of the tasks being monitored instead
of the UID. pidstat manual page has been updated.

pidstat now displays task's UID.

pidstat now displays the real user ID of every task being monitored.
Its manual page has also been updated.

FAQ updated.

Fixed some typos. Also some examples were no longer valid: Fixed them.

mpstat and sar now stop and displays its average stats when it receives
SIGINT (crtl/c).

mpstat and sar/sadc now catch SIGINT (ctrl/c) and display their average
statistics when received.

pidstat now stops and displays its average
stats when it receives SIGINT (crtl/c).

pidstat now catches SIGINT and displays average statistics
when received.

10.1.3 final packaging.

Sync'd with Translation Project. Updated lsm and spec files.

Removed several unused definitions in header files.

Some constants in header files were no longer used. So remove them.

Increased NR_CPUS and NR_IRQS values.

Increased NR_CPUS to a minimum value of 2048, and NR_IRQS to 1024.
Mail from Peter Schiffer <pschiffe@redhat.com> 19/12/2012:

we hit NR_CPUS limit on system with 1280 cpus:

Cannot handle so many processors!
Invalid data format

I'm sending you proposed patch for this problem. I also increased NR_IRQS. Let me know what you think.

Changed IPv6 counters (used by sar -n {IP6 | EIP6 }) to
unsigned long long to keep in sync with current kernels.

Keep in sync with recent kernels (3.7rc8 used here): Now use
unsigned long long for SNMP IPv6 statistics.
WARNING: This breaks compatibility with older sar data
files format for IPv6 statistics.

Changed IPv4 counters (used by sar -n {IP | EIP }) to
unsigned long long to keep in sync with current kernels.

Keep in sync with recent kernels (3.7rc8 used here): Now use
unsigned long long for SNMP IPv4 statistics.
WARNING: This breaks compatibility with older sar data
files format for IPv4 statistics.

Changed network counters (used by sar -n {DEV | EDEV }) to
unsigned long long to keep in sync with current kernels.

Keep in sync with recent kernels (3.7rc8 used here): Now use
unsigned long long for network statistics.
WARNING: This breaks compatibility with older sar data
files format for network statistics.

Mail from Matthew Hall (matthew.hall@ecsc.co.uk) 15/12/2011:

I've spotted an issue with sadc when values in /proc/net/dev are greater
than 4294967295, in that in rd_stats.h all values in
stats_net_dev/stats_net_edev are unsigned long, but it *seems* that for
a while at least (earliest reference I can see is to 2002 [1]), that
values for (rx|tx)_(bytes|packets) are unsigned long long (this is the
format ifconfig from net-tools uses).

I've attached a sample of my /proc/net/dev (for reference) and a patch
for the 9.0.6.1 version of sysstat (also applies against 10.0.2 with
minor fuzz from patch) which converts lu to llu for these counters.

I've not looked much further into it, since this solves my particular
problem, but I expect it's not the 'correct' solution as I can see in
/usr/include/linux/if_link.h that rx_bytes is a '__u32' for x86, and
'__u64' for x86_64 - so it's probably not portable across different
architectures. There's likely some more work to be done to have
different format structs of stats_net_dev depending on arch.

Remove heading spaces in softirq names displayed by mpstat for easier reading.

Output from mpstat -I SCPU was sometimes difficult to read because
of softirq names which are sometimes too long. So remove heading spaces
for easier reading.
Before:
09:46:05 PM  CPU           HI/s        TIMER/s       NET_TX/s       NET_RX/s        BLOCK/s BLOCK_IOPOLL/s      TASKLET/s        SCHED/s      HRTIMER/s          RCU/s
09:46:05 PM    0       0.00     783.63       0.17       9.09       4.52       0.00       3.25     154.86       0.02      66.59
After:
09:57:02 PM  CPU       HI/s    TIMER/s   NET_TX/s   NET_RX/s    BLOCK/s BLOCK_IOPOLL/s  TASKLET/s    SCHED/s  HRTIMER/s      RCU/s
09:57:02 PM    0       0.00     752.30       0.17       7.79       3.80       0.00       2.86     168.52       0.01      64.77

Cosmetic fixes in configure script.

Trying to grep for some expressions in configure.in script was
not done properly, resulting in "...: Command not found" message
(hidden since stdout and stderr were redirected to /dev/null).
So change:
if (`grep some_expr some_file /dev/null 2>&1); then...
with:
grep some_expr some_file /dev/null 2>&1
if test $? = 0; then...

Now install sadc in $prefix/lib64 directory on 64 bit machines
even if $prefix/lib also exists.

$prefix/lib no longer takes precedence on $prefix/lib64 directory
if this latter exists on 64 bit machines.
CPU is 64 bit if it has the lm (long mode) flag in /proc/cpuinfo.

Mail from Wayne Lin <wlin@mvista.com> 14/11/2012:
Subject: why 64 bit sa1 sa2 sadc are in /usr/lib and not in /usr/lib64?

We like the sysstat package, we are just curious why by default when built
on 64 bit system and targeting 64 bit system, the /sa and its content
sa1, sa2, sadc are being put in /usr/lib and not /usr/lib64?
Should we just use sa_lib_dir to configure the redirect?

FIxed a bug where sadc didn't collect all its activities when it
had to overwrite an old sysstat data file with some
unknown activity formats.

How to reproduce: Create a data file with sadc from version 9.1.6:
sadc data 1 2
Check that you have all activities (and network ones in particular),
for example using sar from 10.1.2 version:
sar -n DEV -f data
Try to append data with sadc from 10.1.2:
sadc -F data 1 3
Only a few (or no) activities have been collected and saved in data file.
This is because one activity is unknown so sar overwrites the file. But in
the meantime, activities have been reset (open_ofile() function).

Mail from John Lau <johnlcf@gmail.com> 16/11/2012:

Subject: Sadc create corrupt sa file even with -F option
(See corresponding mail)

Option -y added to iostat.

This option tells iostat to not display its first report with statistics
since system boot.
Courtesy Peter Schiffer from RedHat.

Mail from Peter Schiffer 20/11/2012 (pschiffe@redhat.com):

I want to talk to you about one feature of iostat command. When you ran
iostat without any arguments, it prints statistics since boot. This is
OK, and, for example, mpstat is doing the same. However, when you run
let's say iostat 1 5, the first report displays statistics since boot.
This can be a problem in numerous situations. Well, I am not sure when
this behavior is beneficial and usually this first report is removed by
some kind of post-processing. When compared to mpstat, the first report
is skipped and it waits to the next report. And I think this is the
default behavior for all other sysstat tools.

Now, I was wondering about how to make it better. I don't think that it
would be wise to change default behavior - that could break things.
But I was thinking more about some new option which would make iostat
skip the first since boot report.

What do you think about it?

Fixed DTD document.

When computer has run all day without restart, XML output file
from sadf -x contains no boot elements.
So change DTD document accordingly (from <!ELEMENT restarts (boot+)>
to <!ELEMENT restarts (boot*)>).
XSD document is not updated, but its version number changes to remain
consistent with that of DTD document.

Bug reported by Peter Schiffer <pschiffe@redhat.com> 13/11/2012.

Starting new version: 10.1.3

10.1.2 final packaging.

Updated spec and lsm files. CHANGES file updated.

NLS updated.

Sync'd with translation project.

Fixed a fatal error when compiled with -Werror=format-security.

This change is a workaround a fatal error that we get when compiling
sysstat with -Werror=format-securit.

Mail from Guillaume Rousse (guillomovitch@gmail.com) 30/07/2012:

Voici un patch que j'ai retrouvé dans le package mageia de sysstat, qui corrige une erreur d'utilisation de printf (fatale avec les options -Wformat -Werror=format-security).
[...]

(Following patch doesn't work properly).