Packet Location Interface

src/nf-queue.c: cleanup and improve performance of test program for NF_QUEUE

* Fix filename in file header

* If the kernel or netlink socket becomes over loaded,
  the kernel starts printing error messages like:

nf_queue: full at 1024 entries, dropping packets(s). Dropped: 1
nf_queue: full at 1024 entries, dropping packets(s). Dropped: 2
nf_queue: full at 1024 entries, dropping packets(s). Dropped: 3

So detect out of order packet ID's and set the NF_ACCEPT verdictÂ,
so they will be removed from the kernel queue.

* increase socket buffer to improve performance

without these changes sending more than 100 KB/s over tcp HTTP lo(localhost)
was difficult on my core2 duo machine, due to so many dropped packets.
After these changes over 150 MB/s was easy.

* improve help text

Signed-off-by: Karl Hiramoto <karl@hiramoto.org>

Don't install private header files.

object: fix attribute comparison

Currently two attributes are regarded as different if they are absent in
both objects to be compared. This is obviously incorrect, change to
regard objects as different if an attribute is only present on one of
them or if the attribute data differs.

Signed-off-by: Patrick McHardy <kaber@trash.net>

Fix rule attribute comparison

Rules don't have unique identifiers, so all attributes are compared
by initializing the ID mask to ~0. This doesn't work however since
nl_object_identical verifies whether the ID attributes are actually
present before comparing the objects, which is never the case.

Work around by using the intersection of present attributes when
comparing two rule objects.

Signed-off-by: Patrick McHardy <kaber@trash.net>

addr: add NL_DUMP_ENV function

Signed-off-by: Patrick McHardy <kaber@trash.net>

addr: restore anycast functions

Seems it got lost during some cleanups.

Signed-off-by: Patrick McHardy <kaber@trash.net>

neigh: fix id_attrs to include ifindex

Neighbour entries for the same destination may exist on multiple
interfaces. Include the interface in the ID attributes.

Signed-off-by: Patrick McHardy <kaber@trash.net>

cache: properly invoke change_cb for deleted objects in nl_cache_resync()

When resyncing a cache, there are no delete messages, so they need to
be synthesized for deleted objects.

Signed-off-by: Patrick McHardy <kaber@trash.net>

Fix a bug when calculating ticks_per_usec

I've noticed a wrong behavior when setting up some delays in a netem
qdisc.  I will try to make the things easier for the reader describing
the calls path.

To set up a delay (or jitter...) I use 'rtnl_netem_set_delay' which
requires an int parameter that tells the delay in micro seconds. Inside
this func, the delay is set up with the help of 'nl_us2ticks', which is
just an arithmetic operation (us * ticks_per_usec), where us is the
input parameter and ticks_per_usec is a global variable initialized in
'get_psched_settings'. And here is the problem:

If this variable is going to be calculated using '/proc/net/psched', I
think the file scan is not done properly.

I don't understand what the meaning of the asterisk is here:

int r = fscanf(fd, "%08x%08x%08x%*08x", &tick, &us, &nom);
if (4 == r && nom == 1000000 && !got_tick)
        ticks_per_usec = (double)tick/(double)us;

The execution path never gets in the if statement, because r is always
3, and if the fourth parameter is read (avoiding the asterisk), there is
no variable to store it in, so it comes a segv. In my opinion we can get
rid of the if statement, because I think the proc psched file has always
a fixed format of 4 parameters, and 'nom' is always 1000000
(http://lxr.linux.no/#linux+v2.6.32/net/sched/sch_api.c#L1678).

Find attached a patch I did, if I am correct.

new function nfnl_queue_msg_send_verdict_payload()

nfnl_queue_msg_send_verdict_payload() will to send the verdict, mark,
and possibly changed payload through the netlink socket.

Add a few docbook comments in other funcs.

Signed-off-by: Karl Hiramoto <karl@hiramoto.org>

new feature nl_send_iovec(), nl_auto_complete() and code refactoring.

Create new function nl_send_iovec() to be used to send multiple 'struct iovec'
through the netlink socket.  This will be used for NF_QUEUE, to send
packet payload of a modified packet.

Refactor nl_send() to use nl_send_iovec() sending a single struct iovec.

Create new function nl_auto_complete() by refactoring nl_send_auto_complete(),
so other functions that call nl_send may also use nl_auto_complete()

Signed-off-by: Karl Hiramoto <karl@hiramoto.org>

CLI - Command Line Interface Library

Moved common code in src/ used by CLI tools to src/lib/ for possible use
by other CLI tools. Just link to libnl-cli.{so|la}

one more fix, u32.c

One more segfault, also nl-tctree-list , fix
Probably need reformat for better look
Patch attached

invalid comma cause segfault for nl-tctree-list, tbf.c

I notice segfault while running nl-tctree-list for tbf qdisc.

Patch that fix this typo is attached.

libnl: add ERANGE to errno translation

Signed-off-by: Patrick McHardy <kaber@trash.net>

libnl: fix automake breakage

libnl-route must be handled before libnl-nf in lib_LTLIBRARIES since
the later depends on the former. Additionally nf-monitor, nl-list-caches,
nl-list-sockets and nl-util-addr have been dropped from the Makefile.

Signed-off-by: Patrick McHardy <kaber@trash.net>

- Compile with _GNU_SOURCE
- Fixed classifier.c -> cls.c

Merge branch 'master' of git://dev.medozas.de/libnl

Conflicts:
lib/Makefile
src/Makefile

Add support for getting and deleting queueing classes.

Fix rtnl_addr caching

addr_obj.ops.oo_id_attrs included ADDR_ATTR_PEER, so any address that
didn't have a peer address set would compare as unequal to itself,
meaning it could never be removed from a cache after it was added, etc.

Patch for unexpectedly aligned messages

I found the following bug, where nlmsg_ok() in lib/msg.c would
incorrectly return 'true' when the input argument 'remaining' was a negative
number.  This happens when the message is not aligned the way that libnl
expects (although it is still legal).

In the comparison of the signed and unsigned numbers on line 284, the signed
number gets converted to an unsigned number, which is unexpected and
naturally produces a bug.  My patch is below.  The cast is ugly, but it
fixes the problem.

- Reworked the classifier interface.
- Added initial ematch support
- Added support for the basic classifier
- Added support for the cgroup classifier

nl_object_clone: properly clone ce_mask field

based on my finding, ce_mask needs to be identical on clones; otherwise
some functions (like "dump") will treat clones differently.

Declare struct ucred in handlers.h and netlink.h

Both files refer to it.  The sources including those files are not
guaranteed to include sys/socket.h to ensure that struct ucred is
defined.

build: make use of library dependencies

Move to automake-based build

Issues solved:
* PACKAGE_VERSION was abused for SOVERSION
* unneeded DEP stage
* did not support out-of-tree builds
* no way to turn off silent mode
* overriding CFLAGS at make time was not supported
* no static libs were provided

Signed-off-by: Jan Engelhardt <jengelh@medozas.de>

release_local_port: properly compute the bitmap position

Current calculation is always off, not reflecting the right position
in the bitmap, which results in failures due to conflicts (detected at
the kernel level) when trying to open a new handle.

Signed-off-by: Inaky Perez-Gonzalez <inaky@linux.intel.com>

Separate compiling from linking

This helps users understand where possible warnings come from.
It also allows more find-grained control over the build flags.

nl_object_priv() is inline, so define it in the header

Remove all versioned libraries on "make clean"

Fix parallel build

When linking against libnl, require libnl.so to exist.  When linking
against libnl-route, require libnl-route.so to exist.

Include limits.h to fix undefined ULONG_MAX in src/utils.c

libnl: fix socket function rename related build failure

Signed-off-by: Patrick McHardy <kaber@trash.net>

Fix up naming changes

restructure module documentation order

split hiearchy into one top level module per library

Remove obsoleted struct nl_handle definition

Consistent naming of socket functions

Update doc style sheet to latest default

Documentation update

Allow to pass multiple group values to membership functions

Instead of calling the membership functions several times it is
helpfull to extend the API and make the single group functions a
special case.

The value 0 (NFNLGRP_NONE) terminates this list.

Example use:

  nl_socket_add_memberships(sock, group_1, group_2, 0);
  nl_socket_drop_memberships(sock, group_1, group_2, 0);

Signed-off-by: Holger Eitzenberger <holger@eitzenberger.org>

libnl: add some errno codes to nl_syserr2nlerr

Signed-off-by: Patrick McHardy <kaber@trash.net>

libnl: nfqueue: add nfqueue specific socket allocation function

commit e92539843a0c7e5116254382626cce226bf2135e
Author: Patrick McHardy <kaber@trash.net>
Date:   Thu Oct 23 13:46:16 2008 +0200

    libnl: nfqueue: add nfqueue specific socket allocation function

    nfqueue users usually send verdict messages from the receive callback.
    When waiting for ACKs, the receive callback might be called again
    recursively until the stack blows up.

    Add a nfqueue specific socket allocation function that automatically
    disables ACKing for the socket.

Signed-off-by: Patrick McHardy <kaber@trash.net>

Add internal wait_for_ack() which only waits for ACK if !NL_NO_AUTO_ACK

This changeset ensures that internal code properly synchronizes to
ACKs if ACKs are enabled and otherwise return immediately.

Add socket flag NL_NO_AUTO_ACK to allow disabling auto ACKS

Error handling for rtnl_cls_set_kind() & addition of rtnl_cls_get_ops()

Use 16bit ints for classifier prio/protocol

Replace NL_KEEP code with proper message reference counting

Adds reference counting to netlink messages so callbacks
can hold on to a message without using the broken keep
message flag.

Only include local addr as peer addr if provided

we're using libnl-1.1 for a project. When trying to delete all
addresses of an interface by only setting interface index and
address family of an rtnl_addr and executing rtnl_addr_delete()
we received some error (I don't remember what it was).

The bug(?) is in build_addr_msg() in lib/route/addr.c:
IFA_ADDRESS is set to a_local when a_peer is not set,
without checking if a_local was set. We just added
   if (tmpl->ce_mask & ADDR_ATTR_LOCAL)
after the "else" (line 496 in the current git).

fix lib symlinks

From: Kees Cook <kees@outflux.net>
Hello!  It seems that libnl is missing an include for limits.h, which
causes it to FTBFS when glibc 2.8 is installed (currently in
experimental, so I left this bug severity at "normal").

test updates

adapt configure to generate libnl-2.0.pc

Changed libnl-1.pc.in to libnl-2.0.pc.in

(Also changed top level Makefile to reflect the change in libnl version)

libnl: fix about 100 warnings

In file included from addr.c:28:
../include/netlink-local.h:119:1: warning: "__deprecated" redefined
In file included from /usr/include/linux/stddef.h:4,
                 from /usr/include/linux/posix_types.h:4,
                 from /usr/include/linux/types.h:8,
                 from ../include/netlink-local.h:37,
                 from addr.c:28:
/usr/include/linux/compiler.h:45:1: warning: this is the location of the previous definition

This happens about 100 times. Suggested patch:

Explicitely link to nl-route when linking nf apps.

ld won't resolve its own deps in -L../lib/ for some
reason.

Remove XML dumping

Bloats the library, not frequently used

Fix compile errors when linking against libnl-genl

Improvements to address utilities

- Moved env var dumping to nl-addr-list.c
- support for ipv6 lifetimes
- correct and complete help texts

<netlink/addr.h> requires <netdb.h>

Need <linux/in_route.h>

Improved printing of route cache entries

Extend nl_time2int() and rename it to nl_str2msec()

Support parsing of more complex time duration input.

Introduce nla_strdup() to help parse strings attributes

Properly handle addr=NULL in nl_addr2str

Remove unused dp_dump_line()

Update linux/rtnetlink.h to upstream version

Remove old line counting while dumping

New set of libnl tools

Converts all tools to the API changes and improves the useability by
introducing regular options and long options.

Present port and icmp values in host byte order and beautify printing

This changes make nfnl_ct_get_src_port() and others return the value
in host byte order rather than in network byte order.

Also splits printing into details and statistical section and
improves readability.

Don't build tests on 'make all'

Remove change routine, works flawlessly via add() with NLM_F_REPLACE

This breaks the API but is the right thing to do.

Improve printing of routing rules

Family specific libraries can link to the core directly

Fix error code of nl_addr_resolve()

Add rtnl_neigh_get_family()

Return libnl error codes in translation routines

Remove src/f_addr.c, it's no longer used

utility functions for address tools

New set of address management tools

Fix library install target

Remove references to unused attribute anycast

Move on to version 2.0 to account for the serious ABI breakage

Build separate libraries for each netilnk family

This reduces the footprint on systems which only require a small
subset of the library.

Allow parser callbacks to return NL_OK, NL_SKIP, NL_EXIT

Obsoletes internal P_ACCEPT/P_IGNORE

Uninline various functions to save 7K code

Fix memory leaks when sending of message failed

Various callers of nl_send_auto_complete() failed to
free the allocated message when an error was reported.

Rename struct nl_handle to struct nl_sock

The idea of a common handle is long revised and only misleading,
nl_handle really represents a socket with some additional
action handlers assigned to it.

Alias for nl_handle is kept for backwards compatibility.

Check length of provided address label

Replace RTNL_LINK_NOT_FOUND with just 0

The interface index 0 is reserved and can be safely used to
signal that the device does not exist.

Remove obsolete nla_get_addr() and nla_get_data()

Replaces obsolete calls to nla_get_addr() and nla_get_data()
with nl_addr_alloc_attr() respectively nl_data_alloc_attr().

Also fixes missing error handling while parsing routing multipath
configuration.

Break API some more

Since we've broken the API anyway, remove some aliases which only
exist for backwards compatibility.

Thread-safe error handling

In order for the interface to become more thread safe, the error
handling was revised to no longer depend on a static errno and
error string buffer.

This patch converts all error paths to return a libnl specific
error code which can be translated to a error message using
nl_geterror(int error). The functions nl_error() and
nl_get_errno() are therefore obsolete.

This change required various sets of function prototypes to be
changed in order to return an error code, the most prominent
are:

    struct nl_cache *foo_alloc_cache(...);
changed to:
    int foo_alloc_cache(..., struct nl_cache **);

    struct nl_msg *foo_build_request(...);
changed to:
    int foo_build_request(..., struct nl_msg **);

    struct foo *foo_parse(...);
changed to:
    int foo_parse(..., struct foo **);

This pretty much only leaves trivial allocation functions to
still return a pointer object which can still return NULL to
signal out of memory.

This change is a serious API and ABI breaker, sorry!

patch: fixed compilation problem for nl-route-get

Fixed compilation problem for nl-route-get by adding extra parameter now
needed for nltool_alloc_route_cache() function.

patch: fixed up support for tables in rules

Added two new functions to facilitate processing the nexthop entries for routes.

Added rtnl_route_foreach_nexthop() to walk the list of nexthops invoking a
caller-provided callback for each nexthop entry, and added rtnl_route_nexthop_n()
to retrieve the Nth nexthop entry in the list.

Speed up metrics comparison

Using rtnl_route_get_metric() for route comparison became a bottleneck
because each metric which was not available resulted in the generation
of an error message. This changeset avoids this by accessing rt_metrics
and rt_metrics_mask directly while comparing route objects.

Improve performance by using malloc() over calloc() in critical places

As pointed out by Regis Hanna, a considerable performance gain can be
achieved by using malloc() over calloc() when allocating netlink message
buffers. This is likely due to the fact that we use a complete page for
each message.

ignore more temporary files

Fix dumping of iif route attribute