]> granicus.if.org Git - spl/log
spl
15 years agoAdd basic credential support and splat tests.
Brian Behlendorf [Tue, 28 Jul 2009 00:18:59 +0000 (17:18 -0700)]
Add basic credential support and splat tests.
The previous credential implementation simply provided the needed types and
a couple of dummy functions needed.  This update correctly ties the basic
Solaris credential API in to one of two Linux kernel APIs.

Prior to 2.6.29 the linux kernel embeded all credentials in the task
structure.  For these kernels, we pass around the entire task struct as if
it were the credential, then we use the helper functions to extract the
credential related bits.

As of 2.6.29 a new credential type was added which we can and do fairly
cleanly layer on top of.  Once again the helper functions nicely hide
the implementation details from all callers.

Three tests were added to the splat test framework to verify basic
correctness.  They should be extended as needed when need credential
functions are added.

15 years agoRemove LINUXINCLUDE from autoconf wrapper, breaks 2.6.28+ kernels.
Brian Behlendorf [Mon, 27 Jul 2009 16:52:01 +0000 (09:52 -0700)]
Remove LINUXINCLUDE from autoconf wrapper, breaks 2.6.28+ kernels.
Modern kernel build systems at least post 2.6.16 will set this properly
so we should not.  In fact post 2.6.28 the include headers have moved
under arch so the guess we make here is completely wrong.  Letting
the kernel build system set this ensure it will be correct.

15 years agoPositive Solaris ioctl return codes need to be negated for use by libc
Brian Behlendorf [Thu, 23 Jul 2009 23:14:52 +0000 (16:14 -0700)]
Positive Solaris ioctl return codes need to be negated for use by libc

15 years agoAllow kmem or vmem based slab for slab_lock and slab_overcommit tests.
Brian Behlendorf [Thu, 23 Jul 2009 20:50:53 +0000 (13:50 -0700)]
Allow kmem or vmem based slab for slab_lock and slab_overcommit tests.
The slab_overcommit test case could hang on a system with fragmented
memory because it was creating a kmem based slab with 256K objects.
To avoid this I've removed the KMC_KMEM flag which allows the slab
to decide if it should be kmem or vmem backed based on the object
side.  The slab_lock test shares this code and will also be effected.
But the point of these two tests is to stress cache locking and
memory overcommit, the type of slab is not critical.  In fact, allowing
the slab to do the default smart thing is preferable.

15 years agoThe HAVE_PATH_IN_NAMEIDATA compat macros should have been used here.
Brian Behlendorf [Wed, 22 Jul 2009 21:28:19 +0000 (14:28 -0700)]
The HAVE_PATH_IN_NAMEIDATA compat macros should have been used here.

15 years agoCheck arch/default/ path when detecting kernel objects on SLES
Brian Behlendorf [Wed, 22 Jul 2009 13:59:28 +0000 (06:59 -0700)]
Check arch/default/ path when detecting kernel objects on SLES
We still preferentially use arch/arch looking for a native version
but if that fails it is acceptable to use default.

15 years agoRegister a basic compat ioctl handler (32 vs 64 bit compat)
Brian Behlendorf [Tue, 21 Jul 2009 17:13:58 +0000 (10:13 -0700)]
Register a basic compat ioctl handler (32 vs 64 bit compat)
Simply pass the ioctl on to the normal handler.  If the ioctl
helper macros are used correctly this should be safe as they
will handle the packing/unpacking of the data encoded in the
ioctl command.  And actually, if the caller does not use the
IO* macros at all, and just passes small values, it will probably
be OK as well.  We only get in to trouble if they try and use
the upper 32-bits.  Endianness is not really a concern here, we
we are pretty much assumed they user and kernel will match.

15 years agoFixed NULL dereference by tcd_for_each() when the kmalloc() call in module/spl/spl...
Ricardo M. Correia [Tue, 14 Jul 2009 22:24:59 +0000 (15:24 -0700)]
Fixed NULL dereference by tcd_for_each() when the kmalloc() call in module/spl/spl-debug.c:1163 returns NULL.

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
15 years agoPrevent integer overflow after ~164 days of uptime.
Ricardo M. Correia [Tue, 14 Jul 2009 22:23:25 +0000 (15:23 -0700)]
Prevent integer overflow after ~164 days of uptime.

Signed-off-by: Brian Behlendorf <behlendorf1@llnl.gov>
15 years agoAdd a little paranoia here to ensure endianess is set correctly.
Brian Behlendorf [Tue, 14 Jul 2009 21:28:04 +0000 (14:28 -0700)]
Add a little paranoia here to ensure endianess is set correctly.

15 years agoAdd basic groupmember() function, not sup groups.
Brian Behlendorf [Fri, 10 Jul 2009 17:58:06 +0000 (10:58 -0700)]
Add basic groupmember() function, not sup groups.

15 years agoAdd ddi_copyin/ddi_copyout support for fake kernel originated ioctls.
Brian Behlendorf [Fri, 10 Jul 2009 17:56:32 +0000 (10:56 -0700)]
Add ddi_copyin/ddi_copyout support for fake kernel originated ioctls.

15 years agoDefine ACE_ALL_PERMS for use by ACLs
Brian Behlendorf [Thu, 9 Jul 2009 22:00:25 +0000 (15:00 -0700)]
Define ACE_ALL_PERMS for use by ACLs

15 years agoDefine FKIOCTL which is used on Solaris to mark an in-kernel ioctl.
Brian Behlendorf [Thu, 9 Jul 2009 21:59:41 +0000 (14:59 -0700)]
Define FKIOCTL which is used on Solaris to mark an in-kernel ioctl.

15 years agoAdd ASSERTV macro to simplify removing variables (the V in ASSERTV)
Brian Behlendorf [Thu, 9 Jul 2009 19:15:23 +0000 (12:15 -0700)]
Add ASSERTV macro to simplify removing variables (the V in ASSERTV)
which are only used in ASSERT().

15 years agoAdd basic support for TASKQ_THREADS_CPU_PCT taskq flag which is
Brian Behlendorf [Thu, 9 Jul 2009 17:07:52 +0000 (10:07 -0700)]
Add basic support for TASKQ_THREADS_CPU_PCT taskq flag which is
used to scale the number of threads based on the number of online
CPUs.  As CPUs are added/removed we should rescale the thread
count appropriately, but currently this is only done at create.

15 years agoUpdate ChangeLog spl-0.4.4
Brian Behlendorf [Thu, 2 Jul 2009 21:19:11 +0000 (14:19 -0700)]
Update ChangeLog

15 years agoCleanly handle --with-linux=NONE option when used to generate source
Brian Behlendorf [Thu, 2 Jul 2009 17:47:28 +0000 (10:47 -0700)]
Cleanly handle --with-linux=NONE option when used to generate source
rpms.  These should not be fatal because we actually don't need them
until we build the source rpm.  When doing mock builds this is
important because these dependent rpms will only be installed if
they are specificed in the source rpms spec file.

15 years agoSimplify rpm build rules, added config/rpm.am.
Brian Behlendorf [Wed, 1 Jul 2009 21:37:44 +0000 (14:37 -0700)]
Simplify rpm build rules, added config/rpm.am.
Distro friendly changes such that the kernel modules are packaged seperately.

15 years agoAdd spl.release to spl-devel to simply dependent package version check.
Brian Behlendorf [Mon, 29 Jun 2009 23:41:21 +0000 (16:41 -0700)]
Add spl.release to spl-devel to simply dependent package version check.

15 years agoInstall spl-devel products in /usr/src/spl-SPL_VERSION/LINUX_VERSION/
Brian Behlendorf [Fri, 26 Jun 2009 23:30:44 +0000 (16:30 -0700)]
Install spl-devel products in /usr/src/spl-SPL_VERSION/LINUX_VERSION/
Remove the spl symlink, it's just confusing

15 years agoUse do_div on older kernel where do_div64 doesn't exist.
Brian Behlendorf [Fri, 26 Jun 2009 20:10:52 +0000 (13:10 -0700)]
Use do_div on older kernel where do_div64 doesn't exist.

15 years agoAdditional tuning to get the BuildRequires right for all cases.
Brian Behlendorf [Fri, 26 Jun 2009 19:43:27 +0000 (12:43 -0700)]
Additional tuning to get the BuildRequires right for all cases.
pl.spec~

15 years agoSimplify the kernel depenency logic
Brian Behlendorf [Fri, 26 Jun 2009 18:37:06 +0000 (11:37 -0700)]
Simplify the kernel depenency logic

15 years agoSpec file update, for some reason the following shorthand syntax
Brian Behlendorf [Fri, 26 Jun 2009 17:34:40 +0000 (10:34 -0700)]
Spec file update, for some reason the following shorthand syntax
was failing so it was replaced with the longer %if version.

%{!?foo: %define foo bar}

changed to

%if %{undefined foo}
 %define foo bar
%endif

15 years agoSRPM build farm / mock itergration
Brian Behlendorf [Fri, 26 Jun 2009 16:40:14 +0000 (09:40 -0700)]
SRPM build farm / mock itergration

15 years agoBuild farm integration to ensure BuildRequires are correct
Brian Behlendorf [Thu, 25 Jun 2009 23:11:13 +0000 (16:11 -0700)]
Build farm integration to ensure BuildRequires are correct

15 years agoPackaging Fixes
Brian Behlendorf [Thu, 25 Jun 2009 22:31:53 +0000 (15:31 -0700)]
Packaging Fixes
- Kernel modules should be built using the LINUX_OBJ Makefiles and
  not the LINUX Makefiles to ensure the proper install paths are used.
- Install modules in to addon/spl/
- Ensure no additional kernel module build products are packaged.
- Simplified spl.spec.in which supports RHEL, CHAOS, SLES, FEDORA.

15 years agoUpdate ChangeLog with a high level summary of the changes from
Brian Behlendorf [Mon, 22 Jun 2009 22:31:40 +0000 (15:31 -0700)]
Update ChangeLog with a high level summary of the changes from
0.4.3 to 0.4.4 prior to tagging.  Full details can be found in
the git commit history.

15 years agoPackaging improvements for RHEL and SLES (part 2)
Brian Behlendorf [Tue, 16 Jun 2009 18:34:28 +0000 (11:34 -0700)]
Packaging improvements for RHEL and SLES (part 2)
- Allow checking for exported symbols in both Module.symvers
  and Module.symvers.  My stock SLES kernel ships an objects
  directory with Module.symvers, yet produces a Module.symvers
  in the local build directory.

15 years agoPackaging improvements for RHEL and SLES
Brian Behlendorf [Tue, 16 Jun 2009 17:44:59 +0000 (10:44 -0700)]
Packaging improvements for RHEL and SLES
- Properly honor --prefix in build system and rpm spec file.
- Add '--define require_kdir' to spec file to support building
  rpms against kernel sources installed in non-default locations.
- Add '--define require_kobj' to spec file to support building
  rpms against kernel object installed in non-default locations.
- Stop suppressing errors in autogen.sh script.
- Improved logic to detect missing kernel objects when they are
  not located with the source.  This is the common case for SLES
  as well as in-tree chaos kernel builds and is done to simply
  support for multiple arches.
- Moved spl-devel build products to /usr/src/spl-<version>, a
  spl symlink is created to reference the last installed version.

15 years agoSLES10 Fixes (part 9)
Brian Behlendorf [Thu, 21 May 2009 17:56:11 +0000 (10:56 -0700)]
SLES10 Fixes (part 9)
- Proper ioctl() 32/64-bit binary compatibility.  We need to ensure the
  ioctl data itself is always packed the same for 32/64-bit binaries.
  Additionally, the correct thing to do is encode this size in bytes
  as part of the command using _IOC_SIZE().
- Minor formatting changes to respect the 80 character limit.
- Move all SPLAT_SUBSYSTEM_* defines in to splat-ctl.h.
- Increase SPLAT_SUBSYSTEM_UNKNOWN because we were getting close
  to accidentally using it for a real registered subsystem.

15 years agoSLES10 Fixes (part 8)
Brian Behlendorf [Wed, 20 May 2009 23:33:08 +0000 (16:33 -0700)]
SLES10 Fixes (part 8)
- Add compat_ioctl() handler, by default 64-bit SLES systems build 32-bit
  ELF binaries.  For the 32-bit binaries to pass ioctl information to a
  64-bit kernel a compatibility handler needs to be registered.  In our
  case no additional conversions are needed to convert 32-bit ioctl()
  commands to 64-bit commands so we can just call the default handler.

15 years agoSLES10 Fixes (part 7)
Brian Behlendorf [Wed, 20 May 2009 22:30:13 +0000 (15:30 -0700)]
SLES10 Fixes (part 7)
- Initial SLES testing uncovered a long standing bug in the debug
  tracing.  The tcd_for_each() macro expected a NULL to terminate
  the trace_data[i] array but this was only ever true due to luck.
  All trace_data[] iterators are now properly capped by TCD_TYPE_MAX.
- SPLAT_MAJOR 229 conflicted with a 'hvc' device on my SLES system.
  Since this was always an arbitrary choice I picked something else.
- The HAVE_PGDAT_LIST case should set pgdat_list_addr to the value stored
  at the address of the memory location returned by kallsyms_lookup_name().

15 years agoSLES10 Fixes (part 6)
Brian Behlendorf [Wed, 20 May 2009 21:23:13 +0000 (14:23 -0700)]
SLES10 Fixes (part 6)
- Prior to 2.6.17 there were no *_pgdat helper functions in mm/mmzone.c.
  Instead for_each_zone() operated directly on pgdat_list which may or
  may not have been exported depending on how your kernel was compiled.
  Now new configure checks determine if you have the helpers or not, and
  if the needed symbols are exported.  If they are not exported then they
  are dynamically aquired at runtime by kallsyms_lookup_name().

15 years agoPowerpc Fixes (part 1):
Brian Behlendorf [Wed, 20 May 2009 19:23:24 +0000 (12:23 -0700)]
Powerpc Fixes (part 1):
- Enable builds for powerpc ISA type.
- Add DIV_ROUND_UP and roundup macros if unavailable.
- Cast 64-bit values for %lld format string to (long long) to
  quiet compile warning.

15 years agoSLES10 Fixes (part 5):
Brian Behlendorf [Wed, 20 May 2009 18:54:40 +0000 (11:54 -0700)]
SLES10 Fixes (part 5):
- Fix incorrect mapping for spl_device_create()->class_device_create()
  which is the prefered API for 2.6.13 to 2.6.17 based kernels.

15 years agoSLES10 Fixes (part 4):
Brian Behlendorf [Wed, 20 May 2009 18:31:55 +0000 (11:31 -0700)]
SLES10 Fixes (part 4):
- Configure check for SLES specific API change to vfs_unlink()
  and vfs_rename() which added a 'struct vfsmount *' argument.
  This was for something called the linux-security-module, but
  it appears that it was never adopted upstream.

15 years agoSLES10 Fixes (part 3):
Brian Behlendorf [Wed, 20 May 2009 17:56:13 +0000 (10:56 -0700)]
SLES10 Fixes (part 3):
- Configure check for mutex_lock_nested().  This function was introduced
  as part of the mutex validator in 2.6.18, but if it's unavailable then
  it's safe to fallback to a plain mutex_lock().

15 years agoSLES10 Fixes (part 2):
Brian Behlendorf [Wed, 20 May 2009 17:08:37 +0000 (10:08 -0700)]
SLES10 Fixes (part 2):
- Configure check, the div64_64() function was renamed to
  div64_u64() as of 2.6.26.
- Configure check, the global_page_state() fuction was introduced
  in 2.6.18 kernels.  The earlier 2.6.16 based SLES10 must not try
  and use it, thankfully get_zone_counts() is still available.
- To simplify debugging poison all symbols aquired dynamically
  using spl_kallsyms_lookup_name() with SYMBOL_POISON.
- Add console messages when the user mode helpers fail.
- spl_kmem_init_globals() use bit shifts instead of division.
- When the monotonic clock is unavailable __gethrtime() must perform
  the HZ division as an 'unsigned long long' because the SPL only
  implements __udivdi3(), and not __divdi3() for 'long long' division
  on 32-bit arches.

15 years agoSLES10 Fixes (part 1):
Brian Behlendorf [Tue, 19 May 2009 18:42:39 +0000 (11:42 -0700)]
SLES10 Fixes (part 1):
- Exclude -obj when detecting installed kernel source.
- Detect -obj directory for out of tree kernel builds.
- Allow kernel build system to set CC to ensure -m64 is set properly.
  This is an issue on 64-bit SLES systems which by default always
  build 32-bit binaries (unlike RHEL/Fedora which default to 64-bit)

15 years agoPrep for spl-0.4.3 tag. spl-0.4.3
Brian Behlendorf [Fri, 20 Mar 2009 21:48:30 +0000 (14:48 -0700)]
Prep for spl-0.4.3 tag.

15 years agoAdd list_move_tail() function.
Brian Behlendorf [Fri, 20 Mar 2009 04:40:07 +0000 (21:40 -0700)]
Add list_move_tail() function.

15 years agoRemove useless EOL white space padding from `splat -l` command.
Brian Behlendorf [Wed, 18 Mar 2009 18:56:42 +0000 (11:56 -0700)]
Remove useless EOL white space padding from `splat -l` command.

15 years agoFix vmem leak in kmem_cache_test (missing splat_kmem_cache_test_kcp_free())
Brian Behlendorf [Wed, 18 Mar 2009 18:56:00 +0000 (11:56 -0700)]
Fix vmem leak in kmem_cache_test (missing splat_kmem_cache_test_kcp_free())

15 years agoAllow spl_config.h to be included by dependant packages
Brian Behlendorf [Tue, 17 Mar 2009 21:55:59 +0000 (14:55 -0700)]
Allow spl_config.h to be included by dependant packages

We need dependent packages to be able to include spl_config.h so they
can leverage the configure checks the SPL has done.  This is important
because several of the spl headers need the results of these checks to
work properly.  Unfortunately, the autoheader build product is always
private to a particular build and defined certain common things.
(PACKAGE, VERSION, etc).  This prevents other packages which also use
autoheader from being include because the definitions conflict.  To
avoid this problem the SPL build system leverage AH_BOTTOM to include
a spl_unconfig.h at the botton of the autoheader build product.  This
custom include undefs all known shared symbols to prevent the confict.
This does however mean that those definition are also not availble
to the SPL package either.  The SPL package therefore uses the
equivilant SPL_META_* definitions.

15 years agoFC10/i686 Compatibility Update (2.6.27.19-170.2.35.fc10.i686)
Brian Behlendorf [Tue, 17 Mar 2009 19:16:31 +0000 (12:16 -0700)]
FC10/i686 Compatibility Update (2.6.27.19-170.2.35.fc10.i686)

In the interests of portability I have added a FC10/i686 box to
my list of development platforms.  The hope is this will allow me
to keep current with upstream kernel API changes, and at the same
time ensure I don't accidentally break x86 support.  This patch
resolves all remaining issues observed under that environment.

1) SPL_AC_ZONE_STAT_ITEM_FIA autoconf check added.  As of 2.6.21
the kernel added a clean API for modules to get the global count
for free, inactive, and active pages.  The SPL attempts to detect
if this API is available and directly map spl_global_page_state()
to global_page_state().  If the full API is not available then
spl_global_page_state() is implemented as a thin layer to get
these values via get_zone_counts() if that symbol is available.

2) New kmem:vmem_size regression test added to validate correct
vmem_size() functionality.  The test case acquires the current
global vmem state, allocates from the vmem region, then verifies
the allocation is correctly reflected in the vmem_size() stats.

3) Change splat_kmem_cache_thread_test() to always use KMC_KMEM
based memory.  On x86 systems with limited virtual address space
failures resulted due to exhaustig the address space.  The tests
really need to problem exhausting all memory on the system thus
we need to use the physical address space.

4) Change kmem:slab_lock to cap it's memory usage at availrmem
instead of using the native linux nr_free_pages().  This provides
additional test coverage of the SPL Linux VM integration.

5) Change kmem:slab_overcommit to perform allocation of 256K
instead of 1M.  On x86 based systems it is not possible to create
a kmem backed slab with entires of that size.  To compensate for
this the number of allocations performed in increased by 4x.

6) Additional autoconf documentation for proposed upstream API
changes to make additional symbols available to modules.

7) Console error messages added when spl_kallsyms_lookup_name()
fails to locate an expected symbol.  This causes the module to fail
to load and we need to know exactly which symbol was not available.

15 years agoFix taskq_wait() not waiting bug
Brian Behlendorf [Sun, 15 Mar 2009 22:13:49 +0000 (15:13 -0700)]
Fix taskq_wait() not waiting bug

I'm very surprised this has not surfaced until now.  But the taskq_wait()
implementation work only wait successfully the first time it was called.
Subsequent usage of taskq_wait() on the taskq would not wait.

The issue was caused by tq->tq_lowest_id being set to MAX_INT after the
first wait completed.  This caused subsequent waits which check that the
waiting id is less than the lowest taskq id to always succeed.  The fix
is to ensure that tq->tq_lowest_id is never set larger than tq->tq_next.id.

Additional fixes which were added to this patch include:
1) Fix a race by placing the taskq_wait_check() in the tq->tq_lock spinlock.
2) taskq_wait() should wait for the largest outstanding id.
3) Multiple spelling corrections.
4) Added taskq wait regression test to validate correct behavior.

15 years agoMutex tests updated to use task queues instead of work queues.
Brian Behlendorf [Sun, 15 Mar 2009 22:05:38 +0000 (15:05 -0700)]
Mutex tests updated to use task queues instead of work queues.

Mainly for portability reasons I have rebased the mutex tests on Solaris
taskqs instead of linux work queues.  The linux workqueue API changed post
2.6.18 kernels and using task queues avoids having to conditionally detect
which workqueue API to use.

Additionally, this is basically free additional testing for the task queues.
Much to my surprise after updating these test cases they did expose a long
standing bug in the taskq_wait() implementation.  This patch does not
address that issue but the followup patch does.

15 years agoAdded SPL_AC_5ARGS_DEVICE_CREATE autoconf configure check
Brian Behlendorf [Fri, 13 Mar 2009 20:38:43 +0000 (13:38 -0700)]
Added SPL_AC_5ARGS_DEVICE_CREATE autoconf configure check

As of 2.6.27 kernels the device_create() API changed to include
a private data argument.  This check detects which version of
device_create() function the kernel has and properly defines
spl_device_create() to use the correct prototype.

15 years agoFix off-by-1 truncation of hw_serial when converting from integer to string, when...
Ricardo M. Correia [Thu, 12 Mar 2009 21:23:34 +0000 (21:23 +0000)]
Fix off-by-1 truncation of hw_serial when converting from integer to string, when writing to /proc/sys/kernel/spl/spl_hostid.
Fixes hostid mismatch which leads to assertion failure when the hostid/hw_serial is a 10-character decimal number:

$ zpool status
  pool: lustre
 state: ONLINE
lt-zpool: zpool_main.c:3176: status_callback: Assertion `reason == ZPOOL_STATUS_OK' failed.
zsh: 5262 abort      zpool status

15 years agoMinor bug fix in XDR code introduced in last minute change before landing.
Ricardo M. Correia [Wed, 11 Mar 2009 05:39:03 +0000 (05:39 +0000)]
Minor bug fix in XDR code introduced in last minute change before landing.

1) Removed xdr_bytesrec typedef which has no consumers.  If we re-add
   it should also probably be xdr_bytesrec_t.

15 years agoAdd XDR implementation
Ricardo M. Correia [Tue, 10 Mar 2009 19:51:45 +0000 (19:51 +0000)]
Add XDR implementation

Added proper XDR implementation (Lustre bug 17662), needed for on-disk
compatibility between platforms of different endianness.

15 years agoBuild system cleanup
Brian Behlendorf [Tue, 10 Mar 2009 17:57:52 +0000 (10:57 -0700)]
Build system cleanup

1) Undefine non-unique entries in spl_config.h
2) Minor Makefile cleanup
3) Don't use includedir for proper kernel header install

15 years agoBuild System Default Kernel
Brian Behlendorf [Mon, 9 Mar 2009 23:50:37 +0000 (16:50 -0700)]
Build System Default Kernel

Update the method used for determining which kernel to build against
when not specified.  Previous 'uname -r' was used but this makes the
assumption that the running kernel is the one you want to use, this is
often not the case.  It is better to examine the usual kernel-devel
install locations and select one of the installed kernels.

15 years agoBuild system and packaging (RPM support)
Brian Behlendorf [Thu, 5 Mar 2009 17:08:07 +0000 (09:08 -0800)]
Build system and packaging (RPM support)

An update to the build system to properly support all commonly
used Makefile targets these include:

  make all        # Build everything
  make install    # Install everything
  make clean   # Clean up build products
  make distclean  # Clean up everything
  make dist       # Create package tarball
  make srpm       # Create package source RPM
  make rpm        # Create package binary RPMs
  make tags       # Create ctags and etags for everything

Extra care was taken to ensure that the source RPMs are fully
rebuildable against Fedora/RHEL/Chaos kernels.  To build binary
RPMs from the source RPM for your system simply run:

  rpmbuild --rebuild spl-x.y.z-1.src.rpm

This will produce two binary RPMs with correct 'requires'
dependencies for your kernel.  One will contain all spl modules
and support utilities, the other is a devel package for compiling
additional kernel modules which are dependant on the spl.

  spl-x.y.z-1_<kernel version>.x86_64.rpm
  spl-devel-x.y.2-1_<kernel version>.x86_64.rpm

15 years agoXXX: Temporarily disable vmem_size().
Ricardo M. Correia [Thu, 26 Feb 2009 18:05:39 +0000 (18:05 +0000)]
XXX: Temporarily disable vmem_size().

15 years agoMerge branch 'kallsyms'
Brian Behlendorf [Wed, 4 Mar 2009 18:19:41 +0000 (10:19 -0800)]
Merge branch 'kallsyms'

15 years agoLinux VM Integration Cleanup
Brian Behlendorf [Wed, 25 Feb 2009 21:20:40 +0000 (13:20 -0800)]
Linux VM Integration Cleanup

Remove all instances of functions being reimplemented in the SPL.
When the prototypes are available in the linux headers but the
function address itself is not exported use kallsyms_lookup_name()
to find the address.  The function name itself can them become a
define which calls a function pointer.  This is preferable to
reimplementing the function in the SPL because it ensures we get
the correct version of the function for the running kernel.  This
is actually pretty safe because the prototype is defined in the
headers so we know we are calling the function properly.

This patch also includes a rhel5 kernel patch we exports the needed
symbols so we don't need to use kallsyms_lookup_name().  There are
autoconf checks to detect if the symbol is exported and if so to
use it directly.  We should add patches for stock upstream kernels
as needed if for no other reason than so we can easily track which
additional symbols we needed exported.  Those patches can also be
used by anyone willing to rebuild their kernel, but this should
not be a requirement.  The rhel5 version of the export-symbols
patch has been applied to the chaos kernel.

Additional fixes:
1) Implement vmem_size() function using get_vmalloc_info()
2) SPL_CHECK_SYMBOL_EXPORT macro updated to use $LINUX_OBJ instead
   of $LINUX because Module.symvers is a build product.  When
   $LINUX_OBJ != $LINUX we will not properly detect exported symbols.
3) SPL_LINUX_COMPILE_IFELSE macro updated to add include2 and
   $LINUX/include search paths to allow proper compilation when
   the kernel target build directory is not the source directory.

15 years agoChanged ptob()/btop() mult/div into bit shifts.
Ricardo M. Correia [Wed, 25 Feb 2009 21:06:15 +0000 (21:06 +0000)]
Changed ptob()/btop() mult/div into bit shifts.
Added necessary include for PAGE_SHIFT.

15 years agoAdded btop() and moved ptob() to include/sys/param.h.
Ricardo M. Correia [Sun, 22 Feb 2009 03:05:40 +0000 (03:05 +0000)]
Added btop() and moved ptob() to include/sys/param.h.

15 years agoChanged z_compress_level() and z_uncompress() prototypes to match the ones in Solaris.
Ricardo M. Correia [Sun, 22 Feb 2009 03:35:51 +0000 (03:35 +0000)]
Changed z_compress_level() and z_uncompress() prototypes to match the ones in Solaris.
Fixes compilation warning.

15 years agoMatching kmem_free() fix for use after free case.
Brian Behlendorf [Thu, 19 Feb 2009 20:28:10 +0000 (12:28 -0800)]
Matching kmem_free() fix for use after free case.

See commit bb01879ebe5ba5d8e2c2177d3b1ce0272c17ce07 for a full
description.  This issue should have been addressed in the same
commit but it slipped my mind.

15 years agoAdd zone_get_hostid() function
Brian Behlendorf [Thu, 19 Feb 2009 19:26:17 +0000 (11:26 -0800)]
Add zone_get_hostid() function

Minimal support added for the zone_get_hostid() function.  Only
global zones are supported therefore this function must be called
with a NULL argumment.  Additionally, I've added the HW_HOSTID_LEN
define and updated all instances where a hard coded magic value
of 11 was used; "A good riddance of bad rubbish!"

15 years agoCoverity 9657: Resource Leak
Brian Behlendorf [Wed, 18 Feb 2009 18:16:26 +0000 (10:16 -0800)]
Coverity 9657: Resource Leak

Accidentally leaked list item li in error path.  The fix is to
adjust this error path to ensure the allocated list item which
has not yet been added to the list gets freed.  To do this we
simply add a new goto label slightly earlier to use the existing
cleanup logic and minimize the number of unique return points.

15 years agoCoverity 9656: Forward NULL
Brian Behlendorf [Wed, 18 Feb 2009 18:09:01 +0000 (10:09 -0800)]
Coverity 9656: Forward NULL

This was a false positive the callpath being walked is impossible
because the splat_kmem_cache_test_kcp_alloc() function will ensure
kcp->kcp_kcd[0] is initialized to NULL.  However, there is no harm
is making this explicit for the test case so I'm adding a line to
clearly set it to correct the analysis.

15 years agoCoverity 9649, 9650, 9651: Uninit
Brian Behlendorf [Wed, 18 Feb 2009 17:48:07 +0000 (09:48 -0800)]
Coverity 9649, 9650, 9651: Uninit

This check was originally added to detect double initializations
of mutex types (which it did find).  Unfortunately, Coverity is
right that there is a very small chance we could trigger the
assertion by accident because an uninitialized stack variable
happens to contain the mutex magic.  This is particularly unlikely
since we do poison the mutexs when destroyed but still possible.
Therefore I'm simply removing the assertion.

15 years agoCoverity 9654, 9654: Use After Free
Brian Behlendorf [Wed, 18 Feb 2009 00:41:08 +0000 (16:41 -0800)]
Coverity 9654, 9654: Use After Free

Because vmem_free() was implemented as a macro using the ','
operator to evaluate both arguments and we performed the free
before evaluating size we would deference the free'd pointer.
To resolve the problem we just invert the ordering and evaluate
size first just as if it was evaluated by the caller when being
passed to this function.  This ensure that if the caller is
doing something reckless like performing an assignment as
part of the size argument we still perform it and it simply
doesn't get removed by the macro.  Oh course nobody should
be doing this sort of thing, but just in case.

15 years agoCoverity 9652, 9653: No Effect
Brian Behlendorf [Wed, 18 Feb 2009 00:30:58 +0000 (16:30 -0800)]
Coverity 9652, 9653: No Effect

Removed 2 ASSERT()s which had no effect because by definition
size_t is always an unsigned type thus is always >= 0.

15 years agoCoverity 9641: Buffer Size
Brian Behlendorf [Wed, 18 Feb 2009 00:24:26 +0000 (16:24 -0800)]
Coverity 9641: Buffer Size

When SPLAT_TEST_INIT() initialized SPLAT_KMEM_TEST11_NAME the short
short test name overran the static length buffer of SPLAT_NAME_SIZE.
This was fixed by increasing the buffer length from 16 to 20 bytes.

15 years agokmem slab magazine ageing deadlock
Brian Behlendorf [Tue, 17 Feb 2009 23:52:18 +0000 (15:52 -0800)]
kmem slab magazine ageing deadlock

- The previous magazine ageing sceme relied on the on_each_cpu()
  function to call spl_magazine_age() on each cpu.  It turns out
  this could deadlock with do_flush_tlb_all() which also relies
  on the IPI based on_each_cpu().  To avoid this problem a per-
  magazine delayed work item is created and indepentantly
  scheduled to the correct cpu removing the need for on_each_cpu().
- Additionally two unused fields were removed from the type
  spl_kmem_cache_t, they were hold overs from previous cleanup.
    - struct work_struct work
    - struct timer_list timer

15 years agokmem slab fixes
Brian Behlendorf [Fri, 13 Feb 2009 18:28:55 +0000 (10:28 -0800)]
kmem slab fixes

- spl_slab_reclaim() 'continue' changed back to 'break' from commit
  37db7d8cf9936e6d2851a4329c11efcd9f61305c.  The original was correct,
  I have added a comment to ensure this does not happen again.
- spl_slab_reclaim() further optimized by moving the destructor call
  in spl_slab_free() outside the skc->skc_lock.  This minimizes the
  length of time the spin lock is held, allows the destructors to
  be invoked concurrently for different objects, and as a bonus makes
  it safe (although unwise) to sleep in the destructors.

15 years agoBuild system update
Brian Behlendorf [Thu, 12 Feb 2009 23:04:36 +0000 (15:04 -0800)]
Build system update

- Added default build flags for kernel modules:
  -Wstrict-prototypes -Werror

15 years agoBuild system update
Brian Behlendorf [Thu, 12 Feb 2009 22:45:22 +0000 (14:45 -0800)]
Build system update

- Added default build flags:
  -Wall -Wstrict-prototypes -Werror -Wshadow
- Added missing Makefile's for include/ subdirectories.

15 years agokmem slab fixes
Brian Behlendorf [Thu, 12 Feb 2009 21:32:10 +0000 (13:32 -0800)]
kmem slab fixes

- Default SPL_KMEM_CACHE_DELAY changed to 15 to match Solaris.
- Aged out slab checking occurs every SPL_KMEM_CACHE_DELAY / 3.
- skc->skc_reap tunable added whichs allows callers of
  spl_slab_reclaim() to cap the number of slabs reclaimed.
  On Solaris all eligible slabs are always reclaimed, and this
  is still the default behavior.  However, I suspect that is
  not always wise for reasons such as in the next comment.
- spl_slab_reclaim() added cond_resched() while walking the
  slab/object free lists.  Soft lockups were observed when
  freeing large numbers of vmalloc'd slabs/objets.
- spl_slab_reclaim() 'sks->sks_ref > 0' check changes from
  incorrect 'break' to 'continue' to ensure all slabs are
  checked.
- spl_cache_age() reworked to avoid a deadlock with
  do_flush_tlb_all() which occured because we slept waiting
  for completion in spl_cache_age().  To waiting for magazine
  reclamation to finish is not required so we no longer wait.
- spl_magazine_create() and spl_magazine_destroy() shifted
  back to using for_each_online_cpu() instead of the
  spl_on_each_cpu() approach which was of course a bad idea
  due to memory allocations which Ricardo pointed out.

15 years agoMinor bug fix due to MAXOFFSET_T constant being too large on 32-bit systems.
Ricardo M. Correia [Sat, 7 Feb 2009 00:53:39 +0000 (00:53 +0000)]
Minor bug fix due to MAXOFFSET_T constant being too large on 32-bit systems.

15 years agoPrep for 0.4.2 tag spl-0.4.2
Brian Behlendorf [Thu, 5 Feb 2009 21:34:51 +0000 (13:34 -0800)]
Prep for 0.4.2 tag

15 years agoAdditional Linux VM integration
Brian Behlendorf [Thu, 5 Feb 2009 20:26:34 +0000 (12:26 -0800)]
Additional Linux VM integration

Added support for Solaris swapfs_minfree, and swapfs_reserve tunables.
In additional availrmem is now available and return a reasonable value
which is reasonably analogous to the Solaris meaning.  On linux we
return the sun of free and inactive pages since these are all easily
reclaimable.

All tunables are available in /proc/sys/kernel/spl/vm/* and they may
need a little adjusting once we observe the real behavior.  Some of
the defaults are mapped to similar linux counterparts, others are
straight from the OpenSolaris defaults.

15 years agoLinux VM integration / device special files
Brian Behlendorf [Wed, 4 Feb 2009 23:15:41 +0000 (15:15 -0800)]
Linux VM integration / device special files

Support added to provide reasonable values for the global Solaris
VM variables: minfree, desfree, lotsfree, needfree.  These values
are set to the sum of their per-zone linux counterparts which
should be close enough for Solaris consumers.

When a non-GPL app links against the SPL we cannot use the udev
interfaces, which means non of the device special files are created.
Because of this I had added a poor mans udev which cause the SPL
to invoke an upcall and create the basic devices when a minor
is registered.  When a minor is unregistered we use the vnode
interface to unlink the special file.

15 years ago2.6.27+ portability changes
Brian Behlendorf [Mon, 2 Feb 2009 23:12:30 +0000 (15:12 -0800)]
2.6.27+ portability changes

- Added SPL_AC_3ARGS_ON_EACH_CPU configure check to determine
  if the older 4 argument version of on_each_cpu() should be
  used or the new 3 argument version.  The retry argument was
  dropped in the new API which was never used anyway.
- Updated work queue compatibility wrappers.  The old way this
  worked was to pass a data point when initialized the workqueue.
  The new API assumed the work item is embedding in a structure
  and we us container_of() to find that data pointer.
- Updated skc->skc_flags to be an unsigned long which is now
  type checked in the bit operations.  This silences the warnings.
- Updated autogen products and splat tests accordingly

15 years agoMake the number of system taskq threads based on the node of cores in the node, as...
Brian Behlendorf [Mon, 2 Feb 2009 16:53:53 +0000 (08:53 -0800)]
Make the number of system taskq threads based on the node of cores in the node, as is done for most linux system tasks

15 years agoUpdate thread tests to have max_time
Brian Behlendorf [Sat, 31 Jan 2009 05:24:42 +0000 (21:24 -0800)]
Update thread tests to have max_time

15 years agoAdd new workqueue header
Brian Behlendorf [Sat, 31 Jan 2009 05:11:42 +0000 (21:11 -0800)]
Add new workqueue header

15 years agokmem_cache hardening and performance improvements
Brian Behlendorf [Sat, 31 Jan 2009 04:54:49 +0000 (20:54 -0800)]
kmem_cache hardening and performance improvements

- Added slab work queue task which gradually ages and free's slabs
  from the cache which have not been used recently.
- Optimized slab packing algorithm to ensure each slab contains the
  maximum number of objects without create to large a slab.
- Fix deadlock, we can never call kv_free() under the skc_lock.  We
  now unlink the objects and slabs from the cache itself and attach
  them to a private work list.  The contents of the list are then
  subsequently freed outside the spin lock.
- Move magazine create/destroy operation on to local cpu.
- Further performace optimizations by minimize the usage of the large
  per-cache skc_lock.  This includes the addition of KMC_BIT_REAPING
  bit mask which is used to prevent concurrent reaping, and to defer
  new slab creation when reaping is occuring.
- Add KMC_BIT_DESTROYING bit mask which is set when the cache is being
  destroyed, this is used to catch any task accessing the cache while
  it is being destroyed.
- Add comments to all the functions and additional comments to try
  and make everything as clear as possible.
- Major cleanup and additions to the SPLAT kmem tests to more
  rigerously stress the cache implementation and look for any problems.
  This includes correctness and performance tests.
- Updated portable work queue interfaces

15 years agoRemove debug check was was accidentally left in place an prevent the slab cache from...
Brian Behlendorf [Tue, 27 Jan 2009 04:10:23 +0000 (20:10 -0800)]
Remove debug check was was accidentally left in place an prevent the slab cache from working on systems with >4 cores

15 years agoPull the blkdev header in to the sunldi for some useful structure definitions and...
Brian Behlendorf [Tue, 27 Jan 2009 00:47:49 +0000 (16:47 -0800)]
Pull the blkdev header in to the sunldi for some useful structure definitions and helper functions

15 years agoImplement kmem cache alignment argument
Brian Behlendorf [Mon, 26 Jan 2009 17:02:04 +0000 (09:02 -0800)]
Implement kmem cache alignment argument

15 years agoRemove stray ` from macro
Brian Behlendorf [Fri, 23 Jan 2009 16:59:11 +0000 (08:59 -0800)]
Remove stray ` from macro

15 years agoSleep uninteruptibly, waking up early may result in a crash
Brian Behlendorf [Thu, 22 Jan 2009 17:58:48 +0000 (09:58 -0800)]
Sleep uninteruptibly, waking up early may result in a crash

15 years agoUpdate debug.h to standardize VERIFY3_IMPL error messages in debug and non-debug...
Brian Behlendorf [Thu, 22 Jan 2009 17:41:47 +0000 (09:41 -0800)]
Update debug.h to standardize VERIFY3_IMPL error messages in debug and non-debug mode

15 years agoPrep for 0.4.1 tag spl-0.4.1
Brian Behlendorf [Wed, 21 Jan 2009 19:46:02 +0000 (11:46 -0800)]
Prep for 0.4.1 tag

15 years agoMinor fix for compiler warning when KMEM_TRACKING is enabled
Brian Behlendorf [Tue, 20 Jan 2009 21:39:35 +0000 (13:39 -0800)]
Minor fix for compiler warning when KMEM_TRACKING is enabled

15 years agoKMEM_TRACKING turned up a missing free in list test 6, fix the leak
Brian Behlendorf [Tue, 20 Jan 2009 20:47:53 +0000 (12:47 -0800)]
KMEM_TRACKING turned up a missing free in list test 6, fix the leak

15 years agoEnsure -NDEBUG does not get added to spl_config.h and is only set in the build option...
Brian Behlendorf [Tue, 20 Jan 2009 19:59:47 +0000 (11:59 -0800)]
Ensure -NDEBUG does not get added to spl_config.h and is only set in the build options.  This allows other kernel modules to use spl_config to leverage the reset of the config checks without getting confused with the debug options

15 years agoRefresh libtool
Brian Behlendorf [Thu, 15 Jan 2009 18:47:24 +0000 (10:47 -0800)]
Refresh libtool

15 years agoRename modules to module and update references
Brian Behlendorf [Thu, 15 Jan 2009 18:44:54 +0000 (10:44 -0800)]
Rename modules to module and update references

15 years agoMake the splat load message caps just for consistency
Brian Behlendorf [Tue, 13 Jan 2009 19:45:02 +0000 (11:45 -0800)]
Make the splat load message caps just for consistency

15 years agoTASKQ_DYNAMIC not yet support, do not create the global taskq with that flag or we...
Brian Behlendorf [Tue, 13 Jan 2009 19:43:05 +0000 (11:43 -0800)]
TASKQ_DYNAMIC not yet support, do not create the global taskq with that flag or we crash with debug enabled.  Also don't bother dumping debug when debugging is diabled, it's pointless

15 years agoRework ddi_strtox calls to a native implementation which actuall supports the EINVAL...
Brian Behlendorf [Tue, 13 Jan 2009 17:30:59 +0000 (09:30 -0800)]
Rework ddi_strtox calls to a native implementation which actuall supports the EINVAL, ERANGE error handling, plus add a regression suite to ensure I got it atleast mostly right

15 years agoAdd missing stub headers
Brian Behlendorf [Sat, 10 Jan 2009 00:04:44 +0000 (16:04 -0800)]
Add missing stub headers