granicus.if.org Git - zfs/blob - zfs/lib/libumem/include/sys/vmem_impl_user.h

   1 /*
   2  * CDDL HEADER START
   3  *
   4  * The contents of this file are subject to the terms of the
   5  * Common Development and Distribution License, Version 1.0 only
   6  * (the "License").  You may not use this file except in compliance
   7  * with the License.
   8  *
   9  * You can obtain a copy of the license at usr/src/OPENSOLARIS.LICENSE
  10  * or http://www.opensolaris.org/os/licensing.
  11  * See the License for the specific language governing permissions
  12  * and limitations under the License.
  13  *
  14  * When distributing Covered Code, include this CDDL HEADER in each
  15  * file and include the License file at usr/src/OPENSOLARIS.LICENSE.
  16  * If applicable, add the following below this CDDL HEADER, with the
  17  * fields enclosed by brackets "[]" replaced with your own identifying
  18  * information: Portions Copyright [yyyy] [name of copyright owner]
  19  *
  20  * CDDL HEADER END
  21  */
  22 /*
  23  * Copyright 1999-2002 Sun Microsystems, Inc.  All rights reserved.
  24  * Use is subject to license terms.
  25  */
  26
  27 #ifndef _SYS_VMEM_IMPL_USER_H
  28 #define _SYS_VMEM_IMPL_USER_H
  29
  30 #pragma ident   "%Z%%M% %I%     %E% SMI"
  31
  32 #include <sys/kstat.h>
  33 #include <sys/time.h>
  34 #include <sys/vmem.h>
  35 #include <thread.h>
  36 #include <synch.h>
  37
  38 #ifdef  __cplusplus
  39 extern "C" {
  40 #endif
  41
  42 typedef struct vmem_seg vmem_seg_t;
  43
  44 #define VMEM_STACK_DEPTH        20
  45
  46 struct vmem_seg {
  47         /*
  48          * The first four fields must match vmem_freelist_t exactly.
  49          */
  50         uintptr_t       vs_start;       /* start of segment (inclusive) */
  51         uintptr_t       vs_end;         /* end of segment (exclusive) */
  52         vmem_seg_t      *vs_knext;      /* next of kin (alloc, free, span) */
  53         vmem_seg_t      *vs_kprev;      /* prev of kin */
  54
  55         vmem_seg_t      *vs_anext;      /* next in arena */
  56         vmem_seg_t      *vs_aprev;      /* prev in arena */
  57         uint8_t         vs_type;        /* alloc, free, span */
  58         uint8_t         vs_import;      /* non-zero if segment was imported */
  59         uint8_t         vs_depth;       /* stack depth if UMF_AUDIT active */
  60         /*
  61          * The following fields are present only when UMF_AUDIT is set.
  62          */
  63         thread_t        vs_thread;
  64         hrtime_t        vs_timestamp;
  65         uintptr_t       vs_stack[VMEM_STACK_DEPTH];
  66 };
  67
  68 typedef struct vmem_freelist {
  69         uintptr_t       vs_start;       /* always zero */
  70         uintptr_t       vs_end;         /* segment size */
  71         vmem_seg_t      *vs_knext;      /* next of kin */
  72         vmem_seg_t      *vs_kprev;      /* prev of kin */
  73 } vmem_freelist_t;
  74
  75 #define VS_SIZE(vsp)    ((vsp)->vs_end - (vsp)->vs_start)
  76
  77 /*
  78  * Segment hashing
  79  */
  80 #define VMEM_HASH_INDEX(a, s, q, m)                                     \
  81         ((((a) + ((a) >> (s)) + ((a) >> ((s) << 1))) >> (q)) & (m))
  82
  83 #define VMEM_HASH(vmp, addr)                                            \
  84         (&(vmp)->vm_hash_table[VMEM_HASH_INDEX(addr,                    \
  85         (vmp)->vm_hash_shift, (vmp)->vm_qshift, (vmp)->vm_hash_mask)])
  86
  87 #define VMEM_NAMELEN            30
  88 #define VMEM_HASH_INITIAL       16
  89 #define VMEM_NQCACHE_MAX        16
  90 #define VMEM_FREELISTS          (sizeof (void *) * 8)
  91
  92 typedef struct vmem_kstat {
  93         uint64_t        vk_mem_inuse;   /* memory in use */
  94         uint64_t        vk_mem_import;  /* memory imported */
  95         uint64_t        vk_mem_total;   /* total memory in arena */
  96         uint32_t        vk_source_id;   /* vmem id of vmem source */
  97         uint64_t        vk_alloc;       /* number of allocations */
  98         uint64_t        vk_free;        /* number of frees */
  99         uint64_t        vk_wait;        /* number of allocations that waited */
 100         uint64_t        vk_fail;        /* number of allocations that failed */
 101         uint64_t        vk_lookup;      /* hash lookup count */
 102         uint64_t        vk_search;      /* freelist search count */
 103         uint64_t        vk_populate_wait;       /* populates that waited */
 104         uint64_t        vk_populate_fail;       /* populates that failed */
 105         uint64_t        vk_contains;            /* vmem_contains() calls */
 106         uint64_t        vk_contains_search;     /* vmem_contains() search cnt */
 107 } vmem_kstat_t;
 108
 109 struct vmem {
 110         char            vm_name[VMEM_NAMELEN];  /* arena name */
 111         cond_t          vm_cv;          /* cv for blocking allocations */
 112         mutex_t         vm_lock;        /* arena lock */
 113         uint32_t        vm_id;          /* vmem id */
 114         uint32_t        vm_mtbf;        /* induced alloc failure rate */
 115         int             vm_cflags;      /* arena creation flags */
 116         int             vm_qshift;      /* log2(vm_quantum) */
 117         size_t          vm_quantum;     /* vmem quantum */
 118         size_t          vm_qcache_max;  /* maximum size to front by umem */
 119         vmem_alloc_t    *vm_source_alloc;
 120         vmem_free_t     *vm_source_free;
 121         vmem_t          *vm_source;     /* vmem source for imported memory */
 122         vmem_t          *vm_next;       /* next in vmem_list */
 123         ssize_t         vm_nsegfree;    /* number of free vmem_seg_t's */
 124         vmem_seg_t      *vm_segfree;    /* free vmem_seg_t list */
 125         vmem_seg_t      **vm_hash_table; /* allocated-segment hash table */
 126         size_t          vm_hash_mask;   /* hash_size - 1 */
 127         size_t          vm_hash_shift;  /* log2(vm_hash_mask + 1) */
 128         ulong_t         vm_freemap;     /* bitmap of non-empty freelists */
 129         vmem_seg_t      vm_seg0;        /* anchor segment */
 130         vmem_seg_t      vm_rotor;       /* rotor for VM_NEXTFIT allocations */
 131         vmem_seg_t      *vm_hash0[VMEM_HASH_INITIAL];   /* initial hash table */
 132         void            *vm_qcache[VMEM_NQCACHE_MAX];   /* quantum caches */
 133         vmem_freelist_t vm_freelist[VMEM_FREELISTS + 1]; /* power-of-2 flists */
 134         vmem_kstat_t    vm_kstat;       /* kstat data */
 135 };
 136
 137 /*
 138  * We cannot use a mutex_t and MUTEX_HELD, since that will not work
 139  * when libthread is not linked.
 140  */
 141 typedef struct vmem_populate_lock {
 142         mutex_t         vmpl_mutex;
 143         thread_t        vmpl_thr;
 144 } vmem_populate_lock_t;
 145
 146 #define VM_UMFLAGS      VM_KMFLAGS
 147
 148 #ifdef  __cplusplus
 149 }
 150 #endif
 151
 152 #endif  /* _SYS_VMEM_IMPL_USER_H */