]> git.sur5r.net Git - openldap/blobdiff - servers/slapd/back-bdb/back-bdb.h
Use long-lived per-thread TXNs for loading entries from DB.
[openldap] / servers / slapd / back-bdb / back-bdb.h
index 18d2ab941999e43e04352a8956cc099844d17316..3dcbc6de96f266f18ebfebb9183a390352419901 100644 (file)
@@ -1,22 +1,29 @@
 /* back-bdb.h - bdb back-end header file */
 /* $OpenLDAP$ */
-/*
- * Copyright 2000-2002 The OpenLDAP Foundation, All Rights Reserved.
- * COPYING RESTRICTIONS APPLY, see COPYRIGHT file
+/* This work is part of OpenLDAP Software <http://www.openldap.org/>.
+ *
+ * Copyright 2000-2004 The OpenLDAP Foundation.
+ * All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted only as authorized by the OpenLDAP
+ * Public License.
+ *
+ * A copy of this license is available in the file LICENSE in the
+ * top-level directory of the distribution or, alternatively, at
+ * <http://www.OpenLDAP.org/license.html>.
  */
 
 #ifndef _BACK_BDB_H_
 #define _BACK_BDB_H_
 
 #include <portable.h>
-#include <db.h>
-
 #include "slap.h"
+#include <db.h>
 
 LDAP_BEGIN_DECL
 
-#define BDB_IDL_MULTI          1
-/* #define BDB_HIER            1 */
+#define BDB_SUBENTRIES 1
 
 #define DN_BASE_PREFIX         SLAP_INDEX_EQUALITY_PREFIX
 #define DN_ONE_PREFIX          '%'
@@ -32,54 +39,99 @@ LDAP_BEGIN_DECL
 
 #define BDB_MAX_ADD_LOOP       30
 
+#define        BDB_ALIASES     1
+
 #ifdef BDB_SUBDIRS
-#define BDB_TMP_SUBDIR LDAP_DIRSEP "tmp"
-#define BDB_LG_SUBDIR  LDAP_DIRSEP "log"
-#define BDB_DATA_SUBDIR        LDAP_DIRSEP "data"
+#define BDB_TMP_SUBDIR "tmp"
+#define BDB_LG_SUBDIR  "log"
+#define BDB_DATA_SUBDIR        "data"
 #endif
 
 #define BDB_SUFFIX             ".bdb"
 #define BDB_ID2ENTRY   0
-#ifdef BDB_HIER
-#define BDB_ID2PARENT          1
-#else
 #define BDB_DN2ID              1
-#endif
 #define BDB_NDB                        2
 
 /* The bdb on-disk entry format is pretty space-inefficient. Average
  * sized user entries are 3-4K each. You need at least two entries to
  * fit into a single database page, more is better. 64K is BDB's
- * upper bound. The same issues arise with IDLs in the index databases,
- * but it's nearly impossible to avoid overflows there.
- *
- * When using BDB_IDL_MULTI, the IDL size is no longer an issue. Smaller
- * pages are better for concurrency.
+ * upper bound. Smaller pages are better for concurrency.
  */
 #ifndef BDB_ID2ENTRY_PAGESIZE
 #define        BDB_ID2ENTRY_PAGESIZE   16384
 #endif
 
 #ifndef BDB_PAGESIZE
-#ifdef BDB_IDL_MULTI
 #define        BDB_PAGESIZE    4096    /* BDB's original default */
-#else
-#define        BDB_PAGESIZE    16384
-#endif
 #endif
 
 #define DEFAULT_CACHE_SIZE     1000
 
+/* The default search IDL stack cache depth */
+#define DEFAULT_SEARCH_STACK_DEPTH     16
+
+/* The minimum we can function with */
+#define MINIMUM_SEARCH_STACK_DEPTH     8
+
+typedef struct bdb_idl_cache_entry_s {
+       struct berval kstr;
+       ldap_pvt_thread_rdwr_t idl_entry_rwlock;
+       ID      *idl;
+       DB      *db;
+       struct bdb_idl_cache_entry_s* idl_lru_prev;
+       struct bdb_idl_cache_entry_s* idl_lru_next;
+} bdb_idl_cache_entry_t;
+
+/* BDB backend specific entry info */
+typedef struct bdb_entry_info {
+       struct bdb_entry_info *bei_parent;
+       ID bei_id;
+
+       /* we use the bei_id as a lockobj, but we need to make the size != 4
+        * to avoid conflicting with BDB's internal locks. So add a byte here
+        * that is always zero.
+        */
+       char bei_lockpad;
+                                               
+       short bei_state;
+#define        CACHE_ENTRY_DELETED     1
+#define        CACHE_ENTRY_NO_KIDS     2
+#define        CACHE_ENTRY_NOT_LINKED  4
+#define CACHE_ENTRY_NO_GRANDKIDS       8
+#define        CACHE_ENTRY_LOADING     0x10
+
+       /*
+        * remaining fields require backend cache lock to access
+        */
+       struct berval bei_nrdn;
+#ifdef BDB_HIER
+       struct berval bei_rdn;
+       int     bei_modrdns;    /* track renames */
+       int     bei_ckids;      /* number of kids cached */
+       int     bei_dkids;      /* number of kids on-disk, plus 1 */
+#endif
+       Entry   *bei_e;
+       Avlnode *bei_kids;
+       ldap_pvt_thread_mutex_t bei_kids_mutex;
+       
+       struct bdb_entry_info   *bei_lrunext;   /* for cache lru list */
+       struct bdb_entry_info   *bei_lruprev;
+} EntryInfo;
+#undef BEI
+#define BEI(e) ((EntryInfo *) ((e)->e_private))
+
 /* for the in-core cache of entries */
 typedef struct bdb_cache {
-        int             c_maxsize;
-        int             c_cursize;
-        Avlnode         *c_dntree;
-        Avlnode         *c_idtree;
-        Entry           *c_lruhead;     /* lru - add accessed entries here */
-        Entry           *c_lrutail;     /* lru - rem lru entries from here */
-        ldap_pvt_thread_rdwr_t c_rwlock;
-        ldap_pvt_thread_mutex_t lru_mutex;
+       int             c_maxsize;
+       int             c_cursize;
+       EntryInfo       c_dntree;
+       EntryInfo       *c_eifree;      /* free list */
+       Avlnode         *c_idtree;
+       EntryInfo       *c_lruhead;     /* lru - add accessed entries here */
+       EntryInfo       *c_lrutail;     /* lru - rem lru entries from here */
+       ldap_pvt_thread_rdwr_t c_rwlock;
+       ldap_pvt_thread_mutex_t lru_mutex;
+       u_int32_t       c_locker;       /* used by lru cleaner */
 } Cache;
  
 #define CACHE_READ_LOCK                0
@@ -109,38 +161,40 @@ struct bdb_info {
        slap_mask_t     bi_defaultmask;
        Cache           bi_cache;
        Avlnode         *bi_attrs;
-#ifdef BDB_HIER
-       Avlnode         *bi_tree;
-       ldap_pvt_thread_rdwr_t  bi_tree_rdwr;
-       void            *bi_troot;
-       int             bi_nrdns;
-#endif
+       void            *bi_search_stack;
+       int             bi_search_stack_depth;
 
        int                     bi_txn_cp;
        u_int32_t       bi_txn_cp_min;
        u_int32_t       bi_txn_cp_kbyte;
 
-#ifndef NO_THREADS
        int                     bi_lock_detect;
-       int                     bi_lock_detect_seconds;
-       ldap_pvt_thread_t       bi_lock_detect_tid;
-#endif
+       long            bi_shm_key;
 
        ID                      bi_lastid;
        ldap_pvt_thread_mutex_t bi_lastid_mutex;
+       LDAP_LIST_HEAD(pl, slap_op) bi_psearch_list;
+       ldap_pvt_thread_rdwr_t bi_pslist_rwlock;
+       LDAP_LIST_HEAD(se, slap_session_entry) bi_session_list;
+       int             bi_idl_cache_max_size;
+       int             bi_idl_cache_size;
+       Avlnode         *bi_idl_tree;
+       bdb_idl_cache_entry_t   *bi_idl_lru_head;
+       bdb_idl_cache_entry_t   *bi_idl_lru_tail;
+       ldap_pvt_thread_rdwr_t bi_idl_tree_rwlock;
+       ldap_pvt_thread_mutex_t bi_idl_tree_lrulock;
 };
 
 #define bi_id2entry    bi_databases[BDB_ID2ENTRY]
-#ifdef BDB_HIER
-#define bi_id2parent   bi_databases[BDB_ID2PARENT]
-#else
 #define bi_dn2id       bi_databases[BDB_DN2ID]
-#endif
 
 struct bdb_op_info {
        BackendDB*      boi_bdb;
        DB_TXN*         boi_txn;
-       int                     boi_err;
+       DB_LOCK         boi_lock;       /* used when no txn */
+       u_int32_t       boi_err;
+       u_int32_t       boi_locker;
+       int             boi_acl_cache;
 };
 
 #define        DB_OPEN(db, file, name, type, flags, mode) \
@@ -178,17 +232,13 @@ struct bdb_op_info {
        (db)->open(db, NULL, file, name, type, (flags)|DB_AUTO_COMMIT, mode)
 #endif
 
-#define BDB_REUSE_LOCKERS
-
-#ifdef BDB_REUSE_LOCKERS
-#define        LOCK_ID_FREE(env, locker)
-#define        LOCK_ID(env, locker)    bdb_locker_id(op, env, locker)
-#else
-#define        LOCK_ID_FREE(env, locker)       XLOCK_ID_FREE(env, locker)
-#define        LOCK_ID(env, locker)            XLOCK_ID(env, locker)
 #endif
 
-#endif
+#define BDB_REUSE_LOCKERS
+
+#define BDB_CSN_COMMIT 0
+#define BDB_CSN_ABORT  1
+#define BDB_CSN_RETRY  2
 
 LDAP_END_DECL