]> git.sur5r.net Git - openldap/blobdiff - servers/slapd/back-bdb/back-bdb.h
Import ITS#4439 (slapd not responding) fix for BDB/HDB cache from HEAD
[openldap] / servers / slapd / back-bdb / back-bdb.h
index 1146546160c98f8e02fca754cf242ed102190ec2..c6788417e9a3a1a34b76d083fabd12eb6d662244 100644 (file)
@@ -1,8 +1,17 @@
 /* back-bdb.h - bdb back-end header file */
 /* $OpenLDAP$ */
-/*
- * Copyright 2000-2003 The OpenLDAP Foundation, All Rights Reserved.
- * COPYING RESTRICTIONS APPLY, see COPYRIGHT file
+/* This work is part of OpenLDAP Software <http://www.openldap.org/>.
+ *
+ * Copyright 2000-2006 The OpenLDAP Foundation.
+ * All rights reserved.
+ *
+ * Redistribution and use in source and binary forms, with or without
+ * modification, are permitted only as authorized by the OpenLDAP
+ * Public License.
+ *
+ * A copy of this license is available in the file LICENSE in the
+ * top-level directory of the distribution or, alternatively, at
+ * <http://www.OpenLDAP.org/license.html>.
  */
 
 #ifndef _BACK_BDB_H_
 #include <portable.h>
 #include "slap.h"
 #include <db.h>
+#include "alock.h"
 
 LDAP_BEGIN_DECL
 
-#define BDB_SUBENTRIES 1
+#define DB_VERSION_FULL ((DB_VERSION_MAJOR << 24) | (DB_VERSION_MINOR << 16) | DB_VERSION_PATCH)
 
 #define DN_BASE_PREFIX         SLAP_INDEX_EQUALITY_PREFIX
 #define DN_ONE_PREFIX          '%'
@@ -30,14 +40,6 @@ LDAP_BEGIN_DECL
 
 #define BDB_MAX_ADD_LOOP       30
 
-#define        BDB_ALIASES     1
-
-#ifdef BDB_SUBDIRS
-#define BDB_TMP_SUBDIR "tmp"
-#define BDB_LG_SUBDIR  "log"
-#define BDB_DATA_SUBDIR        "data"
-#endif
-
 #define BDB_SUFFIX             ".bdb"
 #define BDB_ID2ENTRY   0
 #define BDB_DN2ID              1
@@ -64,10 +66,6 @@ LDAP_BEGIN_DECL
 /* The minimum we can function with */
 #define MINIMUM_SEARCH_STACK_DEPTH     8
 
-/* for the IDL cache */
-#define SLAP_IDL_CACHE 1
-
-#ifdef SLAP_IDL_CACHE
 typedef struct bdb_idl_cache_entry_s {
        struct berval kstr;
        ldap_pvt_thread_rdwr_t idl_entry_rwlock;
@@ -76,17 +74,26 @@ typedef struct bdb_idl_cache_entry_s {
        struct bdb_idl_cache_entry_s* idl_lru_prev;
        struct bdb_idl_cache_entry_s* idl_lru_next;
 } bdb_idl_cache_entry_t;
-#endif
 
 /* BDB backend specific entry info */
 typedef struct bdb_entry_info {
        struct bdb_entry_info *bei_parent;
        ID bei_id;
 
-       int bei_state;
+       /* we use the bei_id as a lockobj, but we need to make the size != 4
+        * to avoid conflicting with BDB's internal locks. So add a byte here
+        * that is always zero.
+        */
+       char bei_lockpad;
+
+       short bei_state;
 #define        CACHE_ENTRY_DELETED     1
 #define        CACHE_ENTRY_NO_KIDS     2
 #define        CACHE_ENTRY_NOT_LINKED  4
+#define CACHE_ENTRY_NO_GRANDKIDS       8
+#define        CACHE_ENTRY_LOADING     0x10
+#define        CACHE_ENTRY_WALKING     0x20
+#define        CACHE_ENTRY_ONELEVEL    0x40
 
        /*
         * remaining fields require backend cache lock to access
@@ -100,6 +107,10 @@ typedef struct bdb_entry_info {
 #endif
        Entry   *bei_e;
        Avlnode *bei_kids;
+#ifdef SLAP_ZONE_ALLOC
+       struct bdb_info *bei_bdb;
+       int bei_zseq;   
+#endif
        ldap_pvt_thread_mutex_t bei_kids_mutex;
        
        struct bdb_entry_info   *bei_lrunext;   /* for cache lru list */
@@ -112,12 +123,21 @@ typedef struct bdb_entry_info {
 typedef struct bdb_cache {
        int             c_maxsize;
        int             c_cursize;
+       int             c_minfree;
+       int             c_eiused;       /* EntryInfo's in use */
+       int             c_leaves;       /* EntryInfo leaf nodes */
        EntryInfo       c_dntree;
+       EntryInfo       *c_eifree;      /* free list */
        Avlnode         *c_idtree;
        EntryInfo       *c_lruhead;     /* lru - add accessed entries here */
        EntryInfo       *c_lrutail;     /* lru - rem lru entries from here */
        ldap_pvt_thread_rdwr_t c_rwlock;
-       ldap_pvt_thread_mutex_t lru_mutex;
+       ldap_pvt_thread_mutex_t lru_head_mutex;
+       ldap_pvt_thread_mutex_t lru_tail_mutex;
+       u_int32_t       c_locker;       /* used by lru cleaner */
+#ifdef SLAP_ZONE_ALLOC
+       void *c_zctx;
+#endif
 } Cache;
  
 #define CACHE_READ_LOCK                0
@@ -130,6 +150,9 @@ struct bdb_db_info {
        DB                      *bdi_db;
 };
 
+/* From ldap_rq.h */
+struct re_s;
+
 struct bdb_info {
        DB_ENV          *bi_dbenv;
 
@@ -146,21 +169,23 @@ struct bdb_info {
 
        slap_mask_t     bi_defaultmask;
        Cache           bi_cache;
-       Avlnode         *bi_attrs;
+       struct bdb_attrinfo             **bi_attrs;
+       int                     bi_nattrs;
        void            *bi_search_stack;
        int             bi_search_stack_depth;
+       int             bi_linear_index;
 
        int                     bi_txn_cp;
        u_int32_t       bi_txn_cp_min;
        u_int32_t       bi_txn_cp_kbyte;
+       struct re_s             *bi_txn_cp_task;
+       struct re_s             *bi_index_task;
 
        int                     bi_lock_detect;
        long            bi_shm_key;
 
        ID                      bi_lastid;
        ldap_pvt_thread_mutex_t bi_lastid_mutex;
-       LDAP_LIST_HEAD(pl, slap_op) bi_psearch_list;
-#ifdef SLAP_IDL_CACHE
        int             bi_idl_cache_max_size;
        int             bi_idl_cache_size;
        Avlnode         *bi_idl_tree;
@@ -168,19 +193,37 @@ struct bdb_info {
        bdb_idl_cache_entry_t   *bi_idl_lru_tail;
        ldap_pvt_thread_rdwr_t bi_idl_tree_rwlock;
        ldap_pvt_thread_mutex_t bi_idl_tree_lrulock;
+       alock_info_t    bi_alock_info;
+       char            *bi_db_config_path;
+       BerVarray       bi_db_config;
+       int             bi_flags;
+#define        BDB_IS_OPEN             0x01
+#define        BDB_HAS_CONFIG  0x02
+#define        BDB_UPD_CONFIG  0x04
+#define        BDB_DEL_INDEX   0x08
+#define        BDB_RE_OPEN             0x10
+#ifdef BDB_HIER
+       int             bi_modrdns;             /* number of modrdns completed */
+       ldap_pvt_thread_mutex_t bi_modrdns_mutex;
 #endif
 };
 
 #define bi_id2entry    bi_databases[BDB_ID2ENTRY]
 #define bi_dn2id       bi_databases[BDB_DN2ID]
 
+struct bdb_lock_info {
+       struct bdb_lock_info *bli_next;
+       ID              bli_id;
+       DB_LOCK bli_lock;
+};
+
 struct bdb_op_info {
        BackendDB*      boi_bdb;
        DB_TXN*         boi_txn;
-       DB_LOCK         boi_lock;       /* used when no txn */
        u_int32_t       boi_err;
        u_int32_t       boi_locker;
        int             boi_acl_cache;
+       struct bdb_lock_info *boi_locks;        /* used when no txn */
 };
 
 #define        DB_OPEN(db, file, name, type, flags, mode) \
@@ -212,10 +255,10 @@ struct bdb_op_info {
 #define XLOCK_ID_FREE(env, locker)     (env)->lock_id_free(env, locker)
 
 /* BDB 4.1.17 adds txn arg to db->open */
-#if DB_VERSION_MINOR > 1 || DB_VERSION_PATCH >= 17
+#if DB_VERSION_FULL >= 0x04010011
 #undef DB_OPEN
 #define        DB_OPEN(db, file, name, type, flags, mode) \
-       (db)->open(db, NULL, file, name, type, (flags)|DB_AUTO_COMMIT, mode)
+       (db)->open(db, NULL, file, name, type, flags, mode)
 #endif
 
 #endif
@@ -226,8 +269,53 @@ struct bdb_op_info {
 #define BDB_CSN_ABORT  1
 #define BDB_CSN_RETRY  2
 
+/* Copy an ID "src" to pointer "dst" in big-endian byte order */
+#define BDB_ID2DISK( src, dst )        \
+       do { int i0; ID tmp; unsigned char *_p; \
+               tmp = (src); _p = (unsigned char *)(dst);       \
+               for ( i0=sizeof(ID)-1; i0>=0; i0-- ) {  \
+                       _p[i0] = tmp & 0xff; tmp >>= 8; \
+               } \
+       } while(0)
+
+/* Copy a pointer "src" to a pointer "dst" from big-endian to native order */
+#define BDB_DISK2ID( src, dst ) \
+       do { int i0; ID tmp = 0; unsigned char *_p;     \
+               _p = (unsigned char *)(src);    \
+               for ( i0=0; i0<sizeof(ID); i0++ ) {     \
+                       tmp <<= 8; tmp |= *_p++;        \
+               } *(dst) = tmp; \
+       } while (0)
+
 LDAP_END_DECL
 
+/* for the cache of attribute information (which are indexed, etc.) */
+typedef struct bdb_attrinfo {
+       AttributeDescription *ai_desc; /* attribute description cn;lang-en */
+       slap_mask_t ai_indexmask;       /* how the attr is indexed      */
+       slap_mask_t ai_newmask; /* new settings to replace old mask */
+#ifdef LDAP_COMP_MATCH
+       ComponentReference* ai_cr; /*component indexing*/
+#endif
+} AttrInfo;
+
+/* These flags must not clash with SLAP_INDEX flags or ops in slap.h! */
+#define        BDB_INDEX_DELETING      0x8000U /* index is being modified */
+#define        BDB_INDEX_UPDATE_OP     0x03    /* performing an index update */
+
+/* For slapindex to record which attrs in an entry belong to which
+ * index database 
+ */
+typedef struct AttrList {
+       struct AttrList *next;
+       Attribute *attr;
+} AttrList;
+
+typedef struct IndexRec {
+       AttrInfo *ai;
+       AttrList *attrs;
+} IndexRec;
+
 #include "proto-bdb.h"
 
 #endif /* _BACK_BDB_H_ */