]> git.sur5r.net Git - openldap/blobdiff - servers/slapd/entry.c
ITS#4780 plug leak
[openldap] / servers / slapd / entry.c
index a5b34ea99ab4d41384c3722c21c6ac68063eeb7e..f074fb654964d1e699336fbd0a31e604f53e5f75 100644 (file)
@@ -2,7 +2,7 @@
 /* $OpenLDAP$ */
 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
  *
- * Copyright 1998-2005 The OpenLDAP Foundation.
+ * Copyright 1998-2006 The OpenLDAP Foundation.
  * All rights reserved.
  *
  * Redistribution and use in source and binary forms, with or without
@@ -47,17 +47,52 @@ const Entry slap_entry_root = {
        NOID, { 0, "" }, { 0, "" }, NULL, 0, { 0, "" }, NULL
 };
 
+/*
+ * these mutexes must be used when calling the entry2str()
+ * routine since it returns a pointer to static data.
+ */
+ldap_pvt_thread_mutex_t        entry2str_mutex;
+
 static const struct berval dn_bv = BER_BVC("dn");
 
+/*
+ * Entry free list
+ *
+ * Allocate in chunks, minimum of 1000 at a time.
+ */
+#define        CHUNK_SIZE      1000
+typedef struct slap_list {
+       struct slap_list *next;
+} slap_list;
+static slap_list *entry_chunks;
+static Entry *entry_list;
+static ldap_pvt_thread_mutex_t entry_mutex;
+
 int entry_destroy(void)
 {
+       slap_list *e;
        if ( ebuf ) free( ebuf );
        ebuf = NULL;
        ecur = NULL;
        emaxsize = 0;
-       return 0;
+
+       for ( e=entry_chunks; e; e=entry_chunks ) {
+               entry_chunks = e->next;
+               free( e );
+       }
+
+       ldap_pvt_thread_mutex_destroy( &entry_mutex );
+       ldap_pvt_thread_mutex_destroy( &entry2str_mutex );
+       return attr_destroy();
 }
 
+int
+entry_init(void)
+{
+       ldap_pvt_thread_mutex_init( &entry2str_mutex );
+       ldap_pvt_thread_mutex_init( &entry_mutex );
+       return attr_init();
+}
 
 Entry *
 str2entry( char *s )
@@ -97,8 +132,7 @@ str2entry2( char *s, int checkvals )
        Debug( LDAP_DEBUG_TRACE, "=> str2entry: \"%s\"\n",
                s ? s : "NULL", 0, 0 );
 
-       /* initialize reader/writer lock */
-       e = (Entry *) ch_calloc( 1, sizeof(Entry) );
+       e = entry_alloc();
 
        if( e == NULL ) {
                Debug( LDAP_DEBUG_ANY,
@@ -216,10 +250,10 @@ str2entry2( char *s, int checkvals )
                                        goto fail;
                                }
 
-                               rc = slap_bv2undef_ad( type+i, &ad, &text );
+                               rc = slap_bv2undef_ad( type+i, &ad, &text, 0 );
                                if( rc != LDAP_SUCCESS ) {
                                        Debug( LDAP_DEBUG_ANY,
-                                               "<= str2entry: str2undef_ad(%s): %s\n",
+                                               "<= str2entry: slap_str2undef_ad(%s): %s\n",
                                                        type[i].bv_val, text, 0 );
                                        goto fail;
                                }
@@ -228,8 +262,9 @@ str2entry2( char *s, int checkvals )
 
                if (( ad_prev && ad != ad_prev ) || ( i == lines )) {
                        int j, k;
-                       atail->a_next = (Attribute *) ch_malloc( sizeof(Attribute) );
+                       atail->a_next = attr_alloc( NULL );
                        atail = atail->a_next;
+                       atail->a_flags = 0;
                        atail->a_desc = ad_prev;
                        atail->a_vals = ch_malloc( (attr_cnt + 1) * sizeof(struct berval));
                        if( ad_prev->ad_type->sat_equality &&
@@ -267,15 +302,15 @@ str2entry2( char *s, int checkvals )
                        slap_syntax_transform_func *pretty =
                                ad->ad_type->sat_syntax->ssyn_pretty;
 
-                       if( pretty ) {
-                               rc = pretty( ad->ad_type->sat_syntax,
+                       if ( pretty ) {
+                               rc = ordered_value_pretty( ad,
                                        &vals[i], &pval, NULL );
 
-                       } else if( validate ) {
+                       } else if ( validate ) {
                                /*
                                 * validate value per syntax
                                 */
-                               rc = validate( ad->ad_type->sat_syntax, &vals[i] );
+                               rc = ordered_value_validate( ad, &vals[i], LDAP_MOD_ADD );
 
                        } else {
                                Debug( LDAP_DEBUG_ANY,
@@ -302,16 +337,16 @@ str2entry2( char *s, int checkvals )
                        }
                }
 
-               if( ad->ad_type->sat_equality &&
+               if ( ad->ad_type->sat_equality &&
                        ad->ad_type->sat_equality->smr_normalize )
                {
-                       rc = ad->ad_type->sat_equality->smr_normalize(
+                       rc = ordered_value_normalize(
                                SLAP_MR_VALUE_OF_ATTRIBUTE_SYNTAX,
-                               ad->ad_type->sat_syntax,
+                               ad,
                                ad->ad_type->sat_equality,
                                &vals[i], &nvals[i], NULL );
 
-                       if( rc ) {
+                       if ( rc ) {
                                Debug( LDAP_DEBUG_ANY,
                                        "<= str2entry NULL (smr_normalize %d)\n", rc, 0, 0 );
                                goto fail;
@@ -408,26 +443,23 @@ entry_clean( Entry *e )
 
        /* e_private must be freed by the caller */
        assert( e->e_private == NULL );
-       e->e_private = NULL;
 
        /* free DNs */
        if ( !BER_BVISNULL( &e->e_name ) ) {
                free( e->e_name.bv_val );
-               BER_BVZERO( &e->e_name );
        }
        if ( !BER_BVISNULL( &e->e_nname ) ) {
                free( e->e_nname.bv_val );
-               BER_BVZERO( &e->e_nname );
        }
 
        if ( !BER_BVISNULL( &e->e_bv ) ) {
                free( e->e_bv.bv_val );
-               BER_BVZERO( &e->e_bv );
        }
 
        /* free attributes */
        attrs_free( e->e_attrs );
-       e->e_attrs = NULL;
+
+       memset(e, 0, sizeof(Entry));
 }
 
 void
@@ -435,9 +467,52 @@ entry_free( Entry *e )
 {
        entry_clean( e );
 
-       free( e );
+       ldap_pvt_thread_mutex_lock( &entry_mutex );
+       e->e_private = entry_list;
+       entry_list = e;
+       ldap_pvt_thread_mutex_unlock( &entry_mutex );
+}
+
+int
+entry_prealloc( int num )
+{
+       Entry *e;
+       slap_list *s;
+
+       if (!num) return 0;
+
+       s = ch_calloc( 1, sizeof(slap_list) + num * sizeof(Entry));
+       s->next = entry_chunks;
+       entry_chunks = s;
+
+       e = (Entry *)(s+1);
+       for ( ;num>1; num--) {
+               e->e_private = e+1;
+               e++;
+       }
+       e->e_private = entry_list;
+       entry_list = (Entry *)(s+1);
+
+       return 0;
+}
+
+Entry *
+entry_alloc( void )
+{
+       Entry *e;
+
+       ldap_pvt_thread_mutex_lock( &entry_mutex );
+       if ( !entry_list )
+               entry_prealloc( CHUNK_SIZE );
+       e = entry_list;
+       entry_list = e->e_private;
+       e->e_private = NULL;
+       ldap_pvt_thread_mutex_unlock( &entry_mutex );
+
+       return e;
 }
 
+
 /*
  * These routines are used only by Backend.
  *
@@ -615,8 +690,8 @@ int entry_encode(Entry *e, struct berval *bv)
                *ptr++ = '\0';
                if (a->a_vals) {
                        for (i=0; a->a_vals[i].bv_val; i++);
-                               entry_putlen(&ptr, i);
-                               for (i=0; a->a_vals[i].bv_val; i++) {
+                       entry_putlen(&ptr, i);
+                       for (i=0; a->a_vals[i].bv_val; i++) {
                                entry_putlen(&ptr, a->a_vals[i].bv_len);
                                AC_MEMCPY(ptr, a->a_vals[i].bv_val,
                                        a->a_vals[i].bv_len);
@@ -641,20 +716,39 @@ int entry_encode(Entry *e, struct berval *bv)
 }
 
 /* Retrieve an Entry that was stored using entry_encode above.
- * We malloc a single block with the size stored above for the Entry
- * and all of its Attributes. We also must lookup the stored
- * attribute names to get AttributeDescriptions. To detect if the
- * attributes of an Entry are later modified, we note that e->e_attr
- * is always a constant offset from (e).
+ * First entry_header must be called to decode the size of the entry.
+ * Then a single block of memory must be malloc'd to accomodate the
+ * bervals and the bulk data. Next the bulk data is retrieved from
+ * the DB and parsed by entry_decode.
  *
  * Note: everything is stored in a single contiguous block, so
  * you can not free individual attributes or names from this
  * structure. Attempting to do so will likely corrupt memory.
  */
+int entry_header(EntryHeader *eh)
+{
+       unsigned char *ptr = (unsigned char *)eh->bv.bv_val;
+
+       eh->nattrs = entry_getlen(&ptr);
+       if ( !eh->nattrs ) {
+               Debug( LDAP_DEBUG_ANY,
+                       "entry_header: attribute count was zero\n", 0, 0, 0);
+               return LDAP_OTHER;
+       }
+       eh->nvals = entry_getlen(&ptr);
+       if ( !eh->nvals ) {
+               Debug( LDAP_DEBUG_ANY,
+                       "entry_header: value count was zero\n", 0, 0, 0);
+               return LDAP_OTHER;
+       }
+       eh->data = (char *)ptr;
+       return LDAP_SUCCESS;
+}
+
 #ifdef SLAP_ZONE_ALLOC
-int entry_decode(struct berval *bv, Entry **e, void *ctx)
+int entry_decode(EntryHeader *eh, Entry **e, void *ctx)
 #else
-int entry_decode(struct berval *bv, Entry **e)
+int entry_decode(EntryHeader *eh, Entry **e)
 #endif
 {
        int i, j, count, nattrs, nvals;
@@ -663,34 +757,14 @@ int entry_decode(struct berval *bv, Entry **e)
        Entry *x;
        const char *text;
        AttributeDescription *ad;
-       unsigned char *ptr = (unsigned char *)bv->bv_val;
+       unsigned char *ptr = (unsigned char *)eh->bv.bv_val;
        BerVarray bptr;
 
-       nattrs = entry_getlen(&ptr);
-       if (!nattrs) {
-               Debug( LDAP_DEBUG_ANY,
-                       "entry_decode: attribute count was zero\n", 0, 0, 0);
-               return LDAP_OTHER;
-       }
-       nvals = entry_getlen(&ptr);
-       if (!nvals) {
-               Debug( LDAP_DEBUG_ANY,
-                       "entry_decode: value count was zero\n", 0, 0, 0);
-               return LDAP_OTHER;
-       }
-       i = sizeof(Entry) + (nattrs * sizeof(Attribute)) +
-               (nvals * sizeof(struct berval));
-#ifdef SLAP_ZONE_ALLOC
-       x = slap_zn_calloc(1, i + bv->bv_len, ctx);
-       AC_MEMCPY((char*)x + i, bv->bv_val, bv->bv_len);
-       bv->bv_val = (char*)x + i;
-       ptr = (unsigned char *)bv->bv_val;
-       /* pointer is reset, now advance past nattrs and nvals again */
-       entry_getlen(&ptr);
-       entry_getlen(&ptr);
-#else
-       x = ch_calloc(1, i);
-#endif
+       nattrs = eh->nattrs;
+       nvals = eh->nvals;
+       x = entry_alloc();
+       x->e_attrs = attrs_alloc( nattrs );
+       ptr = (unsigned char *)eh->data;
        i = entry_getlen(&ptr);
        x->e_name.bv_val = (char *) ptr;
        x->e_name.bv_len = i;
@@ -702,47 +776,35 @@ int entry_decode(struct berval *bv, Entry **e)
        Debug( LDAP_DEBUG_TRACE,
                "entry_decode: \"%s\"\n",
                x->e_dn, 0, 0 );
-       x->e_bv = *bv;
+       x->e_bv = eh->bv;
 
-       /* A valid entry must have at least one attr, so this
-        * pointer can never be NULL
-        */
-       x->e_attrs = (Attribute *)(x+1);
-       bptr = (BerVarray)x->e_attrs;
-       a = NULL;
+       a = x->e_attrs;
+       bptr = (BerVarray)eh->bv.bv_val;
 
        while ((i = entry_getlen(&ptr))) {
                struct berval bv;
                bv.bv_len = i;
                bv.bv_val = (char *) ptr;
-               if (a) {
-                       a->a_next = (Attribute *)bptr;
-               }
-               a = (Attribute *)bptr;
                ad = NULL;
                rc = slap_bv2ad( &bv, &ad, &text );
 
                if( rc != LDAP_SUCCESS ) {
                        Debug( LDAP_DEBUG_TRACE,
                                "<= entry_decode: str2ad(%s): %s\n", ptr, text, 0 );
-                       rc = slap_bv2undef_ad( &bv, &ad, &text );
+                       rc = slap_bv2undef_ad( &bv, &ad, &text, 0 );
 
                        if( rc != LDAP_SUCCESS ) {
                                Debug( LDAP_DEBUG_ANY,
-                                       "<= entry_decode: str2undef_ad(%s): %s\n",
+                                       "<= entry_decode: slap_str2undef_ad(%s): %s\n",
                                                ptr, text, 0 );
                                return rc;
                        }
                }
                ptr += i + 1;
                a->a_desc = ad;
-               bptr = (BerVarray)(a+1);
-               a->a_vals = bptr;
-               a->a_flags = 0;
-#ifdef LDAP_COMP_MATCH
-               a->a_comp_data = NULL;
-#endif
+               a->a_flags = SLAP_ATTR_DONT_FREE_DATA | SLAP_ATTR_DONT_FREE_VALS;
                count = j = entry_getlen(&ptr);
+               a->a_vals = bptr;
 
                while (j) {
                        i = entry_getlen(&ptr);
@@ -773,12 +835,12 @@ int entry_decode(struct berval *bv, Entry **e)
                } else {
                        a->a_nvals = a->a_vals;
                }
+               a = a->a_next;
                nattrs--;
                if ( !nattrs )
                        break;
        }
 
-       if (a) a->a_next = NULL;
        Debug(LDAP_DEBUG_TRACE, "<= entry_decode(%s)\n",
                x->e_dn, 0, 0 );
        *e = x;
@@ -789,17 +851,87 @@ Entry *entry_dup( Entry *e )
 {
        Entry *ret;
 
-       ret = (Entry *)ch_calloc( 1, sizeof(*ret) );
+       ret = entry_alloc();
 
        ret->e_id = e->e_id;
        ber_dupbv( &ret->e_name, &e->e_name );
        ber_dupbv( &ret->e_nname, &e->e_nname );
        ret->e_attrs = attrs_dup( e->e_attrs );
        ret->e_ocflags = e->e_ocflags;
-       ret->e_bv.bv_val = NULL;
-       ret->e_bv.bv_len = 0;
-       ret->e_private = NULL;
 
        return ret;
 }
 
+#if 1
+/* Duplicates an entry using a single malloc. Saves CPU time, increases
+ * heap usage because a single large malloc is harder to satisfy than
+ * lots of small ones, and the freed space isn't as easily reusable.
+ *
+ * Probably not worth using this function.
+ */
+Entry *entry_dup_bv( Entry *e )
+{
+       ber_len_t len;
+       int nattrs, nvals;
+       Entry *ret;
+       struct berval *bvl;
+       char *ptr;
+       Attribute *src, *dst;
+
+       ret = entry_alloc();
+
+       entry_partsize(e, &len, &nattrs, &nvals, 1);
+       ret->e_id = e->e_id;
+       ret->e_attrs = attrs_alloc( nattrs );
+       ret->e_ocflags = e->e_ocflags;
+       ret->e_bv.bv_len = len + nvals * sizeof(struct berval);
+       ret->e_bv.bv_val = ch_malloc( ret->e_bv.bv_len );
+
+       bvl = (struct berval *)ret->e_bv.bv_val;
+       ptr = (char *)(bvl + nvals);
+
+       ret->e_name.bv_len = e->e_name.bv_len;
+       ret->e_name.bv_val = ptr;
+       AC_MEMCPY( ptr, e->e_name.bv_val, e->e_name.bv_len );
+       ptr += e->e_name.bv_len;
+       *ptr++ = '\0';
+
+       ret->e_nname.bv_len = e->e_nname.bv_len;
+       ret->e_nname.bv_val = ptr;
+       AC_MEMCPY( ptr, e->e_nname.bv_val, e->e_nname.bv_len );
+       ptr += e->e_name.bv_len;
+       *ptr++ = '\0';
+
+       dst = ret->e_attrs;
+       for (src = e->e_attrs; src; src=src->a_next,dst=dst->a_next ) {
+               int i;
+               dst->a_desc = src->a_desc;
+               dst->a_flags = SLAP_ATTR_DONT_FREE_DATA | SLAP_ATTR_DONT_FREE_VALS;
+               dst->a_vals = bvl;
+               for ( i=0; src->a_vals[i].bv_val; i++ ) {
+                       bvl->bv_len = src->a_vals[i].bv_len;
+                       bvl->bv_val = ptr;
+                       AC_MEMCPY( ptr, src->a_vals[i].bv_val, bvl->bv_len );
+                       ptr += bvl->bv_len;
+                       *ptr++ = '\0';
+                       bvl++;
+               }
+               BER_BVZERO(bvl);
+               bvl++;
+               if ( src->a_vals != src->a_nvals ) {
+                       dst->a_nvals = bvl;
+                       for ( i=0; src->a_nvals[i].bv_val; i++ ) {
+                               bvl->bv_len = src->a_nvals[i].bv_len;
+                               bvl->bv_val = ptr;
+                               AC_MEMCPY( ptr, src->a_nvals[i].bv_val, bvl->bv_len );
+                               ptr += bvl->bv_len;
+                               *ptr++ = '\0';
+                               bvl++;
+                       }
+                       BER_BVZERO(bvl);
+                       bvl++;
+               }
+       }
+       return ret;
+}
+#endif