]> git.sur5r.net Git - openldap/blob - servers/slapd/back-mdb/index.c
Merge remote-tracking branch 'origin/mdb.RE/0.9'
[openldap] / servers / slapd / back-mdb / index.c
1 /* index.c - routines for dealing with attribute indexes */
2 /* $OpenLDAP$ */
3 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
4  *
5  * Copyright 2000-2015 The OpenLDAP Foundation.
6  * All rights reserved.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted only as authorized by the OpenLDAP
10  * Public License.
11  *
12  * A copy of this license is available in the file LICENSE in the
13  * top-level directory of the distribution or, alternatively, at
14  * <http://www.OpenLDAP.org/license.html>.
15  */
16
17 #include "portable.h"
18
19 #include <stdio.h>
20
21 #include <ac/string.h>
22 #include <ac/socket.h>
23
24 #include "slap.h"
25 #include "back-mdb.h"
26 #include "lutil_hash.h"
27
28 static char presence_keyval[] = {0,0,0,0,0};
29 static struct berval presence_key[2] = {BER_BVC(presence_keyval), BER_BVNULL};
30
31 AttrInfo *mdb_index_mask(
32         Backend *be,
33         AttributeDescription *desc,
34         struct berval *atname )
35 {
36         AttributeType *at;
37         AttrInfo *ai = mdb_attr_mask( be->be_private, desc );
38
39         if( ai ) {
40                 *atname = desc->ad_cname;
41                 return ai;
42         }
43
44         /* If there is a tagging option, did we ever index the base
45          * type? If so, check for mask, otherwise it's not there.
46          */
47         if( slap_ad_is_tagged( desc ) && desc != desc->ad_type->sat_ad ) {
48                 /* has tagging option */
49                 ai = mdb_attr_mask( be->be_private, desc->ad_type->sat_ad );
50
51                 if ( ai && !( ai->ai_indexmask & SLAP_INDEX_NOTAGS ) ) {
52                         *atname = desc->ad_type->sat_cname;
53                         return ai;
54                 }
55         }
56
57         /* see if supertype defined mask for its subtypes */
58         for( at = desc->ad_type; at != NULL ; at = at->sat_sup ) {
59                 /* If no AD, we've never indexed this type */
60                 if ( !at->sat_ad ) continue;
61
62                 ai = mdb_attr_mask( be->be_private, at->sat_ad );
63
64                 if ( ai && !( ai->ai_indexmask & SLAP_INDEX_NOSUBTYPES ) ) {
65                         *atname = at->sat_cname;
66                         return ai;
67                 }
68         }
69
70         return 0;
71 }
72
73 /* This function is only called when evaluating search filters.
74  */
75 int mdb_index_param(
76         Backend *be,
77         AttributeDescription *desc,
78         int ftype,
79         MDB_dbi *dbip,
80         slap_mask_t *maskp,
81         struct berval *prefixp )
82 {
83         AttrInfo *ai;
84         slap_mask_t mask, type = 0;
85
86         ai = mdb_index_mask( be, desc, prefixp );
87
88         if ( !ai ) {
89 #ifdef MDB_MONITOR_IDX
90                 switch ( ftype ) {
91                 case LDAP_FILTER_PRESENT:
92                         type = SLAP_INDEX_PRESENT;
93                         break;
94                 case LDAP_FILTER_APPROX:
95                         type = SLAP_INDEX_APPROX;
96                         break;
97                 case LDAP_FILTER_EQUALITY:
98                         type = SLAP_INDEX_EQUALITY;
99                         break;
100                 case LDAP_FILTER_SUBSTRINGS:
101                         type = SLAP_INDEX_SUBSTR;
102                         break;
103                 default:
104                         return LDAP_INAPPROPRIATE_MATCHING;
105                 }
106                 mdb_monitor_idx_add( be->be_private, desc, type );
107 #endif /* MDB_MONITOR_IDX */
108
109                 return LDAP_INAPPROPRIATE_MATCHING;
110         }
111         mask = ai->ai_indexmask;
112
113         switch( ftype ) {
114         case LDAP_FILTER_PRESENT:
115                 type = SLAP_INDEX_PRESENT;
116                 if( IS_SLAP_INDEX( mask, SLAP_INDEX_PRESENT ) ) {
117                         *prefixp = presence_key[0];
118                         goto done;
119                 }
120                 break;
121
122         case LDAP_FILTER_APPROX:
123                 type = SLAP_INDEX_APPROX;
124                 if ( desc->ad_type->sat_approx ) {
125                         if( IS_SLAP_INDEX( mask, SLAP_INDEX_APPROX ) ) {
126                                 goto done;
127                         }
128                         break;
129                 }
130
131                 /* Use EQUALITY rule and index for approximate match */
132                 /* fall thru */
133
134         case LDAP_FILTER_EQUALITY:
135                 type = SLAP_INDEX_EQUALITY;
136                 if( IS_SLAP_INDEX( mask, SLAP_INDEX_EQUALITY ) ) {
137                         goto done;
138                 }
139                 break;
140
141         case LDAP_FILTER_SUBSTRINGS:
142                 type = SLAP_INDEX_SUBSTR;
143                 if( IS_SLAP_INDEX( mask, SLAP_INDEX_SUBSTR ) ) {
144                         goto done;
145                 }
146                 break;
147
148         default:
149                 return LDAP_OTHER;
150         }
151
152 #ifdef MDB_MONITOR_IDX
153         mdb_monitor_idx_add( be->be_private, desc, type );
154 #endif /* MDB_MONITOR_IDX */
155
156         return LDAP_INAPPROPRIATE_MATCHING;
157
158 done:
159         *dbip = ai->ai_dbi;
160         *maskp = mask;
161         return LDAP_SUCCESS;
162 }
163
164 static int indexer(
165         Operation *op,
166         MDB_txn *txn,
167         struct mdb_attrinfo *ai,
168         AttributeDescription *ad,
169         struct berval *atname,
170         BerVarray vals,
171         ID id,
172         int opid,
173         slap_mask_t mask )
174 {
175         int rc, i;
176         struct berval *keys;
177         MDB_cursor *mc = ai->ai_cursor;
178         mdb_idl_keyfunc *keyfunc;
179         char *err;
180
181         assert( mask != 0 );
182
183         if ( !mc ) {
184                 err = "c_open";
185                 rc = mdb_cursor_open( txn, ai->ai_dbi, &mc );
186                 if ( rc ) goto done;
187                 if ( slapMode & SLAP_TOOL_QUICK )
188                         ai->ai_cursor = mc;
189         }
190
191         if ( opid == SLAP_INDEX_ADD_OP ) {
192 #ifdef MDB_TOOL_IDL_CACHING
193                 if (( slapMode & SLAP_TOOL_QUICK ) && slap_tool_thread_max > 2 ) {
194                         AttrIxInfo *ax = (AttrIxInfo *)LDAP_SLIST_FIRST(&op->o_extra);
195                         ax->ai_ai = ai;
196                         keyfunc = mdb_tool_idl_add;
197                         mc = (MDB_cursor *)ax;
198                 } else
199 #endif
200                         keyfunc = mdb_idl_insert_keys;
201         } else
202                 keyfunc = mdb_idl_delete_keys;
203
204         if( IS_SLAP_INDEX( mask, SLAP_INDEX_PRESENT ) ) {
205                 rc = keyfunc( op->o_bd, mc, presence_key, id );
206                 if( rc ) {
207                         err = "presence";
208                         goto done;
209                 }
210         }
211
212         if( IS_SLAP_INDEX( mask, SLAP_INDEX_EQUALITY ) ) {
213                 rc = ad->ad_type->sat_equality->smr_indexer(
214                         LDAP_FILTER_EQUALITY,
215                         mask,
216                         ad->ad_type->sat_syntax,
217                         ad->ad_type->sat_equality,
218                         atname, vals, &keys, op->o_tmpmemctx );
219
220                 if( rc == LDAP_SUCCESS && keys != NULL ) {
221                         rc = keyfunc( op->o_bd, mc, keys, id );
222                         ber_bvarray_free_x( keys, op->o_tmpmemctx );
223                         if ( rc ) {
224                                 err = "equality";
225                                 goto done;
226                         }
227                 }
228                 rc = LDAP_SUCCESS;
229         }
230
231         if( IS_SLAP_INDEX( mask, SLAP_INDEX_APPROX ) ) {
232                 rc = ad->ad_type->sat_approx->smr_indexer(
233                         LDAP_FILTER_APPROX,
234                         mask,
235                         ad->ad_type->sat_syntax,
236                         ad->ad_type->sat_approx,
237                         atname, vals, &keys, op->o_tmpmemctx );
238
239                 if( rc == LDAP_SUCCESS && keys != NULL ) {
240                         rc = keyfunc( op->o_bd, mc, keys, id );
241                         ber_bvarray_free_x( keys, op->o_tmpmemctx );
242                         if ( rc ) {
243                                 err = "approx";
244                                 goto done;
245                         }
246                 }
247
248                 rc = LDAP_SUCCESS;
249         }
250
251         if( IS_SLAP_INDEX( mask, SLAP_INDEX_SUBSTR ) ) {
252                 rc = ad->ad_type->sat_substr->smr_indexer(
253                         LDAP_FILTER_SUBSTRINGS,
254                         mask,
255                         ad->ad_type->sat_syntax,
256                         ad->ad_type->sat_substr,
257                         atname, vals, &keys, op->o_tmpmemctx );
258
259                 if( rc == LDAP_SUCCESS && keys != NULL ) {
260                         rc = keyfunc( op->o_bd, mc, keys, id );
261                         ber_bvarray_free_x( keys, op->o_tmpmemctx );
262                         if( rc ) {
263                                 err = "substr";
264                                 goto done;
265                         }
266                 }
267
268                 rc = LDAP_SUCCESS;
269         }
270
271 done:
272         if ( !(slapMode & SLAP_TOOL_QUICK))
273                 mdb_cursor_close( mc );
274         switch( rc ) {
275         /* The callers all know how to deal with these results */
276         case 0:
277                 break;
278         /* Anything else is bad news */
279         default:
280                 rc = LDAP_OTHER;
281         }
282         return rc;
283 }
284
285 static int index_at_values(
286         Operation *op,
287         MDB_txn *txn,
288         AttributeDescription *ad,
289         AttributeType *type,
290         struct berval *tags,
291         BerVarray vals,
292         ID id,
293         int opid )
294 {
295         int rc;
296         slap_mask_t mask = 0;
297         int ixop = opid;
298         AttrInfo *ai = NULL;
299
300         if ( opid == MDB_INDEX_UPDATE_OP )
301                 ixop = SLAP_INDEX_ADD_OP;
302
303         if( type->sat_sup ) {
304                 /* recurse */
305                 rc = index_at_values( op, txn, NULL,
306                         type->sat_sup, tags,
307                         vals, id, opid );
308
309                 if( rc ) return rc;
310         }
311
312         /* If this type has no AD, we've never used it before */
313         if( type->sat_ad ) {
314                 ai = mdb_attr_mask( op->o_bd->be_private, type->sat_ad );
315                 if ( ai ) {
316 #ifdef LDAP_COMP_MATCH
317                         /* component indexing */
318                         if ( ai->ai_cr ) {
319                                 ComponentReference *cr;
320                                 for( cr = ai->ai_cr ; cr ; cr = cr->cr_next ) {
321                                         rc = indexer( op, txn, ai, cr->cr_ad, &type->sat_cname,
322                                                 cr->cr_nvals, id, ixop,
323                                                 cr->cr_indexmask );
324                                 }
325                         }
326 #endif
327                         ad = type->sat_ad;
328                         /* If we're updating the index, just set the new bits that aren't
329                          * already in the old mask.
330                          */
331                         if ( opid == MDB_INDEX_UPDATE_OP )
332                                 mask = ai->ai_newmask & ~ai->ai_indexmask;
333                         else
334                         /* For regular updates, if there is a newmask use it. Otherwise
335                          * just use the old mask.
336                          */
337                                 mask = ai->ai_newmask ? ai->ai_newmask : ai->ai_indexmask;
338                         if( mask ) {
339                                 rc = indexer( op, txn, ai, ad, &type->sat_cname,
340                                         vals, id, ixop, mask );
341
342                                 if( rc ) return rc;
343                         }
344                 }
345         }
346
347         if( tags->bv_len ) {
348                 AttributeDescription *desc;
349
350                 desc = ad_find_tags( type, tags );
351                 if( desc ) {
352                         ai = mdb_attr_mask( op->o_bd->be_private, desc );
353
354                         if( ai ) {
355                                 if ( opid == MDB_INDEX_UPDATE_OP )
356                                         mask = ai->ai_newmask & ~ai->ai_indexmask;
357                                 else
358                                         mask = ai->ai_newmask ? ai->ai_newmask : ai->ai_indexmask;
359                                 if ( mask ) {
360                                         rc = indexer( op, txn, ai, desc, &desc->ad_cname,
361                                                 vals, id, ixop, mask );
362
363                                         if( rc ) {
364                                                 return rc;
365                                         }
366                                 }
367                         }
368                 }
369         }
370
371         return LDAP_SUCCESS;
372 }
373
374 int mdb_index_values(
375         Operation *op,
376         MDB_txn *txn,
377         AttributeDescription *desc,
378         BerVarray vals,
379         ID id,
380         int opid )
381 {
382         int rc;
383
384         /* Never index ID 0 */
385         if ( id == 0 )
386                 return 0;
387
388         rc = index_at_values( op, txn, desc,
389                 desc->ad_type, &desc->ad_tags,
390                 vals, id, opid );
391
392         return rc;
393 }
394
395 /* Get the list of which indices apply to this attr */
396 int
397 mdb_index_recset(
398         struct mdb_info *mdb,
399         Attribute *a,
400         AttributeType *type,
401         struct berval *tags,
402         IndexRec *ir )
403 {
404         int rc, slot;
405         AttrList *al;
406
407         if( type->sat_sup ) {
408                 /* recurse */
409                 rc = mdb_index_recset( mdb, a, type->sat_sup, tags, ir );
410                 if( rc ) return rc;
411         }
412         /* If this type has no AD, we've never used it before */
413         if( type->sat_ad ) {
414                 slot = mdb_attr_slot( mdb, type->sat_ad, NULL );
415                 if ( slot >= 0 ) {
416                         ir[slot].ir_ai = mdb->mi_attrs[slot];
417                         al = ch_malloc( sizeof( AttrList ));
418                         al->attr = a;
419                         al->next = ir[slot].ir_attrs;
420                         ir[slot].ir_attrs = al;
421                 }
422         }
423         if( tags->bv_len ) {
424                 AttributeDescription *desc;
425
426                 desc = ad_find_tags( type, tags );
427                 if( desc ) {
428                         slot = mdb_attr_slot( mdb, desc, NULL );
429                         if ( slot >= 0 ) {
430                                 ir[slot].ir_ai = mdb->mi_attrs[slot];
431                                 al = ch_malloc( sizeof( AttrList ));
432                                 al->attr = a;
433                                 al->next = ir[slot].ir_attrs;
434                                 ir[slot].ir_attrs = al;
435                         }
436                 }
437         }
438         return LDAP_SUCCESS;
439 }
440
441 /* Apply the indices for the recset */
442 int mdb_index_recrun(
443         Operation *op,
444         MDB_txn *txn,
445         struct mdb_info *mdb,
446         IndexRec *ir0,
447         ID id,
448         int base )
449 {
450         IndexRec *ir;
451         AttrList *al;
452         int i, rc = 0;
453
454         /* Never index ID 0 */
455         if ( id == 0 )
456                 return 0;
457
458         for (i=base; i<mdb->mi_nattrs; i+=slap_tool_thread_max-1) {
459                 ir = ir0 + i;
460                 if ( !ir->ir_ai ) continue;
461                 while (( al = ir->ir_attrs )) {
462                         ir->ir_attrs = al->next;
463                         rc = indexer( op, txn, ir->ir_ai, ir->ir_ai->ai_desc,
464                                 &ir->ir_ai->ai_desc->ad_type->sat_cname,
465                                 al->attr->a_nvals, id, SLAP_INDEX_ADD_OP,
466                                 ir->ir_ai->ai_indexmask );
467                         free( al );
468                         if ( rc ) break;
469                 }
470         }
471         return rc;
472 }
473
474 int
475 mdb_index_entry(
476         Operation *op,
477         MDB_txn *txn,
478         int opid,
479         Entry   *e )
480 {
481         int rc;
482         Attribute *ap = e->e_attrs;
483 #if 0 /* ifdef LDAP_COMP_MATCH */
484         ComponentReference *cr_list = NULL;
485         ComponentReference *cr = NULL, *dupped_cr = NULL;
486         void* decoded_comp;
487         ComponentSyntaxInfo* csi_attr;
488         Syntax* syn;
489         AttributeType* at;
490         int i, num_attr;
491         void* mem_op;
492         struct berval value = {0};
493 #endif
494
495         /* Never index ID 0 */
496         if ( e->e_id == 0 )
497                 return 0;
498
499         Debug( LDAP_DEBUG_TRACE, "=> index_entry_%s( %ld, \"%s\" )\n",
500                 opid == SLAP_INDEX_DELETE_OP ? "del" : "add",
501                 (long) e->e_id, e->e_dn ? e->e_dn : "" );
502
503         /* add each attribute to the indexes */
504         for ( ; ap != NULL; ap = ap->a_next ) {
505 #if 0 /* ifdef LDAP_COMP_MATCH */
506                 AttrInfo *ai;
507                 /* see if attribute has components to be indexed */
508                 ai = mdb_attr_mask( op->o_bd->be_private, ap->a_desc->ad_type->sat_ad );
509                 if ( !ai ) continue;
510                 cr_list = ai->ai_cr;
511                 if ( attr_converter && cr_list ) {
512                         syn = ap->a_desc->ad_type->sat_syntax;
513                         ap->a_comp_data = op->o_tmpalloc( sizeof( ComponentData ), op->o_tmpmemctx );
514                         /* Memory chunk(nibble) pre-allocation for decoders */
515                         mem_op = nibble_mem_allocator ( 1024*16, 1024*4 );
516                         ap->a_comp_data->cd_mem_op = mem_op;
517                         for( cr = cr_list ; cr ; cr = cr->cr_next ) {
518                                 /* count how many values in an attribute */
519                                 for( num_attr=0; ap->a_vals[num_attr].bv_val != NULL; num_attr++ );
520                                 num_attr++;
521                                 cr->cr_nvals = (BerVarray)op->o_tmpalloc( sizeof( struct berval )*num_attr, op->o_tmpmemctx );
522                                 for( i=0; ap->a_vals[i].bv_val != NULL; i++ ) {
523                                         /* decoding attribute value */
524                                         decoded_comp = attr_converter ( ap, syn, &ap->a_vals[i] );
525                                         if ( !decoded_comp )
526                                                 return LDAP_DECODING_ERROR;
527                                         /* extracting the referenced component */
528                                         dupped_cr = dup_comp_ref( op, cr );
529                                         csi_attr = ((ComponentSyntaxInfo*)decoded_comp)->csi_comp_desc->cd_extract_i( mem_op, dupped_cr, decoded_comp );
530                                         if ( !csi_attr )
531                                                 return LDAP_DECODING_ERROR;
532                                         cr->cr_asn_type_id = csi_attr->csi_comp_desc->cd_type_id;
533                                         cr->cr_ad = (AttributeDescription*)get_component_description ( cr->cr_asn_type_id );
534                                         if ( !cr->cr_ad )
535                                                 return LDAP_INVALID_SYNTAX;
536                                         at = cr->cr_ad->ad_type;
537                                         /* encoding the value of component in GSER */
538                                         rc = component_encoder( mem_op, csi_attr, &value );
539                                         if ( rc != LDAP_SUCCESS )
540                                                 return LDAP_ENCODING_ERROR;
541                                         /* Normalize the encoded component values */
542                                         if ( at->sat_equality && at->sat_equality->smr_normalize ) {
543                                                 rc = at->sat_equality->smr_normalize (
544                                                         SLAP_MR_VALUE_OF_ATTRIBUTE_SYNTAX,
545                                                         at->sat_syntax, at->sat_equality,
546                                                         &value, &cr->cr_nvals[i], op->o_tmpmemctx );
547                                         } else {
548                                                 cr->cr_nvals[i] = value;
549                                         }
550                                 }
551                                 /* The end of BerVarray */
552                                 cr->cr_nvals[num_attr-1].bv_val = NULL;
553                                 cr->cr_nvals[num_attr-1].bv_len = 0;
554                         }
555                         op->o_tmpfree( ap->a_comp_data, op->o_tmpmemctx );
556                         nibble_mem_free ( mem_op );
557                         ap->a_comp_data = NULL;
558                 }
559 #endif
560                 rc = mdb_index_values( op, txn, ap->a_desc,
561                         ap->a_nvals, e->e_id, opid );
562
563                 if( rc != LDAP_SUCCESS ) {
564                         Debug( LDAP_DEBUG_TRACE,
565                                 "<= index_entry_%s( %ld, \"%s\" ) failure\n",
566                                 opid == SLAP_INDEX_ADD_OP ? "add" : "del",
567                                 (long) e->e_id, e->e_dn );
568                         return rc;
569                 }
570         }
571
572         Debug( LDAP_DEBUG_TRACE, "<= index_entry_%s( %ld, \"%s\" ) success\n",
573                 opid == SLAP_INDEX_DELETE_OP ? "del" : "add",
574                 (long) e->e_id, e->e_dn ? e->e_dn : "" );
575
576         return LDAP_SUCCESS;
577 }