git.sur5r.net Git - openldap/blob - servers/slapd/back-mdb/index.c

   1 /* index.c - routines for dealing with attribute indexes */
   2 /* $OpenLDAP$ */
   3 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
   4  *
   5  * Copyright 2000-2015 The OpenLDAP Foundation.
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted only as authorized by the OpenLDAP
  10  * Public License.
  11  *
  12  * A copy of this license is available in the file LICENSE in the
  13  * top-level directory of the distribution or, alternatively, at
  14  * <http://www.OpenLDAP.org/license.html>.
  15  */
  16
  17 #include "portable.h"
  18
  19 #include <stdio.h>
  20
  21 #include <ac/string.h>
  22 #include <ac/socket.h>
  23
  24 #include "slap.h"
  25 #include "back-mdb.h"
  26 #include "lutil_hash.h"
  27
  28 static char presence_keyval[] = {0,0,0,0,0};
  29 static struct berval presence_key[2] = {BER_BVC(presence_keyval), BER_BVNULL};
  30
  31 AttrInfo *mdb_index_mask(
  32         Backend *be,
  33         AttributeDescription *desc,
  34         struct berval *atname )
  35 {
  36         AttributeType *at;
  37         AttrInfo *ai = mdb_attr_mask( be->be_private, desc );
  38
  39         if( ai ) {
  40                 *atname = desc->ad_cname;
  41                 return ai;
  42         }
  43
  44         /* If there is a tagging option, did we ever index the base
  45          * type? If so, check for mask, otherwise it's not there.
  46          */
  47         if( slap_ad_is_tagged( desc ) && desc != desc->ad_type->sat_ad ) {
  48                 /* has tagging option */
  49                 ai = mdb_attr_mask( be->be_private, desc->ad_type->sat_ad );
  50
  51                 if ( ai && !( ai->ai_indexmask & SLAP_INDEX_NOTAGS ) ) {
  52                         *atname = desc->ad_type->sat_cname;
  53                         return ai;
  54                 }
  55         }
  56
  57         /* see if supertype defined mask for its subtypes */
  58         for( at = desc->ad_type; at != NULL ; at = at->sat_sup ) {
  59                 /* If no AD, we've never indexed this type */
  60                 if ( !at->sat_ad ) continue;
  61
  62                 ai = mdb_attr_mask( be->be_private, at->sat_ad );
  63
  64                 if ( ai && !( ai->ai_indexmask & SLAP_INDEX_NOSUBTYPES ) ) {
  65                         *atname = at->sat_cname;
  66                         return ai;
  67                 }
  68         }
  69
  70         return 0;
  71 }
  72
  73 /* This function is only called when evaluating search filters.
  74  */
  75 int mdb_index_param(
  76         Backend *be,
  77         AttributeDescription *desc,
  78         int ftype,
  79         MDB_dbi *dbip,
  80         slap_mask_t *maskp,
  81         struct berval *prefixp )
  82 {
  83         AttrInfo *ai;
  84         slap_mask_t mask, type = 0;
  85
  86         ai = mdb_index_mask( be, desc, prefixp );
  87
  88         if ( !ai ) {
  89 #ifdef MDB_MONITOR_IDX
  90                 switch ( ftype ) {
  91                 case LDAP_FILTER_PRESENT:
  92                         type = SLAP_INDEX_PRESENT;
  93                         break;
  94                 case LDAP_FILTER_APPROX:
  95                         type = SLAP_INDEX_APPROX;
  96                         break;
  97                 case LDAP_FILTER_EQUALITY:
  98                         type = SLAP_INDEX_EQUALITY;
  99                         break;
 100                 case LDAP_FILTER_SUBSTRINGS:
 101                         type = SLAP_INDEX_SUBSTR;
 102                         break;
 103                 default:
 104                         return LDAP_INAPPROPRIATE_MATCHING;
 105                 }
 106                 mdb_monitor_idx_add( be->be_private, desc, type );
 107 #endif /* MDB_MONITOR_IDX */
 108
 109                 return LDAP_INAPPROPRIATE_MATCHING;
 110         }
 111         mask = ai->ai_indexmask;
 112
 113         switch( ftype ) {
 114         case LDAP_FILTER_PRESENT:
 115                 type = SLAP_INDEX_PRESENT;
 116                 if( IS_SLAP_INDEX( mask, SLAP_INDEX_PRESENT ) ) {
 117                         *prefixp = presence_key[0];
 118                         goto done;
 119                 }
 120                 break;
 121
 122         case LDAP_FILTER_APPROX:
 123                 type = SLAP_INDEX_APPROX;
 124                 if ( desc->ad_type->sat_approx ) {
 125                         if( IS_SLAP_INDEX( mask, SLAP_INDEX_APPROX ) ) {
 126                                 goto done;
 127                         }
 128                         break;
 129                 }
 130
 131                 /* Use EQUALITY rule and index for approximate match */
 132                 /* fall thru */
 133
 134         case LDAP_FILTER_EQUALITY:
 135                 type = SLAP_INDEX_EQUALITY;
 136                 if( IS_SLAP_INDEX( mask, SLAP_INDEX_EQUALITY ) ) {
 137                         goto done;
 138                 }
 139                 break;
 140
 141         case LDAP_FILTER_SUBSTRINGS:
 142                 type = SLAP_INDEX_SUBSTR;
 143                 if( IS_SLAP_INDEX( mask, SLAP_INDEX_SUBSTR ) ) {
 144                         goto done;
 145                 }
 146                 break;
 147
 148         default:
 149                 return LDAP_OTHER;
 150         }
 151
 152 #ifdef MDB_MONITOR_IDX
 153         mdb_monitor_idx_add( be->be_private, desc, type );
 154 #endif /* MDB_MONITOR_IDX */
 155
 156         return LDAP_INAPPROPRIATE_MATCHING;
 157
 158 done:
 159         *dbip = ai->ai_dbi;
 160         *maskp = mask;
 161         return LDAP_SUCCESS;
 162 }
 163
 164 static int indexer(
 165         Operation *op,
 166         MDB_txn *txn,
 167         struct mdb_attrinfo *ai,
 168         AttributeDescription *ad,
 169         struct berval *atname,
 170         BerVarray vals,
 171         ID id,
 172         int opid,
 173         slap_mask_t mask )
 174 {
 175         int rc, i;
 176         struct berval *keys;
 177         MDB_cursor *mc = ai->ai_cursor;
 178         mdb_idl_keyfunc *keyfunc;
 179         char *err;
 180
 181         assert( mask != 0 );
 182
 183         if ( !mc ) {
 184                 err = "c_open";
 185                 rc = mdb_cursor_open( txn, ai->ai_dbi, &mc );
 186                 if ( rc ) goto done;
 187                 if ( slapMode & SLAP_TOOL_QUICK )
 188                         ai->ai_cursor = mc;
 189         }
 190
 191         if ( opid == SLAP_INDEX_ADD_OP ) {
 192 #ifdef MDB_TOOL_IDL_CACHING
 193                 if (( slapMode & SLAP_TOOL_QUICK ) && slap_tool_thread_max > 2 ) {
 194                         AttrIxInfo *ax = (AttrIxInfo *)LDAP_SLIST_FIRST(&op->o_extra);
 195                         ax->ai_ai = ai;
 196                         keyfunc = mdb_tool_idl_add;
 197                         mc = (MDB_cursor *)ax;
 198                 } else
 199 #endif
 200                         keyfunc = mdb_idl_insert_keys;
 201         } else
 202                 keyfunc = mdb_idl_delete_keys;
 203
 204         if( IS_SLAP_INDEX( mask, SLAP_INDEX_PRESENT ) ) {
 205                 rc = keyfunc( op->o_bd, mc, presence_key, id );
 206                 if( rc ) {
 207                         err = "presence";
 208                         goto done;
 209                 }
 210         }
 211
 212         if( IS_SLAP_INDEX( mask, SLAP_INDEX_EQUALITY ) ) {
 213                 rc = ad->ad_type->sat_equality->smr_indexer(
 214                         LDAP_FILTER_EQUALITY,
 215                         mask,
 216                         ad->ad_type->sat_syntax,
 217                         ad->ad_type->sat_equality,
 218                         atname, vals, &keys, op->o_tmpmemctx );
 219
 220                 if( rc == LDAP_SUCCESS && keys != NULL ) {
 221                         rc = keyfunc( op->o_bd, mc, keys, id );
 222                         ber_bvarray_free_x( keys, op->o_tmpmemctx );
 223                         if ( rc ) {
 224                                 err = "equality";
 225                                 goto done;
 226                         }
 227                 }
 228                 rc = LDAP_SUCCESS;
 229         }
 230
 231         if( IS_SLAP_INDEX( mask, SLAP_INDEX_APPROX ) ) {
 232                 rc = ad->ad_type->sat_approx->smr_indexer(
 233                         LDAP_FILTER_APPROX,
 234                         mask,
 235                         ad->ad_type->sat_syntax,
 236                         ad->ad_type->sat_approx,
 237                         atname, vals, &keys, op->o_tmpmemctx );
 238
 239                 if( rc == LDAP_SUCCESS && keys != NULL ) {
 240                         rc = keyfunc( op->o_bd, mc, keys, id );
 241                         ber_bvarray_free_x( keys, op->o_tmpmemctx );
 242                         if ( rc ) {
 243                                 err = "approx";
 244                                 goto done;
 245                         }
 246                 }
 247
 248                 rc = LDAP_SUCCESS;
 249         }
 250
 251         if( IS_SLAP_INDEX( mask, SLAP_INDEX_SUBSTR ) ) {
 252                 rc = ad->ad_type->sat_substr->smr_indexer(
 253                         LDAP_FILTER_SUBSTRINGS,
 254                         mask,
 255                         ad->ad_type->sat_syntax,
 256                         ad->ad_type->sat_substr,
 257                         atname, vals, &keys, op->o_tmpmemctx );
 258
 259                 if( rc == LDAP_SUCCESS && keys != NULL ) {
 260                         rc = keyfunc( op->o_bd, mc, keys, id );
 261                         ber_bvarray_free_x( keys, op->o_tmpmemctx );
 262                         if( rc ) {
 263                                 err = "substr";
 264                                 goto done;
 265                         }
 266                 }
 267
 268                 rc = LDAP_SUCCESS;
 269         }
 270
 271 done:
 272         if ( !(slapMode & SLAP_TOOL_QUICK))
 273                 mdb_cursor_close( mc );
 274         switch( rc ) {
 275         /* The callers all know how to deal with these results */
 276         case 0:
 277                 break;
 278         /* Anything else is bad news */
 279         default:
 280                 rc = LDAP_OTHER;
 281         }
 282         return rc;
 283 }
 284
 285 static int index_at_values(
 286         Operation *op,
 287         MDB_txn *txn,
 288         AttributeDescription *ad,
 289         AttributeType *type,
 290         struct berval *tags,
 291         BerVarray vals,
 292         ID id,
 293         int opid )
 294 {
 295         int rc;
 296         slap_mask_t mask = 0;
 297         int ixop = opid;
 298         AttrInfo *ai = NULL;
 299
 300         if ( opid == MDB_INDEX_UPDATE_OP )
 301                 ixop = SLAP_INDEX_ADD_OP;
 302
 303         if( type->sat_sup ) {
 304                 /* recurse */
 305                 rc = index_at_values( op, txn, NULL,
 306                         type->sat_sup, tags,
 307                         vals, id, opid );
 308
 309                 if( rc ) return rc;
 310         }
 311
 312         /* If this type has no AD, we've never used it before */
 313         if( type->sat_ad ) {
 314                 ai = mdb_attr_mask( op->o_bd->be_private, type->sat_ad );
 315                 if ( ai ) {
 316 #ifdef LDAP_COMP_MATCH
 317                         /* component indexing */
 318                         if ( ai->ai_cr ) {
 319                                 ComponentReference *cr;
 320                                 for( cr = ai->ai_cr ; cr ; cr = cr->cr_next ) {
 321                                         rc = indexer( op, txn, ai, cr->cr_ad, &type->sat_cname,
 322                                                 cr->cr_nvals, id, ixop,
 323                                                 cr->cr_indexmask );
 324                                 }
 325                         }
 326 #endif
 327                         ad = type->sat_ad;
 328                         /* If we're updating the index, just set the new bits that aren't
 329                          * already in the old mask.
 330                          */
 331                         if ( opid == MDB_INDEX_UPDATE_OP )
 332                                 mask = ai->ai_newmask & ~ai->ai_indexmask;
 333                         else
 334                         /* For regular updates, if there is a newmask use it. Otherwise
 335                          * just use the old mask.
 336                          */
 337                                 mask = ai->ai_newmask ? ai->ai_newmask : ai->ai_indexmask;
 338                         if( mask ) {
 339                                 rc = indexer( op, txn, ai, ad, &type->sat_cname,
 340                                         vals, id, ixop, mask );
 341
 342                                 if( rc ) return rc;
 343                         }
 344                 }
 345         }
 346
 347         if( tags->bv_len ) {
 348                 AttributeDescription *desc;
 349
 350                 desc = ad_find_tags( type, tags );
 351                 if( desc ) {
 352                         ai = mdb_attr_mask( op->o_bd->be_private, desc );
 353
 354                         if( ai ) {
 355                                 if ( opid == MDB_INDEX_UPDATE_OP )
 356                                         mask = ai->ai_newmask & ~ai->ai_indexmask;
 357                                 else
 358                                         mask = ai->ai_newmask ? ai->ai_newmask : ai->ai_indexmask;
 359                                 if ( mask ) {
 360                                         rc = indexer( op, txn, ai, desc, &desc->ad_cname,
 361                                                 vals, id, ixop, mask );
 362
 363                                         if( rc ) {
 364                                                 return rc;
 365                                         }
 366                                 }
 367                         }
 368                 }
 369         }
 370
 371         return LDAP_SUCCESS;
 372 }
 373
 374 int mdb_index_values(
 375         Operation *op,
 376         MDB_txn *txn,
 377         AttributeDescription *desc,
 378         BerVarray vals,
 379         ID id,
 380         int opid )
 381 {
 382         int rc;
 383
 384         /* Never index ID 0 */
 385         if ( id == 0 )
 386                 return 0;
 387
 388         rc = index_at_values( op, txn, desc,
 389                 desc->ad_type, &desc->ad_tags,
 390                 vals, id, opid );
 391
 392         return rc;
 393 }
 394
 395 /* Get the list of which indices apply to this attr */
 396 int
 397 mdb_index_recset(
 398         struct mdb_info *mdb,
 399         Attribute *a,
 400         AttributeType *type,
 401         struct berval *tags,
 402         IndexRec *ir )
 403 {
 404         int rc, slot;
 405         AttrList *al;
 406
 407         if( type->sat_sup ) {
 408                 /* recurse */
 409                 rc = mdb_index_recset( mdb, a, type->sat_sup, tags, ir );
 410                 if( rc ) return rc;
 411         }
 412         /* If this type has no AD, we've never used it before */
 413         if( type->sat_ad ) {
 414                 slot = mdb_attr_slot( mdb, type->sat_ad, NULL );
 415                 if ( slot >= 0 ) {
 416                         ir[slot].ir_ai = mdb->mi_attrs[slot];
 417                         al = ch_malloc( sizeof( AttrList ));
 418                         al->attr = a;
 419                         al->next = ir[slot].ir_attrs;
 420                         ir[slot].ir_attrs = al;
 421                 }
 422         }
 423         if( tags->bv_len ) {
 424                 AttributeDescription *desc;
 425
 426                 desc = ad_find_tags( type, tags );
 427                 if( desc ) {
 428                         slot = mdb_attr_slot( mdb, desc, NULL );
 429                         if ( slot >= 0 ) {
 430                                 ir[slot].ir_ai = mdb->mi_attrs[slot];
 431                                 al = ch_malloc( sizeof( AttrList ));
 432                                 al->attr = a;
 433                                 al->next = ir[slot].ir_attrs;
 434                                 ir[slot].ir_attrs = al;
 435                         }
 436                 }
 437         }
 438         return LDAP_SUCCESS;
 439 }
 440
 441 /* Apply the indices for the recset */
 442 int mdb_index_recrun(
 443         Operation *op,
 444         MDB_txn *txn,
 445         struct mdb_info *mdb,
 446         IndexRec *ir0,
 447         ID id,
 448         int base )
 449 {
 450         IndexRec *ir;
 451         AttrList *al;
 452         int i, rc = 0;
 453
 454         /* Never index ID 0 */
 455         if ( id == 0 )
 456                 return 0;
 457
 458         for (i=base; i<mdb->mi_nattrs; i+=slap_tool_thread_max-1) {
 459                 ir = ir0 + i;
 460                 if ( !ir->ir_ai ) continue;
 461                 while (( al = ir->ir_attrs )) {
 462                         ir->ir_attrs = al->next;
 463                         rc = indexer( op, txn, ir->ir_ai, ir->ir_ai->ai_desc,
 464                                 &ir->ir_ai->ai_desc->ad_type->sat_cname,
 465                                 al->attr->a_nvals, id, SLAP_INDEX_ADD_OP,
 466                                 ir->ir_ai->ai_indexmask );
 467                         free( al );
 468                         if ( rc ) break;
 469                 }
 470         }
 471         return rc;
 472 }
 473
 474 int
 475 mdb_index_entry(
 476         Operation *op,
 477         MDB_txn *txn,
 478         int opid,
 479         Entry   *e )
 480 {
 481         int rc;
 482         Attribute *ap = e->e_attrs;
 483 #if 0 /* ifdef LDAP_COMP_MATCH */
 484         ComponentReference *cr_list = NULL;
 485         ComponentReference *cr = NULL, *dupped_cr = NULL;
 486         void* decoded_comp;
 487         ComponentSyntaxInfo* csi_attr;
 488         Syntax* syn;
 489         AttributeType* at;
 490         int i, num_attr;
 491         void* mem_op;
 492         struct berval value = {0};
 493 #endif
 494
 495         /* Never index ID 0 */
 496         if ( e->e_id == 0 )
 497                 return 0;
 498
 499         Debug( LDAP_DEBUG_TRACE, "=> index_entry_%s( %ld, \"%s\" )\n",
 500                 opid == SLAP_INDEX_DELETE_OP ? "del" : "add",
 501                 (long) e->e_id, e->e_dn ? e->e_dn : "" );
 502
 503         /* add each attribute to the indexes */
 504         for ( ; ap != NULL; ap = ap->a_next ) {
 505 #if 0 /* ifdef LDAP_COMP_MATCH */
 506                 AttrInfo *ai;
 507                 /* see if attribute has components to be indexed */
 508                 ai = mdb_attr_mask( op->o_bd->be_private, ap->a_desc->ad_type->sat_ad );
 509                 if ( !ai ) continue;
 510                 cr_list = ai->ai_cr;
 511                 if ( attr_converter && cr_list ) {
 512                         syn = ap->a_desc->ad_type->sat_syntax;
 513                         ap->a_comp_data = op->o_tmpalloc( sizeof( ComponentData ), op->o_tmpmemctx );
 514                         /* Memory chunk(nibble) pre-allocation for decoders */
 515                         mem_op = nibble_mem_allocator ( 1024*16, 1024*4 );
 516                         ap->a_comp_data->cd_mem_op = mem_op;
 517                         for( cr = cr_list ; cr ; cr = cr->cr_next ) {
 518                                 /* count how many values in an attribute */
 519                                 for( num_attr=0; ap->a_vals[num_attr].bv_val != NULL; num_attr++ );
 520                                 num_attr++;
 521                                 cr->cr_nvals = (BerVarray)op->o_tmpalloc( sizeof( struct berval )*num_attr, op->o_tmpmemctx );
 522                                 for( i=0; ap->a_vals[i].bv_val != NULL; i++ ) {
 523                                         /* decoding attribute value */
 524                                         decoded_comp = attr_converter ( ap, syn, &ap->a_vals[i] );
 525                                         if ( !decoded_comp )
 526                                                 return LDAP_DECODING_ERROR;
 527                                         /* extracting the referenced component */
 528                                         dupped_cr = dup_comp_ref( op, cr );
 529                                         csi_attr = ((ComponentSyntaxInfo*)decoded_comp)->csi_comp_desc->cd_extract_i( mem_op, dupped_cr, decoded_comp );
 530                                         if ( !csi_attr )
 531                                                 return LDAP_DECODING_ERROR;
 532                                         cr->cr_asn_type_id = csi_attr->csi_comp_desc->cd_type_id;
 533                                         cr->cr_ad = (AttributeDescription*)get_component_description ( cr->cr_asn_type_id );
 534                                         if ( !cr->cr_ad )
 535                                                 return LDAP_INVALID_SYNTAX;
 536                                         at = cr->cr_ad->ad_type;
 537                                         /* encoding the value of component in GSER */
 538                                         rc = component_encoder( mem_op, csi_attr, &value );
 539                                         if ( rc != LDAP_SUCCESS )
 540                                                 return LDAP_ENCODING_ERROR;
 541                                         /* Normalize the encoded component values */
 542                                         if ( at->sat_equality && at->sat_equality->smr_normalize ) {
 543                                                 rc = at->sat_equality->smr_normalize (
 544                                                         SLAP_MR_VALUE_OF_ATTRIBUTE_SYNTAX,
 545                                                         at->sat_syntax, at->sat_equality,
 546                                                         &value, &cr->cr_nvals[i], op->o_tmpmemctx );
 547                                         } else {
 548                                                 cr->cr_nvals[i] = value;
 549                                         }
 550                                 }
 551                                 /* The end of BerVarray */
 552                                 cr->cr_nvals[num_attr-1].bv_val = NULL;
 553                                 cr->cr_nvals[num_attr-1].bv_len = 0;
 554                         }
 555                         op->o_tmpfree( ap->a_comp_data, op->o_tmpmemctx );
 556                         nibble_mem_free ( mem_op );
 557                         ap->a_comp_data = NULL;
 558                 }
 559 #endif
 560                 rc = mdb_index_values( op, txn, ap->a_desc,
 561                         ap->a_nvals, e->e_id, opid );
 562
 563                 if( rc != LDAP_SUCCESS ) {
 564                         Debug( LDAP_DEBUG_TRACE,
 565                                 "<= index_entry_%s( %ld, \"%s\" ) failure\n",
 566                                 opid == SLAP_INDEX_ADD_OP ? "add" : "del",
 567                                 (long) e->e_id, e->e_dn );
 568                         return rc;
 569                 }
 570         }
 571
 572         Debug( LDAP_DEBUG_TRACE, "<= index_entry_%s( %ld, \"%s\" ) success\n",
 573                 opid == SLAP_INDEX_DELETE_OP ? "del" : "add",
 574                 (long) e->e_id, e->e_dn ? e->e_dn : "" );
 575
 576         return LDAP_SUCCESS;
 577 }