]> git.sur5r.net Git - openldap/blob - servers/slapd/back-bdb/modify.c
Fix cache consistency problems on txn retry
[openldap] / servers / slapd / back-bdb / modify.c
1 /* modify.c - bdb backend modify routine */
2 /* $OpenLDAP$ */
3 /*
4  * Copyright 1998-2003 The OpenLDAP Foundation, All Rights Reserved.
5  * COPYING RESTRICTIONS APPLY, see COPYRIGHT file
6  */
7
8 #include "portable.h"
9
10 #include <stdio.h>
11 #include <ac/string.h>
12 #include <ac/time.h>
13
14 #include "back-bdb.h"
15 #include "external.h"
16
17 int bdb_modify_internal(
18         BackendDB *be,
19         Connection *conn,
20         Operation *op,
21         DB_TXN *tid,
22         Modifications *modlist,
23         Entry *e,
24         const char **text,
25         char *textbuf,
26         size_t textlen )
27 {
28         int rc, err;
29         Modification    *mod;
30         Modifications   *ml;
31         Attribute       *save_attrs;
32         Attribute       *ap;
33
34 #ifdef NEW_LOGGING
35         LDAP_LOG ( OPERATION, ENTRY, "bdb_modify_internal: 0x%08lx: %s\n", 
36                 e->e_id, e->e_dn, 0 );
37 #else
38         Debug( LDAP_DEBUG_TRACE, "bdb_modify_internal: 0x%08lx: %s\n",
39                 e->e_id, e->e_dn, 0);
40 #endif
41
42         if ( !acl_check_modlist( be, conn, op, e, modlist )) {
43                 return LDAP_INSUFFICIENT_ACCESS;
44         }
45
46         save_attrs = e->e_attrs;
47         e->e_attrs = attrs_dup( e->e_attrs );
48
49         for ( ml = modlist; ml != NULL; ml = ml->sml_next ) {
50                 mod = &ml->sml_mod;
51
52                 switch ( mod->sm_op ) {
53                 case LDAP_MOD_ADD:
54 #ifdef NEW_LOGGING
55                         LDAP_LOG ( OPERATION, DETAIL1, "bdb_modify_internal: add\n", 0,0,0);
56 #else
57                         Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: add\n", 0, 0, 0);
58 #endif
59                         err = modify_add_values( e, mod, get_permissiveModify(op),
60                                 text, textbuf, textlen );
61                         if( err != LDAP_SUCCESS ) {
62 #ifdef NEW_LOGGING
63                                 LDAP_LOG ( OPERATION, ERR, 
64                                         "bdb_modify_internal: %d %s\n", err, *text, 0 );
65 #else
66                                 Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: %d %s\n",
67                                         err, *text, 0);
68 #endif
69                         }
70                         break;
71
72                 case LDAP_MOD_DELETE:
73 #ifdef NEW_LOGGING
74                         LDAP_LOG ( OPERATION, DETAIL1, 
75                                 "bdb_modify_internal: delete\n", 0, 0, 0 );
76 #else
77                         Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: delete\n", 0, 0, 0);
78 #endif
79                         err = modify_delete_values( e, mod, get_permissiveModify(op),
80                                 text, textbuf, textlen );
81                         assert( err != LDAP_TYPE_OR_VALUE_EXISTS );
82                         if( err != LDAP_SUCCESS ) {
83 #ifdef NEW_LOGGING
84                                 LDAP_LOG ( OPERATION, ERR, 
85                                         "bdb_modify_internal: %d %s\n", err, *text, 0 );
86 #else
87                                 Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: %d %s\n",
88                                         err, *text, 0);
89 #endif
90                         }
91                         break;
92
93                 case LDAP_MOD_REPLACE:
94 #ifdef NEW_LOGGING
95                         LDAP_LOG ( OPERATION, DETAIL1, 
96                                 "bdb_modify_internal: replace\n", 0, 0, 0 );
97 #else
98                         Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: replace\n", 0, 0, 0);
99 #endif
100                         err = modify_replace_values( e, mod, get_permissiveModify(op),
101                                 text, textbuf, textlen );
102                         if( err != LDAP_SUCCESS ) {
103 #ifdef NEW_LOGGING
104                                 LDAP_LOG ( OPERATION, ERR, 
105                                         "bdb_modify_internal: %d %s\n", err, *text, 0 );
106 #else
107                                 Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: %d %s\n",
108                                         err, *text, 0);
109 #endif
110                         }
111                         break;
112
113                 case SLAP_MOD_SOFTADD:
114 #ifdef NEW_LOGGING
115                         LDAP_LOG ( OPERATION, DETAIL1, 
116                                 "bdb_modify_internal: softadd\n",0,0,0 );
117 #else
118                         Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: softadd\n", 0, 0, 0);
119 #endif
120                         /* Avoid problems in index_add_mods()
121                          * We need to add index if necessary.
122                          */
123                         mod->sm_op = LDAP_MOD_ADD;
124
125                         err = modify_add_values( e, mod, get_permissiveModify(op),
126                                 text, textbuf, textlen );
127                         if ( err == LDAP_TYPE_OR_VALUE_EXISTS ) {
128                                 err = LDAP_SUCCESS;
129                         }
130
131                         if( err != LDAP_SUCCESS ) {
132 #ifdef NEW_LOGGING
133                                 LDAP_LOG ( OPERATION, ERR, 
134                                         "bdb_modify_internal: %d %s\n", err, *text, 0 );
135 #else
136                                 Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: %d %s\n",
137                                         err, *text, 0);
138 #endif
139                         }
140                         break;
141
142                 default:
143 #ifdef NEW_LOGGING
144                                 LDAP_LOG ( OPERATION, ERR, 
145                                         "bdb_modify_internal: invalid op %d\n", mod->sm_op, 0, 0 );
146 #else
147                         Debug(LDAP_DEBUG_ANY, "bdb_modify_internal: invalid op %d\n",
148                                 mod->sm_op, 0, 0);
149 #endif
150                         *text = "Invalid modify operation";
151                         err = LDAP_OTHER;
152 #ifdef NEW_LOGGING
153                                 LDAP_LOG ( OPERATION, ERR, 
154                                         "bdb_modify_internal: %d %s\n", err, *text, 0 );
155 #else
156                         Debug(LDAP_DEBUG_ARGS, "bdb_modify_internal: %d %s\n",
157                                 err, *text, 0);
158 #endif
159                 }
160
161                 if ( err != LDAP_SUCCESS ) {
162                         attrs_free( e->e_attrs );
163                         e->e_attrs = save_attrs;
164                         /* unlock entry, delete from cache */
165                         return err; 
166                 }
167
168                 /* If objectClass was modified, reset the flags */
169                 if ( mod->sm_desc == slap_schema.si_ad_objectClass ) {
170                         e->e_ocflags = 0;
171                 }
172
173                 /* check if modified attribute was indexed
174                  * but not in case of NOOP... */
175                 err = bdb_index_is_indexed( be, mod->sm_desc );
176                 if ( err == LDAP_SUCCESS && !op->o_noop ) {
177                         ap = attr_find( save_attrs, mod->sm_desc );
178                         if ( ap ) ap->a_flags |= SLAP_ATTR_IXDEL;
179
180                         ap = attr_find( e->e_attrs, mod->sm_desc );
181                         if ( ap ) ap->a_flags |= SLAP_ATTR_IXADD;
182                 }
183         }
184
185         /* check that the entry still obeys the schema */
186         rc = entry_schema_check( be, e, save_attrs, text, textbuf, textlen );
187         if ( rc != LDAP_SUCCESS || op->o_noop ) {
188                 attrs_free( e->e_attrs );
189                 e->e_attrs = save_attrs;
190
191                 if ( rc != LDAP_SUCCESS ) {
192 #ifdef NEW_LOGGING
193                         LDAP_LOG ( OPERATION, ERR, "bdb_modify_internal: "
194                                 "entry failed schema check %s\n", 
195                                 *text, 0, 0 );
196 #else
197                         Debug( LDAP_DEBUG_ANY,
198                                 "entry failed schema check: %s\n",
199                                 *text, 0, 0 );
200 #endif
201                 }
202
203                 /* if NOOP then silently revert to saved attrs */
204                 return rc;
205         }
206
207         /* update the indices of the modified attributes */
208
209         /* start with deleting the old index entries */
210         for ( ap = save_attrs; ap != NULL; ap = ap->a_next ) {
211                 if ( ap->a_flags & SLAP_ATTR_IXDEL ) {
212                         rc = bdb_index_values( be, tid, ap->a_desc,
213 #ifdef SLAP_NVALUES
214                                 ap->a_nvals ? ap->a_nvals : ap->a_vals,
215 #else
216                                 ap->a_vals,
217 #endif
218                                 e->e_id, SLAP_INDEX_DELETE_OP );
219                         if ( rc != LDAP_SUCCESS ) {
220                                 attrs_free( e->e_attrs );
221                                 e->e_attrs = save_attrs;
222 #ifdef NEW_LOGGING
223                                 LDAP_LOG ( OPERATION, ERR, 
224                                         "bdb_modify_internal: attribute index delete failure\n",
225                                         0, 0, 0 );
226 #else
227                                 Debug( LDAP_DEBUG_ANY,
228                                        "Attribute index delete failure",
229                                        0, 0, 0 );
230 #endif
231                                 return rc;
232                         }
233                         ap->a_flags &= ~SLAP_ATTR_IXDEL;
234                 }
235         }
236
237         /* add the new index entries */
238         for ( ap = e->e_attrs; ap != NULL; ap = ap->a_next ) {
239                 if (ap->a_flags & SLAP_ATTR_IXADD) {
240                         rc = bdb_index_values( be, tid, ap->a_desc,
241 #ifdef SLAP_NVALUES
242                                 ap->a_nvals ? ap->a_nvals : ap->a_vals,
243 #else
244                                 ap->a_vals,
245 #endif
246                                 e->e_id, SLAP_INDEX_ADD_OP );
247                         if ( rc != LDAP_SUCCESS ) {
248                                 attrs_free( e->e_attrs );
249                                 e->e_attrs = save_attrs;
250 #ifdef NEW_LOGGING
251                                 LDAP_LOG ( OPERATION, ERR, 
252                                         "bdb_modify_internal: attribute index add failure\n", 
253                                         0, 0, 0 );
254 #else
255                                 Debug( LDAP_DEBUG_ANY,
256                                        "Attribute index add failure",
257                                        0, 0, 0 );
258 #endif
259                                 return rc;
260                         }
261                         ap->a_flags &= ~SLAP_ATTR_IXADD;
262                 }
263         }
264
265         /* If we've done repeated mods on a cached entry, then e_attrs
266          * is no longer contiguous with the entry.
267          */
268         if( (void *) save_attrs != (void *) (e+1)) {
269                 attrs_free( save_attrs );
270         }
271
272         return rc;
273 }
274
275
276 int
277 bdb_modify(
278         BackendDB       *be,
279         Connection      *conn,
280         Operation       *op,
281         struct berval   *dn,
282         struct berval   *ndn,
283         Modifications   *modlist )
284 {
285         struct bdb_info *bdb = (struct bdb_info *) be->be_private;
286         int rc;
287         Entry           *matched = NULL;
288         Entry           *e = NULL;
289         int             manageDSAit = get_manageDSAit( op );
290         const char *text = NULL;
291         char textbuf[SLAP_TEXT_BUFLEN];
292         size_t textlen = sizeof textbuf;
293         DB_TXN  *ltid = NULL;
294         struct bdb_op_info opinfo;
295
296         u_int32_t       locker = 0;
297         DB_LOCK         lock;
298
299         int             noop = 0;
300
301 #if defined(LDAP_CLIENT_UPDATE) || defined(LDAP_SYNC)
302         Operation* ps_list;
303         struct psid_entry* pm_list;
304         struct psid_entry* pm_prev;
305 #endif
306
307 #ifdef NEW_LOGGING
308         LDAP_LOG ( OPERATION, ENTRY, "bdb_modify: %s\n", dn->bv_val, 0, 0 );
309 #else
310         Debug( LDAP_DEBUG_ARGS, "bdb_modify: %s\n", dn->bv_val, 0, 0 );
311 #endif
312
313         if( 0 ) {
314 retry:  /* transaction retry */
315                 if( e != NULL ) {
316                         bdb_cache_delete_entry(&bdb->bi_cache, e);
317                         bdb_unlocked_cache_return_entry_w(&bdb->bi_cache, e);
318                 }
319 #ifdef NEW_LOGGING
320                 LDAP_LOG ( OPERATION, DETAIL1, "bdb_modify: retrying...\n", 0, 0, 0 );
321 #else
322                 Debug(LDAP_DEBUG_TRACE,
323                         "bdb_modify: retrying...\n", 0, 0, 0);
324 #endif
325
326 #if defined(LDAP_CLIENT_UPDATE) || defined(LDAP_SYNC)
327                 pm_list = LDAP_LIST_FIRST(&op->premodify_list);
328                 while ( pm_list != NULL ) {
329                         LDAP_LIST_REMOVE ( pm_list, link );
330                         pm_prev = pm_list;
331                         pm_list = LDAP_LIST_NEXT ( pm_list, link );
332                         free (pm_prev);
333                 }
334 #endif
335
336                 rc = TXN_ABORT( ltid );
337                 ltid = NULL;
338                 op->o_private = NULL;
339                 op->o_do_not_cache = opinfo.boi_acl_cache;
340                 if( rc != 0 ) {
341                         rc = LDAP_OTHER;
342                         text = "internal error";
343                         goto return_results;
344                 }
345                 ldap_pvt_thread_yield();
346         }
347
348         /* begin transaction */
349         rc = TXN_BEGIN( bdb->bi_dbenv, NULL, &ltid, 
350                 bdb->bi_db_opflags );
351         text = NULL;
352         if( rc != 0 ) {
353 #ifdef NEW_LOGGING
354                 LDAP_LOG ( OPERATION, DETAIL1, 
355                         "bdb_modify: txn_begin failed: %s (%d)\n", db_strerror(rc), rc, 0 );
356 #else
357                 Debug( LDAP_DEBUG_TRACE,
358                         "bdb_modify: txn_begin failed: %s (%d)\n",
359                         db_strerror(rc), rc, 0 );
360 #endif
361                 rc = LDAP_OTHER;
362                 text = "internal error";
363                 goto return_results;
364         }
365
366         locker = TXN_ID ( ltid );
367
368         opinfo.boi_bdb = be;
369         opinfo.boi_txn = ltid;
370         opinfo.boi_locker = locker;
371         opinfo.boi_err = 0;
372         opinfo.boi_acl_cache = op->o_do_not_cache;
373         op->o_private = &opinfo;
374
375         /* get entry */
376         rc = bdb_dn2entry_w( be, ltid, ndn, &e, &matched, 0, locker, &lock );
377
378         if ( rc != 0 ) {
379 #ifdef NEW_LOGGING
380                 LDAP_LOG ( OPERATION, DETAIL1, 
381                         "bdb_modify: dn2entry failed: (%d)\n", rc, 0, 0 );
382 #else
383                 Debug( LDAP_DEBUG_TRACE,
384                         "bdb_modify: dn2entry failed (%d)\n",
385                         rc, 0, 0 );
386 #endif
387                 switch( rc ) {
388                 case DB_LOCK_DEADLOCK:
389                 case DB_LOCK_NOTGRANTED:
390                         goto retry;
391                 case DB_NOTFOUND:
392                         break;
393                 case LDAP_BUSY:
394                         text = "ldap server busy";
395                         goto return_results;
396                 default:
397                         rc = LDAP_OTHER;
398                 }
399                 text = "internal error";
400                 goto return_results;
401         }
402
403         /* acquire and lock entry */
404         if ( e == NULL ) {
405                 char* matched_dn = NULL;
406                 BerVarray refs;
407
408                 if ( matched != NULL ) {
409                         matched_dn = ch_strdup( matched->e_dn );
410                         refs = is_entry_referral( matched )
411                                 ? get_entry_referrals( be, conn, op, matched )
412                                 : NULL;
413                         bdb_unlocked_cache_return_entry_r (&bdb->bi_cache, matched);
414                         matched = NULL;
415
416                 } else {
417                         refs = referral_rewrite( default_referral,
418                                 NULL, dn, LDAP_SCOPE_DEFAULT );
419                 }
420
421                 send_ldap_result( conn, op, rc = LDAP_REFERRAL,
422                         matched_dn, NULL, refs, NULL );
423
424                 ber_bvarray_free( refs );
425                 free( matched_dn );
426
427                 goto done;
428         }
429
430         if ( !manageDSAit && is_entry_referral( e ) ) {
431                 /* entry is a referral, don't allow modify */
432                 BerVarray refs = get_entry_referrals( be,
433                         conn, op, e );
434
435 #ifdef NEW_LOGGING
436                 LDAP_LOG ( OPERATION, DETAIL1, "bdb_modify: entry is referral\n", 0, 0, 0 );
437 #else
438                 Debug( LDAP_DEBUG_TRACE,
439                         "bdb_modify: entry is referral\n",
440                         0, 0, 0 );
441 #endif
442
443                 send_ldap_result( conn, op, rc = LDAP_REFERRAL,
444                         e->e_dn, NULL, refs, NULL );
445
446                 ber_bvarray_free( refs );
447                 goto done;
448         }
449
450 #if defined(LDAP_CLIENT_UPDATE) || defined(LDAP_SYNC)
451         if ( rc == LDAP_SUCCESS && !op->o_noop ) {
452                 LDAP_LIST_FOREACH ( ps_list, &bdb->psearch_list, link ) {
453                         bdb_psearch(be, conn, op, ps_list, e, LDAP_PSEARCH_BY_PREMODIFY );
454                 }
455         }
456 #endif
457         
458         /* Modify the entry */
459         rc = bdb_modify_internal( be, conn, op, ltid, modlist, e,
460                 &text, textbuf, textlen );
461
462         if( rc != LDAP_SUCCESS ) {
463 #ifdef NEW_LOGGING
464                 LDAP_LOG ( OPERATION, ERR, 
465                         "bdb_modify: modify failed (%d)\n", rc, 0, 0 );
466 #else
467                 Debug( LDAP_DEBUG_TRACE,
468                         "bdb_modify: modify failed (%d)\n",
469                         rc, 0, 0 );
470 #endif
471                 if ( (rc == LDAP_INSUFFICIENT_ACCESS) && opinfo.boi_err ) {
472                         rc = opinfo.boi_err;
473                 }
474                 switch( rc ) {
475                 case DB_LOCK_DEADLOCK:
476                 case DB_LOCK_NOTGRANTED:
477                         goto retry;
478                 }
479                 goto return_results;
480         }
481
482         /* change the entry itself */
483         rc = bdb_id2entry_update( be, ltid, e );
484         if ( rc != 0 ) {
485 #ifdef NEW_LOGGING
486                 LDAP_LOG ( OPERATION, ERR, 
487                         "bdb_modify: id2entry update failed (%d)\n", rc, 0, 0 );
488 #else
489                 Debug( LDAP_DEBUG_TRACE,
490                         "bdb_modify: id2entry update failed (%d)\n",
491                         rc, 0, 0 );
492 #endif
493                 switch( rc ) {
494                 case DB_LOCK_DEADLOCK:
495                 case DB_LOCK_NOTGRANTED:
496                         goto retry;
497                 }
498                 text = "entry update failed";
499                 goto return_results;
500         }
501
502         if( op->o_noop ) {
503                 if ( ( rc = TXN_ABORT( ltid ) ) != 0 ) {
504                         text = "txn_abort (no-op) failed";
505                 } else {
506                         noop = 1;
507                         rc = LDAP_SUCCESS;
508                 }
509         } else {
510                 rc = TXN_COMMIT( ltid, 0 );
511         }
512         ltid = NULL;
513         op->o_private = NULL;
514
515         if( rc != 0 ) {
516 #ifdef NEW_LOGGING
517                 LDAP_LOG ( OPERATION, ERR, 
518                         "bdb_modify: txn_%s failed %s (%d)\n", 
519                         op->o_noop ? "abort (no_op)" : "commit", db_strerror(rc), rc );
520 #else
521                 Debug( LDAP_DEBUG_TRACE,
522                         "bdb_modify: txn_%s failed: %s (%d)\n",
523                         op->o_noop ? "abort (no-op)" : "commit",
524                         db_strerror(rc), rc );
525 #endif
526                 rc = LDAP_OTHER;
527                 text = "commit failed";
528
529         } else {
530 #ifdef NEW_LOGGING
531                 LDAP_LOG ( OPERATION, DETAIL1, 
532                         "bdb_modify: updated%s id=%08lx dn=\"%s\"\n", 
533                         op->o_noop ? " (no_op)" : "", e->e_id, e->e_dn );
534 #else
535                 Debug( LDAP_DEBUG_TRACE,
536                         "bdb_modify: updated%s id=%08lx dn=\"%s\"\n",
537                         op->o_noop ? " (no-op)" : "",
538                         e->e_id, e->e_dn );
539 #endif
540                 rc = LDAP_SUCCESS;
541                 text = NULL;
542         }
543
544 return_results:
545         send_ldap_result( conn, op, rc,
546                 NULL, text, NULL, NULL );
547
548 #if defined(LDAP_CLIENT_UPDATE) || defined(LDAP_SYNC)
549         if ( rc == LDAP_SUCCESS && !op->o_noop ) {
550                 /* Loop through in-scope entries for each psearch spec */
551                 LDAP_LIST_FOREACH ( ps_list, &bdb->psearch_list, link ) {
552                         bdb_psearch( be, conn, op, ps_list, e, LDAP_PSEARCH_BY_MODIFY );
553                 }
554                 pm_list = LDAP_LIST_FIRST(&op->premodify_list);
555                 while ( pm_list != NULL ) {
556                         bdb_psearch(be, conn, op, pm_list->ps->op,
557                                                 e, LDAP_PSEARCH_BY_SCOPEOUT);
558                         LDAP_LIST_REMOVE ( pm_list, link );
559                         pm_prev = pm_list;
560                         pm_list = LDAP_LIST_NEXT ( pm_list, link );
561                         free (pm_prev);
562                 }
563         }
564 #endif
565
566         if( rc == LDAP_SUCCESS && bdb->bi_txn_cp ) {
567                 ldap_pvt_thread_yield();
568                 TXN_CHECKPOINT( bdb->bi_dbenv,
569                         bdb->bi_txn_cp_kbyte, bdb->bi_txn_cp_min, 0 );
570         }
571
572 done:
573         if( ltid != NULL ) {
574 #if defined(LDAP_CLIENT_UPDATE) || defined(LDAP_SYNC)
575                 pm_list = LDAP_LIST_FIRST(&op->premodify_list);
576                 while ( pm_list != NULL ) {
577                         LDAP_LIST_REMOVE ( pm_list, link );
578                         pm_prev = pm_list;
579                         pm_list = LDAP_LIST_NEXT ( pm_list, link );
580                         free (pm_prev);
581                 }
582 #endif
583                 TXN_ABORT( ltid );
584                 op->o_private = NULL;
585         }
586
587         if( e != NULL ) {
588                 bdb_unlocked_cache_return_entry_w (&bdb->bi_cache, e);
589         }
590         return ( ( rc == LDAP_SUCCESS ) ? noop : rc );
591 }