]> git.sur5r.net Git - openldap/blob - servers/slapd/back-mdb/config.c
Merge remote branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4
[openldap] / servers / slapd / back-mdb / config.c
1 /* config.c - mdb backend configuration file routine */
2 /* $OpenLDAP$ */
3 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
4  *
5  * Copyright 2000-2012 The OpenLDAP Foundation.
6  * All rights reserved.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted only as authorized by the OpenLDAP
10  * Public License.
11  *
12  * A copy of this license is available in the file LICENSE in the
13  * top-level directory of the distribution or, alternatively, at
14  * <http://www.OpenLDAP.org/license.html>.
15  */
16
17 #include "portable.h"
18
19 #include <stdio.h>
20 #include <ac/ctype.h>
21 #include <ac/string.h>
22 #include <ac/errno.h>
23
24 #include "back-mdb.h"
25
26 #include "config.h"
27
28 #include "lutil.h"
29 #include "ldap_rq.h"
30
31 static ConfigDriver mdb_cf_gen;
32
33 enum {
34         MDB_CHKPT = 1,
35         MDB_DIRECTORY,
36         MDB_DBNOSYNC,
37         MDB_INDEX,
38         MDB_MAXREADERS,
39         MDB_MAXSIZE,
40         MDB_MODE,
41         MDB_SSTACK
42 };
43
44 static ConfigTable mdbcfg[] = {
45         { "directory", "dir", 2, 2, 0, ARG_STRING|ARG_MAGIC|MDB_DIRECTORY,
46                 mdb_cf_gen, "( OLcfgDbAt:0.1 NAME 'olcDbDirectory' "
47                         "DESC 'Directory for database content' "
48                         "EQUALITY caseIgnoreMatch "
49                         "SYNTAX OMsDirectoryString SINGLE-VALUE )", NULL, NULL },
50         { "checkpoint", "kbyte> <min", 3, 3, 0, ARG_MAGIC|MDB_CHKPT,
51                 mdb_cf_gen, "( OLcfgDbAt:1.2 NAME 'olcDbCheckpoint' "
52                         "DESC 'Database checkpoint interval in kbytes and minutes' "
53                         "SYNTAX OMsDirectoryString SINGLE-VALUE )",NULL, NULL },
54         { "dbnosync", NULL, 1, 2, 0, ARG_ON_OFF|ARG_MAGIC|MDB_DBNOSYNC,
55                 mdb_cf_gen, "( OLcfgDbAt:1.4 NAME 'olcDbNoSync' "
56                         "DESC 'Disable synchronous database writes' "
57                         "SYNTAX OMsBoolean SINGLE-VALUE )", NULL, NULL },
58         { "index", "attr> <[pres,eq,approx,sub]", 2, 3, 0, ARG_MAGIC|MDB_INDEX,
59                 mdb_cf_gen, "( OLcfgDbAt:0.2 NAME 'olcDbIndex' "
60                 "DESC 'Attribute index parameters' "
61                 "EQUALITY caseIgnoreMatch "
62                 "SYNTAX OMsDirectoryString )", NULL, NULL },
63         { "maxreaders", "num", 2, 2, 0, ARG_UINT|ARG_MAGIC|MDB_MAXREADERS,
64                 mdb_cf_gen, "( OLcfgDbAt:12.1 NAME 'olcDbMaxReaders' "
65                 "DESC 'Maximum number of threads that may access the DB concurrently' "
66                 "SYNTAX OMsInteger SINGLE-VALUE )", NULL, NULL },
67         { "maxsize", "size", 2, 2, 0, ARG_ULONG|ARG_MAGIC|MDB_MAXSIZE,
68                 mdb_cf_gen, "( OLcfgDbAt:12.2 NAME 'olcDbMaxSize' "
69                 "DESC 'Maximum size of DB in bytes' "
70                 "SYNTAX OMsInteger SINGLE-VALUE )", NULL, NULL },
71         { "mode", "mode", 2, 2, 0, ARG_MAGIC|MDB_MODE,
72                 mdb_cf_gen, "( OLcfgDbAt:0.3 NAME 'olcDbMode' "
73                 "DESC 'Unix permissions of database files' "
74                 "SYNTAX OMsDirectoryString SINGLE-VALUE )", NULL, NULL },
75         { "searchstack", "depth", 2, 2, 0, ARG_INT|ARG_MAGIC|MDB_SSTACK,
76                 mdb_cf_gen, "( OLcfgDbAt:1.9 NAME 'olcDbSearchStack' "
77                 "DESC 'Depth of search stack in IDLs' "
78                 "SYNTAX OMsInteger SINGLE-VALUE )", NULL, NULL },
79         { NULL, NULL, 0, 0, 0, ARG_IGNORED,
80                 NULL, NULL, NULL, NULL }
81 };
82
83 static ConfigOCs mdbocs[] = {
84         {
85                 "( OLcfgDbOc:12.1 "
86                 "NAME 'olcMdbConfig' "
87                 "DESC 'MDB backend configuration' "
88                 "SUP olcDatabaseConfig "
89                 "MUST olcDbDirectory "
90                 "MAY ( olcDbCheckpoint $ "
91                 "olcDbNoSync $ olcDbIndex $ olcDbMaxReaders $ olcDbMaxsize $ "
92                 "olcDbMode $ olcDbSearchStack ) )",
93                         Cft_Database, mdbcfg },
94         { NULL, 0, NULL }
95 };
96
97 /* perform periodic syncs */
98 static void *
99 mdb_checkpoint( void *ctx, void *arg )
100 {
101         struct re_s *rtask = arg;
102         struct mdb_info *mdb = rtask->arg;
103
104         mdb_env_sync( mdb->mi_dbenv, 0 );
105         ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
106         ldap_pvt_runqueue_stoptask( &slapd_rq, rtask );
107         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
108         return NULL;
109 }
110
111 /* reindex entries on the fly */
112 static void *
113 mdb_online_index( void *ctx, void *arg )
114 {
115         struct re_s *rtask = arg;
116         BackendDB *be = rtask->arg;
117         struct mdb_info *mdb = be->be_private;
118
119         Connection conn = {0};
120         OperationBuffer opbuf;
121         Operation *op;
122
123         MDB_cursor *curs;
124         MDB_val key, data;
125         MDB_txn *txn;
126         ID id;
127         Entry *e;
128         int rc, getnext = 1;
129         int i;
130
131         connection_fake_init( &conn, &opbuf, ctx );
132         op = &opbuf.ob_op;
133
134         op->o_bd = be;
135
136         id = 1;
137         key.mv_size = sizeof(ID);
138
139         while ( 1 ) {
140                 if ( slapd_shutdown )
141                         break;
142
143                 rc = mdb_txn_begin( mdb->mi_dbenv, NULL, 0, &txn );
144                 if ( rc )
145                         break;
146                 rc = mdb_cursor_open( txn, mdb->mi_id2entry, &curs );
147                 if ( rc ) {
148                         mdb_txn_abort( txn );
149                         break;
150                 }
151                 if ( getnext ) {
152                         getnext = 0;
153                         key.mv_data = &id;
154                         rc = mdb_cursor_get( curs, &key, &data, MDB_SET_RANGE );
155                         if ( rc ) {
156                                 mdb_txn_abort( txn );
157                                 if ( rc == MDB_NOTFOUND )
158                                         rc = 0;
159                                 break;
160                         }
161                         memcpy( &id, key.mv_data, sizeof( id ));
162                 }
163
164                 rc = mdb_id2entry( op, curs, id, &e );
165                 mdb_cursor_close( curs );
166                 if ( rc ) {
167                         mdb_txn_abort( txn );
168                         if ( rc == MDB_NOTFOUND ) {
169                                 id++;
170                                 getnext = 1;
171                                 continue;
172                         }
173                         break;
174                 }
175                 rc = mdb_index_entry( op, txn, MDB_INDEX_UPDATE_OP, e );
176                 mdb_entry_return( op, e );
177                 if ( rc == 0 ) {
178                         rc = mdb_txn_commit( txn );
179                         txn = NULL;
180                 }
181                 if ( rc )
182                         break;
183                 id++;
184                 getnext = 1;
185         }
186
187         for ( i = 0; i < mdb->mi_nattrs; i++ ) {
188                 if ( mdb->mi_attrs[ i ]->ai_indexmask & MDB_INDEX_DELETING
189                         || mdb->mi_attrs[ i ]->ai_newmask == 0 )
190                 {
191                         continue;
192                 }
193                 mdb->mi_attrs[ i ]->ai_indexmask = mdb->mi_attrs[ i ]->ai_newmask;
194                 mdb->mi_attrs[ i ]->ai_newmask = 0;
195         }
196
197         ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
198         ldap_pvt_runqueue_stoptask( &slapd_rq, rtask );
199         mdb->mi_index_task = NULL;
200         ldap_pvt_runqueue_remove( &slapd_rq, rtask );
201         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
202
203         return NULL;
204 }
205
206 /* Cleanup loose ends after Modify completes */
207 static int
208 mdb_cf_cleanup( ConfigArgs *c )
209 {
210         struct mdb_info *mdb = c->be->be_private;
211         int rc = 0;
212
213         if ( mdb->mi_flags & MDB_DEL_INDEX ) {
214                 mdb_attr_flush( mdb );
215                 mdb->mi_flags ^= MDB_DEL_INDEX;
216         }
217
218         if ( mdb->mi_flags & MDB_RE_OPEN ) {
219                 mdb->mi_flags ^= MDB_RE_OPEN;
220                 rc = c->be->bd_info->bi_db_close( c->be, &c->reply );
221                 if ( rc == 0 )
222                         rc = c->be->bd_info->bi_db_open( c->be, &c->reply );
223                 /* If this fails, we need to restart */
224                 if ( rc ) {
225                         slapd_shutdown = 2;
226                         snprintf( c->cr_msg, sizeof( c->cr_msg ),
227                                 "failed to reopen database, rc=%d", rc );
228                         Debug( LDAP_DEBUG_ANY, LDAP_XSTRING(mdb_cf_cleanup)
229                                 ": %s\n", c->cr_msg, 0, 0 );
230                         rc = LDAP_OTHER;
231                 }
232         }
233
234         if ( mdb->mi_flags & MDB_OPEN_INDEX ) {
235                 rc = mdb_attr_dbs_open( c->be, NULL, &c->reply );
236                 if ( rc )
237                         rc = LDAP_OTHER;
238         }
239         return rc;
240 }
241
242 static int
243 mdb_cf_gen( ConfigArgs *c )
244 {
245         struct mdb_info *mdb = c->be->be_private;
246         int rc;
247
248         if ( c->op == SLAP_CONFIG_EMIT ) {
249                 rc = 0;
250                 switch( c->type ) {
251                 case MDB_MODE: {
252                         char buf[64];
253                         struct berval bv;
254                         bv.bv_len = snprintf( buf, sizeof(buf), "0%o", mdb->mi_dbenv_mode );
255                         if ( bv.bv_len > 0 && bv.bv_len < sizeof(buf) ) {
256                                 bv.bv_val = buf;
257                                 value_add_one( &c->rvalue_vals, &bv );
258                         } else {
259                                 rc = 1;
260                         }
261                         } break;
262
263                 case MDB_CHKPT:
264                         if ( mdb->mi_txn_cp ) {
265                                 char buf[64];
266                                 struct berval bv;
267                                 bv.bv_len = snprintf( buf, sizeof(buf), "%ld %ld",
268                                         (long) mdb->mi_txn_cp_kbyte, (long) mdb->mi_txn_cp_min );
269                                 if ( bv.bv_len > 0 && bv.bv_len < sizeof(buf) ) {
270                                         bv.bv_val = buf;
271                                         value_add_one( &c->rvalue_vals, &bv );
272                                 } else {
273                                         rc = 1;
274                                 }
275                         } else {
276                                 rc = 1;
277                         }
278                         break;
279
280                 case MDB_DIRECTORY:
281                         if ( mdb->mi_dbenv_home ) {
282                                 c->value_string = ch_strdup( mdb->mi_dbenv_home );
283                         } else {
284                                 rc = 1;
285                         }
286                         break;
287
288                 case MDB_DBNOSYNC:
289                         if ( mdb->mi_dbenv_flags & MDB_NOSYNC )
290                                 c->value_int = 1;
291                         break;
292
293                 case MDB_INDEX:
294                         mdb_attr_index_unparse( mdb, &c->rvalue_vals );
295                         if ( !c->rvalue_vals ) rc = 1;
296                         break;
297
298                 case MDB_SSTACK:
299                         c->value_int = mdb->mi_search_stack_depth;
300                         break;
301
302                 case MDB_MAXREADERS:
303                         c->value_int = mdb->mi_readers;
304                         break;
305
306                 case MDB_MAXSIZE:
307                         c->value_ulong = mdb->mi_mapsize;
308                         break;
309                 }
310                 return rc;
311         } else if ( c->op == LDAP_MOD_DELETE ) {
312                 rc = 0;
313                 switch( c->type ) {
314                 case MDB_MODE:
315 #if 0
316                         /* FIXME: does it make any sense to change the mode,
317                          * if we don't exec a chmod()? */
318                         mdb->bi_dbenv_mode = SLAPD_DEFAULT_DB_MODE;
319                         break;
320 #endif
321
322                 /* single-valued no-ops */
323                 case MDB_SSTACK:
324                 case MDB_MAXREADERS:
325                 case MDB_MAXSIZE:
326                         break;
327
328                 case MDB_CHKPT:
329                         if ( mdb->mi_txn_cp_task ) {
330                                 struct re_s *re = mdb->mi_txn_cp_task;
331                                 mdb->mi_txn_cp_task = NULL;
332                                 ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
333                                 if ( ldap_pvt_runqueue_isrunning( &slapd_rq, re ) )
334                                         ldap_pvt_runqueue_stoptask( &slapd_rq, re );
335                                 ldap_pvt_runqueue_remove( &slapd_rq, re );
336                                 ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
337                         }
338                         mdb->mi_txn_cp = 0;
339                         break;
340                 case MDB_DIRECTORY:
341                         mdb->mi_flags |= MDB_RE_OPEN;
342                         ch_free( mdb->mi_dbenv_home );
343                         mdb->mi_dbenv_home = NULL;
344                         c->cleanup = mdb_cf_cleanup;
345                         ldap_pvt_thread_pool_purgekey( mdb->mi_dbenv );
346                         break;
347                 case MDB_DBNOSYNC:
348                         mdb_env_set_flags( mdb->mi_dbenv, MDB_NOSYNC, 0 );
349                         break;
350                 case MDB_INDEX:
351                         if ( c->valx == -1 ) {
352                                 int i;
353
354                                 /* delete all (FIXME) */
355                                 for ( i = 0; i < mdb->mi_nattrs; i++ ) {
356                                         mdb->mi_attrs[i]->ai_indexmask |= MDB_INDEX_DELETING;
357                                 }
358                                 mdb->mi_flags |= MDB_DEL_INDEX;
359                                 c->cleanup = mdb_cf_cleanup;
360
361                         } else {
362                                 struct berval bv, def = BER_BVC("default");
363                                 char *ptr;
364
365                                 for (ptr = c->line; !isspace( (unsigned char) *ptr ); ptr++);
366
367                                 bv.bv_val = c->line;
368                                 bv.bv_len = ptr - bv.bv_val;
369                                 if ( bvmatch( &bv, &def )) {
370                                         mdb->mi_defaultmask = 0;
371
372                                 } else {
373                                         int i;
374                                         char **attrs;
375                                         char sep;
376
377                                         sep = bv.bv_val[ bv.bv_len ];
378                                         bv.bv_val[ bv.bv_len ] = '\0';
379                                         attrs = ldap_str2charray( bv.bv_val, "," );
380
381                                         for ( i = 0; attrs[ i ]; i++ ) {
382                                                 AttributeDescription *ad = NULL;
383                                                 const char *text;
384                                                 AttrInfo *ai;
385
386                                                 slap_str2ad( attrs[ i ], &ad, &text );
387                                                 /* if we got here... */
388                                                 assert( ad != NULL );
389
390                                                 ai = mdb_attr_mask( mdb, ad );
391                                                 /* if we got here... */
392                                                 assert( ai != NULL );
393
394                                                 ai->ai_indexmask |= MDB_INDEX_DELETING;
395                                                 mdb->mi_flags |= MDB_DEL_INDEX;
396                                                 c->cleanup = mdb_cf_cleanup;
397                                         }
398
399                                         bv.bv_val[ bv.bv_len ] = sep;
400                                         ldap_charray_free( attrs );
401                                 }
402                         }
403                         break;
404                 }
405                 return rc;
406         }
407
408         switch( c->type ) {
409         case MDB_MODE:
410                 if ( ASCII_DIGIT( c->argv[1][0] ) ) {
411                         long mode;
412                         char *next;
413                         errno = 0;
414                         mode = strtol( c->argv[1], &next, 0 );
415                         if ( errno != 0 || next == c->argv[1] || next[0] != '\0' ) {
416                                 fprintf( stderr, "%s: "
417                                         "unable to parse mode=\"%s\".\n",
418                                         c->log, c->argv[1] );
419                                 return 1;
420                         }
421                         mdb->mi_dbenv_mode = mode;
422
423                 } else {
424                         char *m = c->argv[1];
425                         int who, what, mode = 0;
426
427                         if ( strlen( m ) != STRLENOF("-rwxrwxrwx") ) {
428                                 return 1;
429                         }
430
431                         if ( m[0] != '-' ) {
432                                 return 1;
433                         }
434
435                         m++;
436                         for ( who = 0; who < 3; who++ ) {
437                                 for ( what = 0; what < 3; what++, m++ ) {
438                                         if ( m[0] == '-' ) {
439                                                 continue;
440                                         } else if ( m[0] != "rwx"[what] ) {
441                                                 return 1;
442                                         }
443                                         mode += ((1 << (2 - what)) << 3*(2 - who));
444                                 }
445                         }
446                         mdb->mi_dbenv_mode = mode;
447                 }
448                 break;
449         case MDB_CHKPT: {
450                 long    l;
451                 mdb->mi_txn_cp = 1;
452                 if ( lutil_atolx( &l, c->argv[1], 0 ) != 0 ) {
453                         fprintf( stderr, "%s: "
454                                 "invalid kbyte \"%s\" in \"checkpoint\".\n",
455                                 c->log, c->argv[1] );
456                         return 1;
457                 }
458                 mdb->mi_txn_cp_kbyte = l;
459                 if ( lutil_atolx( &l, c->argv[2], 0 ) != 0 ) {
460                         fprintf( stderr, "%s: "
461                                 "invalid minutes \"%s\" in \"checkpoint\".\n",
462                                 c->log, c->argv[2] );
463                         return 1;
464                 }
465                 mdb->mi_txn_cp_min = l;
466                 /* If we're in server mode and time-based checkpointing is enabled,
467                  * submit a task to perform periodic checkpoints.
468                  */
469                 if ((slapMode & SLAP_SERVER_MODE) && mdb->mi_txn_cp_min ) {
470                         struct re_s *re = mdb->mi_txn_cp_task;
471                         if ( re ) {
472                                 re->interval.tv_sec = mdb->mi_txn_cp_min * 60;
473                         } else {
474                                 if ( c->be->be_suffix == NULL || BER_BVISNULL( &c->be->be_suffix[0] ) ) {
475                                         fprintf( stderr, "%s: "
476                                                 "\"checkpoint\" must occur after \"suffix\".\n",
477                                                 c->log );
478                                         return 1;
479                                 }
480                                 ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
481                                 mdb->mi_txn_cp_task = ldap_pvt_runqueue_insert( &slapd_rq,
482                                         mdb->mi_txn_cp_min * 60, mdb_checkpoint, mdb,
483                                         LDAP_XSTRING(mdb_checkpoint), c->be->be_suffix[0].bv_val );
484                                 ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
485                         }
486                 }
487                 } break;
488
489         case MDB_DIRECTORY: {
490                 FILE *f;
491                 char *ptr, *testpath;
492                 int len;
493
494                 len = strlen( c->value_string );
495                 testpath = ch_malloc( len + STRLENOF(LDAP_DIRSEP) + STRLENOF("DUMMY") + 1 );
496                 ptr = lutil_strcopy( testpath, c->value_string );
497                 *ptr++ = LDAP_DIRSEP[0];
498                 strcpy( ptr, "DUMMY" );
499                 f = fopen( testpath, "w" );
500                 if ( f ) {
501                         fclose( f );
502                         unlink( testpath );
503                 }
504                 ch_free( testpath );
505                 if ( !f ) {
506                         snprintf( c->cr_msg, sizeof( c->cr_msg ), "%s: invalid path: %s",
507                                 c->log, strerror( errno ));
508                         Debug( LDAP_DEBUG_ANY, "%s\n", c->cr_msg, 0, 0 );
509                         return -1;
510                 }
511
512                 if ( mdb->mi_dbenv_home )
513                         ch_free( mdb->mi_dbenv_home );
514                 mdb->mi_dbenv_home = c->value_string;
515
516                 }
517                 break;
518
519         case MDB_DBNOSYNC:
520                 if ( c->value_int )
521                         mdb->mi_dbenv_flags |= MDB_NOSYNC;
522                 else
523                         mdb->mi_dbenv_flags ^= MDB_NOSYNC;
524                 if ( mdb->mi_flags & MDB_IS_OPEN ) {
525                         mdb_env_set_flags( mdb->mi_dbenv, MDB_NOSYNC,
526                                 c->value_int );
527                 }
528                 break;
529
530         case MDB_INDEX:
531                 rc = mdb_attr_index_config( mdb, c->fname, c->lineno,
532                         c->argc - 1, &c->argv[1], &c->reply);
533
534                 if( rc != LDAP_SUCCESS ) return 1;
535                 c->cleanup = mdb_cf_cleanup;
536                 mdb->mi_flags |= MDB_OPEN_INDEX;
537                 if (( mdb->mi_flags & MDB_IS_OPEN ) && !mdb->mi_index_task ) {
538                         /* Start the task as soon as we finish here. Set a long
539                          * interval (10 hours) so that it only gets scheduled once.
540                          */
541                         if ( c->be->be_suffix == NULL || BER_BVISNULL( &c->be->be_suffix[0] ) ) {
542                                 fprintf( stderr, "%s: "
543                                         "\"index\" must occur after \"suffix\".\n",
544                                         c->log );
545                                 return 1;
546                         }
547                         ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
548                         mdb->mi_index_task = ldap_pvt_runqueue_insert( &slapd_rq, 36000,
549                                 mdb_online_index, c->be,
550                                 LDAP_XSTRING(mdb_online_index), c->be->be_suffix[0].bv_val );
551                         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
552                 }
553                 break;
554
555         case MDB_SSTACK:
556                 if ( c->value_int < MINIMUM_SEARCH_STACK_DEPTH ) {
557                         fprintf( stderr,
558                 "%s: depth %d too small, using %d\n",
559                         c->log, c->value_int, MINIMUM_SEARCH_STACK_DEPTH );
560                         c->value_int = MINIMUM_SEARCH_STACK_DEPTH;
561                 }
562                 mdb->mi_search_stack_depth = c->value_int;
563                 break;
564
565         case MDB_MAXREADERS:
566                 mdb->mi_readers = c->value_int;
567                 if ( mdb->mi_flags & MDB_IS_OPEN )
568                         mdb->mi_flags |= MDB_RE_OPEN;
569                 break;
570
571         case MDB_MAXSIZE:
572                 mdb->mi_mapsize = c->value_ulong;
573                 if ( mdb->mi_flags & MDB_IS_OPEN )
574                         mdb->mi_flags |= MDB_RE_OPEN;
575                 break;
576
577         }
578         return 0;
579 }
580
581 int mdb_back_init_cf( BackendInfo *bi )
582 {
583         int rc;
584         bi->bi_cf_ocs = mdbocs;
585
586         rc = config_register_schema( mdbcfg, mdbocs );
587         if ( rc ) return rc;
588         return 0;
589 }