]> git.sur5r.net Git - openldap/blob - servers/slapd/back-mdb/config.c
Import back-mdb
[openldap] / servers / slapd / back-mdb / config.c
1 /* config.c - mdb backend configuration file routine */
2 /* $OpenLDAP$ */
3 /* This work is part of OpenLDAP Software <http://www.openldap.org/>.
4  *
5  * Copyright 2000-2011 The OpenLDAP Foundation.
6  * All rights reserved.
7  *
8  * Redistribution and use in source and binary forms, with or without
9  * modification, are permitted only as authorized by the OpenLDAP
10  * Public License.
11  *
12  * A copy of this license is available in the file LICENSE in the
13  * top-level directory of the distribution or, alternatively, at
14  * <http://www.OpenLDAP.org/license.html>.
15  */
16
17 #include "portable.h"
18
19 #include <stdio.h>
20 #include <ac/ctype.h>
21 #include <ac/string.h>
22 #include <ac/errno.h>
23
24 #include "back-mdb.h"
25
26 #include "config.h"
27
28 #include "lutil.h"
29 #include "ldap_rq.h"
30
31 static ConfigDriver mdb_cf_gen;
32
33 enum {
34         MDB_CHKPT = 1,
35         MDB_DIRECTORY,
36         MDB_DBNOSYNC,
37         MDB_INDEX,
38         MDB_MAXREADERS,
39         MDB_MAXSIZE,
40         MDB_MODE,
41         MDB_SSTACK,
42 };
43
44 static ConfigTable mdbcfg[] = {
45         { "directory", "dir", 2, 2, 0, ARG_STRING|ARG_MAGIC|MDB_DIRECTORY,
46                 mdb_cf_gen, "( OLcfgDbAt:0.1 NAME 'olcDbDirectory' "
47                         "DESC 'Directory for database content' "
48                         "EQUALITY caseIgnoreMatch "
49                         "SYNTAX OMsDirectoryString SINGLE-VALUE )", NULL, NULL },
50         { "checkpoint", "kbyte> <min", 3, 3, 0, ARG_MAGIC|MDB_CHKPT,
51                 mdb_cf_gen, "( OLcfgDbAt:1.2 NAME 'olcDbCheckpoint' "
52                         "DESC 'Database checkpoint interval in kbytes and minutes' "
53                         "SYNTAX OMsDirectoryString SINGLE-VALUE )",NULL, NULL },
54         { "dbnosync", NULL, 1, 2, 0, ARG_ON_OFF|ARG_MAGIC|MDB_DBNOSYNC,
55                 mdb_cf_gen, "( OLcfgDbAt:1.4 NAME 'olcDbNoSync' "
56                         "DESC 'Disable synchronous database writes' "
57                         "SYNTAX OMsBoolean SINGLE-VALUE )", NULL, NULL },
58         { "index", "attr> <[pres,eq,approx,sub]", 2, 3, 0, ARG_MAGIC|MDB_INDEX,
59                 mdb_cf_gen, "( OLcfgDbAt:0.2 NAME 'olcDbIndex' "
60                 "DESC 'Attribute index parameters' "
61                 "EQUALITY caseIgnoreMatch "
62                 "SYNTAX OMsDirectoryString )", NULL, NULL },
63         { "maxreaders", "num", 2, 2, 0, ARG_INT|ARG_MAGIC|MDB_MAXREADERS,
64                 mdb_cf_gen, "( OLcfgDbAt:12.1 NAME 'olcDbMaxReaders' "
65                 "DESC 'Maximum number of threads that may access the DB concurrently' "
66                 "SYNTAX OMsInteger SINGLE-VALUE )", NULL, NULL },
67         { "maxsize", "size", 2, 2, 0, ARG_ULONG|ARG_MAGIC|MDB_MAXSIZE,
68                 mdb_cf_gen, "( OLcfgDbAt:12.2 NAME 'olcDbMaxSize' "
69                 "DESC 'Maximum size of DB in bytes' "
70                 "SYNTAX OMsInteger SINGLE-VALUE )", NULL, NULL },
71         { "mode", "mode", 2, 2, 0, ARG_MAGIC|MDB_MODE,
72                 mdb_cf_gen, "( OLcfgDbAt:0.3 NAME 'olcDbMode' "
73                 "DESC 'Unix permissions of database files' "
74                 "SYNTAX OMsDirectoryString SINGLE-VALUE )", NULL, NULL },
75         { "searchstack", "depth", 2, 2, 0, ARG_INT|ARG_MAGIC|MDB_SSTACK,
76                 mdb_cf_gen, "( OLcfgDbAt:1.9 NAME 'olcDbSearchStack' "
77                 "DESC 'Depth of search stack in IDLs' "
78                 "SYNTAX OMsInteger SINGLE-VALUE )", NULL, NULL },
79         { NULL, NULL, 0, 0, 0, ARG_IGNORED,
80                 NULL, NULL, NULL, NULL }
81 };
82
83 static ConfigOCs mdbocs[] = {
84         {
85                 "( OLcfgDbOc:12.1 "
86                 "NAME 'olcMdbConfig' "
87                 "DESC 'MDB backend configuration' "
88                 "SUP olcDatabaseConfig "
89                 "MUST olcDbDirectory "
90                 "MAY ( olcDbCheckpoint $ "
91                 "olcDbNoSync $ olcDbIndex $ olcDbMaxReaders $ olcDbMaxsize $ "
92                 "olcDbMode $ olcDbSearchStack ) )",
93                         Cft_Database, mdbcfg },
94         { NULL, 0, NULL }
95 };
96
97 /* perform periodic syncs */
98 static void *
99 mdb_checkpoint( void *ctx, void *arg )
100 {
101         struct re_s *rtask = arg;
102         struct mdb_info *mdb = rtask->arg;
103
104         mdb_env_sync( mdb->mi_dbenv, 0 );
105         ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
106         ldap_pvt_runqueue_stoptask( &slapd_rq, rtask );
107         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
108         return NULL;
109 }
110
111 /* reindex entries on the fly */
112 static void *
113 mdb_online_index( void *ctx, void *arg )
114 {
115         struct re_s *rtask = arg;
116         BackendDB *be = rtask->arg;
117         struct mdb_info *mdb = be->be_private;
118
119         Connection conn = {0};
120         OperationBuffer opbuf;
121         Operation *op;
122
123         MDB_cursor *curs;
124         MDB_val key, data;
125         MDB_txn *txn;
126         ID id;
127         Entry *e;
128         int rc, getnext = 1;
129         int i;
130
131         connection_fake_init( &conn, &opbuf, ctx );
132         op = &opbuf.ob_op;
133
134         op->o_bd = be;
135
136         id = 1;
137         key.mv_data = &id;
138         key.mv_size = sizeof(ID);
139
140         while ( 1 ) {
141                 if ( slapd_shutdown )
142                         break;
143
144                 rc = mdb_txn_begin( mdb->mi_dbenv, 0, &txn );
145                 if ( rc )
146                         break;
147                 if ( getnext ) {
148                         getnext = 0;
149                         rc = mdb_cursor_open( txn, mdb->mi_id2entry, &curs );
150                         if ( rc ) {
151                                 mdb_txn_abort( txn );
152                                 break;
153                         }
154                         rc = mdb_cursor_get( curs, &key, &data, MDB_SET_RANGE );
155                         memcpy( &id, key.mv_data, sizeof( id ));
156                         mdb_cursor_close( curs );
157                         if ( rc ) {
158                                 mdb_txn_abort( txn );
159                                 if ( rc == MDB_NOTFOUND )
160                                         rc = 0;
161                                 break;
162                         }
163                 }
164
165                 rc = mdb_id2entry( op, txn, id, &e );
166                 if ( rc ) {
167                         mdb_txn_abort( txn );
168                         if ( rc == MDB_NOTFOUND ) {
169                                 id++;
170                                 getnext = 1;
171                                 continue;
172                         }
173                         break;
174                 }
175                 rc = mdb_index_entry( op, txn, MDB_INDEX_UPDATE_OP, e );
176                 if ( rc == 0 ) {
177                         rc = mdb_txn_commit( txn );
178                         txn = NULL;
179                 }
180                 if ( rc )
181                         break;
182                 id++;
183                 getnext = 1;
184         }
185
186         for ( i = 0; i < mdb->mi_nattrs; i++ ) {
187                 if ( mdb->mi_attrs[ i ]->ai_indexmask & MDB_INDEX_DELETING
188                         || mdb->mi_attrs[ i ]->ai_newmask == 0 )
189                 {
190                         continue;
191                 }
192                 mdb->mi_attrs[ i ]->ai_indexmask = mdb->mi_attrs[ i ]->ai_newmask;
193                 mdb->mi_attrs[ i ]->ai_newmask = 0;
194         }
195
196         ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
197         ldap_pvt_runqueue_stoptask( &slapd_rq, rtask );
198         mdb->mi_index_task = NULL;
199         ldap_pvt_runqueue_remove( &slapd_rq, rtask );
200         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
201
202         return NULL;
203 }
204
205 /* Cleanup loose ends after Modify completes */
206 static int
207 mdb_cf_cleanup( ConfigArgs *c )
208 {
209         struct mdb_info *mdb = c->be->be_private;
210         int rc = 0;
211
212         if ( mdb->mi_flags & MDB_DEL_INDEX ) {
213                 mdb_attr_flush( mdb );
214                 mdb->mi_flags ^= MDB_DEL_INDEX;
215         }
216
217         if ( mdb->mi_flags & MDB_RE_OPEN ) {
218                 mdb->mi_flags ^= MDB_RE_OPEN;
219                 rc = c->be->bd_info->bi_db_close( c->be, &c->reply );
220                 if ( rc == 0 )
221                         rc = c->be->bd_info->bi_db_open( c->be, &c->reply );
222                 /* If this fails, we need to restart */
223                 if ( rc ) {
224                         slapd_shutdown = 2;
225                         snprintf( c->cr_msg, sizeof( c->cr_msg ),
226                                 "failed to reopen database, rc=%d", rc );
227                         Debug( LDAP_DEBUG_ANY, LDAP_XSTRING(mdb_cf_cleanup)
228                                 ": %s\n", c->cr_msg, 0, 0 );
229                         rc = LDAP_OTHER;
230                 }
231         }
232
233         if ( mdb->mi_flags & MDB_OPEN_INDEX ) {
234                 rc = mdb_attr_dbs_open( c->be, NULL, &c->reply );
235                 if ( rc )
236                         rc = LDAP_OTHER;
237         }
238         return rc;
239 }
240
241 static int
242 mdb_cf_gen( ConfigArgs *c )
243 {
244         struct mdb_info *mdb = c->be->be_private;
245         int rc;
246
247         if ( c->op == SLAP_CONFIG_EMIT ) {
248                 rc = 0;
249                 switch( c->type ) {
250                 case MDB_MODE: {
251                         char buf[64];
252                         struct berval bv;
253                         bv.bv_len = snprintf( buf, sizeof(buf), "0%o", mdb->mi_dbenv_mode );
254                         if ( bv.bv_len > 0 && bv.bv_len < sizeof(buf) ) {
255                                 bv.bv_val = buf;
256                                 value_add_one( &c->rvalue_vals, &bv );
257                         } else {
258                                 rc = 1;
259                         }
260                         } break;
261
262                 case MDB_CHKPT:
263                         if ( mdb->mi_txn_cp ) {
264                                 char buf[64];
265                                 struct berval bv;
266                                 bv.bv_len = snprintf( buf, sizeof(buf), "%ld %ld",
267                                         (long) mdb->mi_txn_cp_kbyte, (long) mdb->mi_txn_cp_min );
268                                 if ( bv.bv_len > 0 && bv.bv_len < sizeof(buf) ) {
269                                         bv.bv_val = buf;
270                                         value_add_one( &c->rvalue_vals, &bv );
271                                 } else {
272                                         rc = 1;
273                                 }
274                         } else {
275                                 rc = 1;
276                         }
277                         break;
278
279                 case MDB_DIRECTORY:
280                         if ( mdb->mi_dbenv_home ) {
281                                 c->value_string = ch_strdup( mdb->mi_dbenv_home );
282                         } else {
283                                 rc = 1;
284                         }
285                         break;
286
287                 case MDB_DBNOSYNC:
288                         if ( mdb->mi_dbenv_flags & MDB_NOSYNC )
289                                 c->value_int = 1;
290                         break;
291
292                 case MDB_INDEX:
293                         mdb_attr_index_unparse( mdb, &c->rvalue_vals );
294                         if ( !c->rvalue_vals ) rc = 1;
295                         break;
296
297                 case MDB_SSTACK:
298                         c->value_int = mdb->mi_search_stack_depth;
299                         break;
300
301                 case MDB_MAXREADERS:
302                         c->value_int = mdb->mi_readers;
303                         break;
304
305                 case MDB_MAXSIZE:
306                         c->value_ulong = mdb->mi_mapsize;
307                         break;
308                 }
309                 return rc;
310         } else if ( c->op == LDAP_MOD_DELETE ) {
311                 rc = 0;
312                 switch( c->type ) {
313                 case MDB_MODE:
314 #if 0
315                         /* FIXME: does it make any sense to change the mode,
316                          * if we don't exec a chmod()? */
317                         mdb->bi_dbenv_mode = SLAPD_DEFAULT_DB_MODE;
318                         break;
319 #endif
320
321                 /* single-valued no-ops */
322                 case MDB_SSTACK:
323                 case MDB_MAXREADERS:
324                 case MDB_MAXSIZE:
325                         break;
326
327                 case MDB_CHKPT:
328                         if ( mdb->mi_txn_cp_task ) {
329                                 struct re_s *re = mdb->mi_txn_cp_task;
330                                 mdb->mi_txn_cp_task = NULL;
331                                 ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
332                                 if ( ldap_pvt_runqueue_isrunning( &slapd_rq, re ) )
333                                         ldap_pvt_runqueue_stoptask( &slapd_rq, re );
334                                 ldap_pvt_runqueue_remove( &slapd_rq, re );
335                                 ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
336                         }
337                         mdb->mi_txn_cp = 0;
338                         break;
339                 case MDB_DIRECTORY:
340                         mdb->mi_flags |= MDB_RE_OPEN;
341                         ch_free( mdb->mi_dbenv_home );
342                         mdb->mi_dbenv_home = NULL;
343                         c->cleanup = mdb_cf_cleanup;
344                         ldap_pvt_thread_pool_purgekey( mdb->mi_dbenv );
345                         break;
346                 case MDB_DBNOSYNC:
347                         mdb_env_set_flags( mdb->mi_dbenv, MDB_NOSYNC, 0 );
348                         break;
349                 case MDB_INDEX:
350                         if ( c->valx == -1 ) {
351                                 int i;
352
353                                 /* delete all (FIXME) */
354                                 for ( i = 0; i < mdb->mi_nattrs; i++ ) {
355                                         mdb->mi_attrs[i]->ai_indexmask |= MDB_INDEX_DELETING;
356                                 }
357                                 mdb->mi_flags |= MDB_DEL_INDEX;
358                                 c->cleanup = mdb_cf_cleanup;
359
360                         } else {
361                                 struct berval bv, def = BER_BVC("default");
362                                 char *ptr;
363
364                                 for (ptr = c->line; !isspace( (unsigned char) *ptr ); ptr++);
365
366                                 bv.bv_val = c->line;
367                                 bv.bv_len = ptr - bv.bv_val;
368                                 if ( bvmatch( &bv, &def )) {
369                                         mdb->mi_defaultmask = 0;
370
371                                 } else {
372                                         int i;
373                                         char **attrs;
374                                         char sep;
375
376                                         sep = bv.bv_val[ bv.bv_len ];
377                                         bv.bv_val[ bv.bv_len ] = '\0';
378                                         attrs = ldap_str2charray( bv.bv_val, "," );
379
380                                         for ( i = 0; attrs[ i ]; i++ ) {
381                                                 AttributeDescription *ad = NULL;
382                                                 const char *text;
383                                                 AttrInfo *ai;
384
385                                                 slap_str2ad( attrs[ i ], &ad, &text );
386                                                 /* if we got here... */
387                                                 assert( ad != NULL );
388
389                                                 ai = mdb_attr_mask( mdb, ad );
390                                                 /* if we got here... */
391                                                 assert( ai != NULL );
392
393                                                 ai->ai_indexmask |= MDB_INDEX_DELETING;
394                                                 mdb->mi_flags |= MDB_DEL_INDEX;
395                                                 c->cleanup = mdb_cf_cleanup;
396                                         }
397
398                                         bv.bv_val[ bv.bv_len ] = sep;
399                                         ldap_charray_free( attrs );
400                                 }
401                         }
402                         break;
403                 }
404                 return rc;
405         }
406
407         switch( c->type ) {
408         case MDB_MODE:
409                 if ( ASCII_DIGIT( c->argv[1][0] ) ) {
410                         long mode;
411                         char *next;
412                         errno = 0;
413                         mode = strtol( c->argv[1], &next, 0 );
414                         if ( errno != 0 || next == c->argv[1] || next[0] != '\0' ) {
415                                 fprintf( stderr, "%s: "
416                                         "unable to parse mode=\"%s\".\n",
417                                         c->log, c->argv[1] );
418                                 return 1;
419                         }
420                         mdb->mi_dbenv_mode = mode;
421
422                 } else {
423                         char *m = c->argv[1];
424                         int who, what, mode = 0;
425
426                         if ( strlen( m ) != STRLENOF("-rwxrwxrwx") ) {
427                                 return 1;
428                         }
429
430                         if ( m[0] != '-' ) {
431                                 return 1;
432                         }
433
434                         m++;
435                         for ( who = 0; who < 3; who++ ) {
436                                 for ( what = 0; what < 3; what++, m++ ) {
437                                         if ( m[0] == '-' ) {
438                                                 continue;
439                                         } else if ( m[0] != "rwx"[what] ) {
440                                                 return 1;
441                                         }
442                                         mode += ((1 << (2 - what)) << 3*(2 - who));
443                                 }
444                         }
445                         mdb->mi_dbenv_mode = mode;
446                 }
447                 break;
448         case MDB_CHKPT: {
449                 long    l;
450                 mdb->mi_txn_cp = 1;
451                 if ( lutil_atolx( &l, c->argv[1], 0 ) != 0 ) {
452                         fprintf( stderr, "%s: "
453                                 "invalid kbyte \"%s\" in \"checkpoint\".\n",
454                                 c->log, c->argv[1] );
455                         return 1;
456                 }
457                 mdb->mi_txn_cp_kbyte = l;
458                 if ( lutil_atolx( &l, c->argv[2], 0 ) != 0 ) {
459                         fprintf( stderr, "%s: "
460                                 "invalid minutes \"%s\" in \"checkpoint\".\n",
461                                 c->log, c->argv[2] );
462                         return 1;
463                 }
464                 mdb->mi_txn_cp_min = l;
465                 /* If we're in server mode and time-based checkpointing is enabled,
466                  * submit a task to perform periodic checkpoints.
467                  */
468                 if ((slapMode & SLAP_SERVER_MODE) && mdb->mi_txn_cp_min ) {
469                         struct re_s *re = mdb->mi_txn_cp_task;
470                         if ( re ) {
471                                 re->interval.tv_sec = mdb->mi_txn_cp_min * 60;
472                         } else {
473                                 if ( c->be->be_suffix == NULL || BER_BVISNULL( &c->be->be_suffix[0] ) ) {
474                                         fprintf( stderr, "%s: "
475                                                 "\"checkpoint\" must occur after \"suffix\".\n",
476                                                 c->log );
477                                         return 1;
478                                 }
479                                 ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
480                                 mdb->mi_txn_cp_task = ldap_pvt_runqueue_insert( &slapd_rq,
481                                         mdb->mi_txn_cp_min * 60, mdb_checkpoint, mdb,
482                                         LDAP_XSTRING(mdb_checkpoint), c->be->be_suffix[0].bv_val );
483                                 ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
484                         }
485                 }
486                 } break;
487
488         case MDB_DIRECTORY: {
489                 FILE *f;
490                 char *ptr, *testpath;
491                 int len;
492
493                 len = strlen( c->value_string );
494                 testpath = ch_malloc( len + STRLENOF(LDAP_DIRSEP) + STRLENOF("DUMMY") + 1 );
495                 ptr = lutil_strcopy( testpath, c->value_string );
496                 *ptr++ = LDAP_DIRSEP[0];
497                 strcpy( ptr, "DUMMY" );
498                 f = fopen( testpath, "w" );
499                 if ( f ) {
500                         fclose( f );
501                         unlink( testpath );
502                 }
503                 ch_free( testpath );
504                 if ( !f ) {
505                         snprintf( c->cr_msg, sizeof( c->cr_msg ), "%s: invalid path: %s",
506                                 c->log, strerror( errno ));
507                         Debug( LDAP_DEBUG_ANY, "%s\n", c->cr_msg, 0, 0 );
508                         return -1;
509                 }
510
511                 if ( mdb->mi_dbenv_home )
512                         ch_free( mdb->mi_dbenv_home );
513                 mdb->mi_dbenv_home = c->value_string;
514
515                 }
516                 break;
517
518         case MDB_DBNOSYNC:
519                 if ( c->value_int )
520                         mdb->mi_dbenv_flags |= MDB_NOSYNC;
521                 else
522                         mdb->mi_dbenv_flags ^= MDB_NOSYNC;
523                 if ( mdb->mi_flags & MDB_IS_OPEN ) {
524                         mdb_env_set_flags( mdb->mi_dbenv, MDB_NOSYNC,
525                                 c->value_int );
526                 }
527                 break;
528
529         case MDB_INDEX:
530                 rc = mdb_attr_index_config( mdb, c->fname, c->lineno,
531                         c->argc - 1, &c->argv[1], &c->reply);
532
533                 if( rc != LDAP_SUCCESS ) return 1;
534                 c->cleanup = mdb_cf_cleanup;
535                 mdb->mi_flags |= MDB_OPEN_INDEX;
536                 if (( mdb->mi_flags & MDB_IS_OPEN ) && !mdb->mi_index_task ) {
537                         /* Start the task as soon as we finish here. Set a long
538                          * interval (10 hours) so that it only gets scheduled once.
539                          */
540                         if ( c->be->be_suffix == NULL || BER_BVISNULL( &c->be->be_suffix[0] ) ) {
541                                 fprintf( stderr, "%s: "
542                                         "\"index\" must occur after \"suffix\".\n",
543                                         c->log );
544                                 return 1;
545                         }
546                         ldap_pvt_thread_mutex_lock( &slapd_rq.rq_mutex );
547                         mdb->mi_index_task = ldap_pvt_runqueue_insert( &slapd_rq, 36000,
548                                 mdb_online_index, c->be,
549                                 LDAP_XSTRING(mdb_online_index), c->be->be_suffix[0].bv_val );
550                         ldap_pvt_thread_mutex_unlock( &slapd_rq.rq_mutex );
551                 }
552                 break;
553
554         case MDB_SSTACK:
555                 if ( c->value_int < MINIMUM_SEARCH_STACK_DEPTH ) {
556                         fprintf( stderr,
557                 "%s: depth %d too small, using %d\n",
558                         c->log, c->value_int, MINIMUM_SEARCH_STACK_DEPTH );
559                         c->value_int = MINIMUM_SEARCH_STACK_DEPTH;
560                 }
561                 mdb->mi_search_stack_depth = c->value_int;
562                 break;
563
564         case MDB_MAXREADERS:
565                 mdb->mi_readers = c->value_int;
566                 if ( mdb->mi_flags & MDB_IS_OPEN )
567                         mdb->mi_flags |= MDB_RE_OPEN;
568                 break;
569
570         case MDB_MAXSIZE:
571                 mdb->mi_mapsize = c->value_ulong;
572                 if ( mdb->mi_flags & MDB_IS_OPEN )
573                         mdb->mi_flags |= MDB_RE_OPEN;
574                 break;
575
576         }
577         return 0;
578 }
579
580 int mdb_back_init_cf( BackendInfo *bi )
581 {
582         int rc;
583         bi->bi_cf_ocs = mdbocs;
584
585         rc = config_register_schema( mdbcfg, mdbocs );
586         if ( rc ) return rc;
587         return 0;
588 }