]> git.sur5r.net Git - openldap/blob - doc/guide/admin/overlays.sdf
Encoding on backends.sdf and More work on Overlays.
[openldap] / doc / guide / admin / overlays.sdf
1 # $OpenLDAP$
2 # Copyright 2007-2008 The OpenLDAP Foundation, All Rights Reserved.
3 # COPYING RESTRICTIONS APPLY, see COPYRIGHT.
4
5 H1: Overlays
6
7 Overlays are software components that provide hooks to functions analogous to 
8 those provided by backends, which can be stacked on top of the backend calls 
9 and as callbacks on top of backend responses to alter their behavior. 
10
11 Overlays may be compiled statically into {{slapd}}, or when module support
12 is enabled, they may be dynamically loaded. Most of the overlays
13 are only allowed to be configured on individual databases, but some
14 may also be configured globally.
15
16 Essentially, they represent a means to:
17
18     * customize the behavior of existing backends without changing the backend 
19       code and without requiring one to write a new custom backend with 
20       complete functionality
21     * write functionality of general usefulness that can be applied to 
22       different backend types
23
24 Overlays are usually documented by separate specific man pages in section 5; 
25 the naming convention is
26
27 >        slapo-<overlay name>
28
29 All distributed core overlays have a man page. Feel free to contribute to any, 
30 if you think there is anything missing in describing the behavior of the component 
31 and the implications of all the related configuration directives.
32
33 Official overlays are located in
34
35 >        servers/slapd/overlays/
36
37 That directory also contains the file slapover.txt, which describes the 
38 rationale of the overlay implementation, and may serve as guideline for the 
39 development of custom overlays.
40
41 Contribware overlays are located in
42
43 >        contrib/slapd-modules/<overlay name>/
44
45 along with other types of run-time loadable components; they are officially 
46 distributed, but not maintained by the project.
47
48 They can be stacked on the frontend as well; this means that they can be 
49 executed after a request is parsed and validated, but right before the 
50 appropriate database is selected. The main purpose is to affect operations 
51 regardless of the database they will be handled by, and, in some cases, 
52 to influence the selection of the database by massaging the request DN. 
53
54 All the current overlays in 2.4 are listed and described in detail in the 
55 following sections.
56
57
58 H2: Access Logging
59
60
61 H3: Overview
62
63 This overlay can record accesses to a given backend database on another
64 database.
65
66 This allows all of the activity on a given database to be reviewed using arbitrary 
67 LDAP queries, instead of just logging to local flat text files. Configuration 
68 options are available for selecting a subset of operation types to log, and to 
69 automatically prune older log records from the logging database. Log records 
70 are stored with audit schema to assure their readability whether viewed as LDIF 
71 or in raw form.
72
73 It is also used for {{SECT:delta-syncrepl replication}}
74
75 H3: Access Logging Configuration
76
77 The following is a basic example that implements Access Logging:
78
79 >        database bdb
80 >        suffix dc=example,dc=com
81 >        ...
82 >        overlay accesslog
83 >        logdb cn=log
84 >        logops writes reads
85 >        logold (objectclass=person)
86 >        
87 >        database bdb
88 >        suffix cn=log
89 >        ...
90 >        index reqStart eq
91 >        access to *
92 >          by dn.base="cn=admin,dc=example,dc=com" read
93
94 The following is an example used for {{SECT:delta-syncrepl replication}}:
95
96 >        database hdb
97 >        suffix cn=accesslog
98 >        directory /usr/local/var/openldap-accesslog
99 >        rootdn cn=accesslog
100 >        index default eq
101 >        index entryCSN,objectClass,reqEnd,reqResult,reqStart
102
103 Accesslog overlay definitions for the primary db
104
105 >        database bdb
106 >        suffix dc=example,dc=com
107 >        ...
108 >        overlay accesslog
109 >        logdb cn=accesslog
110 >        logops writes
111 >        logsuccess TRUE
112 >        # scan the accesslog DB every day, and purge entries older than 7 days
113 >        logpurge 07+00:00 01+00:00
114
115 An example search result against {{B:cn=accesslog}} might look like:
116
117 >        [ghenry@suretec ghenry]# ldapsearch -x -b cn=accesslog
118 >        # extended LDIF
119 >        #
120 >        # LDAPv3
121 >        # base <cn=accesslog> with scope subtree
122 >        # filter: (objectclass=*)
123 >        # requesting: ALL
124 >        #
125 >        
126 >        # accesslog
127 >        dn: cn=accesslog
128 >        objectClass: auditContainer
129 >        cn: accesslog
130 >        
131 >        # 20080110163829.000004Z, accesslog
132 >        dn: reqStart=20080110163829.000004Z,cn=accesslog
133 >        objectClass: auditModify
134 >        reqStart: 20080110163829.000004Z
135 >        reqEnd: 20080110163829.000005Z
136 >        reqType: modify
137 >        reqSession: 196696
138 >        reqAuthzID: cn=admin,dc=suretecsystems,dc=com
139 >        reqDN: uid=suretec-46022f8$,ou=Users,dc=suretecsystems,dc=com
140 >        reqResult: 0
141 >        reqMod: sambaPwdCanChange:- ###CENSORED###
142 >        reqMod: sambaPwdCanChange:+ ###CENSORED###
143 >        reqMod: sambaNTPassword:- ###CENSORED###
144 >        reqMod: sambaNTPassword:+ ###CENSORED###
145 >        reqMod: sambaPwdLastSet:- ###CENSORED###
146 >        reqMod: sambaPwdLastSet:+ ###CENSORED###
147 >        reqMod: entryCSN:= 20080110163829.095157Z#000000#000#000000
148 >        reqMod: modifiersName:= cn=admin,dc=suretecsystems,dc=com
149 >        reqMod: modifyTimestamp:= 20080110163829Z
150 >        
151 >        # search result
152 >        search: 2
153 >        result: 0 Success
154 >        
155 >        # numResponses: 3
156 >        # numEntries: 2
157
158 For more information, please see {{slapo-accesslog(5)}} and the {{SECT:delta-syncrepl replication}} section.
159
160
161 H2: Audit Logging
162
163 The Audit Logging overlay can be used to record all changes on a given backend database to a specified log file.
164
165 H3: Overview
166
167 If the need arises whereby changes need to be logged as standard LDIF, then the auditlog overlay {{B:slapo-auditlog (5)}}
168 can be used. Full examples are available in the man page {{B:slapo-auditlog (5)}}
169
170 H3: Audit Logging Configuration
171
172 If the directory is running vi {{F:slapd.d}}, then the following LDIF could be used to add the overlay to the overlay list 
173 in {{B:cn=config}} and set what file the {{TERM:LDIF}} gets logged to (adjust to suit)
174
175 >       dn: olcOverlay=auditlog,olcDatabase={1}hdb,cn=config
176 >       changetype: add
177 >       objectClass: olcOverlayConfig
178 >       objectClass: olcAuditLogConfig
179 >       olcOverlay: auditlog
180 >       olcAuditlogFile: /tmp/auditlog.ldif
181
182
183 In this example for testing, we are logging changes to {{F:/tmp/auditlog.ldif}}
184
185 A typical {{TERM:LDIF}} file created by {{B:slapo-auditlog (5)}} would look like:
186
187 >       # add 1196797576 dc=suretecsystems,dc=com cn=admin,dc=suretecsystems,dc=com
188 >       dn: dc=suretecsystems,dc=com
189 >       changetype: add
190 >       objectClass: dcObject
191 >       objectClass: organization
192 >       dc: suretecsystems
193 >       o: Suretec Systems Ltd.
194 >       structuralObjectClass: organization
195 >       entryUUID: 1606f8f8-f06e-1029-8289-f0cc9d81e81a
196 >       creatorsName: cn=admin,dc=suretecsystems,dc=com
197 >       modifiersName: cn=admin,dc=suretecsystems,dc=com
198 >       createTimestamp: 20051123130912Z
199 >       modifyTimestamp: 20051123130912Z
200 >       entryCSN: 20051123130912.000000Z#000001#000#000000
201 >       auditContext: cn=accesslog
202 >       # end add 1196797576
203 >       
204 >       # add 1196797577 dc=suretecsystems,dc=com cn=admin,dc=suretecsystems,dc=com
205 >       dn: ou=Groups,dc=suretecsystems,dc=com
206 >       changetype: add
207 >       objectClass: top
208 >       objectClass: organizationalUnit
209 >       ou: Groups
210 >       structuralObjectClass: organizationalUnit
211 >       entryUUID: 160aaa2a-f06e-1029-828a-f0cc9d81e81a
212 >       creatorsName: cn=admin,dc=suretecsystems,dc=com
213 >       modifiersName: cn=admin,dc=suretecsystems,dc=com
214 >       createTimestamp: 20051123130912Z
215 >       modifyTimestamp: 20051123130912Z
216 >       entryCSN: 20051123130912.000000Z#000002#000#000000
217 >       # end add 1196797577
218
219
220 H2: Chaining
221
222
223 H3: Overview
224
225 The chain overlay provides basic chaining capability to the underlying 
226 database.
227
228 What is chaining? It indicates the capability of a DSA to follow referrals on 
229 behalf of the client, so that distributed systems are viewed as a single 
230 virtual DSA by clients that are otherwise unable to "chase" (i.e. follow) 
231 referrals by themselves.
232
233 The chain overlay is built on top of the ldap backend; it is compiled by 
234 default when {{B:--enable-ldap}}.
235
236
237 H3: Chaining Configuration
238
239 In order to demonstrate how this overlay works, we shall discuss a typical 
240 scenario which might be one master server and three Syncrepl slaves. 
241
242 On each replica, add this near the top of the file (global), before any database 
243 definitions:
244
245 >        overlay                    chain
246 >        chain-uri                  "ldap://ldapmaster.example.com"
247 >        chain-idassert-bind        bindmethod="simple"
248 >                                   binddn="cn=Manager,dc=example,dc=com"
249 >                                   credentials="<secret>" 
250 >                                   mode="self"
251 >        chain-tls                  start
252 >        chain-return-error         TRUE 
253
254 Add this below your {{syncrepl}} statement:
255
256 >        updateref                  "ldap://ldapmaster.example.com/"
257
258 The {{B:chain-tls}} statement enables TLS from the slave to the ldap master. 
259 The DITs are exactly the same between these machines, therefore whatever user 
260 bound to the slave will also exist on the master. If that DN does not have 
261 update privileges on the master, nothing will happen.
262
263 You will need to restart the slave after these changes. Then, if you are using 
264 {{loglevel stats}} (256), you can monitor an {{ldapmodify}} on the slave and the master.
265
266 Now start an {{ldapmodify}} on the slave and watch the logs. You should expect 
267 something like:
268
269 >        Sep  6 09:27:25 slave1 slapd[29274]: conn=11 fd=31 ACCEPT from IP=143.199.102.216:45181 (IP=143.199.102.216:389)
270 >        Sep  6 09:27:25 slave1 slapd[29274]: conn=11 op=0 STARTTLS
271 >        Sep  6 09:27:25 slave1 slapd[29274]: conn=11 op=0 RESULT oid= err=0 text=
272 >        Sep  6 09:27:25 slave1 slapd[29274]: conn=11 fd=31 TLS established tls_ssf=256 ssf=256
273 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=1 BIND dn="uid=user1,ou=people,dc=example,dc=com" method=128
274 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=1 BIND dn="uid=user1,ou=People,dc=example,dc=com" mech=SIMPLE ssf=0
275 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=1 RESULT tag=97 err=0 text=
276 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=2 MOD dn="uid=user1,ou=People,dc=example,dc=com"
277 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=2 MOD attr=mail
278 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=2 RESULT tag=103 err=0 text=
279 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 op=3 UNBIND
280 >        Sep  6 09:27:28 slave1 slapd[29274]: conn=11 fd=31 closed
281 >        Sep  6 09:27:28 slave1 slapd[29274]: syncrepl_entry: LDAP_RES_SEARCH_ENTRY(LDAP_SYNC_MODIFY)
282 >        Sep  6 09:27:28 slave1 slapd[29274]: syncrepl_entry: be_search (0)
283 >        Sep  6 09:27:28 slave1 slapd[29274]: syncrepl_entry: uid=user1,ou=People,dc=example,dc=com
284 >        Sep  6 09:27:28 slave1 slapd[29274]: syncrepl_entry: be_modify (0)
285
286 And on the master you will see this:
287
288 >        Sep  6 09:23:57 ldapmaster slapd[2961]: conn=55902 op=3 PROXYAUTHZ dn="uid=user1,ou=people,dc=example,dc=com"
289 >        Sep  6 09:23:57 ldapmaster slapd[2961]: conn=55902 op=3 MOD dn="uid=user1,ou=People,dc=example,dc=com"
290 >        Sep  6 09:23:57 ldapmaster slapd[2961]: conn=55902 op=3 MOD attr=mail
291 >        Sep  6 09:23:57 ldapmaster slapd[2961]: conn=55902 op=3 RESULT tag=103 err=0 text=
292
293 Note: You can clearly see the PROXYAUTHZ line on the master, indicating the 
294 proper identity assertion for the update on the master. Also note the slave 
295 immediately receiving the Syncrepl update from the master.
296
297 H3: Handling Chaining Errors
298
299 By default, if chaining fails, the original referral is returned to the client
300 under the assumption that the client might want to try and follow the referral.
301
302 With the following directive however, if the chaining fails at the provider 
303 side, the actual error is returned to the client.
304
305 >        chain-return-error TRUE
306
307
308 H2: Constraints
309
310
311 H3: Overview
312
313 This overlay enforces a regular expression constraint on all values
314 of specified attributes during an LDAP modify request that contains add or modify
315 commands. It is used to enforce a more rigorous syntax when the underlying attribute 
316 syntax is too general.
317
318
319 H3: Constraint Configuration
320
321 Configuration via {{slapd.conf}}(5) would look like:
322
323 >        overlay constraint
324 >        constraint_attribute mail regex ^[:alnum:]+@mydomain.com$
325 >        constraint_attribute title uri
326 >        ldap:///dc=catalog,dc=example,dc=com?title?sub?(objectClass=titleCatalog)
327
328 A specification like the above would reject any {{mail}} attribute which did not
329 look like {{<alpha-numeric string>@mydomain.com}}.
330
331 It would also reject any title attribute whose values were not listed in the 
332 title attribute of any {{titleCatalog}} entries in the given scope.   
333
334 An example for use with {{cn=config}}:
335
336 >       dn: olcOverlay=constraint,olcDatabase={1}hdb,cn=config
337 >       changetype: add
338 >       objectClass: olcOverlayConfig
339 >       objectClass: olcConstraintConfig
340 >       olcOverlay: constraint
341 >       olcConstraintAttribute: mail regex ^[:alnum:]+@mydomain.com$
342 >       olcConstraintAttribute: title uri ldap:///dc=catalog,dc=example,dc=com?title?sub?(objectClass=titleCatalog)
343
344    
345 H2: Dynamic Directory Services
346
347
348 H3: Overview
349
350 The {{dds}} overlay to {{slapd}}(8) implements dynamic objects as per RFC 2589.
351 The name {{dds}} stands for Dynamic Directory Services. It allows to define 
352 dynamic objects, characterized by the {{dynamicObject}} objectClass.
353
354 Dynamic objects have a limited lifetime, determined by a time-to-live (TTL) 
355 that can be refreshed by means of a specific refresh extended operation. This 
356 operation allows to set the Client Refresh Period (CRP), namely the period 
357 between refreshes that is required to preserve the dynamic object from expiration. 
358 The expiration time is computed by adding the requested TTL to the current time.
359 When dynamic objects reach the end of their lifetime without being further 
360 refreshed, they are automatically {{deleted}}. There is no guarantee of immediate 
361 deletion, so clients should not count on it.
362
363 H3: Dynamic Directory Service Configuration
364
365 A usage of dynamic objects might beto implement dynamic meetings; in this case, 
366 all the participants to the meeting are allowed to refresh the meeting object, 
367 but only the creator can delete it (otherwise it will be deleted when the TTL expires).
368
369 If we add the overlay to an example database, specifying a Max TTL of 1 day, a 
370 min of 10 seconds, with a default TTL of 1 hour. We'll also specify an interval
371 of 5 seconds between expiration checks and a tolerance of 1 second (lifetime of
372 a dynamic object will be {{B:entryTtl + tolerance}}.
373
374 >       overlay dds
375 >       dds-max-ttl     1d
376 >       dds-min-ttl     10s
377 >       dds-default-ttl 1h
378 >       dds-interval    5s
379 >       dds-tolerance   1s
380
381 So let's create an entry using:
382
383 >       dn: cn=Dynamic,dc=example,dc=com
384 >       objectClass: inetOrgPerson
385 >       objectClass: dynamicObject
386 >       cn: Dynamic Object
387 >       sn: Object
388
389 MORE coming.
390
391
392 H4: Dynamic Directory Service ACLs
393
394 Allow users to start a meeting and to join it; restrict refresh to the {{B:member}}s; 
395 restrict delete to the creator:
396
397 >       access to attrs=userPassword
398 >          by self write
399 >          by * read
400 >       
401 >       access to dn.base="cn=Meetings,dc=example,dc=com"
402 >                 attrs=children
403 >            by users write
404 >       
405 >       access to dn.onelevel="cn=Meetings,dc=example,dc=com"
406 >                 attrs=entry
407 >            by dnattr=creatorsName write
408 >            by * read
409 >       
410 >       access to dn.onelevel="cn=Meetings,dc=example,dc=com"
411 >                 attrs=participant
412 >            by dnattr=creatorsName write
413 >            by users selfwrite
414 >            by * read
415 >       
416 >       access to dn.onelevel="cn=Meetings,dc=example,dc=com"
417 >                 attrs=entryTtl
418 >            by dnattr=member manage
419 >            by * read
420
421
422 H2: Dynamic Groups
423
424
425 H3: Overview
426
427 This overlay extends the Compare operation to detect
428 members of a dynamic group. This overlay is now deprecated
429 as all of its functions are available using the
430 {{SECT:Dynamic Lists}} overlay.
431
432
433 H3: Dynamic Group Configuration
434
435
436 H2: Dynamic Lists
437    
438    
439 H3: Overview
440
441 This overlay allows expansion of dynamic groups and lists. Instead of having the
442 group members or list attributes hard coded, this overlay allows us to define
443 an LDAP search whose results will make up the group or list.
444
445 H3: Dynamic List Configuration
446
447 This module can behave both as a dynamic list and dynamic group, depending on
448 the configuration. The syntax is as follows:
449
450 >       overlay dynlist
451 >       dynlist-attrset <group-oc> <URL-ad> [member-ad]
452
453 The parameters to the {{F:dynlist-attrset}} directive have the following meaning:
454 * {{F:<group-oc>}}: specifies which object class triggers the subsequent LDAP search.
455 Whenever an entry with this object class is retrieved, the search is performed.
456 * {{F:<URL-ad>}}: is the name of the attribute which holds the search URI. It
457 has to be a subtype of {{F:labeledURI}}. The attributes and values present in
458 the search result are added to the entry unless {{F:member-ad}} is used (see
459 below).
460 * {{F:member-ad}}: if present, changes the overlay behavior into a dynamic group.
461 Instead of inserting the results of the search in the entry, the distinguished name
462 of the results are added as values of this attribute.
463
464 Here is an example which will allow us to have an email alias which automatically
465 expands to all user's emails according to our LDAP filter:
466
467 In {{slapd.conf}}(5):
468 >       overlay dynlist
469 >       dynlist-attrset nisMailAlias labeledURI
470
471 This means that whenever an entry which has the {{F:nisMailAlias}} object class is
472 retrieved, the search specified in the {{F:labeledURI}} attribute is performed.
473
474 Let's say we have this entry in our directory:
475 >       cn=all,ou=aliases,dc=example,dc=com
476 >       cn: all
477 >       objectClass: nisMailAlias
478 >       labeledURI: ldap:///ou=People,dc=example,dc=com?mail?one?(objectClass=inetOrgPerson)
479
480 If this entry is retrieved, the search specified in {{F:labeledURI}} will be
481 performed and the results will be added to the entry just as if they have always
482 been there. In this case, the search filter selects all entries directly
483 under {{F:ou=People}} that have the {{F:inetOrgPerson}} object class and retrieves
484 the {{F:mail}} attribute, if it exists.
485
486 This is what gets added to the entry when we have two users under {{F:ou=People}}
487 that match the filter:
488 !import "allmail-en.png"; align="center"; title="Dynamic list for email aliases"
489 FT[align="Center"] Figure X.Y: Dynamic List for all emails
490
491 The configuration for a dynamic group is similar. Let's see an example which would
492 automatically populate an {{F:allusers}} group with all the user accounts in the
493 directory.
494
495 In {{F:slapd.conf}}(5):
496 >       overlay dynlist
497 >       dynlist-attrset groupOfNames labeledURI member
498
499 Let's apply it to the following entry:
500 >       cn=allusers,ou=group,dc=example,dc=com
501 >       cn: all
502 >       objectClass: groupOfNames
503 >       labeledURI: ldap:///ou=people,dc=example,dc=com??one?(objectClass=inetOrgPerson)
504
505 The behavior is similar to the dynamic list configuration we had before:
506 whenever an entry with the {{F:groupOfNames}} object class is retrieved, the
507 search specified in the {{F:labeledURI}} attribute is performed. But this time,
508 only the distinguished names of the results are added, and as values of the
509 {{F:member}} attribute.
510
511 This is what we get:
512 !import "allusersgroup-en.png"; align="center"; title="Dynamic group for all users"
513 FT[align="Center"] Figure X.Y: Dynamic Group for all users
514
515 Note that a side effect of this scheme of dynamic groups is that the members
516 need to be specified as full DNs. So, if you are planning in using this for
517 {{F:posixGroup}}s, be sure to use RFC2307bis and some attribute which can hold
518 distinguished names. The {{F:memberUid}} attribute used in the {{F:posixGroup}}
519 object class can hold only names, not DNs, and is therefore not suitable for
520 dynamic groups.
521
522 H2: Reverse Group Membership Maintenance
523
524 H3: Overview
525
526 In some scenarios, it may be desirable for a client to be able to determine
527 which groups an entry is a member of, without performing an additional search.
528 Examples of this are applications using the {{TERM:DIT}} for access control
529 based on group authorization.
530
531 The {{B:memberof}} overlay updates an attribute (by default {{B:memberOf}}) whenever
532 changes occur to the membership attribute (by default {{B:member}}) of entries of the
533 objectclass (by default {{B:groupOfNames}}) configured to trigger updates.
534
535 Thus, it provides maintenance of the list of groups an entry is a member of,
536 when usual maintenance of groups is done by modifying the members on the group
537 entry.
538
539 H3: Member Of Configuration
540
541 The typical use of this overlay requires just enabling the overlay for a
542 specific database. For example, with the following minimal slapd.conf:
543
544 >        include /usr/share/openldap/schema/core.schema
545 >        include /usr/share/openldap/schema/cosine.schema
546 >        modulepath      /usr/lib/openldap
547 >        moduleload      memberof.la
548 >        authz-regexp "gidNumber=0\\\+uidNumber=0,cn=peercred,cn=external,cn=auth"
549 >                "cn=Manager,dc=example,dc=com"
550 >        database        bdb
551 >        suffix          "dc=example,dc=com"
552 >        rootdn          "cn=Manager,dc=example,dc=com"
553 >        rootpw          secret
554 >        directory       /var/lib/ldap2.4
555 >        checkpoint 256 5
556 >        index   objectClass   eq
557 >        index   uid           eq,sub
558 >        
559 >        overlay memberof
560
561 adding the following ldif:
562
563 >        cat memberof.ldif
564 >        dn: dc=example,dc=com
565 >        objectclass: domain
566 >        dc: example
567 >        
568 >        dn: ou=Group,dc=example,dc=com
569 >        objectclass: organizationalUnit
570 >        ou: Group
571 >        
572 >        dn: ou=People,dc=example,dc=com
573 >        objectclass: organizationalUnit
574 >        ou: People
575 >        
576 >        dn: uid=test1,ou=People,dc=example,dc=com
577 >        objectclass: account
578 >        uid: test1
579 >        
580 >        dn: cn=testgroup,ou=Group,dc=example,dc=com
581 >        objectclass: groupOfNames
582 >        cn: testgroup
583 >        member: uid=test1,ou=People,dc=example,dc=com
584
585 Results in the following output from a search on the test1 user:
586
587 > # ldapsearch -LL -Y EXTERNAL -H ldapi:/// "(uid=test1)" -b dc=example,dc=com memberOf
588 > SASL/EXTERNAL authentication started
589 > SASL username: gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth
590 > SASL SSF: 0
591 > version: 1
592
593 > dn: uid=test1,ou=People,dc=example,dc=com
594 > memberOf: cn=testgroup,ou=Group,dc=example,dc=com
595
596 Note that the {{B:memberOf}} attribute is an operational attribute, so it must be
597 requested explicitly.
598
599
600 H2: The Proxy Cache Engine
601
602 {{TERM:LDAP}} servers typically hold one or more subtrees of a
603 {{TERM:DIT}}. Replica (or shadow) servers hold shadow copies of
604 entries held by one or more master servers.  Changes are propagated
605 from the master server to replica (slave) servers using LDAP Sync
606 replication.  An LDAP cache is a special type of replica which holds
607 entries corresponding to search filters instead of subtrees.
608
609 H3: Overview
610
611 The proxy cache extension of slapd is designed to improve the
612 responsiveness of the ldap and meta backends. It handles a search
613 request (query)
614 by first determining whether it is contained in any cached search
615 filter. Contained requests are answered from the proxy cache's local
616 database. Other requests are passed on to the underlying ldap or
617 meta backend and processed as usual.
618
619 E.g. {{EX:(shoesize>=9)}} is contained in {{EX:(shoesize>=8)}} and
620 {{EX:(sn=Richardson)}} is contained in {{EX:(sn=Richards*)}}
621
622 Correct matching rules and syntaxes are used while comparing
623 assertions for query containment. To simplify the query containment
624 problem, a list of cacheable "templates" (defined below) is specified
625 at configuration time. A query is cached or answered only if it
626 belongs to one of these templates. The entries corresponding to
627 cached queries are stored in the proxy cache local database while
628 its associated meta information (filter, scope, base, attributes)
629 is stored in main memory. 
630
631 A template is a prototype for generating LDAP search requests.
632 Templates are described by a prototype search filter and a list of
633 attributes which are required in queries generated from the template.
634 The representation for prototype filter is similar to {{REF:RFC4515}},
635 except that the assertion values are missing. Examples of prototype
636 filters are: (sn=),(&(sn=)(givenname=)) which are instantiated by
637 search filters (sn=Doe) and (&(sn=Doe)(givenname=John)) respectively.
638
639 The cache replacement policy removes the least recently used (LRU)
640 query and entries belonging to only that query. Queries are allowed
641 a maximum time to live (TTL) in the cache thus providing weak
642 consistency. A background task periodically checks the cache for
643 expired queries and removes them.
644
645 The Proxy Cache paper
646 ({{URL:http://www.openldap.org/pub/kapurva/proxycaching.pdf}}) provides
647 design and implementation details.
648
649
650 H3: Proxy Cache Configuration
651
652 The cache configuration specific directives described below must
653 appear after a {{EX:overlay proxycache}} directive within a
654 {{EX:"database meta"}} or {{EX:database ldap}} section of
655 the server's {{slapd.conf}}(5) file.
656
657 H4: Setting cache parameters
658
659 > proxyCache <DB> <maxentries> <nattrsets> <entrylimit> <period>
660
661 This directive enables proxy caching and sets general cache
662 parameters.  The <DB> parameter specifies which underlying database
663 is to be used to hold cached entries.  It should be set to
664 {{EX:bdb}} or {{EX:hdb}}.  The <maxentries> parameter specifies the
665 total number of entries which may be held in the cache.  The
666 <nattrsets> parameter specifies the total number of attribute sets
667 (as specified by the {{EX:proxyAttrSet}} directive) that may be
668 defined.  The <entrylimit> parameter specifies the maximum number of
669 entries in a cacheable query.  The <period> specifies the consistency
670 check period (in seconds).  In each period, queries with expired
671 TTLs are removed.
672
673 H4: Defining attribute sets
674
675 > proxyAttrset <index> <attrs...>
676
677 Used to associate a set of attributes to an index. Each attribute
678 set is associated with an index number from 0 to <numattrsets>-1.
679 These indices are used by the proxyTemplate directive to define
680 cacheable templates.
681
682 H4: Specifying cacheable templates 
683
684 > proxyTemplate <prototype_string> <attrset_index> <TTL>
685
686 Specifies a cacheable template and the "time to live" (in sec) <TTL>
687 for queries belonging to the template. A template is described by
688 its prototype filter string and set of required attributes identified
689 by <attrset_index>.
690
691
692 H4: Example
693
694 An example {{slapd.conf}}(5) database section for a caching server
695 which proxies for the {{EX:"dc=example,dc=com"}} subtree held
696 at server {{EX:ldap.example.com}}.
697  
698 >       database        ldap
699 >       suffix          "dc=example,dc=com" 
700 >       rootdn          "dc=example,dc=com" 
701 >       uri             ldap://ldap.example.com/
702 >       overlay proxycache
703 >       proxycache    bdb 100000 1 1000 100
704 >       proxyAttrset  0 mail postaladdress telephonenumber 
705 >       proxyTemplate (sn=) 0 3600
706 >       proxyTemplate (&(sn=)(givenName=)) 0 3600
707 >       proxyTemplate (&(departmentNumber=)(secretary=*)) 0 3600
708 >
709 >       cachesize 20
710 >       directory ./testrun/db.2.a
711 >       index       objectClass eq
712 >       index       cn,sn,uid,mail  pres,eq,sub
713
714
715 H5: Cacheable Queries
716
717 A LDAP search query is cacheable when its filter matches one of the
718 templates as defined in the "proxyTemplate" statements and when it references
719 only the attributes specified in the corresponding attribute set. 
720 In the example above the attribute set number 0 defines that only the
721 attributes: {{EX:mail postaladdress telephonenumber}} are cached for the following
722 proxyTemplates.
723
724 H5: Examples:
725
726 >       Filter: (&(sn=Richard*)(givenName=jack)) 
727 >       Attrs: mail telephoneNumber
728
729     is cacheable, because it matches the template {{EX:(&(sn=)(givenName=))}} and its
730     attributes are contained in proxyAttrset 0.
731
732 >       Filter: (&(sn=Richard*)(telephoneNumber))
733 >       Attrs: givenName 
734
735     is not cacheable, because the filter does not match the template,
736     nor is the attribute givenName stored in the cache
737
738 >       Filter: (|(sn=Richard*)(givenName=jack))
739 >       Attrs: mail telephoneNumber
740
741     is not cacheable, because the filter does not match the template ( logical
742     OR "|" condition instead of logical AND "&" )
743                            
744                            
745 H2: Password Policies
746
747
748 H3: Overview
749
750 This overlay provides a variety of password control mechanisms,
751 e.g. password aging, password reuse and duplication control, mandatory
752 password resets, etc.
753
754
755 H3: Password Policy Configuration
756
757
758 H2: Referential Integrity
759
760
761 H3: Overview
762
763 This overlay can be used with a backend database such as slapd-bdb(5)
764 to maintain the cohesiveness of a schema which utilizes reference
765 attributes.
766
767 Whenever a {{modrdn}} or {{delete}} is performed, that is, when an entry's DN
768 is renamed or an entry is removed, the server will search the directory for
769 references to this DN (in selected attributes: see below) and update them
770 accordingly. If it was a {{delete}} operation, the reference is deleted. If it
771 was a {{modrdn}} operation, then the reference is updated with the new DN.
772
773 For example, a very common administration task is to maintain group membership
774 lists, specially when users are removed from the directory. When an
775 user account is deleted or renamed, all groups this user is a member of have to be
776 updated. LDAP administrators usually have scripts for that. But we can use the
777 {{F:refint}} overlay to automate this task. In this example, if the user is
778 removed from the directory, the overlay will take care to remove the user from
779 all the groups he/she was a member of. No more scripting for this.
780
781 H3: Referential Integrity Configuration
782
783 The configuration for this overlay is as follows:
784 >       overlay refint
785 >       refint_attributes <attribute [attribute ...]>
786 >       refint_nothing <string>
787
788 * {{F:refint_attributes}}: this parameter specifies a space separated list of
789 attributes which will have the referential integrity maintained. When an entry is
790 removed or has its DN renamed, the server will do an internal search for any of the
791 {{F:refint_attributes}} that point to the affected DN and update them accordingly. IMPORTANT:
792 the attributes listed here must have the {{F:distinguishedName}} syntax, that is,
793 hold DNs as values.
794 * {{F:refint_nothing}}: some times, while trying to maintain the referential
795 integrity, the server has to remove the last attribute of its kind from an
796 entry. This may be prohibited by the schema: for example, the
797 {{F:groupOfNames}} object class requires at least one member. In these cases,
798 the server will add the attribute value specified in {{F:refint_nothing}}
799 to the entry.
800
801 To illustrate this overlay, we will use the group membership scenario.
802
803 In {{F:slapd.conf}}:
804 >       overlay refint
805 >       refint_attributes member
806 >       refint_nothing "cn=admin,dc=example,dc=com"
807
808 This configuration tells the overlay to maintain the referential integrity of the {{F:member}}
809 attribute. This attribute is used in the {{F:groupOfNames}} object class which always needs
810 a member, so we add the {{F:refint_nothing}} directive to fill in the group with a standard
811 member should all the members vanish.
812
813 If we have the following group membership, the refint overlay will
814 automatically remove {{F:john}} from the group if his entry is removed from the
815 directory:
816
817 !import "refint.png"; align="center"; title="Group membership"
818 FT[align="Center"] Figure X.Y: Maintaining referential integrity in groups
819
820 Notice that if we rename ({{F:modrdn}}) the {{F:john}} entry to, say, {{F:jsmith}}, the refint
821 overlay will also rename the reference in the {{F:member}} attribute, so the group membership
822 stays correct.
823
824 If we removed all users from the directory who are a member of this group, then the end result
825 would be a single member in the group: {{F:cn=admin,dc=example,dc=com}}. This is the
826 {{F:refint_nothing}} parameter kicking into action so that the schema is not violated.
827
828 H2: Return Code
829
830
831 H3: Overview
832
833 This overlay is useful to test the behavior of clients when
834 server-generated erroneous and/or unusual responses occur.
835
836
837 H3: Return Code Configuration
838
839
840 H2: Rewrite/Remap
841             
842             
843 H3: Overview
844
845 It performs basic DN/data rewrite and
846 objectClass/attributeType mapping.
847
848
849 H3: Rewrite/Remap Configuration
850
851
852 H2: Sync Provider
853
854
855 H3: Overview
856
857 This overlay implements the provider-side support for syncrepl
858 replication, including persistent search functionality
859
860
861 H3: Sync Provider Configuration
862
863
864 H2: Translucent Proxy
865
866
867 H3: Overview
868
869 This overlay can be used with a backend database such as slapd-bdb (5)
870 to create a "translucent proxy".
871
872 Content of entries retrieved from a remote LDAP server can be partially
873 overridden by the database.
874
875
876 H3: Translucent Proxy Configuration
877
878
879 H2: Attribute Uniqueness
880
881
882 H3: Overview
883
884 This overlay can be used with a backend database such as slapd-bdb (5)
885 to enforce the uniqueness of some or all attributes within a subtree.
886
887
888 H3: Attribute Uniqueness Configuration
889
890
891 H2: Value Sorting
892
893
894 H3: Overview
895
896 This overlay can be used to enforce a specific order for the values
897 of an attribute when it is returned in a search.
898
899
900 H3: Value Sorting Configuration
901
902
903 H2: Overlay Stacking
904
905
906 H3: Overview
907
908 Overlays can be stacked, which means that more than one overlay
909 can be instantiated for each database, or for the frontend.
910 As a consequence, each overlay's function is called, if defined,
911 when overlay execution is invoked.
912 Multiple overlays are executed in reverse order (it's a stack, all in all)
913 with respect to their definition in slapd.conf (5), or with respect
914 to their ordering in the config database, as documented in slapd-config (5).
915
916
917 H3: Example Scenarios
918
919
920 H4: Samba