ITS#6300 -- Update for multi-listener support

ITS #6300: Added support for using kqueue in slapd (for systems that support kqueue(2).

Patch obtained from:
        http://public.me.com/bryan.duncan/bryan-duncan.kqueue.090922.patch

 # This patch file is derived from OpenLDAP Software. All of the
 # modifications to OpenLDAP Software represented in the following
 # patch(es) were developed by Apple.  I, Bryan Duncan, am authorized by
 # Apple, my employer, to release this work under the following terms.
 #
 # Copyright 2009 Apple Inc. All rights reserved.
 #
 # Redistribution and use in source and binary forms, with or without
 # modification, are permitted only as authorized by the OpenLDAP
 # Public License.
 #
 # A copy of this license is available in file LICENSE in the
 # top-level directory of the distribution or, alternatively, at
 # http://www.OpenLDAP.org/license.html.
 #

ITS#8752 - Add echo statements about the purpose of the test and a
warning that it may take manual intervention to exit if a deadlock
occurs

ITS#8752 accesslog: cleanup should only be called on failures

Revert "ITS#8752 ppolicy: don't call same cleanup twice"

This reverts commit 1c963f473945e9902c1682d917baa58002a9ab95.

Revert "ITS#8752 make sure all cleanups are called in overlay_op_walk"

This reverts commit b0ad788b8aaad7d5e75827dacd4bbba203ae69ff.

ITS#8752 ppolicy: don't call same cleanup twice

fallout from b0ad788b8aaad7d5e75827dacd4bbba203ae69ff

ITS#8752 fix syncrepl deadlock from updateCookie

Must release cookieState->cs_mutex before invoking backend.
Add a condvar to serialize calls of updateCookie, so we can
release the mutex and still update sequentially.

Also added tid logging, useful in conjunction with
7ab0e1aff0cc48cdfb299ca7dbd27900a9e3d1a8

ITS#8752 additional debug info, thread ID of rmutex lockers

ITS#8752 make sure all cleanups are called in overlay_op_walk

fix syncprov_qtask race, test062 crashes

Keep s_mutex locked until we know we're removed from queue.
Remember qtask cookie so we can retract if ineeded when deleting
the overlay from running slapd.

config_delete is still unsafe, overlay_remove is running with active
threadpool instead of paused pool.

Update script that does random modifications on random masters.  Better
reproduces the problem.

ITS#8605 - spelling fixes

* javascript
* kernel
* ldap
* length
* macros
* maintained
* manager
* matching
* maximum
* mechanism
* memory
* method
* mimic
* minimum
* modifiable
* modifiers
* modifying
* multiple
* necessary
* normalized
* objectclass
* occurrence
* occurring
* offered
* operation
* original
* overridden
* parameter
* permanent
* preemptively
* printable
* protocol
* provider
* really
* redistribution
* referenced
* refresh
* regardless
* registered
* request
* reserved
* resource
* response
* sanity
* separated
* setconcurrency
* should
* specially
* specifies
* structure
* structures
* subordinates
* substitution
* succeed
* successful
* successfully
* sudoers
* sufficient
* superiors
* supported
* synchronization
* terminated
* they're
* through
* traffic
* transparent
* unsigned
* unsupported
* version
* absence
* achieves
* adamson
* additional
* address
* against
* appropriate
* architecture
* associated
* async
* attribute
* authentication
* authorized
* auxiliary
* available
* begin
* beginning
* buffered
* canonical
* certificate
* charray
* check
* class
* compatibility
* compilation
* component
* configurable
* configuration
* configure
* conjunction
* constraints
* constructor
* contained
* containing
* continued
* control
* convenience
* correspond
* credentials
* cyrillic
* database
* definitions
* deloldrdn
* dereferencing
* destroy
* distinguish
* documentation
* emmanuel
* enabled
* entry
* enumerated
* everything
* exhaustive
* existence
* existing
* explicitly
* extract
* fallthru
* fashion
* february
* finally
* function
* generically
* groupname
* happened
* implementation
* including
* initialization
* initializes
* insensitive
* instantiated
* instantiation
* integral
* internal
* iterate

ITS#8527 - Add additional debug logging on consumer/provider state when the consumer has a newer cookie than the provider

ITS#8508 - Allow ucgendat.c to recognize title-case characters even if they do not have lower-case equivalents

I, Zebediah Figura, hereby place the following modifications to OpenLDAP Software (and only these modifications) into the public domain. Hence, these modifications may be freely used and/or redistributed for any purpose with or without attribution and/or other notice.

ITS#8291 Reopen cursor after delete

ITS#8291 Enable slapmodify logging in tests

ITS#8153 - olcTimeLimit should be Single Value

ITS#8037 - Add support for relax control to delta-syncrepl

ITS#7721 - Allow authTimestamp updates to be forwarded via updateref

ITS#7532 - Add new function ldap_connect().

This function is used to manually establish a connection after
a call to ldap_initialize(). This is primarily so that a file
descriptor can be obtained before any requests are sent for the
purposes of polling for writability.

ITS#6475 - Man page updates to slapd.conf/slapd-config for the new olcSaslAuxpropsDontUseCopy and olcSaslAuxpropsDontUseCopyIgnore parameters for use with SASL/OTP

ITS#8692 let back-sock generate increment: line in case of LDAP_MOD_INCREMENT (see RFC 4525, section 3)

ITS#7389 - MozNSS: load certificates from certdb, fallback to PEM

If TLS_CACERT pointed to a PEM file and TLS_CACERTDIR was set to NSS
certificate database, the backend assumed that the certificate is always
located in the certificate database. This assumption might be wrong.

This patch makes the library to try to load the certificate from NSS
database and fallback to PEM file if unsuccessfull.

ITS#8167 Fix non-blocking TLS with referrals

ITS#8687 - EGD is disabled by default in OpenSSL 1.1. We need to comment out this block if it is not detected. Particularly affects cross compilation.

ITS#8583 - Fix C++ LDAP Control structure

ITS#8578 - remove unused-variables in RE24 testing call (2.4.45)

ITS#8404 Fix an assertion failure during modify of olcDbRewrite in back-meta

ITS#8121 - Note ldap_sasl_bind and ldap_sasl_bind_s can be used to make simple binds via the LDAP_SASL_SIMPLE mechanism

ITS#7520 - back-ldap omit-unknown-schema changes

ITS#7374 - MozNSS: better file name matching for hashed CA certificate directory

CA certificate files in OpenSSL compatible CACERTDIR were loaded if the
file extension was '.0'. However the file name should be 8 letters long
certificate hash of the certificate subject name, followed by a numeric
suffix which is used to differentiate between two certificates with the
same subject name.

Wit this patch, certificate file names are matched correctly (using
regular expressions).

ITS#7373 - TLS: do not reuse tls_session if hostname check fails

If multiple servers are specified, the connection to the first one
succeeds, and the hostname verification fails, *tls_session is not
dropped, but reused when connecting to the second server.

This is a problem with Mozilla NSS backend because another handshake
cannot be performed on the same file descriptor. From this reason,
hostname checking was moved into ldap_int_tls_connect() before
connection error handling.

ITS#7100 Update entryTtl behaviour to match RFC 2589

ITS#7100 Test for entryTtl reflecting time to live

ITS#5048 - index on entryCSN is mandatory

ITS#8752 fix syncrepl null_callback

Make sure it's last in callback stack

Fix script so it exits

ITS#8444 - Fix description to match the actual issue that was fixed

ITS#8752 - Add regression test

ITS#8733 Allow a raw integer to be decoded from a berval

ITS#8733 Allow extraction of the complete ber element

ITS#8732 Extend CIRCLEQ macros

LDAP_FEATURE_SUBORDINATE_SCOPE is from expired draft-sermersheim-ldap-subordinate-scope, leave behind LDAP_DEVEL

Move a bunch of featuers back behind LDAP_DEVEL for 2.5
SLAP_AUXPROP_DONTUSECOPY is ok for release

CHECK_CSN is a debug only flag for testing.  It should always remain
behind LDAP_DEVEL

ITS#6817 - back-meta work for SLAP_AUTH_DN was never finished according
to the ITS notes.  In addition, this would need man page updates for the
feature

The support for unindexed attributes being tracked in back-monitor needs
to remain behind LDAP_DEVEL for now.  Right now, the mutex in
back-monitor cannot properly handle the load if the server had a lot
of unindexed attributes that were being accessed in search filters.

ITS#7428 - Non-blocking TLS is not compatible with MOZNSS

Whitespace cleanup

ITS#8638 Add a recursive mutex to libldap_r for libevent

Most thread implementations suppport a native recursive mutex, use that
where possible (especially when a regular mutex is recursive already).

Also provide a macro for applications to test whether they can use the
lock functions interchangeably.

Fix warnings issued by autoconf 2.68+

Fix additional compile for /dev/poll support. /dev/poll is neither tested nor supported.

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

Fix calls to SLAP_DEVPOLL_SOCK_LX for multi-listener support.  Support
for /dev/poll is neither enabled nor tested, so other issues may exist.

ITS#8725 fix 75999a18c3c302bc2a71e9a01dfe63a62be8077c

Not needed since callback uses tmpalloc

Fix typo "errror" -> "error"

ITS#8725 Always remove listener descriptors from daemon on shutdown

ITS#8725 add slap_sl_mark / slap_sl_release

For fast cleanup after constructing disposable entries

ITS#8725 Avoid listener thread startup race

Typically only shows up under valgrind, not in regular runs

ITS#8725 connection fixes

Fix op_finish, must resched connection to pick up pending ops.
Fix op completion counter.

ITS#8725 backover fixes for async

Fix some valgrind race conditions - wait for frontend to finish up
Don't set callbacks for abandon or unbind - since they have no response
Use tmpalloc for backover callback

ITS#8725 Fix an invalid data access during add operations if backend is asynchronous

ITS#8727 plug ber leaks

ITS#8725 Add SLAPD_ASYNCOP return code

Tell frontend the op will finish asynchronously, leave it alone

ITS#8717 call connection delete callbacks

When TLS fails to start

ITS#8709 contrib/slapd-modules/passwd/totp: OpenSSL 1.1.0 compatibility

ITS#8719 add crypt_r() support

ITS#8714 Send out EXTENDED operation message from back-sock

ITS#8270 use the configured exop timeout for StartTLS

Also, there's no need for a retry loop here. Just wait for
the specified timeout or give up.

ITS#8444 Do not clear the pending operation when checkpointing

When a checkpoint happens, if we remove the CSN from the pending list,
accesslog won't pass it onto the accesslog DB. But in a delta-mmr
scenario, an accesslog entry without a CSN faces a race where it might
be applied twice - that usually fails and causes a full refresh, other
times it can cause a silent desync - both are undesirable.

ITS#8715 Fix typo with olcTLSCiphersuite

ITS#8713 Delete stub man page for LDBM

ITS#8690 one more time

ITS#8690 fix again

Revert "ITS#8690 refix"

This reverts commit a5f3a2885c9d1a72ecebf159522a558a1f33d767.

ITS#8705 fix service pathname

Strip trailing space of last pathname component, if any. Not first.

ITS#8690 refix

Don't double-queue delete ops

ITS#8226 optimization

Don't release read txn unless there has actually been a new write txn

ITS#8690 fix prev commit

Cleanup uninit'd vars

ITS#8690 plug memleak on Delete ops

ITS#8697 - For Windows builds with newer MINGW, remove refptr symbols
mappings from slapd.def

Fix missing index on reqResult

ITS#8678 temporary hack

ITS#8667 - Add regression test

Merge remote-tracking branch 'origin/mdb.RE/0.9'

Release 0.9.21

ITS#8655 fix double free on paged search with pagesize 0

Fixes a double free when a search includes the Paged Results control
with a page size of 0 and the search base matches the filter.

ITS#8648 init SASL library in global init

ITS#8648 check result of ldap_int_initialize in ldap_{get,set}_option

ITS#8650 retry gnutls_handshake after GNUTLS_E_AGAIN

ITS#8123 - Fix wording to match examples

ITS#8592 Fix double free in sssvlv overlay

Fix slapo-pcache to use mdb as the example backend

ITS#8205 - Pick up changes that were ignored in the last commit

ITS#8205 - Fix typos, use man page from Howard for TOTP

ITS#8205 - contrib/smbk5pwd: add man page, install it too

Add a manual page slapo-smbk5pwd.5 and update smbk5pwd's Makefile to
install the new manual page.

ITS#8205 - contrib/lastbind: install man page

Update lastbind's Makefile to install the manual page too.

ITS#8205 - contrib/passwd/sha2: add man page, install it too

Add a manual page slapd-pw-sha2.5 and update passwd/sha2's Makefile to
install the new manual page.

ITS#8205 - contrib/adremap: install man page

Update adremap's Makefile to install the manual page too.

ITS#8205 - contrib/allop: install man page

Update allop's Makefile to install the manual page too.

ITS#8205 - contrib/cloak: install man page

Update cloak's Makefile to install the manual page too.

ITS#8205 - contrib/lastmod: install man page

Update lastmod's Makefile to install the manual page too.

ITS#8205 - contrib/nops: install man page

Update nops's Makefile to install the manual page too.

ITS#8205 - contrib/nssov: install man page

Update nssov's Makefile to install the manual page too.

ITS#8205 - contrib/passwd: add man page slapd-pw-sha2.5, install it too

Add a manual page slapd-pw-radius.5 and update passwd's Makefile to
install the new manual page.

ITS#8205 - contrib/passwd/totp: add man page, install it too

Add a manual page slapo-totp.5 and update passwd/totp's Makefile to
install the new manual page.

ITS#8205 - contrib/passwd/pbkdf2: add man page, install it too

Add a manual page slapd-pw-pbkdf2.5 and update passwd/pbkdf2's Makefile to
install the new manual page.

ITS#8644 fix previous commit: initialize KILLPIDS

ITS#8644 wait for slapd to start in test064

ITS#8635 - Note that non-zero serverID's are required for MMR, and that serverID 0 is specific to single master replication only