Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8722

Tweak ITS#8722 fix: Use XCURSOR_REFRESH()

This checks XCURSOR_INITED() and fixes the mn_flags check.

XCURSOR_REFRESH() fixups/cleanup

* Check NUMKEYS(), similar to f34b61f9471d1c03fe0517b9d817c50c920e378a
  "ITS#8722 fix FIRST_DUP/LAST_DUP cursor bounds check".
* Move XCURSOR_INITED() into XCURSOR_REFRESH().  This adds a check in
  mdb_cursor_put, below /* converted, write the original data first */.
* Factor mc_ki[] out to XCURSOR_REFRESH().
* Replace an mc_pg[] with mp which is equal (mdb_cursor_del0).

ITS#8722 fix FIRST_DUP/LAST_DUP cursor bounds check

ITS#8622

ITS#8699 more for cursor_del ITS#8622

Set C_DEL flag on reinit'd subcursor

ITS#8486 Don't keep sl_mutex locked when playing the sessionlog

Fix ITS location

Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8760

ITS#8760 fix regression in 0.9.19

ITS#8612

ITS#8612 Fix Solaris builds with liblmdb

This patch fixes liblmdb builds on Solaris and derivatives by defining
_POSIX_PTHREAD_SEMANTICS

0.9.22 engineering

Regression test for ITS8800

ITS#8801 Fix CSN queue processing

ITS#8800 remove originator check in syncprov_search_response

Let the entryCSN check do all the work. Reloading a server from an old
backup needs this to go thru.

ITS#8607 Don't record checkpoints

Ignore lbase64.c symlink

ITS#8100 fixes for delta-syncrepl with empty accesslog

Update syncprov contextCSNs when context entry is added.
Fix accesslog to properly tag Add op when adding context entry.

Avoid unnecessary C99 initializers

Cleanup warnings

ITS#8791 fix OpenSSL 1.1.1 BIO_method compat

Use the new methods unconditionally, define helper functions for older versions.

ITS#8798 Fix swapped arguments

ITS#8798 Do not insert delays on a successful bind

ITS#8798 Add SASL support to slapd-* tester tools

ITS#8798 Enable retry/delay in slapd-bind

ITS#8798 Unify slapd-* tools setup

ITS#8796 Fix SSF reset

Maintain the SSF across SASL binds.

ITS#8484 - Fix MozNSS initialization

ITS#8782 plug memleaks in cancel

ITS#8778 Fix telephoneNumberNormalize("-" or " ")

ITS#8753, ITS#8774 - Fix compilation with older versions of OpenSSL

ITS#8753 Remove extraneous file

ITS#8753 Public key pinning support in libldap

ITS#8753 Move base64 decoding to separate file

Build internal avl testing tools correctly

ITS#6656 Docs for reqEntryUUID

ITS#6300 - Remove kqueue from project list

ITS#8719, ITS#8605, ITS#6300 -- Regenerate configure

ITS#6300 -- Update for multi-listener support

ITS #6300: Added support for using kqueue in slapd (for systems that support kqueue(2).

Patch obtained from:
        http://public.me.com/bryan.duncan/bryan-duncan.kqueue.090922.patch

 # This patch file is derived from OpenLDAP Software. All of the
 # modifications to OpenLDAP Software represented in the following
 # patch(es) were developed by Apple.  I, Bryan Duncan, am authorized by
 # Apple, my employer, to release this work under the following terms.
 #
 # Copyright 2009 Apple Inc. All rights reserved.
 #
 # Redistribution and use in source and binary forms, with or without
 # modification, are permitted only as authorized by the OpenLDAP
 # Public License.
 #
 # A copy of this license is available in file LICENSE in the
 # top-level directory of the distribution or, alternatively, at
 # http://www.OpenLDAP.org/license.html.
 #

ITS#8752 - Add echo statements about the purpose of the test and a
warning that it may take manual intervention to exit if a deadlock
occurs

ITS#8752 accesslog: cleanup should only be called on failures

Revert "ITS#8752 ppolicy: don't call same cleanup twice"

This reverts commit 1c963f473945e9902c1682d917baa58002a9ab95.

Revert "ITS#8752 make sure all cleanups are called in overlay_op_walk"

This reverts commit b0ad788b8aaad7d5e75827dacd4bbba203ae69ff.

ITS#8752 ppolicy: don't call same cleanup twice

fallout from b0ad788b8aaad7d5e75827dacd4bbba203ae69ff

ITS#8752 fix syncrepl deadlock from updateCookie

Must release cookieState->cs_mutex before invoking backend.
Add a condvar to serialize calls of updateCookie, so we can
release the mutex and still update sequentially.

Also added tid logging, useful in conjunction with
7ab0e1aff0cc48cdfb299ca7dbd27900a9e3d1a8

ITS#8752 additional debug info, thread ID of rmutex lockers

ITS#8752 make sure all cleanups are called in overlay_op_walk

fix syncprov_qtask race, test062 crashes

Keep s_mutex locked until we know we're removed from queue.
Remember qtask cookie so we can retract if ineeded when deleting
the overlay from running slapd.

config_delete is still unsafe, overlay_remove is running with active
threadpool instead of paused pool.

Update script that does random modifications on random masters.  Better
reproduces the problem.

ITS#8605 - spelling fixes

* javascript
* kernel
* ldap
* length
* macros
* maintained
* manager
* matching
* maximum
* mechanism
* memory
* method
* mimic
* minimum
* modifiable
* modifiers
* modifying
* multiple
* necessary
* normalized
* objectclass
* occurrence
* occurring
* offered
* operation
* original
* overridden
* parameter
* permanent
* preemptively
* printable
* protocol
* provider
* really
* redistribution
* referenced
* refresh
* regardless
* registered
* request
* reserved
* resource
* response
* sanity
* separated
* setconcurrency
* should
* specially
* specifies
* structure
* structures
* subordinates
* substitution
* succeed
* successful
* successfully
* sudoers
* sufficient
* superiors
* supported
* synchronization
* terminated
* they're
* through
* traffic
* transparent
* unsigned
* unsupported
* version
* absence
* achieves
* adamson
* additional
* address
* against
* appropriate
* architecture
* associated
* async
* attribute
* authentication
* authorized
* auxiliary
* available
* begin
* beginning
* buffered
* canonical
* certificate
* charray
* check
* class
* compatibility
* compilation
* component
* configurable
* configuration
* configure
* conjunction
* constraints
* constructor
* contained
* containing
* continued
* control
* convenience
* correspond
* credentials
* cyrillic
* database
* definitions
* deloldrdn
* dereferencing
* destroy
* distinguish
* documentation
* emmanuel
* enabled
* entry
* enumerated
* everything
* exhaustive
* existence
* existing
* explicitly
* extract
* fallthru
* fashion
* february
* finally
* function
* generically
* groupname
* happened
* implementation
* including
* initialization
* initializes
* insensitive
* instantiated
* instantiation
* integral
* internal
* iterate

ITS#8527 - Add additional debug logging on consumer/provider state when the consumer has a newer cookie than the provider

ITS#8508 - Allow ucgendat.c to recognize title-case characters even if they do not have lower-case equivalents

I, Zebediah Figura, hereby place the following modifications to OpenLDAP Software (and only these modifications) into the public domain. Hence, these modifications may be freely used and/or redistributed for any purpose with or without attribution and/or other notice.

ITS#8291 Reopen cursor after delete

ITS#8291 Enable slapmodify logging in tests

ITS#8153 - olcTimeLimit should be Single Value

ITS#8037 - Add support for relax control to delta-syncrepl

ITS#7721 - Allow authTimestamp updates to be forwarded via updateref

ITS#7532 - Add new function ldap_connect().

This function is used to manually establish a connection after
a call to ldap_initialize(). This is primarily so that a file
descriptor can be obtained before any requests are sent for the
purposes of polling for writability.

ITS#6475 - Man page updates to slapd.conf/slapd-config for the new olcSaslAuxpropsDontUseCopy and olcSaslAuxpropsDontUseCopyIgnore parameters for use with SASL/OTP

ITS#8692 let back-sock generate increment: line in case of LDAP_MOD_INCREMENT (see RFC 4525, section 3)

ITS#7389 - MozNSS: load certificates from certdb, fallback to PEM

If TLS_CACERT pointed to a PEM file and TLS_CACERTDIR was set to NSS
certificate database, the backend assumed that the certificate is always
located in the certificate database. This assumption might be wrong.

This patch makes the library to try to load the certificate from NSS
database and fallback to PEM file if unsuccessfull.

ITS#8167 Fix non-blocking TLS with referrals

ITS#8687 - EGD is disabled by default in OpenSSL 1.1. We need to comment out this block if it is not detected. Particularly affects cross compilation.

ITS#8583 - Fix C++ LDAP Control structure

ITS#8578 - remove unused-variables in RE24 testing call (2.4.45)

ITS#8404 Fix an assertion failure during modify of olcDbRewrite in back-meta

ITS#8121 - Note ldap_sasl_bind and ldap_sasl_bind_s can be used to make simple binds via the LDAP_SASL_SIMPLE mechanism

ITS#7520 - back-ldap omit-unknown-schema changes

ITS#7374 - MozNSS: better file name matching for hashed CA certificate directory

CA certificate files in OpenSSL compatible CACERTDIR were loaded if the
file extension was '.0'. However the file name should be 8 letters long
certificate hash of the certificate subject name, followed by a numeric
suffix which is used to differentiate between two certificates with the
same subject name.

Wit this patch, certificate file names are matched correctly (using
regular expressions).

ITS#7373 - TLS: do not reuse tls_session if hostname check fails

If multiple servers are specified, the connection to the first one
succeeds, and the hostname verification fails, *tls_session is not
dropped, but reused when connecting to the second server.

This is a problem with Mozilla NSS backend because another handshake
cannot be performed on the same file descriptor. From this reason,
hostname checking was moved into ldap_int_tls_connect() before
connection error handling.

ITS#7100 Update entryTtl behaviour to match RFC 2589

ITS#7100 Test for entryTtl reflecting time to live

ITS#5048 - index on entryCSN is mandatory

ITS#8752 fix syncrepl null_callback

Make sure it's last in callback stack

Fix script so it exits

ITS#8444 - Fix description to match the actual issue that was fixed

ITS#8752 - Add regression test

ITS#8733 Allow a raw integer to be decoded from a berval

ITS#8733 Allow extraction of the complete ber element

ITS#8732 Extend CIRCLEQ macros

LDAP_FEATURE_SUBORDINATE_SCOPE is from expired draft-sermersheim-ldap-subordinate-scope, leave behind LDAP_DEVEL

Move a bunch of featuers back behind LDAP_DEVEL for 2.5
SLAP_AUXPROP_DONTUSECOPY is ok for release

CHECK_CSN is a debug only flag for testing.  It should always remain
behind LDAP_DEVEL

ITS#6817 - back-meta work for SLAP_AUTH_DN was never finished according
to the ITS notes.  In addition, this would need man page updates for the
feature

The support for unindexed attributes being tracked in back-monitor needs
to remain behind LDAP_DEVEL for now.  Right now, the mutex in
back-monitor cannot properly handle the load if the server had a lot
of unindexed attributes that were being accessed in search filters.

ITS#7428 - Non-blocking TLS is not compatible with MOZNSS

Whitespace cleanup

ITS#8638 Add a recursive mutex to libldap_r for libevent

Most thread implementations suppport a native recursive mutex, use that
where possible (especially when a regular mutex is recursive already).

Also provide a macro for applications to test whether they can use the
lock functions interchangeably.

Fix warnings issued by autoconf 2.68+

Fix additional compile for /dev/poll support. /dev/poll is neither tested nor supported.

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

Fix calls to SLAP_DEVPOLL_SOCK_LX for multi-listener support.  Support
for /dev/poll is neither enabled nor tested, so other issues may exist.

ITS#8725 fix 75999a18c3c302bc2a71e9a01dfe63a62be8077c

Not needed since callback uses tmpalloc

Fix typo "errror" -> "error"

ITS#8725 Always remove listener descriptors from daemon on shutdown

ITS#8725 add slap_sl_mark / slap_sl_release

For fast cleanup after constructing disposable entries

ITS#8725 Avoid listener thread startup race

Typically only shows up under valgrind, not in regular runs