Merge remote branch 'origin/mdb.master'

Tweak prev commit, use first unused slot

Fix mdb_open, re-use closed dbi slots

ITS#7222 fix bdb/hdb cache hang under high load

ITS#7284 slappasswd: Add support loading a dynamically loadable module

Add "-o module-path=<pathspec>" and "-o module-load=<filename>"
options to load a dynamically loadable password hash module
(e.g., slapd-sha2).

ITS#7271 Don't clobber SASL_NOCANON in clients/tools/common.c

ITS#7276 MozNSS: allow CA certdb together with PEM CA bundle file

Prior to this patch, if TLS_CACERTDIR was set to Mozilla NSS certificate
database and TLS_CACERT was set to a PEM bundle file with CA
certificates, the PEM file content was not loaded.

With this patch and the same settings, OpenLDAP can verify certificates
which are signed by CAs stored both in certdb and PEM bundle file.

ITS#7270 Protect accesses to ldap_int_hostname with a mutex.

Not protecting the accesses to ldap_int_hostname could lead to a double
free.

ITS#7279 init rc in mdb_idl_insert_keys

Additional fix for threaded slapadd

If slapadd'ing a config DB and tool-threads is set in the config LDIF,
the checks for slap_tool_thread_max will be invalid.

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

ITS7282 Fix peername.regex example

ITS#7278 SHA-2: Add support salted SHA-2 password hashes

Support {SSHA256}, {SSHA384} and {SSHA512} hash schemes

ITS#7269 SHA2: Avoid "static char real_hash[]" to support multithread

Remove sha*_hex_hash() and replace chk_sha*() with
libraries/liblutil/passwd.c:chk_sha1() implementation to
avoid a race condition.

Merge remote-tracking branch 'origin/mdb.master'

ITS#7266 fix rebalance for LEAF2 pages

Merge remote-tracking branch 'origin/mdb.master'

More freelist tweaks, avoid referencing freed page

SHA2: Make slapd-sha2 module portable

contrib/slapd-modules/passwd/sha2/sha2.[ch] need portable.h and
some macros to be portable source.

contrib/slapd-modules/passwd/sha2/slapd-sha2.c:hash_sha*() must
declare "struct berval digest" before a statement for K&R C,
and must replace C++ "// foo"-style comments with C style.

Merge remote-tracking branch 'origin/mdb.master'

Further clarification of mdb_open()

ITS#7255 in mdb_tool_entry_modify use the existing global txn

ITS#7253 add a note about Criticality and RFC4510

Merge remote-tracking branch 'origin/mdb.master'

ITS#7251 fix Apple/Windows shared mutex naming

ITS#7182 new entry points should just be appended to monitor_extra_t

ITS#7182 Simplify connection entry creation using entry_stub.

ITS#7182 Remove use of monitor_info_t in back-ldap.

ITS#7182 Remove monitor_info_t from params for monitor_entry_stub.

ITS#7182 allow for later monitor subsystem registration

Some databases might want to register their subsystems under the dn
allocated for them by monitor_register_databas. It requires that the
deferred database registration callback be called *before* the
subsystem's.

ITS#7240 note option inheritance behavior

more on ITS#6656

ITS#7245 fix slap_parse_sync_cookie invocation

Support double-buffering for threaded slapadd

ITS#7088 fix deadlock on write operations that do not need to be logged (please check)

libmdb: midl.h namespace cleanup.

Prefix ID, NOID, ID2, IDL, ID2L with 'MDB_'.
Also drop bdb from file description.

libmdb: Simplify pick_meta() from read_meta().

Put one call in #if MDB_DEBUG. Move DPRINTF(Using meta page #) there.

libmdb: Simplify mdb_default_cmp. No real change.

libmdb: signed meets unsigned warning cleanup

libmdb: MDB_FDATASYNC code cleanup.

Define MDB_FDATASYNC() instead of redefining fdatasync().

libmdb: Add C++ 'extern "C" {}' to *.h

libmdb: Don't open datafile twice when not needed.

If the database is opened with MDB_RDONLY or MDB_NOSYNC,
instead use the same file descriptor for me_mfd and me_fd.

Also factor out Windows/Unix error handling after open.

libmdb: Set close-on-exec flag on lockfile

libmdb: Do not use the MDB_txbody.mtb_txnid field.

Get txn->mt_txnid from the meta page instead.  Otherwise it
and txn->mt_toggle could become inconsistent, since read-only
txns fetched both from MDB_txbody without mutex proteciton.

Fix MDB_DEBUG in last ITS#7299 commit.

Make DPRINTF usable in if-else.  Silence signed vs unsigned warning.

ITS#6598 make control global

Merge remote branch 'origin/mdb.master'

ITS#6656 keep loginfo mutex-protected

ITS#6656 make reqEntryUUID searchable

ITS#7229 more mdb_page_split tweaks

Also add mdb_debug/mdb_debug_start to toggle debug output at runtime

ITS#6656 add reqEntryUUID to logs of write ops

ITS#7210 fix check for freelist changes

Was being fooled before because the newly malloc'd block had
the same address as the previously freed block.

ITS#7224 check *_names pointer before dereferencing

move entrypriv_create into monitor_extra_t

move entry_stub to monitor_extra_t

Merge remote branch 'origin/mdb.master'

MDB_APPEND should only be used in tool mode

ITS#7238 doc clarification

ITS#7229 additional tweaks

Should probably compare nsize to pg_size/4 instead...

ITS#7230 check and strip 0 length IDLs from freelist

ITS#7235 prevent sop from being freed during init

ITS#7231 simplify prev commit

ITS#7231 fix idl_append when b has only 1 element

ITS#7233 Fix slapd listener initialization.

This broke if i was incremented before the new thread read i:
    for(...; i++) { ldap_pvt_thread_create(,,, &i); ... }

ITS#7234 Fix syncprov entry leak: Set op->o_tag

Merge remote branch 'origin/mdb.master'

ITS#7229 more mdb_page_split fixes

ITS#7228 check for unexpected result from ldapsearch

ITS#7197 fix olcTLSVerifyClient keywords

fix uninit'ed parameters to monitor_back_register_entry_attrs()

Merge remote branch 'origin/mdb.master'

ITS#7219 fixup keysize in previous commit

Merge remote branch 'origin/mdb.master'

ITS#7219 fix for odd-aligned keys in mdb_update_key()

Merge remote branch 'origin/mdb.master'

ITS#7210 fix leak of overflow pages in freelist

ITS#7149 pick up definition of STRLENOF

ITS#7182 silence warning about AVL_APPLY type

ITS#7182 Expose the peer address of a connection.

ITS#7182 Expose the URI used for this connection.

ITS#7182 Expose the connection flags.

The flags are exposed using a multivalued parameter so that other
connection flags (like back-meta's) could be exported without needing
additional code.

ITS#7182 Enable operation and connection monitoring.

Reintroduce the cn=connections entry exactly as it were before ITS#7182.

ITS#7182 Rework monitor registration.

Letting back-monitor create the subsystem entries is much more readable
than doing this manually.

Only the database is registered if needed (chain overlay has to be
updated to cope with this), the cn=Connection entry is removed in this
patch to be reinstated in the following one as part of the correct
subsystem.

The owner (overlay mostly) should already know the target subtree DN,
therefore the filter machinery can go away too.

ITS#7182 Keep connection IDs for monitoring purposes.

ITS#7149 more for back-perl, always use bv_len when available

ITS#7149 fix back-shell/back-perl Modify with binary values

Merge remote branch 'origin/mdb.master'

Partial revert of prev commit

Sub-DBs were correct before

Merge remote branch 'origin/mdb.master'

Fix entry counts in cursor_put

when replacing an existing item

Merge remote branch 'origin/mdb.master'

Fix uninit'd xcursor index

Add mfree utility to show the freelist

ITS#7210 additional freelist fixes

Also allow read access to freelist in mdb_cursor_open

ITS#7218 fix sessionlog usability check

ITS#7210 partial fix

Allow pages from free list to be used when growing the free list.
(Yes, this is self-referential...)

ITS#7182 Maintain the operation counts.

Currently ldap_back_default_rebind cannot access the ldapinfo structure.
Being a configurable callback, not letting it monitor when a change
might be disruptive feels safer.

ITS#7182 Introduce the variables for operation monitoring.

Only completed operations are considered for now, this can be changed
if needed.

ITS#7182 Add mss_private for monitor subsystem.

During initialization (and elsewhere), the subsystems have no way of
storing local data. While embedding them inside a larger strusture and
breaking out when needed (like the current back-ldap monitoring code
currently does) works, it certainly does not add to readability.

Notice that there is still no way to unregister an active subsystem.
This patch does not attempt to include such functionality while it might
actually be needed with the advent of SLAP_CONFIG_DELETE.

Cleanup prev commit