Merge remote-tracking branch 'origin/mdb.master'

updates

ITS#7682 In mdb_env_copy retry open if O_DIRECT fails

More for 5f6fa8c04204888c4ff7ac6be1868d81ff4410a8

Reset delete flag in cursor_put().

ITS#7681 fix mdb_cursor_set behaviour for MDB_SET_RANGE

Fix uninit'd poolqs in prev commit

Remember if last cursor op was a delete

If so, don't advance cursor on next NEXT. Also, init xcursor
on the next GET_CURRENT.

More for threadpool queues

Allow dynamic reconfig

ITS#7680 Fix typos in manpages.

In mdb_checkpoint, force sync

Otherwise this is a no-op in various NOSYNC/MAPASYNC situations

ITS#7676,7677 don't leak libldap err codes

Merge remote-tracking branch 'origin/mdb.master'

Add a changelog

Bump version to 0.9.8

Allow mdb_env_set_mapsize() on an open environment

The caller is responsible for making sure no transactions are
active in this process before resizing. This is slightly lighter
weight than doing a full env_close/env_open cycle.

Merge remote-tracking branch 'origin/mdb.master'

ITS#7672 fix mdb_dbi_flags

Use a txn instead of env argument. Only return persistent flags.

Add channel binding support

Currently only implemented for OpenSSL.
Needs an option to set the criticality flag.

mdb_page_unspill(): Fix dirty_room in nested txn

Another take on spill_pgs and deletes

Cleanup prev commit

Speedup deletion from spill_pgs

ITS#7671 always return the key for a dup val

ITS#7670 Tweak cursor_del0

Always leave cursor pointing at "next" node, if any.
Find next sibling if we're already at end of current page.

mdb_page_spill(): Fix nested txn mt_dirty_room

Simplify last commits

Tweak prev commit

If somehow "need" is larger than the list size, don't
try to fake out the dirty list.

Less aggressive page_spill

spilling all possible pages is a waste because the majority will be
needed again. Just do 1/8th of the dirty list instead.

Update caveats now that mdb_reader_check exists

Cleanup comments in prev commit

More fixes for prev commit

Fix 34f832faee9f215dfdb61de52506f2905258b147

Lock ordering issues

Fix prev commit

Hardcoded number of queues was leftover from preliminary
work. Use connection_pool_queues.

Multiple queues per threadpool

Tweak mutex acquisition

Slightly reduce held time.

Merge remote-tracking branch 'origin/mdb.master'

Silence warnings

Tweak ITS#7615 fix: Obey strict-aliasing rules.

Do not access a long long as an array of longs.

More for  907b9d487753631371dd969b551b63c41cef30fd

op.o_extra is only used with threading

Merge remote-tracking branch 'origin/mdb.master'

ITS#7664 better fix

For RDONLY, don't get lockfile until we know datafile exists.
Also, don't try to create a new datafile for me_mfd if someone
deleted it after we got me_fd.

Revert "ITS#7664 delete lockfile if there is no environment"

This reverts commit 8725838409512e999d78ea7b60773ce2f94d588f.

Merge remote-tracking branch 'origin/mdb.master'

ITS#7664 delete lockfile if there is no environment

Fix prev commit

Fixes for threaded indexer

Works now, but still 2x slower. Leave disabled.

Merge remote-tracking branch 'origin/mdb.master'

Fix uninit'd mem ref in mdb_page_split

Don't compare cursors beyond their depth. (detected by valgrind)

Merge remote-tracking branch 'origin/mdb.master'

Tweak NODUPDATA flag check

Should allow for the possibility of future flag combos.

Merge remote-tracking branch 'origin/mdb.master'

Fix obscure MDB_MULTIPLE bug

If a key has a single existing value, and then a put (MDB_MULTIPLE)
is done where the first of the multiple values matches the existing
value, the put would return SUCCESS without writing any of the
values. Fixed to loop to the next value as intended.

Merge remote-tracking branch 'origin/mdb.master'

Point to mdb.c for docs on macros in Makefile

Merge remote-tracking branch 'origin/mdb.master'

ITS#7662 cleanup reader txn in mdb_entry_get()

Avoid compiling debug args with C90 compilers.

Use double DPRINTF() parenthesis, so varargs macros are not needed.
Parenthesize MDB_DEBUG, in case the user defines it as foo || bar.

Refuse ops on bad txns

Replace EINVALs with generalized MDB_INCOMPATIBLE.

Also check xcursor instead of DUPSORT, it's slightly briefer.

ITS#7656 fix install target

ITS#7660 Add mdb_txn_env to API

mdb_txn_commit(): Always commit if MDB_TXN_SPILLS.

Checking dirty_list was insufficient after a spill
with no named databases and no positioned cursors.

ITS#7661 mdb_dbi_flags(): Allow main DBI

ITS#7659 add directoryString compatible syntaxes

countryString and telephoneNumber were missing

Merge remote-tracking branch 'origin/mdb.master'

mdb_del must ignore data if db not opened with MDB_DUPSORT

Merge remote-tracking branch 'origin/mdb.master'

Add mdb_env_get_maxkeysize()

Replace unpredictable EINVAL error returns.

Return EINVAL only for simple programmer errors.

Re-fix reader-pid code

mdb_cursorpages_mark: Mark current txn and no more.

Ignore parent txn cursors since it is the current txn's dirty_list
which will be flushed. But check the current txn also when clearing,
since cursors can have pages which are dirty in a parent.

Check !mc_xcursor instead of !MDB_DUPSORT.  Equivalent for valid
data, but a bit safer if the sub-DB flags are corrupt.

Fix mdb_ovpage_free() vs. spill.

Ensure me_pghead has room before removing from spill/dirty list.
Don't return pages to me_pghead in nested txns, use mt_free_pgs.

Fix page spilling when MDB_WRITEMAP.

mdb_page_spill(): Don't binary-search the unsorted dirty_list.
mdb_page_flush(): Don't overwrite unprocessed dirty_list items.

Set MDB_TXN_ERROR when inconsistent txn state

Factor out MDB_env.

MDB_LOCK_VERSION -> MDB_LOCK_FORMAT.

Pid locking needs a different lockfile-version: MDB_env's with and
without pid locking must not coexist, they can sabotage each other.
Store MDB_LOCK_FORMAT = (version | "use locking" flag) instead.

Fix mdb_reader_pid().

Treat unexpected errors as "don't know".  Invert Pidcheck return
value, so nonzero including error codes = "the process may exist".

On Windows: Catch exited but still existing processes.  Handle
undefined PROCESS_QUERY_LIMITED_INFORMATION.
On Unix: don't trust F_GETLK error to leave the input alone,
the fcntl() doc seems unclear.

Use proper printf format on Windows

ITS#7645 more for TLSProtocolMin

Silence warnings

Tweak comments

Clarify doc: mdb_copy, nested txns, mdb_drop().

mdb_copy: Does not copy lockfile. Can trigger file growth.
mdb_txn_begin(): Clarify usage restrictions.
mdb_drop(): State what to do rather than what will be done, since
closing the handle could otherwise be read as happening even at failure.

ITS#7591 fix back-meta missing result msgs

ITS#7654 fix implicit declaration warnings

Merge remote-tracking branch 'origin/mdb.master'

Tweak prev commit again

Make sure errors are propagated from init_meta

Merge remote-tracking branch 'origin/mdb.master'

Fix typo in Win32 branch

Merge remote-tracking branch 'origin/mdb.master'

Cleanup prev commit

Loop on copyfd meta write, since pipes may return after partial write.

ITS#7652 fix I/O error checks

partial revert of d6d2638acc245116b8f091ac425b6700d06c4713 and
26a25df5fcc2fcddae6597a61c1b867fc27c568b

The original code was already tested and working correctly.

ITS#7645 use ldap_pvt_tls_config for TLSProtocolMin

ITS#7645 more OpenSSL TLS versions

ITS#7645, #5655 TLSProtocolMin docs

ITS#5655 cleanup

ITS#5655 TLS_PROTOCOL_MIN setting

Merge remote-tracking branch 'origin/mdb.master'

Tweak mdb_envinfo numreaders

Return the actual shared reader count when it exists, not
just the current process env's reader count.

ITS#7641 don't muck with controls if slapi doesn't use them

ITS#7615 use shorter names for semaphores

NetBSD can only handle up to 14 chars, we were using 21. Now
we encode to 15, and for NetBSD truncate the last char.