Merge remote-tracking branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

Fix 227329c8e1fb818548f1936f5dc1349ffd73352

mdb_dbi_close() must allow any dbi < maxdbs, since opens in an
uncommitted txn don't increment env->me_numdbs.

Revert "Fix 6beaad52129da5353fd40c0ec48e6a78c4f71a2e"

This reverts commit 8eef7a4275eda8f2fa2e0d1e67c1d5cbcd91607e.
Previous commit was correct, duplicate keys should not appear here.

Fixes for dbi_open/close, ITS#7515

ITS#7561 Fix mdb_drop bugs

Check for overflow pages, reset cursor position properly.

Fix 6beaad52129da5353fd40c0ec48e6a78c4f71a2e

In APPEND don't immediately reject matching key, since this
is valid for APPENDDUP.

Fix d3990eb2f8b2944782604a2ca7bd52e08c58fc3e

Append mode should *reject* keys that are too small.
Also allow APPENDDUP in mdb_put().

Fix rebalance when collapsing root page

When fixing other cursors, must also fix their depth.

More fixes for MDB_LAST

Make sure C_INITIALIZED gets set on successful call

ITS#7556 fix cursor_sibling for PREV

Return to RE

Plug MDB memory leak of DB names.

Silence signedness warning

Fix MDB_DEBUG compile when no varargs macros.

Variables mdb_debug, mdb_debug_start were used undefined.

Tweak mode_t def per Hallvard's suggestion

MSVC doesn't define mode_t

Fix CURSOR_LAST/CURSOR_PREV

Prep for release

ITS#7553

Merge remote branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

ITS#7553 better fix

ITS#7552

ITS#7552 fix for templates with * / +

ITS#7553 deinit cursor after deleting last node

Silence stupid warnings

ITS#7522

ITS#7522 fix config syntax errors

Fix bdb/hdb in example

ITS#7546 fix example DNs

ITS#7551

Merge remote branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

ITS#7534

fix tool name (ITS#7534)

more about ITS#7525

bugfix for mdb_cursor_put with MDB_MULTIPLE

If the variable dkey.mv_size is non-zero, then it means dkey
contains some original data which has to be put back in the
child db, typically when the child db has just been created.

But when using MDB_MULTIPLE, if this variable has not been
reset to zero, we may come back to this section and wrongly
think that there is some original data to be taken care of.

ITS#7540

ITS#7540 reject undefined attrs

ITS#7543

ITS#7543 Fix log output "conn=-1 ... ACCEPT"

ITS#7542, ITS#7432

ITS#7542, more for ITS#7432

typos in quicksort

ITS#7531

Avoid unnecessary syncCookie malloc/free

ITS#7531 check updateCookie status for INTERMEDIATEs

Was already being checked for other message types.

ITS#7533

ITS#7533 don't install DB_CONFIG if no BDB backends

ITS#7536, ITS#7377

Merge remote branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

Return to release engineering

ITS#7538 fallout from ITS#7536 fix.

Allow leaf pages to have only 1 key.

Precalculate max size of a node

Fix f97552a83abb085bc44b1b578e550d64c1313a4b

Causes Bus Error on SPARC

Check for MADV_RANDOM

Android supports madvise but not posix_madvise

ITS#7377 Fix c0f3d9b9a8864e744a8d1eaffc99bc86026d5351

Add missing parens

Turn off readahead on main mmap

It's harmful when the DB is larger than RAM.

ITS#7536 fix mdb_rebalance

A page must always have at least 2 keys (unless it's a root page)

update for release

Use CC/LDFLAGS to link the shared lib

Install manpages too

Delete obsolete @todo

We do it now... (coalescing freelist entries in page_alloc)

Add sample apps for comparison/education purposes

Add $(DESTDIR) to make install target

prep for release

Define MDB_WRITES_PER_COMMIT, default to 500

The former default of 1000 may fail for DBs with many indices.

Merge remote branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

ITS#7525, ITS#7526

ITS#7525 more for quoting

DELETE needs pointer initialization like EMIT (ITS#7526)

quotes needed for spaces in DN (ITS#7525)

ITS#7523

ITS#7523 document the valsort control's value syntax

Not really sure that we like this syntax, but it's been there
for 8 years now so unlikely to change.

ITS#7523
Document valsort control

More for dn2id_upgrade

handle 0-length suffix

Add error checks to prev commit

Add mdb_dn2id_upgrade

Check if upgrade is needed in mdb_db_open()
Run from tool_reindex. Upgrade must not be interrupted.

ITS#7518

ITS#7518 1. Sync'ed up with nss-pam-ldapd 0.8.11 * added nssov_config support * added password_prohibit_message, similar to PADL * self-password-changes are made as user identities; root changing user passwords as nssov-pam-pwdmgr-dn 2. Fixed a bug that connection DN was not constructed correctly 3. Fixed a service crash issue when protocol value is NULL 4. Added more debugging msgs. 4. added rights info

Update error code instances

Tweak MDB_INCOMPATIBLE description

Tweak prev commit: Restore if-test as an assert

ITS#7527

ITS#7488 really turn off threaded indexing code

ITS#7527 add missing error checks for corrupt index

ITS#7515 Fix mdb_txn_commit(nested txn).

Don't modify the parent txn until the current txn cannot fail.
Don't assume new dirty child pgnos > dirty parent pgnos.

Page alloc/touch: Fail if child+parent dirty pages would exceed
dirty_list's maxsize. Avoids an error situation in commit.

ITS#7512 Plug mdb_txn_abort(nested txn) page leaks.

Also catch mdb_cursor_shadow() errors.

Check DB flags when refreshing a stale MDB DBI.

It's hairy to figure out when a DBI is valid. Catch destructive
user errors, and flags which another process changed under us.

mdb_cursor_prev,mdb_cursor_next: Fix return value.

Return mdb_node_read()'s return value if it fails, not 1.
(Can happen if mdb_page_get() fails and NDEBUG is #defined.)

ITS#7515 mdb_dbi_open(): Also open in parent txns.

This makes aborting nested and non-nested txns more
similar: The new DBI is available to the surrounding
context (parent txn and MDB_env respectively).

mdb_page_alloc(): Handle freeDB txnid range holes.

A txn writes no freeDB entry if previous txn dropped mainDB and a read
txn prevents freelist entry reuse. This surprised mdb_page_alloc (and
mdb_txn_commit too before 65c053a6e7f6973c1d09710aa1bd57b218206fcb).

ITS#7517 Document that dirty DBs may not be closed

ITS#7485 Document key/data size limits in lmdb.h.

mdb.c already describes them. The user doc should too.

Revert "ITS#7515 update parent's mt_next_pgno on child commit"

This reverts commit fd4861bf00fb0b86a9f3b80d16cbe363a8eac227.
It duplicated earlier code.

ITS#7515 update parent's mt_next_pgno on child commit

Don't limit retries when coalescing freelist

Try to use whatever's available.

ITS#7515 Fix MDB parent/child txn interaction.

mdb_txn_commit(child): Copy more state. Copy all of mt_dbs:
Include mainDB, and even freeDB since mdb_drop() can update
it. Don't skip DBs with unchanged root, this could break
when the new was newly opened and the old unused junk.

mdb_page_get(): Search parents' dirty lists.

ITS#7377 Catch MDB failure updating root pointers.

"cannot fail" was wrong, it fails at least when exceeding mapsize.

ITS#7517 Don't save dropped dirty MDB databases.

mdb_txn_commit's attempt to save the DB could corrupt another DB if
another thread had called mdb_dbi_open and reused the closed DBI.

mdb_stat -ff[f]: show contiguous page spans.

Add error code MDB_MAP_RESIZED.

Don't memmove freelist entry when chunking it

Just advance the pointer, now that it's no longer a complex struct