Merge remote-tracking branch 'origin/mdb.master'

Update error code instances

Tweak MDB_INCOMPATIBLE description

Tweak prev commit: Restore if-test as an assert

ITS#7523 document the valsort control's value syntax

Not really sure that we like this syntax, but it's been there
for 8 years now so unlikely to change.

ITS#7515 Fix mdb_txn_commit(nested txn).

Don't modify the parent txn until the current txn cannot fail.
Don't assume new dirty child pgnos > dirty parent pgnos.

Page alloc/touch: Fail if child+parent dirty pages would exceed
dirty_list's maxsize. Avoids an error situation in commit.

ITS#7488 really turn off threaded indexing code

ITS#7527 add missing error checks for corrupt index

ITS#7512 Plug mdb_txn_abort(nested txn) page leaks.

Also catch mdb_cursor_shadow() errors.

Check DB flags when refreshing a stale MDB DBI.

It's hairy to figure out when a DBI is valid. Catch destructive
user errors, and flags which another process changed under us.

mdb_cursor_prev,mdb_cursor_next: Fix return value.

Return mdb_node_read()'s return value if it fails, not 1.
(Can happen if mdb_page_get() fails and NDEBUG is #defined.)

ITS#7515 mdb_dbi_open(): Also open in parent txns.

This makes aborting nested and non-nested txns more
similar: The new DBI is available to the surrounding
context (parent txn and MDB_env respectively).

mdb_page_alloc(): Handle freeDB txnid range holes.

A txn writes no freeDB entry if previous txn dropped mainDB and a read
txn prevents freelist entry reuse. This surprised mdb_page_alloc (and
mdb_txn_commit too before 65c053a6e7f6973c1d09710aa1bd57b218206fcb).

ITS#7517 Document that dirty DBs may not be closed

ITS#7485 Document key/data size limits in lmdb.h.

mdb.c already describes them. The user doc should too.

Revert "ITS#7515 update parent's mt_next_pgno on child commit"

This reverts commit fd4861bf00fb0b86a9f3b80d16cbe363a8eac227.
It duplicated earlier code.

ITS#7515 update parent's mt_next_pgno on child commit

Don't limit retries when coalescing freelist

Try to use whatever's available.

ITS#7515 Fix MDB parent/child txn interaction.

mdb_txn_commit(child): Copy more state. Copy all of mt_dbs:
Include mainDB, and even freeDB since mdb_drop() can update
it. Don't skip DBs with unchanged root, this could break
when the new was newly opened and the old unused junk.

mdb_page_get(): Search parents' dirty lists.

ITS#7377 Catch MDB failure updating root pointers.

"cannot fail" was wrong, it fails at least when exceeding mapsize.

ITS#7517 Don't save dropped dirty MDB databases.

mdb_txn_commit's attempt to save the DB could corrupt another DB if
another thread had called mdb_dbi_open and reused the closed DBI.

mdb_stat -ff[f]: show contiguous page spans.

Add error code MDB_MAP_RESIZED.

More for ITS#7455

Don't memmove freelist entry when chunking it. Just advance the pointer,
now that it's no longer a complex struct. Also just calculate maxfree_1pg
at startup; it's a constant during runtime.

ITS#7455 Save freelist in single-page chunks

Freelist cleanup/streamlining

Drop unneeded definitions, redundant code.

Don't memmove freelist entry when chunking it

Just advance the pointer, now that it's no longer a complex struct

ITS#7455 Save freelist in single-page chunks

Freelist cleanup/streamlining

Drop unneeded definitions, redundant code.

DELETE needs pointer initialization like EMIT (ITS#7526)

quotes needed for spaces in DN (ITS#7525)

ITS#7523
Document valsort control

More for dn2id_upgrade

handle 0-length suffix

Add error checks to prev commit

Add mdb_dn2id_upgrade

Check if upgrade is needed in mdb_db_open()
Run from tool_reindex. Upgrade must not be interrupted.

Merge remote-tracking branch 'origin/mdb.master'

ITS#6365 wait for read locks in tool mode

Fix commit e5b96f2c764f2ca8106560a9e46d3a9880cc2a12

ITS#7512 Fix MDB page leak when malloc error.

mdb_page_alloc(): Delay moving me_pgfirst,me_pglast
until malloc(MDB_oldpages to hold the IDs) succeeds.

ITS#7518 1. Sync'ed up with nss-pam-ldapd 0.8.11 * added nssov_config support * added password_prohibit_message, similar to PADL * self-password-changes are made as user identities; root changing user passwords as nssov-pam-pwdmgr-dn 2. Fixed a bug that connection DN was not constructed correctly 3. Fixed a service crash issue when protocol value is NULL 4. Added more debugging msgs. 4. added rights info

Revert "ITS#7515 fix mdb_dbi_open/close"

This reverts commit 48dc782ea612f85e8356a50bfbafe22e5be121cf.

More explicit logging if mdb_txn_commit fails

Change LDAP_DEBUG_TRACE to LDAP_DEBUG_ANY.
Add log msg if it wasn't being logged before.

NULL key is allowed for MDB_CURRENT

ITS#7515 fix mdb_dbi_open/close

If a DBI handle is opened by a txn that aborts, the DBI handle
should no longer be valid.

Merge remote branch 'origin/mdb.master'

Add some simple checks for certificate directories/files

ITS#7473 fix b1a6f6980f2e5f17a39527069b27dfdc5ee73f8a

uninit'd size in dn2id_walk, bogus pagedresults

ITS#7511 make sure cursor is marked valid after successful put

ITS#7505 fix prev commit, partial revert

ITS#7473 Sort some test041-aci LDIF output if MDB

ITS#7505 Fix mdb_update_key when key is too big

Clean up whitespace

ITS#7473 Scope-based searches

Walk subtree if number of subtree entries is smaller than
number of index candidates.

ITS#7473 Add mdb_dn2id_walk() to walk subtree

Non-recursive tree walker.

ITS#7473 Setup for subtree entry counts

Merge remote-tracking branch 'origin/mdb.master'

Fix MDB_CURRENT updating for dupsort items

ITS#7499 fix typos

Clean up whitespace in previous commit

Removed #if 0 code block

added tcp keepalive support to back-ldap

ITS#7499 fix SQL statement configs

ITS#7497 fix lineno overflow in ldif_read_record()

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

Conflicts:
servers/slapd/back-mdb/id2entry.c

ITS#7496, more for ITS#7483

Missing entries need to be checked at runtime too, not just slapcat.
Apparently some people will still try to run slapd even after slapadd
tells them their DB load was invalid.

ITS#7496, more for ITS#7483

Missing entries need to be checked at runtime too, not just slapcat.
Apparently some people will still try to run slapd even after slapadd
tells them their DB load was invalid.

ITS#7490
Zero out the complete context buffer
From mhardin@symas.com

more about ITS#7493

s/directoryOperation/dSAOperation/ (ITS#7493)

Update MDB comments: Caveats, flags, etc.

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

ITS#7489
Update slapd.overlays.5 manpage index

Update slapd.overlays.5 manpage index

Merge remote branch 'origin/mdb.master'

ITS#7485 data sizes limited to 32 bits

That's all we have space for in a node record.

Merge remote-tracking branch 'origin/mdb.master'

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

ITS#7485 more size checks

ITS#7485 check maxkeysize in mdb_cursor_put

Also MDB_MAXKEYSIZE is redefinable at compile time.

One more rename

Forgot this in 98fe3390891c7577e5f2664a091088786da78ffb

add support for 'onerr' (ITS#7492)

ITS#7491 check for filled dirty page list

Very large single transactions will fail. It's not just a problem when
nested transactions are used. We could make this dynamically sized,
but I'm not sure what the point is.

ITS#7473 check DN scope before fetching id2e

This is only a 10% gain, but still worth having for now.

Merge remote-tracking branch 'origin/mdb.master'

Happy New Year

Merge remote-tracking branch 'origin/mdb.master'

Delete liblmdb/mfree. It has moved into mdb_stat.

ITS#7476 Prevent EINTR from stopping otherwise successful connect

ITS#7488 disable threaded indexer for now

No time to find the bug at the moment.
There's no performance benefit anyway.

Merge remote branch 'origin/mdb.master'

ITS#7455 don't give up so soon

If we're operating on the freelist, see if our current pghead
can satisfy the request before giving up and using new pages.

ITS#6164 avoid conn->c_mutex in send_ldap_ber

This may possibly trigger ITS#5835 again. Revert if so.

clarification about filtering for dynamically added attrs (ITS#7486)

more about ITS#7487

handle SLAP_MOD_SOFTDEL (ITS#7487) and other internal modification specifiers

fix slapd.conf name (ITS#7478)

Happy New Year

Better handling of missing entries

Treat zero-length entries properly (as missing entries) in entry_next()
and entry_get_int().

ITS#7481 fix nssov-pam-session config

Merge remote-tracking branch 'origin/mdb.master'

Fix typo