Merge remote-tracking branch 'origin/mdb.master'

ITS#7775 Drop <assert.h>, drop/replace assert()s.

db_mid2l_insert(): Move assert to mdb.c.
mdb_cursor_set(): Previous assert cannot fail now.
mdb_cursor_put(): Check mc/key and return EINVAL.
mdb_cursor_dbi(): No error return, so just segfault if cursor==NULL.

ITS#7775 Cleanup mdb_node_del()

ITS#7775 Add mdb_env_set_assert()

Add mdb_env_<set,get>_userctx()

ITS#7377 Invalidate txn on page-allocation errors

This should likely be reverted when all callers handle these errors.

Wrap __func__ in mdb_func_

Invalidate the txn on corruption/internal errors

ITS#7775 cleanup unnecessary assert()s

mdb_page_malloc(): Move VGMEMP_ALLOC before memset

ITS#7771 mdb_cursor_del0(): Fix xcursor tracking.

sprintf format: pid_t need not be an int.

Add mdb_dbg_pgno(): (sub)pagenum for debug output.

ITS#7772 Reduce spurious sub-page growth.

mdb_cursor_put(): Use free sub-page space added by a
previous put(existing DUPSORT item), if any.
Tweak NUMKEYS code to avoid a new signedness warning.

ITS#7665 Drop lmdb.h doc on non-overlapping flags.

It was inaccurate and misplaced. Verify it in mdb.c instead.

ITS#7515 has been fixed.

Drop UNLOCK_MUTEX_R() on mdb_reader_pid() error

handle softadd/softdel (internal modifications; ITS#7773)

fix years old cut'n'paste

Fix commit "Raise safe max MDB_MAXKEYSIZE."

I.e. d69d2ce2307e9d0e2167843935c386b05a869c31, it left out some changes.

ITS#6758 Rewrite code for contrib:wrap_slap_ops.

Tweak slapd code so wrap_slap_ops can process it: Use pointers
BackendInfo *bi instead of array "func" = &bi->bi_op_bind. In
slapo-chain, keep a slap_operation_t instead of a function ptr.

ITS#6758 Add SLAP_OP() &co, contrib:wrap_slap_ops.

Add framework for debug macros SLAP_OP(), slap_be_op(),
slap_bi_op() around LDAP-operation backend calls.

contrib/slapd-tools/wrap_slap_ops converts code to use them.

Code compiles as before by default.  #define USE_RS_ASSERT
enables debugging, $NO_RS_ASSERT tweaks it. See slapd/result.c.

ITS#7762 shortcut NULL RDNs

Replace MDB_node.mn_offset[], to ease debugging.

Comment MDB_node, mdb_page_unspill, mdb_update_key

Fix mdb_reader_list() and its spec.

It and the MDB_msg_func can now return >= 0 for success.
Always return any MDB_msg_func() error result.

Support dynamic max MDB keysize.

Raise safe max MDB_MAXKEYSIZE.

Use a sub-DB for DUPSORT item #1/#2 per key if needed: Not a sub-
page too big for a node, nor an overflow page (which not all DUPSORT
code checks for). Move "insert" code, to avoid non-loop goto upwards.

(This is the commit which needs the change to xdata.mv_size in
commit 9d6e4a916367e85ffdf37b1cb7b5cdb7ac0e15b5 "page sizes".)

Relax MDB_MAXKEYSIZE for existing data.

Handle keys stored by a liblmdb with a bigger MDB_MAXKEYSIZE.
mdb_get/mdb_del(absent key bigger than our MDB_MAXKEYSIZE)
now return MDB_NOTFOUND instead of MDB_BAD_VALSIZE.

ITS#7589 Fix me_nodemax and related node sizes.

Change me_nodemax to not count the mp_ptrs[] entry. That's mostly
how it was used. Compare node sizes ">" me_nodemax instead of ">=".
The ">=" was a workaround for confusing sizes with and without the
mp_ptrs[] entry, but broke for nodes with size (old me_nodemax-1).

Explicitly make me_nodemax even. An odd value could break the
comparisons. It was even anyway because MDB_MINKEYS == 2.

ITS#7589 Fix delete(uneven-sized MDB_DUPFIXED data).

Do not give uneven sizes to the sub-page and the node it lives in.

put(MDB_MULTIPLE): Skip existing item cleanly.

Don't set dkey.mv_size if mdb won't clear it before next iteration.

Add EVEN(): Micro-optimize "up to multiple of 2".

Warning cleanup.

Drop unused computed/assigned values.
mdb_page_alloc(): Make "mop_len>0 implies mop!=NULL" provable.

Clean up mdb_copy.

Support MDB_NOSUBDIR. Catch more errors.  Write messages
to stderr, not stdout which the data too may be piped to.

ITS#7761 bail out of search if config is pausing

ITS#7753 use $(MAKE) for tests

ITS#7759 avoid assert in parse_passwdpolicy_control

Fix GET_BOTH_RANGE

On near match, return the matched data.

ITS#7757 plug memleak

Merge remote-tracking branch 'origin/mdb.master'

ITS#7756 keysizes were wrong in mdb_update_key

ITS#7749 more for prev commit

ITS#7750 fix olcDbConfig modification

Fix typo for Windows

ITS#7749 propagate op->o_extra in syncprov_findbase

ITS#7746 fix for cert with NULL issuerDN

Merge remote-tracking branch 'origin/mdb.master'

Doc tweak

Measured perf cost of meminit was 7% worst case on an Intel Core2
system. YMMV.

ITS#7743 Fix indexed AND filter

Partially revert 47f6aec61e65afd66bea096887f1cd550b55946e
Was using RANGE_FIRST/RANGE_LAST on an IDL known to *not* be a range.

Merge remote-tracking branch 'origin/mdb.master'

Bump to 0.9.10

Windows/Win64/MSVC tweaks

Silence warnings, fix broken MinGW64 definitions, etc.

Merge remote-tracking branch 'origin/mdb.master'

Clarify WRITEMAP / NOMEMINIT

Change default mem init behavior

Init malloc'd memory by default, use #MDB_NOMEMINIT to disable.
Bump version to 0.9.10

Add MDB_CLEANMEM option.

Initialize unused portions of DB pages, for security or to silence
checkers like Purify and Valgrind. Like BDB configure --enable-umrw.

Fix MDB_MAXKEYSIZE doc: Account for MDB_DUPSORT.

A node may need room for [key, subpage with 2 items] = 3 keys.

ITS#7713 Handle bigger OS page sizes

Use DB page size = min(32k, OS pagesize).  Previous limit was 8k
(MDB_MINKEYS*MDB_PAGESIZE).

Handle DB pagesize < OS pagesize. That's an I/O pessimization,
but transactions remain atomic: Only writing the MDB_meta must
be atomic, and it fits in one OS page.

Don't truncate desired subpage size: Asssign it to a size_t
(mv_size), not an uint16_t (mp_upper).

mdb_cursor_put(): Factor out code. Kill a label.

Fix prev commit, cursor depth comparison

Fix cursor_del0 cursor fixup

Skip cursors that aren't as deep as current cursor

ITS#7741 Fix entryDN index lookup

DN notfound is authoritative, don't ignore the result

ITS#7700
Update sections 6.2.2.1, 6.2.3.3

Fix CONFIG_DELETE crash

Closing a connection can abandon its ops without going thru the threadpool,
so make sure to lock the si_ops_mutex before walking the list.

ITS#7735 fix memctx usage in prev commit

Another BDB to MDB bit

ITS#7739 fix for empty nested include

Merge remote-tracking branch 'origin/mdb.master'

ITS#7740 back-meta: avoid blocking other threads

Don't lock other threads while trying to connect to remote node.

More for #7589

Fix slap_reparse_sync_cookie prototype

ITS#7735 plug memleak

Introduced in commit 48cdd54d9accb9283807ed592369b72654fb302d

ITS#7737 Add a matching rule for OlcDbEnvFlgs

Merge remote-tracking branch 'origin/mdb.master'

ITS#7589 another mdb_page_split fix

Tweak split_indx check, go one slot further.

ITS#7736 fix regression in ITS#7733 patch

In d8eccb353b1be7f07e74149dde9a41bb199d74e8

Merge remote-tracking branch 'origin/mdb.master'

ITS#7733 check cursor index before cursor_del

ITS#7734 Add MDB_NORDAHEAD to CHANGELESS.

Merge remote-tracking branch 'origin/mdb.master'

Bump to 0.9.9

Merge remote-tracking branch 'origin/mdb.master'

Add mdb_env_get_fd()

Return the environment's filedescriptor. Useful when the caller
is doing their own locking.

Merge remote-tracking branch 'origin/mdb.master'

Fix 01dfb2083dd690707a062cabb03801bfad1a6859

USE_POSIX_SEM must define USE_HASH

ITS#7725 add nordahead envflag

Merge remote-tracking branch 'origin/mdb.master'

ITS#7725 add MDB_NORDAHEAD flag for env_open

ITS#7692 no-op if target entry doesn't exist

Merge remote-tracking branch 'origin/mdb.master'

ITS#7699 fixed one dds start-up assertion failure

ITS#7589 silence warnings

ITS#7589 Fix typo in prev commit

ITS#7589 Cleanup unneeded vars in prev patch

ITS#7589 avoid wasting space in mdb_page_split

Also, check the split point on branch pages as well as leaf pages.

Add MDB_USE_HASH

There may be other uses for it besides semaphore names.

ITS#7695 Fix ldapsearch regression with CLDAP

Don't try to parse the result of a CLDAP bind request. Since these are
faked, no message is actually returned.

ITS#7694 more for IPv6 CLDAP, slapd fix

ITS#7694 Fix use of IPv6 with LDAP_CONNECTIONLESS

LDAP_CONNECTIONLESS code assumed that the size of an peer address
is equal to or smaller than sizeof (struct sockaddr).

Fix to use struct sockaddr_storage instead which is intended for
this purpose. Use getnameinfo() where appropriate so we don't
assume anything about the contents of struct sockaddr