Merge remote-tracking branch 'origin/mdb.master'

ITS#7723 fix reference counting

mtest: Accept an MDB_NOTFOUND case

Handle more errors. Invalidate txn if needed.

Don't use non-existent node info in branch/leaf2

Move code out of mdb_cursor_del0() and mdb_del().

Prepares for the next commits.

More checks for closed DBIs and invalidated txns.

Factor txn/DBI-checks out to TXN_DBI_EXIST().
mdb_audit(): Skip closed DBIs.
mdb_cursor_renew(), mdb_stat(): Check DBI and txn.
mdb_cursor_count(): Check txn.
mdb_dbi_flags(): Check DBI.

mdb_page_list(): Support & display all page types

mdb_txn_renew0(): Fix un-mutexed me_flags update.

Replace env flag MDB_LIVE_READER with field me_live_reader.

Doxygen fixes

Rename samples

They're meant to be read and studied, not run.

ITS#7815 more for page_split

This case didn't come up in testing. Needs finer grained test.

ITS#7815 fix mdb_page_split

Was leaving cursor pointed at wrong page if the newindx was
in the right sibling page, and the parent was also split.

ITS#7803 reference slapd-config(5)

Also replace BDB example with LMDB

ITS#7806 fixed memory leak in LDAPAsynConnection.cpp

mtest*.c, sample-*.c: Add/note error checks.

mtest[46]: Use different DBs when different flags.

ITS#7798 fix mdb_entry_decode()

More for ITS#4365 refix CR/LF handling

Was rejecting "-\r\n" in input LDIF

ITS#7793 mdb_cursor_put(): Fix MDB_CURRENT.

Ignore key, broken by 5bda3565a9bfaa6cd54053faeafcc06da15bc00c
and some older code.  Document and clarify MDB_CURRENT usage.

Also affects non-MDB_CURRENT put() with empty data and a key
which matches by the mdb_set_compare function but not by memcmp.

Happy new year (belated)

Merge remote-tracking branch 'origin/mdb.master'

Bump version to 0.9.11

Merge remote-tracking branch 'origin/mdb.master'

Note changes for LMDB 0.9.11

Revert "ITS#7772 Reduce spurious sub-page growth."

This reverts commit 75494c08b49c3ef77dce8a00f2bc44c83658c1a7,
which must await a fix to ITS#7771 (DUPSORT cursor tracking).

ITS#7778 fix regression from #7329

Make sure mapsize changes take effect on Windows.

ITS#7783 workaround stupid NSPR bug

free(NULL) is supposed to be safe. "Portable wrapper libraries"
that fail to preserve this behavior are inherently broken.
But then again, this is Mozilla code, so that's redundant.

Merge remote-tracking branch 'origin/mdb.master'

ITS#7775 Drop <assert.h>, drop/replace assert()s.

db_mid2l_insert(): Move assert to mdb.c.
mdb_cursor_set(): Previous assert cannot fail now.
mdb_cursor_put(): Check mc/key and return EINVAL.
mdb_cursor_dbi(): No error return, so just segfault if cursor==NULL.

ITS#7775 Cleanup mdb_node_del()

ITS#7775 Add mdb_env_set_assert()

Add mdb_env_<set,get>_userctx()

ITS#7377 Invalidate txn on page-allocation errors

This should likely be reverted when all callers handle these errors.

Wrap __func__ in mdb_func_

Invalidate the txn on corruption/internal errors

ITS#7775 cleanup unnecessary assert()s

mdb_page_malloc(): Move VGMEMP_ALLOC before memset

ITS#7771 mdb_cursor_del0(): Fix xcursor tracking.

sprintf format: pid_t need not be an int.

Add mdb_dbg_pgno(): (sub)pagenum for debug output.

ITS#7772 Reduce spurious sub-page growth.

mdb_cursor_put(): Use free sub-page space added by a
previous put(existing DUPSORT item), if any.
Tweak NUMKEYS code to avoid a new signedness warning.

ITS#7665 Drop lmdb.h doc on non-overlapping flags.

It was inaccurate and misplaced. Verify it in mdb.c instead.

ITS#7515 has been fixed.

Drop UNLOCK_MUTEX_R() on mdb_reader_pid() error

handle softadd/softdel (internal modifications; ITS#7773)

fix years old cut'n'paste

Fix commit "Raise safe max MDB_MAXKEYSIZE."

I.e. d69d2ce2307e9d0e2167843935c386b05a869c31, it left out some changes.

ITS#6758 Rewrite code for contrib:wrap_slap_ops.

Tweak slapd code so wrap_slap_ops can process it: Use pointers
BackendInfo *bi instead of array "func" = &bi->bi_op_bind. In
slapo-chain, keep a slap_operation_t instead of a function ptr.

ITS#6758 Add SLAP_OP() &co, contrib:wrap_slap_ops.

Add framework for debug macros SLAP_OP(), slap_be_op(),
slap_bi_op() around LDAP-operation backend calls.

contrib/slapd-tools/wrap_slap_ops converts code to use them.

Code compiles as before by default.  #define USE_RS_ASSERT
enables debugging, $NO_RS_ASSERT tweaks it. See slapd/result.c.

ITS#7762 shortcut NULL RDNs

Replace MDB_node.mn_offset[], to ease debugging.

Comment MDB_node, mdb_page_unspill, mdb_update_key

Fix mdb_reader_list() and its spec.

It and the MDB_msg_func can now return >= 0 for success.
Always return any MDB_msg_func() error result.

Support dynamic max MDB keysize.

Raise safe max MDB_MAXKEYSIZE.

Use a sub-DB for DUPSORT item #1/#2 per key if needed: Not a sub-
page too big for a node, nor an overflow page (which not all DUPSORT
code checks for). Move "insert" code, to avoid non-loop goto upwards.

(This is the commit which needs the change to xdata.mv_size in
commit 9d6e4a916367e85ffdf37b1cb7b5cdb7ac0e15b5 "page sizes".)

Relax MDB_MAXKEYSIZE for existing data.

Handle keys stored by a liblmdb with a bigger MDB_MAXKEYSIZE.
mdb_get/mdb_del(absent key bigger than our MDB_MAXKEYSIZE)
now return MDB_NOTFOUND instead of MDB_BAD_VALSIZE.

ITS#7589 Fix me_nodemax and related node sizes.

Change me_nodemax to not count the mp_ptrs[] entry. That's mostly
how it was used. Compare node sizes ">" me_nodemax instead of ">=".
The ">=" was a workaround for confusing sizes with and without the
mp_ptrs[] entry, but broke for nodes with size (old me_nodemax-1).

Explicitly make me_nodemax even. An odd value could break the
comparisons. It was even anyway because MDB_MINKEYS == 2.

ITS#7589 Fix delete(uneven-sized MDB_DUPFIXED data).

Do not give uneven sizes to the sub-page and the node it lives in.

put(MDB_MULTIPLE): Skip existing item cleanly.

Don't set dkey.mv_size if mdb won't clear it before next iteration.

Add EVEN(): Micro-optimize "up to multiple of 2".

Warning cleanup.

Drop unused computed/assigned values.
mdb_page_alloc(): Make "mop_len>0 implies mop!=NULL" provable.

Clean up mdb_copy.

Support MDB_NOSUBDIR. Catch more errors.  Write messages
to stderr, not stdout which the data too may be piped to.

ITS#7761 bail out of search if config is pausing

ITS#7753 use $(MAKE) for tests

ITS#7759 avoid assert in parse_passwdpolicy_control

Fix GET_BOTH_RANGE

On near match, return the matched data.

ITS#7757 plug memleak

Merge remote-tracking branch 'origin/mdb.master'

ITS#7756 keysizes were wrong in mdb_update_key

ITS#7749 more for prev commit

ITS#7750 fix olcDbConfig modification

Fix typo for Windows

ITS#7749 propagate op->o_extra in syncprov_findbase

ITS#7746 fix for cert with NULL issuerDN

Merge remote-tracking branch 'origin/mdb.master'

Doc tweak

Measured perf cost of meminit was 7% worst case on an Intel Core2
system. YMMV.

ITS#7743 Fix indexed AND filter

Partially revert 47f6aec61e65afd66bea096887f1cd550b55946e
Was using RANGE_FIRST/RANGE_LAST on an IDL known to *not* be a range.

Merge remote-tracking branch 'origin/mdb.master'

Bump to 0.9.10

Windows/Win64/MSVC tweaks

Silence warnings, fix broken MinGW64 definitions, etc.

Merge remote-tracking branch 'origin/mdb.master'

Clarify WRITEMAP / NOMEMINIT

Change default mem init behavior

Init malloc'd memory by default, use #MDB_NOMEMINIT to disable.
Bump version to 0.9.10

Add MDB_CLEANMEM option.

Initialize unused portions of DB pages, for security or to silence
checkers like Purify and Valgrind. Like BDB configure --enable-umrw.

Fix MDB_MAXKEYSIZE doc: Account for MDB_DUPSORT.

A node may need room for [key, subpage with 2 items] = 3 keys.

ITS#7713 Handle bigger OS page sizes

Use DB page size = min(32k, OS pagesize).  Previous limit was 8k
(MDB_MINKEYS*MDB_PAGESIZE).

Handle DB pagesize < OS pagesize. That's an I/O pessimization,
but transactions remain atomic: Only writing the MDB_meta must
be atomic, and it fits in one OS page.

Don't truncate desired subpage size: Asssign it to a size_t
(mv_size), not an uint16_t (mp_upper).

mdb_cursor_put(): Factor out code. Kill a label.

Fix prev commit, cursor depth comparison

Fix cursor_del0 cursor fixup

Skip cursors that aren't as deep as current cursor

ITS#7741 Fix entryDN index lookup

DN notfound is authoritative, don't ignore the result

ITS#7700
Update sections 6.2.2.1, 6.2.3.3

Fix CONFIG_DELETE crash

Closing a connection can abandon its ops without going thru the threadpool,
so make sure to lock the si_ops_mutex before walking the list.

ITS#7735 fix memctx usage in prev commit

Another BDB to MDB bit

ITS#7739 fix for empty nested include

Merge remote-tracking branch 'origin/mdb.master'

ITS#7740 back-meta: avoid blocking other threads

Don't lock other threads while trying to connect to remote node.

More for #7589