ITS#7829 fix rebalance

Fixup cursor state after node_move/page_merge

ITS#7793/7828

Fix md_entries count, test for insert on md_entries increment

More for ITS#7793/7828

Note MDB_CURRENT/MDB_DUPSORT requirement

ITS#7828, #7793

Clarify MDB_CURRENT key usage, simplify freelist_save

Revert "ITS#7793 mdb_cursor_put(): Fix MDB_CURRENT."

This reverts commit 4e954f8ae83d5b39736bab2da0eaf2bdf5ee3961.
Caused ITS#7828.

Revert "Update MDB_PANIC description" (thinko).

This reverts commit 6bd34d0534f1c8bfd73deaf70febd3b58a2f9d5a.

Update MDB_PANIC description

Tweak mdb_mid2l_insert() call from ITS#7775.

It does not return MDB error codes.

mtest: Accept an MDB_NOTFOUND case

Handle more errors. Invalidate txn if needed.

Don't use non-existent node info in branch/leaf2

Move code out of mdb_cursor_del0() and mdb_del().

Prepares for the next commits.

More checks for closed DBIs and invalidated txns.

Factor txn/DBI-checks out to TXN_DBI_EXIST().
mdb_audit(): Skip closed DBIs.
mdb_cursor_renew(), mdb_stat(): Check DBI and txn.
mdb_cursor_count(): Check txn.
mdb_dbi_flags(): Check DBI.

mdb_page_list(): Support & display all page types

mdb_txn_renew0(): Fix un-mutexed me_flags update.

Replace env flag MDB_LIVE_READER with field me_live_reader.

Doxygen fixes

Rename samples

They're meant to be read and studied, not run.

ITS#7815 more for page_split

This case didn't come up in testing. Needs finer grained test.

ITS#7815 fix mdb_page_split

Was leaving cursor pointed at wrong page if the newindx was
in the right sibling page, and the parent was also split.

mtest*.c, sample-*.c: Add/note error checks.

mtest[46]: Use different DBs when different flags.

ITS#7793 mdb_cursor_put(): Fix MDB_CURRENT.

Ignore key, broken by 5bda3565a9bfaa6cd54053faeafcc06da15bc00c
and some older code.  Document and clarify MDB_CURRENT usage.

Also affects non-MDB_CURRENT put() with empty data and a key
which matches by the mdb_set_compare function but not by memcmp.

Bump version to 0.9.11

Note changes for LMDB 0.9.11

Revert "ITS#7772 Reduce spurious sub-page growth."

This reverts commit 75494c08b49c3ef77dce8a00f2bc44c83658c1a7,
which must await a fix to ITS#7771 (DUPSORT cursor tracking).

Make sure mapsize changes take effect on Windows.

ITS#7775 Drop <assert.h>, drop/replace assert()s.

db_mid2l_insert(): Move assert to mdb.c.
mdb_cursor_set(): Previous assert cannot fail now.
mdb_cursor_put(): Check mc/key and return EINVAL.
mdb_cursor_dbi(): No error return, so just segfault if cursor==NULL.

ITS#7775 Cleanup mdb_node_del()

ITS#7775 Add mdb_env_set_assert()

Add mdb_env_<set,get>_userctx()

ITS#7377 Invalidate txn on page-allocation errors

This should likely be reverted when all callers handle these errors.

Wrap __func__ in mdb_func_

Invalidate the txn on corruption/internal errors

ITS#7775 cleanup unnecessary assert()s

mdb_page_malloc(): Move VGMEMP_ALLOC before memset

ITS#7771 mdb_cursor_del0(): Fix xcursor tracking.

sprintf format: pid_t need not be an int.

Add mdb_dbg_pgno(): (sub)pagenum for debug output.

ITS#7772 Reduce spurious sub-page growth.

mdb_cursor_put(): Use free sub-page space added by a
previous put(existing DUPSORT item), if any.
Tweak NUMKEYS code to avoid a new signedness warning.

ITS#7665 Drop lmdb.h doc on non-overlapping flags.

It was inaccurate and misplaced. Verify it in mdb.c instead.

ITS#7515 has been fixed.

Drop UNLOCK_MUTEX_R() on mdb_reader_pid() error

Fix commit "Raise safe max MDB_MAXKEYSIZE."

I.e. d69d2ce2307e9d0e2167843935c386b05a869c31, it left out some changes.

Replace MDB_node.mn_offset[], to ease debugging.

Comment MDB_node, mdb_page_unspill, mdb_update_key

Fix mdb_reader_list() and its spec.

It and the MDB_msg_func can now return >= 0 for success.
Always return any MDB_msg_func() error result.

Support dynamic max MDB keysize.

Raise safe max MDB_MAXKEYSIZE.

Use a sub-DB for DUPSORT item #1/#2 per key if needed: Not a sub-
page too big for a node, nor an overflow page (which not all DUPSORT
code checks for). Move "insert" code, to avoid non-loop goto upwards.

(This is the commit which needs the change to xdata.mv_size in
commit 9d6e4a916367e85ffdf37b1cb7b5cdb7ac0e15b5 "page sizes".)

Relax MDB_MAXKEYSIZE for existing data.

Handle keys stored by a liblmdb with a bigger MDB_MAXKEYSIZE.
mdb_get/mdb_del(absent key bigger than our MDB_MAXKEYSIZE)
now return MDB_NOTFOUND instead of MDB_BAD_VALSIZE.

ITS#7589 Fix me_nodemax and related node sizes.

Change me_nodemax to not count the mp_ptrs[] entry. That's mostly
how it was used. Compare node sizes ">" me_nodemax instead of ">=".
The ">=" was a workaround for confusing sizes with and without the
mp_ptrs[] entry, but broke for nodes with size (old me_nodemax-1).

Explicitly make me_nodemax even. An odd value could break the
comparisons. It was even anyway because MDB_MINKEYS == 2.

ITS#7589 Fix delete(uneven-sized MDB_DUPFIXED data).

Do not give uneven sizes to the sub-page and the node it lives in.

put(MDB_MULTIPLE): Skip existing item cleanly.

Don't set dkey.mv_size if mdb won't clear it before next iteration.

Add EVEN(): Micro-optimize "up to multiple of 2".

Warning cleanup.

Drop unused computed/assigned values.
mdb_page_alloc(): Make "mop_len>0 implies mop!=NULL" provable.

Clean up mdb_copy.

Support MDB_NOSUBDIR. Catch more errors.  Write messages
to stderr, not stdout which the data too may be piped to.

Fix GET_BOTH_RANGE

On near match, return the matched data.

ITS#7756 keysizes were wrong in mdb_update_key

Doc tweak

Measured perf cost of meminit was 7% worst case on an Intel Core2
system. YMMV.

Bump to 0.9.10

Windows/Win64/MSVC tweaks

Silence warnings, fix broken MinGW64 definitions, etc.

Clarify WRITEMAP / NOMEMINIT

Change default mem init behavior

Init malloc'd memory by default, use #MDB_NOMEMINIT to disable.
Bump version to 0.9.10

Add MDB_CLEANMEM option.

Initialize unused portions of DB pages, for security or to silence
checkers like Purify and Valgrind. Like BDB configure --enable-umrw.

Fix MDB_MAXKEYSIZE doc: Account for MDB_DUPSORT.

A node may need room for [key, subpage with 2 items] = 3 keys.

ITS#7713 Handle bigger OS page sizes

Use DB page size = min(32k, OS pagesize).  Previous limit was 8k
(MDB_MINKEYS*MDB_PAGESIZE).

Handle DB pagesize < OS pagesize. That's an I/O pessimization,
but transactions remain atomic: Only writing the MDB_meta must
be atomic, and it fits in one OS page.

Don't truncate desired subpage size: Asssign it to a size_t
(mv_size), not an uint16_t (mp_upper).

mdb_cursor_put(): Factor out code. Kill a label.

Fix prev commit, cursor depth comparison

Fix cursor_del0 cursor fixup

Skip cursors that aren't as deep as current cursor

More for #7589

ITS#7589 another mdb_page_split fix

Tweak split_indx check, go one slot further.

ITS#7736 fix regression in ITS#7733 patch

In d8eccb353b1be7f07e74149dde9a41bb199d74e8

ITS#7733 check cursor index before cursor_del

ITS#7734 Add MDB_NORDAHEAD to CHANGELESS.

Bump to 0.9.9

Add mdb_env_get_fd()

Return the environment's filedescriptor. Useful when the caller
is doing their own locking.

Fix 01dfb2083dd690707a062cabb03801bfad1a6859

USE_POSIX_SEM must define USE_HASH

ITS#7725 add MDB_NORDAHEAD flag for env_open

ITS#7589 silence warnings

ITS#7589 Fix typo in prev commit

ITS#7589 Cleanup unneeded vars in prev patch

ITS#7589 avoid wasting space in mdb_page_split

Also, check the split point on branch pages as well as leaf pages.

Add MDB_USE_HASH

There may be other uses for it besides semaphore names.

ITS#7722 fix page_merge for collapsing root

Other cursors being fixed up are not necessarily height 1.

ITS#7718 invalidate cursor when DB gets emptied

Fix mdb_env_set_mapsize()

Don't allow shrinking below minimum size for an already open env.

ITS#7715 always set filesize for WRITEMAP

Add Caveat: Readers need write access. Whitespace.

Maintain MDB_cursor.mc_top

mdb_cursor_sibling(): Fix error result

mdb_node_add(): Plug page leak when MDB_PAGE_FULL.

Do not fail after mdb_page_new() succeeds.

Optimize code holding reader mutex

Set MDB_xcursor DB_DIRTY, clear md_name.

Both were unused and md_name was unmaintained -- except
mdb_cursor_touch(xcursor) would abuse md_name as a key to
touch MAIN_DBI if it could somehow get passed ! DB_DIRTY.

Set subDB DBI=parent DBI, fix MDB_DUPSORT delete.

xcursor DBIs were parent DBI+1 for debugging. Instead output
-(parent DBI).  Fixes a crash in mdb_cursor_del0()'s xcursor
tracking, it forgot to subtract 1 for C_SUB cursors.

s/MDB_NORDLOCK/MDB_NOLOCK/

Leave all lock management to the caller.

More doc for MDB_NORDLOCK

Add MDB_NORDLOCK to omit all reader table usage

Calling app wants to manage its own locking.

Drop unneeded code.

MDB_txn.mt_toggle: Use (mt_txnid & 1) instead.
Drop error checks which will be repeated.
mdb_cursor_set(): Turn assert into if/return to match the above.
mdb_cursor_del(): 'flags' are now used as bitflags.

Clean up and simplify mdb_page_search().

Only named DBs can have DB_STALE, and they do not use MDB_PS_MODIFY.
Replace magic key values with flags.  Drop duplicated comments at
mdb_page_search_root() vs. mdb_page_search(), and rephrase.

Tweak MDB_DEBUG output

Rename SWAP() to avoid conflict with sqlightning.

Happened since sqlightning #includes mdb.c, midl.c.