ITS#7594 more for subDB cursor fix

ITS#7594 better fix

Update the subDB cursor, don't invalidate it

tweak mdb_copy, trap signals

Windows portability fixes for prev commit

Add warning about interrupting copy

Fix prev commit

Add mdb_env_copyfd()

Allow writing backup to an already opened file handle, for piping
to tar/gzip/ssh/whatever.

Add _M_IX86 macro for MSVC

ITS#7594 De-init other subcursors in page_touch

Drop unused liblmdb MIDL-range support.

Factor out mdb_find_oldest,mdb_dlist_free,dirty_list.

Do not rescan reader table (mdb_find_oldest) after "goto again".
Skip clearing dirty_list[nonzero].mid in mdb_dlist_free(); it
was not done in mdb_reset0() anyway.

mdb_stat cleanup.

Exit with success when there was no failure.
Do not use data containing NUL as a DB name (which is a C string).

ITS#7598 Tweak MDB_<NEXT/PREV>_NODUP,fix mdb_stat.

MDB_NEXT_NODUP, MDB_PREV_NODUP: Allow for non-MDB_DUPSORT databases.
No mdb.c code changes needed.

mdb_stat.c: Use MDB_NEXT_NODUP, to avoid a crash with a DUPSORT mainDB.

ITS#7598 mdb_dbi_open(named DB): Check mainDB flags.

Reject attempts to open named databases if the main
database has flag MDB_DUPSORT or MDB_INTEGERKEY.

DUPSORT would require an xcursor for the DB, INTEGERKEY
would expect the DB name to be a binary integer.

ITS#7515 Fix nested txn touch of subpage/ovpage.

mdb_page_touch(): Don't touch a subpage, replacing with non-subpage.
mdb_cursor_put(): Don't overwrite ancestor txn's dirty overflow page.

Tweak mdb_page_malloc(),mdb_page_get() semantics.

mdb_page_malloc(): Add "number of pages" parameter.
mdb_page_get(): Add output param for how page was found.
Do not set return params on error.
mdb_cursor_put(): Catch mdb_page_get() error.

Prepares for next commit, no change in caller behavior other
than on mdb_page_get error.

More ITS#7589 followup: OVPAGES() -> mp_pages.

More ITS#7589: Fix prev commit.

mp_pages gives #pages in the ovpage. OVPAGES() no longer does.

ITS#7589 mdb_cursor_put(): Update ovpage nodesize.

Update the nodesize when overwriting an overflow page.
As before, do not attempt to shrink the page.

Include <netinet/in.h> for Solaris 8

Needed for <resolv.h>, which is needed for BYTE_ORDER.

Fix mdb_page_split - nested split

If updating a page's separator triggers a split in its parent,
we may have missed adjusting the parent's cursor position.

Doxygen cleanup

Fix 66c839f0292d9aea12bf93ef6568ac2bd2ca0fc8

Forgot #include <errno.h>

Refactor mdb_midl_append, add mdb_midl_grow()

ITS#7515 Fix nested transaction error handling.

mdb_txn_begin(): Do not free(mt_free_pgs), it needs mdb_midl_free().
mdb_txn_commit(): Catch commit(child) error.

Fix mdb_env_close(unopened MDB_env).

Do not try to scan me_dbxs in a closed/never-opened MDB_env.
Broken by 7d643d3acb94a6d7306330b550fce0e5755444a9
and 151c416b460b02cd96502a47189cda19ab651ada.

Simplify/cleanup mdb_cursor_init, C_ALLOCD.

No real change.
mdb_cursor_init() checks if it needs mx, so pass it unconditionally.
Set C_ALLOCD for shadow cursors, for clarity. (It was always set as
it should anyway from the origin cursor, which would have C_ALLOCD.)

MDB warning cleanup.

Unused function when MDB_DEBUG. Unused 'excl' param.

mdb_dcmp(): Assume the database has MDB_DUPSORT.

There was little point in returning EINVAL when not: Comparing (A,B)
and (B,A) would claim (A > B && B > A), which could confuse callers.

Update MDB doc: Cursors, DB handles, data lifetime

Allow mdb_cursor_close() after readonly txn ends.

Catch mdb_cursor_renew(write txn's cursor).  Add flag C_UNTRACK, so
mdb_cursor_close need not peek inside a possibly-freed readonly txn.

Close cursors when commit(writer). Factor out code.

Close remaining cursors when committing a write txn. The doc says this
happens, and it avoids cursor tracking when updating mainDB + freeDB.

Rename mdb_cursor_merge() -> mdb_cursors_close() for code reuse,
and add a merge option.  Simplify its loop a bit.

Factor out cleanup of DBIs.

Plug txn leak and MDB_NOTLS slot leaks on error.

On mdb_env_copy() error: Abort the txn.
On mdb_txn_renew0() error: Release new MDB_NOTLS reader slot.

Cleaner "Support mdb_txn_abort(a reset txn)".

Redo 8a562f560edcc6417672df453c4e626dfb4c4024 so !mt_dbxs indicates
"txn was reset", so mt_numdbs gets one magic value instead of two.

Update fixes for dbi_open/close, ITS#7515.

Reset me_dbflags[dbi] when closing DBI, to get rid of MDB_VALID flag.
mdb_env_close(): Re-fix DB-name memleak. DBIs > me_numdbs may exist.

Allow reading freelist while working on it

The circular dependency issues appear to have been resolved.
Still, need to watch closely, maybe revert this change if
problems arise.

Avoid assert

Due to underfilled branch page. We're in the process of merging/moving
nodes to it because we already know it's underfilled. Took this approach
rather than just removing the assert in mdb_page_search_root, because
that assert may yet catch other situations we don't know about.

(Although, it has been there since the original commit of mdb.c and
has never triggered any other times...)

Plug mdb_cursor_renew() memleak

Fix MDB_LAST, reset cursor index

Fix typo from 7aba5f5ab92a3fa92de001edb2c5ff4b04fd7d0d

Tweak comments/readability.

Show MDB_PERSISTENT/MDB_VALID/DB_VALID relationship.
mdb_txn_renew0(): Remove obsolete "cannot fail" comment.

Add MDB_NOTLS envflag.

Catch MDB txn reuse/sync errors.

Support mdb_txn_abort(a reset txn).

Cleanup for TLS key and read-only filesystem.

Move key init into mdb_env_setup_locks().
Don't create unused TLS key when read-only filesystem.
Drop internal flag MDB_ROFS, we can instead test either
!me_txns, !mt_u.reader or me_lfd==INVALID_HANDLE_VALUE.

Clean up MDB_env setup.

Malloc before I/O. Avoids possible malloc error after I/O.
Don't allocate dirty & free lists when MDB_RDONLY.
Factor out code.

Fix mdb_rebalance

Don't do anything with (fake root) subpages

ITS#7574 blind fix

Fix 227329c8e1fb818548f1936f5dc1349ffd733523, don't persist
the MDB_VALID bit in db.md_flags.

fix prev commit

Fix mdb_rebalance

Need to check NUMKEYS as well as fill threshold, when deciding
whether to change anything. Don't let the page drop below the
minimum number of keys.

Revert "ITS#7570 fix MDB_GET_MULTIPLE and MDB_NEXT_MULTIPLE"

This reverts commit 372b3ddb85bef953fb548fbf2b9ef0cba4e3c8ed.

Original code works as designed.

ITS#7570 fix MDB_GET_MULTIPLE and MDB_NEXT_MULTIPLE

Fix 227329c8e1fb818548f1936f5dc1349ffd73352

mdb_dbi_close() must allow any dbi < maxdbs, since opens in an
uncommitted txn don't increment env->me_numdbs.

Revert "Fix 6beaad52129da5353fd40c0ec48e6a78c4f71a2e"

This reverts commit 8eef7a4275eda8f2fa2e0d1e67c1d5cbcd91607e.
Previous commit was correct, duplicate keys should not appear here.

Fixes for dbi_open/close, ITS#7515

ITS#7561 Fix mdb_drop bugs

Check for overflow pages, reset cursor position properly.

Fix 6beaad52129da5353fd40c0ec48e6a78c4f71a2e

In APPEND don't immediately reject matching key, since this
is valid for APPENDDUP.

Fix d3990eb2f8b2944782604a2ca7bd52e08c58fc3e

Append mode should *reject* keys that are too small.
Also allow APPENDDUP in mdb_put().

Fix rebalance when collapsing root page

When fixing other cursors, must also fix their depth.

More fixes for MDB_LAST

Make sure C_INITIALIZED gets set on successful call

ITS#7556 fix cursor_sibling for PREV

Plug MDB memory leak of DB names.

Silence signedness warning

Fix MDB_DEBUG compile when no varargs macros.

Variables mdb_debug, mdb_debug_start were used undefined.

Tweak mode_t def per Hallvard's suggestion

MSVC doesn't define mode_t

Fix CURSOR_LAST/CURSOR_PREV

ITS#7553 better fix

ITS#7553 deinit cursor after deleting last node

Silence stupid warnings

bugfix for mdb_cursor_put with MDB_MULTIPLE

If the variable dkey.mv_size is non-zero, then it means dkey
contains some original data which has to be put back in the
child db, typically when the child db has just been created.

But when using MDB_MULTIPLE, if this variable has not been
reset to zero, we may come back to this section and wrongly
think that there is some original data to be taken care of.

ITS#7538 fallout from ITS#7536 fix.

Allow leaf pages to have only 1 key.

Precalculate max size of a node

Fix f97552a83abb085bc44b1b578e550d64c1313a4b

Causes Bus Error on SPARC

Check for MADV_RANDOM

Android supports madvise but not posix_madvise

ITS#7377 Fix c0f3d9b9a8864e744a8d1eaffc99bc86026d5351

Add missing parens

Turn off readahead on main mmap

It's harmful when the DB is larger than RAM.

ITS#7536 fix mdb_rebalance

A page must always have at least 2 keys (unless it's a root page)

Use CC/LDFLAGS to link the shared lib

Install manpages too

Delete obsolete @todo

We do it now... (coalescing freelist entries in page_alloc)

Add sample apps for comparison/education purposes

Add $(DESTDIR) to make install target

Update error code instances

Tweak MDB_INCOMPATIBLE description

Tweak prev commit: Restore if-test as an assert

ITS#7515 Fix mdb_txn_commit(nested txn).

Don't modify the parent txn until the current txn cannot fail.
Don't assume new dirty child pgnos > dirty parent pgnos.

Page alloc/touch: Fail if child+parent dirty pages would exceed
dirty_list's maxsize. Avoids an error situation in commit.

ITS#7512 Plug mdb_txn_abort(nested txn) page leaks.

Also catch mdb_cursor_shadow() errors.

Check DB flags when refreshing a stale MDB DBI.

It's hairy to figure out when a DBI is valid. Catch destructive
user errors, and flags which another process changed under us.

mdb_cursor_prev,mdb_cursor_next: Fix return value.

Return mdb_node_read()'s return value if it fails, not 1.
(Can happen if mdb_page_get() fails and NDEBUG is #defined.)

ITS#7515 mdb_dbi_open(): Also open in parent txns.

This makes aborting nested and non-nested txns more
similar: The new DBI is available to the surrounding
context (parent txn and MDB_env respectively).

mdb_page_alloc(): Handle freeDB txnid range holes.

A txn writes no freeDB entry if previous txn dropped mainDB and a read
txn prevents freelist entry reuse. This surprised mdb_page_alloc (and
mdb_txn_commit too before 65c053a6e7f6973c1d09710aa1bd57b218206fcb).

ITS#7517 Document that dirty DBs may not be closed

ITS#7485 Document key/data size limits in lmdb.h.

mdb.c already describes them. The user doc should too.

Revert "ITS#7515 update parent's mt_next_pgno on child commit"

This reverts commit fd4861bf00fb0b86a9f3b80d16cbe363a8eac227.
It duplicated earlier code.

ITS#7515 update parent's mt_next_pgno on child commit

Don't limit retries when coalescing freelist

Try to use whatever's available.

ITS#7515 Fix MDB parent/child txn interaction.

mdb_txn_commit(child): Copy more state. Copy all of mt_dbs:
Include mainDB, and even freeDB since mdb_drop() can update
it. Don't skip DBs with unchanged root, this could break
when the new was newly opened and the old unused junk.

mdb_page_get(): Search parents' dirty lists.

ITS#7377 Catch MDB failure updating root pointers.

"cannot fail" was wrong, it fails at least when exceeding mapsize.

ITS#7517 Don't save dropped dirty MDB databases.

mdb_txn_commit's attempt to save the DB could corrupt another DB if
another thread had called mdb_dbi_open and reused the closed DBI.