ITS#7377 Catch MDB setup errors and clean up.

ITS#7364 Limit mdb lock upgrade before sem_unlink.

Do not try shared lock when closing or after error.  Track file lock
state to decide.  Change meaning of *excl to reflect file lock state.

ITS#7364 Always sem_unlink() in mdb_env_open().

Drop the sem_unlink() error checks, which could prevent the 2nd
unlink.  Instead use O_EXCL in sem_open().

This makes "open+close the database" the API for trying to clean
away the old semaphores, if they were left behind by a previous run.

ITS#7377 Wrap sem_wait & file locks in EINTR loops

Remove mdb data races. Use (txnid_t)-1 as "no ID".

Avoid race between numreaders++ and reading numreaders at cleanup. Make
the un-mutexed reset of reader table entry, atomic: Reset mr_pid only.

Instead check mr_pid != 0 in mdb_page_alloc()'s scan for readers.
(txnid_t)-1 as "no ID"-mark avoids a check for mr_txnid != 0.
The scan can stop when seeing an old reader.

Save pid in MDB_env instead of repeating getpid().

An open MDB environment does not survive or catch fork(),
so repeating getpid() was pointless.

MDB_WRITEMAP needs no DSYNC descriptor (me_mfd)

ITS#7363 Preprocessor namespace cleanup.

Rename USE_POSIX_SEM to MDB_USE_POSIX_SEM.
Separate MDB_FDATASYNC from MDB_USE_POSIX_SEM.

More for ab04c50a32275e216b82edaeeed50208cf49336b

Fix typos, error code ranges

Add mdb_cursor_renew()

Allow cursors on read-only txns to be reused with later txns.

Shared lib should depend on pthread

Add MDB_SET_KEY cursor op

Overwrites the passed in key with the DB's key

ITS#7383 More explicit error codes

ITS#7385 fix mdb_page_split (again)

More for d793594173bb5367e466134d5fe3366feeb672f6 ITS#7229

Update comments, bump version

Note read-write vs read-only mmap tradeoffs.

msync should default to fully synchronous

Add msync support for WRITEMAP option

Add MDB_WRITEMAP to use a writable mmap

More for 57b5fbea491c956ed7a4ab7d12d802de2b29455d

Fix abort of child txn

libmdb: Fix P_INVALID when pgno_t != unsigned long

libmdb: Check sem_open() against SEM_FAILED.

In mdb_audit, change assert to fprintf

Fix mdb_audit()

due to a0993354a603a970889ad5c160c289ecca316f81

ITS#7369 mdb_stat: cleanup in case something went wrong.

ITS#7369 abort txn before exiting

ITS#7364 also close the mutexes as needed

Otherwise a process that opens and closes an env more than once
will leak mutex handles. (WIN32/BSD)

ITS#7364 Remove POSIX semaphores when the last user closes the mdb environment.

ITS#7363 Use posix semaphores on apple and bsd systems.

Loop thru all DBs and show their stats

This is quick and dirty, should be integrated into mdb_stat.

Minor cleanup

Write optimization: avoid copying unused portions of pages.

Fix txn_commit error check

Fix 205bb17793e27be67098ccc80ee919165d7cb993

Ignore current cursor pos if it's out of bounds.

Update sub-DBs before updating free list

Append mode should also detect keys that are too small

Fix root split check in mdb_page_split

Skip unneeded calls to mdb_page_get in mdb_page_search

Leave extra space when creating a fake page

Minimizes the number of memcpy's if additional dups are stored.

Append mode still needs to detect duplicates

Append tweaks, page_split fixes

Append mode now does no key comparisons, input must be in sorted order.
page_split was not updating cursor parents correctly.

Make sure cursor's DB is init'd if STALE.

Don't use env-private copy of DB root nodes.

Just lookup the DB roots as needed. When many DBs are in use,
most of the copies won't be referenced in a given txn, and
there's a bad race condition in the copy routine.

Fix darwin sem_open() names

Must begin with '/'

Fix ID -> MDB_ID due to 20baad4a207db5d0e84fc3a7409f216aefa59385

Windows thread callback support

Drop me_toggle, unused

Revert "libmdb: Do not use the MDB_txbody.mtb_txnid field."

This reverts commit 4a0b30499caab8628efcedb8be5643fead7cd17e.

Fix: avoid direct reference to meta pages

Relevant info should be copied during txn_begin only.

Add MDB_NOMETASYNC env option.

Just a trial. This may not make sense if we decide to split the
meta pages into their own separate file, to allow meta traffic to
reside on a separate spindle.

Tweak b802bcf7040110e1f0768d9d9ffa88dabd4bd5e7

Clarify prev commit, fix Doxygen comments broken by earlier changes

Partial revert of 13c663f666ac28d7a72cbe644d393fc8d2dd9881

Don't re-use free pages so soon; that leaves us vulnerable to
DB corruption if data syncs successfully but meta doesn't.

Tweak prev commit, use first unused slot

Fix mdb_open, re-use closed dbi slots

ITS#7266 fix rebalance for LEAF2 pages

More freelist tweaks, avoid referencing freed page

Further clarification of mdb_open()

ITS#7251 fix Apple/Windows shared mutex naming

libmdb: midl.h namespace cleanup.

Prefix ID, NOID, ID2, IDL, ID2L with 'MDB_'.
Also drop bdb from file description.

libmdb: Simplify pick_meta() from read_meta().

Put one call in #if MDB_DEBUG. Move DPRINTF(Using meta page #) there.

libmdb: Simplify mdb_default_cmp. No real change.

libmdb: signed meets unsigned warning cleanup

libmdb: MDB_FDATASYNC code cleanup.

Define MDB_FDATASYNC() instead of redefining fdatasync().

libmdb: Add C++ 'extern "C" {}' to *.h

libmdb: Don't open datafile twice when not needed.

If the database is opened with MDB_RDONLY or MDB_NOSYNC,
instead use the same file descriptor for me_mfd and me_fd.

Also factor out Windows/Unix error handling after open.

libmdb: Set close-on-exec flag on lockfile

libmdb: Do not use the MDB_txbody.mtb_txnid field.

Get txn->mt_txnid from the meta page instead.  Otherwise it
and txn->mt_toggle could become inconsistent, since read-only
txns fetched both from MDB_txbody without mutex proteciton.

Fix MDB_DEBUG in last ITS#7299 commit.

Make DPRINTF usable in if-else.  Silence signed vs unsigned warning.

ITS#7229 more mdb_page_split tweaks

Also add mdb_debug/mdb_debug_start to toggle debug output at runtime

ITS#7210 fix check for freelist changes

Was being fooled before because the newly malloc'd block had
the same address as the previously freed block.

ITS#7238 doc clarification

ITS#7229 additional tweaks

Should probably compare nsize to pg_size/4 instead...

ITS#7230 check and strip 0 length IDLs from freelist

ITS#7229 more mdb_page_split fixes

ITS#7219 fixup keysize in previous commit

ITS#7219 fix for odd-aligned keys in mdb_update_key()

ITS#7210 fix leak of overflow pages in freelist

Partial revert of prev commit

Sub-DBs were correct before

Fix entry counts in cursor_put

when replacing an existing item

Fix uninit'd xcursor index

Add mfree utility to show the freelist

ITS#7210 additional freelist fixes

Also allow read access to freelist in mdb_cursor_open

ITS#7210 partial fix

Allow pages from free list to be used when growing the free list.
(Yes, this is self-referential...)

ITS#7213 fix page_split with MDB_APPEND

don't skip the cursor adjust checks

Update overflow page count when freeing overflow page

Fix MDB_txninfo.mt2 padding on Windows/Apple

Tweak mdb comment with conflicting spec of 'ID'

Fix valgrind call after malloc failure in  mdb.

Also line up the code logic a bit.

Clean up MAP_FAILED handling in mdb.

Delay (MDB_txninfo*) cast to after comparing mmap() with MAP_FAILED.
Otherwise, if MAP_FAILED = (void*)-1 but MDB_txninfo requires stricter
alignment, the compiler could assume the result is never MAP_FAILED.

Also store NULL in env->(me_map, me_txns) after mmap failure.

ITS#7191 Align dirty MDB pages on the stack

ITS#7191 more alignment tweaks

Revealed when gcc optimization is enabled

Fix typo in 7bc62c512824c0d54cc6885ea876c2764510eca2

ITS#7190 fix merging of branch pages in deletes

Fix libmdb comments

Remove development file libmdb/make.sh

ITS#7191 Fix mdb_xcursor_init1() unaligned access

ITS#7196 use IOV_MAX if it's defined and small

ITS#7160 get BYTE_ORDER def for HPUX (and Solaris)

Fix typo in e8e57be42107a877f604d0c4e67115ef37681a1b

Add valgrind support with -DUSE_VALGRIND

Track allocations and invalid accesses to freed tmp pages.

txn_commit must abort txn before returning errors

Fix for failure when committing a txn that is a child of
some parent txn.