Optimize code holding reader mutex

Set MDB_xcursor DB_DIRTY, clear md_name.

Both were unused and md_name was unmaintained -- except
mdb_cursor_touch(xcursor) would abuse md_name as a key to
touch MAIN_DBI if it could somehow get passed ! DB_DIRTY.

Set subDB DBI=parent DBI, fix MDB_DUPSORT delete.

xcursor DBIs were parent DBI+1 for debugging. Instead output
-(parent DBI).  Fixes a crash in mdb_cursor_del0()'s xcursor
tracking, it forgot to subtract 1 for C_SUB cursors.

s/MDB_NORDLOCK/MDB_NOLOCK/

Leave all lock management to the caller.

More doc for MDB_NORDLOCK

Add MDB_NORDLOCK to omit all reader table usage

Calling app wants to manage its own locking.

Drop unneeded code.

MDB_txn.mt_toggle: Use (mt_txnid & 1) instead.
Drop error checks which will be repeated.
mdb_cursor_set(): Turn assert into if/return to match the above.
mdb_cursor_del(): 'flags' are now used as bitflags.

Clean up and simplify mdb_page_search().

Only named DBs can have DB_STALE, and they do not use MDB_PS_MODIFY.
Replace magic key values with flags.  Drop duplicated comments at
mdb_page_search_root() vs. mdb_page_search(), and rephrase.

Tweak MDB_DEBUG output

Rename SWAP() to avoid conflict with sqlightning.

Happened since sqlightning #includes mdb.c, midl.c.

mdb_page_unspill(): Rename local vars.

The names have caused bugs, "txn" was treated as
the current transaction.

ITS#7515 Fix mdb_page_unspill() in nested txn.

Malloc a page in this txn, not in a parent.

ITS#7515 Fix mdb_txn_commit(nested txn with spills).

Catch malloc error.
Fix hunt for dirty vs spilled pages: Don't leave x at a deleted pageno.
Cleanup: Factor out variables, squash pages already marked for deletion.

ITS#7515 Fix mt_dirty_room in nested txns.

Fix description & code: Also ignore dirty pages hidden by
spilled pages, as they won't merge into our dirty_list.
Update it in mdb_page_flush() instead of mdb_page_spill().

ITS#7515 mdb_pages_xkeep(): Careful about xcursors.

Don't prod sub-pages or pages referring to uninitialized xcursors.

mdb_pages_xkeep(): Reformat, use common flag mask

Update MDB documentation and comments.

ITS#7682 mdb_env_copy(): Avoid Linux O_DIRECT bug.

Use fcntl() to set the flag.  Linux open(,O_DIRECT...) can create
the file even on failure, if the filesystem lacks O_DIRECT support.

ITS#7681 fix 18a07eb7c2dc33372455a6040984cd6b699b41a5

Set rc=0 when taking the SET_RANGE branch

ITS#7701 fix mdb_rebalance

Must copy tmp cursor back to real cursor when merging into tmp cursor.

Release 0.9.8

updates

ITS#7682 In mdb_env_copy retry open if O_DIRECT fails

More for 5f6fa8c04204888c4ff7ac6be1868d81ff4410a8

Reset delete flag in cursor_put().

ITS#7681 fix mdb_cursor_set behaviour for MDB_SET_RANGE

Remember if last cursor op was a delete

If so, don't advance cursor on next NEXT. Also, init xcursor
on the next GET_CURRENT.

Add a changelog

Bump version to 0.9.8

Allow mdb_env_set_mapsize() on an open environment

The caller is responsible for making sure no transactions are
active in this process before resizing. This is slightly lighter
weight than doing a full env_close/env_open cycle.

ITS#7672 fix mdb_dbi_flags

Use a txn instead of env argument. Only return persistent flags.

mdb_page_unspill(): Fix dirty_room in nested txn

Another take on spill_pgs and deletes

Cleanup prev commit

Speedup deletion from spill_pgs

ITS#7671 always return the key for a dup val

ITS#7670 Tweak cursor_del0

Always leave cursor pointing at "next" node, if any.
Find next sibling if we're already at end of current page.

mdb_page_spill(): Fix nested txn mt_dirty_room

Simplify last commits

Tweak prev commit

If somehow "need" is larger than the list size, don't
try to fake out the dirty list.

Less aggressive page_spill

spilling all possible pages is a waste because the majority will be
needed again. Just do 1/8th of the dirty list instead.

Update caveats now that mdb_reader_check exists

Silence warnings

Tweak ITS#7615 fix: Obey strict-aliasing rules.

Do not access a long long as an array of longs.

ITS#7664 better fix

For RDONLY, don't get lockfile until we know datafile exists.
Also, don't try to create a new datafile for me_mfd if someone
deleted it after we got me_fd.

Revert "ITS#7664 delete lockfile if there is no environment"

This reverts commit 8725838409512e999d78ea7b60773ce2f94d588f.

ITS#7664 delete lockfile if there is no environment

Fix uninit'd mem ref in mdb_page_split

Don't compare cursors beyond their depth. (detected by valgrind)

Tweak NODUPDATA flag check

Should allow for the possibility of future flag combos.

Fix obscure MDB_MULTIPLE bug

If a key has a single existing value, and then a put (MDB_MULTIPLE)
is done where the first of the multiple values matches the existing
value, the put would return SUCCESS without writing any of the
values. Fixed to loop to the next value as intended.

Point to mdb.c for docs on macros in Makefile

Avoid compiling debug args with C90 compilers.

Use double DPRINTF() parenthesis, so varargs macros are not needed.
Parenthesize MDB_DEBUG, in case the user defines it as foo || bar.

Refuse ops on bad txns

Replace EINVALs with generalized MDB_INCOMPATIBLE.

Also check xcursor instead of DUPSORT, it's slightly briefer.

ITS#7656 fix install target

ITS#7660 Add mdb_txn_env to API

mdb_txn_commit(): Always commit if MDB_TXN_SPILLS.

Checking dirty_list was insufficient after a spill
with no named databases and no positioned cursors.

ITS#7661 mdb_dbi_flags(): Allow main DBI

mdb_del must ignore data if db not opened with MDB_DUPSORT

Add mdb_env_get_maxkeysize()

Replace unpredictable EINVAL error returns.

Return EINVAL only for simple programmer errors.

Re-fix reader-pid code

mdb_cursorpages_mark: Mark current txn and no more.

Ignore parent txn cursors since it is the current txn's dirty_list
which will be flushed. But check the current txn also when clearing,
since cursors can have pages which are dirty in a parent.

Check !mc_xcursor instead of !MDB_DUPSORT.  Equivalent for valid
data, but a bit safer if the sub-DB flags are corrupt.

Fix mdb_ovpage_free() vs. spill.

Ensure me_pghead has room before removing from spill/dirty list.
Don't return pages to me_pghead in nested txns, use mt_free_pgs.

Fix page spilling when MDB_WRITEMAP.

mdb_page_spill(): Don't binary-search the unsorted dirty_list.
mdb_page_flush(): Don't overwrite unprocessed dirty_list items.

Set MDB_TXN_ERROR when inconsistent txn state

Factor out MDB_env.

MDB_LOCK_VERSION -> MDB_LOCK_FORMAT.

Pid locking needs a different lockfile-version: MDB_env's with and
without pid locking must not coexist, they can sabotage each other.
Store MDB_LOCK_FORMAT = (version | "use locking" flag) instead.

Fix mdb_reader_pid().

Treat unexpected errors as "don't know".  Invert Pidcheck return
value, so nonzero including error codes = "the process may exist".

On Windows: Catch exited but still existing processes.  Handle
undefined PROCESS_QUERY_LIMITED_INFORMATION.
On Unix: don't trust F_GETLK error to leave the input alone,
the fcntl() doc seems unclear.

Use proper printf format on Windows

Silence warnings

Tweak comments

Clarify doc: mdb_copy, nested txns, mdb_drop().

mdb_copy: Does not copy lockfile. Can trigger file growth.
mdb_txn_begin(): Clarify usage restrictions.
mdb_drop(): State what to do rather than what will be done, since
closing the handle could otherwise be read as happening even at failure.

Tweak prev commit again

Make sure errors are propagated from init_meta

Fix typo in Win32 branch

Cleanup prev commit

Loop on copyfd meta write, since pipes may return after partial write.

ITS#7652 fix I/O error checks

partial revert of d6d2638acc245116b8f091ac425b6700d06c4713 and
26a25df5fcc2fcddae6597a61c1b867fc27c568b

The original code was already tested and working correctly.

Tweak mdb_envinfo numreaders

Return the actual shared reader count when it exists, not
just the current process env's reader count.

ITS#7615 use shorter names for semaphores

NetBSD can only handle up to 14 chars, we were using 21. Now
we encode to 15, and for NetBSD truncate the last char.

Tweak reader_pid check

Check again after acquiring rmutex. Avoids potential issue with
a duplicate pid coming in between initial check and rmutex.

Get pid lock outside of rmutex

Avoid holding rmutex for longer than necessary.

Tweak reader checks

Use mti_numreaders for loop limit, not me_maxreaders.

Add mdb_reader_check()

Split MDB_VERSION to MDB_DATA/MDB_LOCK VERSION

Tweak reader_list

Tweak mdb_stat(1)

Don't obtain reader txn before displaying reader table. Exit
after reader table if no other DB query options were given.

Add mdb_reader_list()

Dump the active slots in the reader table.

Add mdb_dbi_flags()

Retrieve the flags from a DB handle.

Fix child txn dirty_room counts in spill/unspill

Don't count pages twice if they're already accounted in an ancestor txn.

More for stale sub-cursor flags

Same fix for cursor_first/last.

Fix stale sub-cursor C_INIT flag

Whenever we enter cursor_set() the sub-cursor's flag must be
cleared. If the new cursor position has valid subdata it will
be initialized again, if not then the sub-cursor has nothing
to point to.

Tweak comments, defaults should be OK already

Bump version to 0.9.7

Also set/clear P_KEEP in parent txn's cursors

Spill pages, take 3

Delay touching pages until cursor is positioned.

This avoids unnecessary rewrites of pages that do not change.
(Restructuring for upcoming mdb_page_spill work.)

Simplify: Always set C_UNTRACK for tracked cursors.

TODO: Rename C_UNTRACK to C_TRACKED.  Omitted now for readability.
The current name is because it's lazy: not always set when tracked.

Save freelist using proper mdb_cursor_put().

(Restructuring for upcoming mdb_page_spill work.)
mdb_freelist_save() can't just Get() the destination, since
mdb_page_spill() may have put the destination in the read-only map.

TODO: Can this new put() modify the freelist, which would break it? The
final iteration's put() can shorten the node, the rest uses MDB_CURRENT.

We could set P_KEEP on dirty freeDB leaves and ovpages, since they are
all about to be modified.  But the code in this commit must stay anyway,
if mdb should support dropping a 256G DB. I.e. too big for dirty_list.

Move code out to mdb_page_dirty()

Factor out parent

Fix env_read_header() on Windows

Commit d6d2638acc245116b8f091ac425b6700d06c4713 broke read
on zero-length files.