ITS#8622 fix xcursor after cursor_del

Re-fix 6b1df0e4c7fadd21d1233d7157229b2d89ccaa04 from ITS#8406

ITS#8582 Fill in MDB_LOCK_FORMAT

Attempt to stop liblmdb variants compiled with conflicting options
from using the lockfile at the same time and thus breaking it.

Clear any struct padding in idbuf

Simplify mdb_hash_val() -> mdb_hash()

Simpler usage since it's only called once, rename to match new usage,
and drop 3 loop pessimizations which were optimizations 20 years ago.

Store lock ID instead of pathname in lockfile

This limits the namespace which the user can meddle with for
POSIX semaphores and Windows mutexes.  Their names change a
bit, they no longer have fixed lengths.

ITS#8582 MDB_LOCK_VERSION = 2 due to format change

ITS#8582 keep mutex at end of struct

since it's variable size on Linux/glibc

Workaround VL32 cursor refcounting miscount

Don't try to deref cursor page if txn's pagelist is empty

Further fix f8ce8a82717ddefdc912fa47c07f1bdee2a3336b

Fully revert the change to GET_MULTIPLE

Fix f8ce8a82717ddefdc912fa47c07f1bdee2a3336b

GET_MULTIPLE was broken

Happy New Year

More C_EOF tweaks

ITS#8557 fix prev commit

Tweak cursor_next C_EOF check

Allow C_EOF flag to be stale

ITS#8557 fix mdb_cursor_last

Optimize mdb_page_search_root(PS_LAST) when cursor is already near
last position, ignoring C_EOF flag for now.

ITS#8558 fix mdb_load with escaped plaintext

ITS#8554 kFreeBSD is like BSD

Doesn't have POSIX robust mutexes - GNU userland on BSD kernel

More MDB_node doc

Doxygen fixes. Use DISTRIBUTE_GROUP_DOC.

- DISTRIBUTE_GROUP_DOC makes doxygen give several fields the
  same doc: mn_hi + mn_lo in MDB_node.
- With mdb_mutex_t + mdb_mutexref_t, instead split them up.
- Don't hide a doxygen #name inside double quotes.

Mention MDB_PREV_MULTIPLE along with MDB_NEXT_MULTIPLE

ITS#8504 Fix prev commit: mc_error, #ifdef SIGPIPE

Never clear mc_error, we could lose a failure in the other thread.

ITS#8504 mdb_env_copyfd2(): Don't abort on SIGPIPE

Return EPIPE instead.

ITS#7377 Catch mdb_cursor_sibling() error

Clean up and comment C_UNTRACK

Don't use it as a "cursor is tracked" hint in mdb_pages_xkeep().
It's been harmless so far, but would break after mdb_cursor_copy().
Checking m0 directly short-circuits better anyway.

ITS#8355 cleanup

Drop ~C_EOF, pointless after 8c215aa970215a58ee0df458813c0405ad27a6e9

MDB_VL32 cleanup: MDB_env.mm_mapsize type

ITS#8542 mdb_dbi_open(): Protect mainDB cursors

Cleanup: Add flag DB_DUPDATA, drop DB_DIRTY hack

MDB_CP_COMPACT comments

doxygen cleanup

Note functions which must set MDB_TXN_ERROR on failure

Other functions depend on them to do so.
For mdb_node_read(), instead remove such a dependence.

MDB_VL32 mdb_page_get(): Set MDB_TXN_ERROR on failure.

Fix mdb_env_open() with MDB_VL32

Init me_rpmutex independently of MDB_NOLOCK.
Plug leaks on mdb_env_open() failure.
Tweak mdb_env_close0() to handle the rearranged mdb_env_open().

Factor out refreshing sub-page pointers

More for ITS#8406

xcursor fixup depends on init state

More for ITS#8406

Revert excess cursor fixup

Only set me_mfd if needed. Drop unused read access.

ITS#8505 Clarify fork() caveat, mdb_env_get_fd(), flock->fcntl.

ITS#8505 Protect parent from fork()-pthread_exit()

ITS#8505 Set FD_CLOEXEC for me_mfd,env_copy as well

Move opening files to mdb_fopen()

No change in functionality.

Factor filename handling out to mdb_fname_*()

No change in functionality, except needs less mallocing.

ITS#7992 Tighter utf8_to_utf16(), fix errcodes

The 0xFFFD check seems due to misleading MultiByteToWideChar() doc.
Bad UTF-8 gives 0xFFFD in the output string, not the return value.

Clean up strange fcntl result check

...and check !MDB_CLOEXEC in an 'if' rather than '#if'
to match its non-zero usage.

Drop spurious Errcode() call

ITS#7682 F_NOCACHE: Allow error, skip any O_DIRECT

We can run without F_NOCACHE if it fails. And we do not know
what combining it with O_DIRECT means, if a system has both.

Silence warning for initializer "mdb_copy my = {0}"

1st struct member was not a scalar.

ITS#8489 reset cursor EOF flag in cursor_set

It usually gets done anyway, but one of the fastpath shortcuts
bypassed this step.

Clean up MDB_USE_ROBUST #defines

Make explicit and default nonzero equivalent. Parenthesize.

Fix mdb_page_list() message

ITS#8481 make shared lib suffix overridable

MDB_VL32 plug rpage leak

mdb_cursor_set wasn't unref'ing as intended.

Comment MDB_page

Doc fixes: VALID_FLAGS, mm_last_pg, mt_loose_count

mdb_size comments

MDB_VL32: Switch to mdb_size_t formats PRIu64 & co

Drop macro Y=MDB_FMT_Y, add Yu/Yd=MDB_PRIy(). Replace
Y"d..." -> Yd"...", Y"u..." -> Yu"..." / MDB_SCNy(u)"...".

Refactor mdb_page_get()

MDB_VL32: Match mdb_size_t type with format modifier.

When using format modifier "ll" or "I64", use the matching
type unsigned <long long / __int64> rather than uint64_t.

Fix MDB_INTEGERKEY doc of integer types

Use mdb_size_t for line numbers in mdb_load

This matches the mdb_size_t entry counts.

Fix size_t/formats -> mdb_size_t for MDB_VL32

Factor some MDB_VL32-related '#if's out to macros

Add MC_OVPG() + MC_SET_OVPG(), NEED_CMP_CLONG(), MDB_CURSOR_UNREF().

Factor out MDB_SIZE_MAX, MDB_FMT_Y, MDB_FMT_Z

Add error MDB_PROBLEM, replace some MDB_CORRUPTED

When problem is most likely in txn, not on disk.

ITS#8209 Tweak previous fixes

Some _aligned_malloc() doc seems to think arg NULL = user error.
Don't know if posix_memalign() pointer is defined after failure.

ITS#8209 MDB_CP_COMPACT: Handle empty or broken DB

Preserve DB flags (use metapage#1) when main DB is empty.
Fail if metapage root != actual root in output file.

ITS#8209 MDB_CP_COMPACT fixes

Handle errors.  Fix cond_wait condition so mc_new
is the sole control var.  Drop specious cond_waits.
Do not look at 'mo' while copythr writes it.

mdb_env_setup_locks: Plug mutexattr leak on error

Init "locked" flag for SysV semaphores

ITS#8339 Solaris 10/11 robust mutex fixes

Check for PTHREAD_MUTEX_ROBUST_NP definition (this doesn't work
on Linux/glibc because they used an enum). Zero out mutex before
initing.

ITS#8424 init cursor in mdb_env_cwalk

Comment ovpage code in mdb_cursor_put()

ITS#8412 fix NEXT_DUP after cursor_del

ITS#8406 fix xcursors after cursor_del

Don't leave them uninit'd if they now point at a valid DUP node

mdb_drop optimization

If we know there are no sub-DBs and no overflow pages, skip leaf scan.

ITS#8393 fix MDB_GET_BOTH on non-dup record

MDB_VL32 - increase max write txn size

Tweak MDB_PREV_MULTIPLE for uninit'd cursor

Tweak Win32 errmsg buffer

ITS#8324 Map NTAPI result codes to WIN32 codes

ITS#7992 Fix memleak in prev change

Happy New Year

Fix MDB_VL32 mdb_cursor_count()/entrycount types

MDB_VL32 change overflow page scan

Just check the requested page, don't worry about any other pages

ITS#8363 Fix off-by-one in mdb_midl_shrink

MDB_VL32 more for 1ba5adb2ec262405f9207d6015d4f29eea548d25

fix 32bit overflow in set_mapsize

ITS#8324 fix a6ccef73ed288271f9b5871909d14a2e481c81ae

Removing the WRITEMAP test dropped this into the MDB_VL32 code path,
which was wrong.

ITS#8355 fix subcursors

make sure C_DEL gets reset in subcursor after it moves.

Update WRITEMAP doc

WIN64 needs off_t redefined too

ITS#8324 fix c4e31434c7773ee54f2ffdeb545e5740f56492a1

Actually, there is no guarantee that Windows will map newly written
data, so we need VirtualAlloc even for non-WRITEMAP.

lmdb.h Caveats: Reserved vs. actual mem/disk usage

ITS#8346 fix typo in prev commit

ITS#8347 fix off-by-one in VL32 purge

ITS#8346 free last txn0->mt_rpages in env_close

Add MDB_PREV_MULTIPLE

Logical counterpart to GET_MULTIPLE, NEXT_MULTIPLE

Fixups for env_copy with large files

wsize was being truncated to 32bits on Windows.
Only try to write 1GB at a time on Windows64;
larger writes fail with ERROR_WORKING_SET_QUOTA.

MDB_VL32 fix cursor_unref - ignore cursor with empty stack

ITS#8342 MDB_VL32/WIN32 - close file mapping handle in env_close

MDB_VL32 tweak prev commit