ITS#7682 F_NOCACHE: Allow error, skip any O_DIRECT

We can run without F_NOCACHE if it fails. And we do not know
what combining it with O_DIRECT means, if a system has both.

Silence warning for initializer "mdb_copy my = {0}"

1st struct member was not a scalar.

ITS#8489 reset cursor EOF flag in cursor_set

It usually gets done anyway, but one of the fastpath shortcuts
bypassed this step.

Clean up MDB_USE_ROBUST #defines

Make explicit and default nonzero equivalent. Parenthesize.

Fix mdb_page_list() message

ITS#8481 make shared lib suffix overridable

MDB_VL32 plug rpage leak

mdb_cursor_set wasn't unref'ing as intended.

Comment MDB_page

Doc fixes: VALID_FLAGS, mm_last_pg, mt_loose_count

mdb_size comments

MDB_VL32: Switch to mdb_size_t formats PRIu64 & co

Drop macro Y=MDB_FMT_Y, add Yu/Yd=MDB_PRIy(). Replace
Y"d..." -> Yd"...", Y"u..." -> Yu"..." / MDB_SCNy(u)"...".

Refactor mdb_page_get()

MDB_VL32: Match mdb_size_t type with format modifier.

When using format modifier "ll" or "I64", use the matching
type unsigned <long long / __int64> rather than uint64_t.

Fix MDB_INTEGERKEY doc of integer types

Use mdb_size_t for line numbers in mdb_load

This matches the mdb_size_t entry counts.

Fix size_t/formats -> mdb_size_t for MDB_VL32

Factor some MDB_VL32-related '#if's out to macros

Add MC_OVPG() + MC_SET_OVPG(), NEED_CMP_CLONG(), MDB_CURSOR_UNREF().

Factor out MDB_SIZE_MAX, MDB_FMT_Y, MDB_FMT_Z

Add error MDB_PROBLEM, replace some MDB_CORRUPTED

When problem is most likely in txn, not on disk.

ITS#8209 Tweak previous fixes

Some _aligned_malloc() doc seems to think arg NULL = user error.
Don't know if posix_memalign() pointer is defined after failure.

ITS#8209 MDB_CP_COMPACT: Handle empty or broken DB

Preserve DB flags (use metapage#1) when main DB is empty.
Fail if metapage root != actual root in output file.

ITS#8209 MDB_CP_COMPACT fixes

Handle errors.  Fix cond_wait condition so mc_new
is the sole control var.  Drop specious cond_waits.
Do not look at 'mo' while copythr writes it.

mdb_env_setup_locks: Plug mutexattr leak on error

Init "locked" flag for SysV semaphores

ITS#8339 Solaris 10/11 robust mutex fixes

Check for PTHREAD_MUTEX_ROBUST_NP definition (this doesn't work
on Linux/glibc because they used an enum). Zero out mutex before
initing.

ITS#8424 init cursor in mdb_env_cwalk

Comment ovpage code in mdb_cursor_put()

ITS#8412 fix NEXT_DUP after cursor_del

ITS#8406 fix xcursors after cursor_del

Don't leave them uninit'd if they now point at a valid DUP node

mdb_drop optimization

If we know there are no sub-DBs and no overflow pages, skip leaf scan.

ITS#8393 fix MDB_GET_BOTH on non-dup record

MDB_VL32 - increase max write txn size

Tweak MDB_PREV_MULTIPLE for uninit'd cursor

Tweak Win32 errmsg buffer

ITS#8324 Map NTAPI result codes to WIN32 codes

ITS#7992 Fix memleak in prev change

Happy New Year

Fix MDB_VL32 mdb_cursor_count()/entrycount types

MDB_VL32 change overflow page scan

Just check the requested page, don't worry about any other pages

ITS#8363 Fix off-by-one in mdb_midl_shrink

MDB_VL32 more for 1ba5adb2ec262405f9207d6015d4f29eea548d25

fix 32bit overflow in set_mapsize

ITS#8324 fix a6ccef73ed288271f9b5871909d14a2e481c81ae

Removing the WRITEMAP test dropped this into the MDB_VL32 code path,
which was wrong.

ITS#8355 fix subcursors

make sure C_DEL gets reset in subcursor after it moves.

Update WRITEMAP doc

WIN64 needs off_t redefined too

ITS#8324 fix c4e31434c7773ee54f2ffdeb545e5740f56492a1

Actually, there is no guarantee that Windows will map newly written
data, so we need VirtualAlloc even for non-WRITEMAP.

lmdb.h Caveats: Reserved vs. actual mem/disk usage

ITS#8346 fix typo in prev commit

ITS#8347 fix off-by-one in VL32 purge

ITS#8346 free last txn0->mt_rpages in env_close

Add MDB_PREV_MULTIPLE

Logical counterpart to GET_MULTIPLE, NEXT_MULTIPLE

Fixups for env_copy with large files

wsize was being truncated to 32bits on Windows.
Only try to write 1GB at a time on Windows64;
larger writes fail with ERROR_WORKING_SET_QUOTA.

MDB_VL32 fix cursor_unref - ignore cursor with empty stack

ITS#8342 MDB_VL32/WIN32 - close file mapping handle in env_close

MDB_VL32 tweak prev commit

MDB_VL32 - prevent mixing with non-VL32 builds

MDB_VL32 - Fix me_rpmutex usage

MDB_RESERVE doc

Add mdb_put text to mdb_cursor_put description for people who
fail to draw logical conclusions.

MDB_VL32 - fix prev commit

Only tweak length for read-only envs

MDB_VL32 - fix for Win32 read-only envs

We can't map with MEM_RESERVE because that requires write access
to the underlying file/section. Mapping with the default (MEM_COMMIT)
requires that we don't map past the end of the file.

MDB_VL32 - track overflow pages too

Otherwise they'll fill up the txn's pageref list when traversing
a DB with lots of overflow records.

mdb_page_alloc(): Use original snapshot of freeDB.

I can't help thinking this should be safer, and useful somewhere.

Prep for next commit: C_WRITEMAP, C_ORIG_RDONLY.

No change in behavior.

Pass cursor to mdb_page_get(), mdb_node_read().

No change in behavior.

ITS#8324 fix for WRITEMAP

We called FlushViewOfFile with (map,mapsize) which worked fine
when we had allocated the entire map already. Now we have to make
sure to only flush as much as was actually written. Add a numpgs
argument to tell how much to flush in env_sync0().

Note that we're prepping for 1.0

MDB_VL32 support 64 bit DBs on 32 bit processors

MDB_VL32 preparation

Use 64 bit types consistently. This keeps database structures the
same size for MDB_VL32 and native 64 bit builds.

Fix typos

Add Getting Started doc

ITS#7992 cleanup

check for utf8_to_utf16 failures

mdb_dbi_open(): Catch strdup failure

ITS#8324 fix for read-only envs

ITS#8336 fix page_search_root assert on FreeDB

Let "illegal" branch pages thru on the FreeDB - the condition
is only temporary and will be fixed by the time rebalance finishes.

ITS#8334 Fix MDB_APPENDDUP vs. rewrite(single item)

ITS#8324 additional tweaks

VirtualAlloc is only needed with WRITEMAP. Regular writes
already extend the mmap implictly.

ITS#8330 Fix robust mutex detection for glibc 2.10 and 2.11

pthread_mutexattr_setrobust and pthread_mutex_consistent are provided since 2.12 not 2.10:
https://sourceware.org/git/?p=glibc.git;a=commit;h=402cd98775db1478f64c9b0dbe00664b89eb2773
https://sourceware.org/git/?p=glibc.git;a=commit;h=78ee21859939ff75ccf8bbe00499b0c462df2e2d

ITS#8169 more Makefile tweaks

Use all the same vars as main OpenLDAP makefiles

ITS#8169 more for prev patch

Missed the mkdir command

ITS#8324 incremental DB file growth for Windows

ITS#8321 cleanup unused var

from da67af1a4bf1a6d3f5d173d9daf74bb4ec66175a

ITS#8169 Allow passing mandir to make install

The motivation for this change is my distribution moving to a multiarch
layout. While the architecture specific stuff (binaries, libraries,
etc.) is installed under /usr/${host}/{bin,lib,...} architecture-independent
data should still be installed to /usr/share/.

ITS#8168 Allow passing AR to make

This is helpful when the ar executable is named differently, for
example with an arch specific prefix.

ITS#8321 fix ambiguity in cursor_put fixup

After delete/add of a node, other nodes may no longer be
pointing at the data they intended. This can confuse subsequent
fixups.

Cleanup C_DEL flag usage

Only set it if the cursor's current position was deleted

ITS#8321 More cursor fixup

Based on page_touch fixup from ITS#7594 but expanded:
make sure sub-cursors agree with main cursors.

ITS#8321 page_touch - don't fixup the cursor we just touched

ITS#8321 mdb_put cursor needs tracking too

ITS#8321 Fix mdb_cursor_set

Always reinit mc_pg[0] if cursor is not C_INITIALIZED
It might have a stale value when using nested txns

ITS#8321 deinit empty cursors

Always unset C_INIT flag if the cursor's target DB has been deleted

ITS#8323 Fix nested commit

Must remove our spilled pages from parent's dirty list

CURSOR_TMP_[UN]TRACK() -> WITH_CURSOR_TRACKING()

ITS#8320 mdb_load: fix loading data from simple text files

mdb_load -T was supposed to read escaped text, but 21b51cb7 "Add mdb_load"
made it read hex.

ITS#8319 mdb_load: explain readline and mdb_cursor_put errors

ITS#8321 reorganize page_split fixups

DUPFIXED fixups needed to occur after separator update.
MDB_RESERVE handling moved after split fixup.

ITS#8321 simplify page_split fixups

ITS#8321 track temporary cursors

In rebalance/split operations, temporary cursors need to be visible
to propagate fixups

ITS#8321 fix mdb_cursor_put

Ignore sub-cursors that shouldn't be fixed up

ITS#8321 fix mdb_cursor_shadow()

Set a valid txn so that cursor fixup code works on the shadows

ITS#8321 fix mdb_cursor_chk()

It was reporting spurious errors due to uninit'd cursors