MDB_VL32 - track overflow pages too

Otherwise they'll fill up the txn's pageref list when traversing
a DB with lots of overflow records.

mdb_page_alloc(): Use original snapshot of freeDB.

I can't help thinking this should be safer, and useful somewhere.

Prep for next commit: C_WRITEMAP, C_ORIG_RDONLY.

No change in behavior.

Pass cursor to mdb_page_get(), mdb_node_read().

No change in behavior.

ITS#8324 fix for WRITEMAP

We called FlushViewOfFile with (map,mapsize) which worked fine
when we had allocated the entire map already. Now we have to make
sure to only flush as much as was actually written. Add a numpgs
argument to tell how much to flush in env_sync0().

Note that we're prepping for 1.0

MDB_VL32 support 64 bit DBs on 32 bit processors

MDB_VL32 preparation

Use 64 bit types consistently. This keeps database structures the
same size for MDB_VL32 and native 64 bit builds.

Fix typos

Add Getting Started doc

ITS#7992 cleanup

check for utf8_to_utf16 failures

mdb_dbi_open(): Catch strdup failure

ITS#8324 fix for read-only envs

ITS#8336 fix page_search_root assert on FreeDB

Let "illegal" branch pages thru on the FreeDB - the condition
is only temporary and will be fixed by the time rebalance finishes.

ITS#8334 Fix MDB_APPENDDUP vs. rewrite(single item)

ITS#8324 additional tweaks

VirtualAlloc is only needed with WRITEMAP. Regular writes
already extend the mmap implictly.

ITS#8330 Fix robust mutex detection for glibc 2.10 and 2.11

pthread_mutexattr_setrobust and pthread_mutex_consistent are provided since 2.12 not 2.10:
https://sourceware.org/git/?p=glibc.git;a=commit;h=402cd98775db1478f64c9b0dbe00664b89eb2773
https://sourceware.org/git/?p=glibc.git;a=commit;h=78ee21859939ff75ccf8bbe00499b0c462df2e2d

ITS#8169 more Makefile tweaks

Use all the same vars as main OpenLDAP makefiles

ITS#8169 more for prev patch

Missed the mkdir command

ITS#8324 incremental DB file growth for Windows

ITS#8321 cleanup unused var

from da67af1a4bf1a6d3f5d173d9daf74bb4ec66175a

ITS#8169 Allow passing mandir to make install

The motivation for this change is my distribution moving to a multiarch
layout. While the architecture specific stuff (binaries, libraries,
etc.) is installed under /usr/${host}/{bin,lib,...} architecture-independent
data should still be installed to /usr/share/.

ITS#8168 Allow passing AR to make

This is helpful when the ar executable is named differently, for
example with an arch specific prefix.

ITS#8321 fix ambiguity in cursor_put fixup

After delete/add of a node, other nodes may no longer be
pointing at the data they intended. This can confuse subsequent
fixups.

Cleanup C_DEL flag usage

Only set it if the cursor's current position was deleted

ITS#8321 More cursor fixup

Based on page_touch fixup from ITS#7594 but expanded:
make sure sub-cursors agree with main cursors.

ITS#8321 page_touch - don't fixup the cursor we just touched

ITS#8321 mdb_put cursor needs tracking too

ITS#8321 Fix mdb_cursor_set

Always reinit mc_pg[0] if cursor is not C_INITIALIZED
It might have a stale value when using nested txns

ITS#8321 deinit empty cursors

Always unset C_INIT flag if the cursor's target DB has been deleted

ITS#8323 Fix nested commit

Must remove our spilled pages from parent's dirty list

CURSOR_TMP_[UN]TRACK() -> WITH_CURSOR_TRACKING()

ITS#8320 mdb_load: fix loading data from simple text files

mdb_load -T was supposed to read escaped text, but 21b51cb7 "Add mdb_load"
made it read hex.

ITS#8319 mdb_load: explain readline and mdb_cursor_put errors

ITS#8321 reorganize page_split fixups

DUPFIXED fixups needed to occur after separator update.
MDB_RESERVE handling moved after split fixup.

ITS#8321 simplify page_split fixups

ITS#8321 track temporary cursors

In rebalance/split operations, temporary cursors need to be visible
to propagate fixups

ITS#8321 fix mdb_cursor_put

Ignore sub-cursors that shouldn't be fixed up

ITS#8321 fix mdb_cursor_shadow()

Set a valid txn so that cursor fixup code works on the shadows

ITS#8321 fix mdb_cursor_chk()

It was reporting spurious errors due to uninit'd cursors

ITS#8321 don't skip fixups on splitting cursors

Adjustments can't be skipped, in recursive calls each level must
fixup their own level.

ITS#8321 Fix del/dupsort

When deleting a dupsort key, if other cursors pointed at that key,
set them to uninit'd, not EOF. They no longer have anything to
point at.

ITS#8316 more for 60c34d14ec3ceb0762d620eef77db73dd1e911dc

ITS#8300 more for prev commit

Just tell explicitly which direction we moved/merged from

Silence some valgrind uninit warnings

Refix root split check from 5da67968afb599697d7557c13b65fb961ec408dd

ITS#7992 assume Windows paths are UTF-8

ITS#8316 cursor fixup in page_merge

Deleting the merged page requires bumping down other ki's
of the page's parent.

ITS#8315 fix ovpage_free

Keep dirty_room sync'd with dirty_list

ITS#8313 more for ITS#8062

dummy flags must be init'd due to 3d46d550

ITS#8312 Fix loose pages in commit(nested txn)

ITS#8311 add comment

ITS#8311 fix page_split from update_key

Check for top of stack. Usually the cursor only has height 1 when
calling page_split, but not always.

ITS#7209 Default MDB_DSYNC = O_SYNC if no O_DSYNC

ITS#8310 fix mdb_rebalance cursor fixup

When collapsing root, must adjust entire cursor stack

Tweak robust mutex detection for glibc

ITS#8304 fix page_merge

Was using the pre-touch dst page pointer instead of the touched page

ITS#8300 more for node_move

When moving a node from one page to another, make sure other cursors'
parent index gets adjusted too.

ITS#8300 simplify

ITS#8300 more for node_move fixups

When moving a node from the right neighbor, a different
adjustment is needed.

ITS#8300 fix node_move

Don't adjust other cursors when we added a node on the right.

ITS#8300 fix rebalance after node_move

ITS#8258, ITS#7829 fixes checked parent index to see if we were moving
from a left neighbor. Should have just checked to see if current index
was 0, meaning we added on the left. (Parent index may not tell us
anything meaningful after a nested rebalance.)

ITS#8238 fix DUPFIXED page_split

Parent mc_ki wasn't adjusted if new_indx was > split point

ITS#8299 fix page_merge cursor fixup

The parent's mc_ki has changed. We need to fix that up as well
in other cursors.

Use MDB_USE_ROBUST not MDB_NO_ROBUST

Add MDB_NO_ROBUST to disable Robust Mutexes

Fix MDB_NOSYNC,MDB_NOMETASYNC thinko

ITS#8270 win32: fix conversion error with MSVC

ITS#7771 more for prev commit

ITS#7771 fix cursor tracking on fake pages

node_del shifts nodes around, cursors pointing at fake pages
need to have their mc_pg[0] corrected.

ITS#8263 streamline prev patch

ITS#8263 fix cursor tracking in cursor_put

ITS#8264 fix cursor_del cursor tracking

Some destination fixups need to happen immediately after nodes
are moved, before rebalancing

ITS#8258 fix rebalance/split

The tree height can also increase during rebalance, not just shrink.
This can happen if update_key needs to split a parent branch page.

Fix typo in mdb_tassert().

No effect on current code.

ITS#8259 fix usage ordering

ITS#8221 fix typos

ITS#8221 cleanup prev commit

ITS#8221 don't merge branch pages needlessly

ITS#8256 Create install directories if needed

ITS#8237 fix ITS#7589 regression

ITS#7377 mdb_env_init_meta(): Catch calloc error

Doc tweak - MDB_RESERVE / DUPSORT incompat

For those people who insist on ignoring the obvious.

Another MDB_APPEND doc tweak

Missed this in 7ce29b9edbdaf34b7aeb545324008ed4dff62952

ITS#8069 char* strings on Windows are ASCII

ITS#8067 add ssize_t typedef for MSVC

Bump version to 0.9.16

ITS#8192 fix typo

ITS#8192 cleanup unused label on WIN32

ITS#8192 fix reference to EINTR on WIN32 from ITS#8106

Simpler mdb_env_write_meta()

Kill magic numbers for NUM_METAS, databases

ITS#7377 Catch mdb_put() to blocked/read-only txns

...early enough that txn state is left unchanged.

ITS#7377 Always notice env error on txn startup.

Move the check to the end of txn startup.  Catches env
breakage which happens while the new txn waits for a lock.

Cleanup: Drop !mt_dbxs hack, use MDB_TXN_FINISHED

Catch most uses of finished/parent txns.

* Add MDB_TXN_FINISHED, MDB_TXN_HAS_CHILD, MDB_TXN_BLOCKED.
* Clear mt_numdbs in writers, for TXN_DBI_EXIST() to catch.
  We already do in readers.

Move code into mdb_txn_end(). Was mdb_txn_reset0.

Side effects:
* Clean txn up a bit even before freeing it.
* Tweak DEBUG output at txn end. Add DEBUG after commit(writer).

ITS#8200 Fix mdb_midl_shrink() usage, return void

Factor me_metas[toggle] out to mdb_env_pick_meta()

Simpler mdb_node_add()