ITS#8169, #8330

ITS#8330 Fix robust mutex detection for glibc 2.10 and 2.11

pthread_mutexattr_setrobust and pthread_mutex_consistent are provided since 2.12 not 2.10:
https://sourceware.org/git/?p=glibc.git;a=commit;h=402cd98775db1478f64c9b0dbe00664b89eb2773
https://sourceware.org/git/?p=glibc.git;a=commit;h=78ee21859939ff75ccf8bbe00499b0c462df2e2d

ITS#8169 more Makefile tweaks

Fix prev commit, use all the same vars as main OpenLDAP makefiles

Return to releng

Release 0.9.17

ITS#8321 cleanup unused var

from da67af1a4bf1a6d3f5d173d9daf74bb4ec66175a

ITS#8168, 8169

ITS#8169 Allow passing mandir to make install

The motivation for this change is my distribution moving to a multiarch
layout. While the architecture specific stuff (binaries, libraries,
etc.) is installed under /usr/${host}/{bin,lib,...} architecture-independent
data should still be installed to /usr/share/.

ITS#8168 Allow passing AR to make

This is helpful when the ar executable is named differently, for
example with an arch specific prefix.

ITS#8323

ITS#8321 fix ambiguity in cursor_put fixup

After delete/add of a node, other nodes may no longer be
pointing at the data they intended. This can confuse subsequent
fixups.

Cleanup C_DEL flag usage

Only set it if the cursor's current position was deleted

ITS#8321 More cursor fixup

Based on page_touch fixup from ITS#7594 but expanded:
make sure sub-cursors agree with main cursors.

ITS#8321 page_touch - don't fixup the cursor we just touched

ITS#8321 mdb_put cursor needs tracking too

ITS#8321 Fix mdb_cursor_set

Always reinit mc_pg[0] if cursor is not C_INITIALIZED
It might have a stale value when using nested txns

ITS#8321 deinit empty cursors

Always unset C_INIT flag if the cursor's target DB has been deleted

ITS#8323 Fix nested commit

Must remove our spilled pages from parent's dirty list

CURSOR_TMP_[UN]TRACK() -> WITH_CURSOR_TRACKING()

ITS#8319, 8320

ITS#8320 mdb_load: fix loading data from simple text files

mdb_load -T was supposed to read escaped text, but 21b51cb7 "Add mdb_load"
made it read hex.

ITS#8319 mdb_load: explain readline and mdb_cursor_put errors

ITS#8316, 8321

ITS#8321 reorganize page_split fixups

DUPFIXED fixups needed to occur after separator update.
MDB_RESERVE handling moved after split fixup.

ITS#8321 simplify page_split fixups

ITS#8321 track temporary cursors

In rebalance/split operations, temporary cursors need to be visible
to propagate fixups

ITS#8321 fix mdb_cursor_put

Ignore sub-cursors that shouldn't be fixed up

ITS#8321 fix mdb_cursor_shadow()

Set a valid txn so that cursor fixup code works on the shadows

ITS#8321 fix mdb_cursor_chk()

It was reporting spurious errors due to uninit'd cursors

ITS#8321 don't skip fixups on splitting cursors

Adjustments can't be skipped, in recursive calls each level must
fixup their own level.

ITS#8321 Fix del/dupsort

When deleting a dupsort key, if other cursors pointed at that key,
set them to uninit'd, not EOF. They no longer have anything to
point at.

ITS#8300 more for prev commit

Just tell explicitly which direction we moved/merged from

Silence some valgrind uninit warnings

Refix root split check from 5da67968afb599697d7557c13b65fb961ec408dd

ITS#7992 assume Windows paths are UTF-8

ITS#8316 cursor fixup in page_merge

Deleting the merged page requires bumping down other ki's
of the page's parent.

ITS#8312, 8313, 8315

ITS#8315 fix ovpage_free

Keep dirty_room sync'd with dirty_list

ITS#8313 more for ITS#8062

dummy flags must be init'd due to 3d46d550

ITS#8312 Fix loose pages in commit(nested txn)

ITS#8311

ITS#8311 add comment

ITS#8311 fix page_split from update_key

Check for top of stack. Usually the cursor only has height 1 when
calling page_split, but not always.

ITS#7209

ITS#7209 Default MDB_DSYNC = O_SYNC if no O_DSYNC

ITS#8310

ITS#8310 fix mdb_rebalance cursor fixup

When collapsing root, must adjust entire cursor stack

Tweak robust mutex detection for glibc

ITS#8304

ITS#8304 fix page_merge

Was using the pre-touch dst page pointer instead of the touched page

ITS#8300 more for node_move

When moving a node from one page to another, make sure other cursors'
parent index gets adjusted too.

ITS#8300 simplify

ITS#8300 more for node_move fixups

When moving a node from the right neighbor, a different
adjustment is needed.

ITS#8300

ITS#8300 fix node_move

Don't adjust other cursors when we added a node on the right.

ITS#8300 fix rebalance after node_move

ITS#8258, ITS#7829 fixes checked parent index to see if we were moving
from a left neighbor. Should have just checked to see if current index
was 0, meaning we added on the left. (Parent index may not tell us
anything meaningful after a nested rebalance.)

ITS#8238, #8299

ITS#8238 fix DUPFIXED page_split

Parent mc_ki wasn't adjusted if new_indx was > split point

ITS#8299 fix page_merge cursor fixup

The parent's mc_ki has changed. We need to fix that up as well
in other cursors.

Use MDB_USE_ROBUST not MDB_NO_ROBUST

Add MDB_NO_ROBUST to disable Robust Mutexes

More misc updates

Fix typo in mdb_tassert().

No effect on current code.

ITS#8069 char* strings on Windows are ASCII

ITS#8067 add ssize_t typedef for MSVC

Simpler mdb_env_write_meta()

Kill magic numbers for NUM_METAS, databases

ITS#7377 Catch mdb_put() to blocked/read-only txns

...early enough that txn state is left unchanged.

ITS#7377 Always notice env error on txn startup.

Move the check to the end of txn startup.  Catches env
breakage which happens while the new txn waits for a lock.

Cleanup: Drop !mt_dbxs hack, use MDB_TXN_FINISHED

Catch most uses of finished/parent txns.

* Add MDB_TXN_FINISHED, MDB_TXN_HAS_CHILD, MDB_TXN_BLOCKED.
* Clear mt_numdbs in writers, for TXN_DBI_EXIST() to catch.
  We already do in readers.

Move code into mdb_txn_end(). Was mdb_txn_reset0.

Side effects:
* Clean txn up a bit even before freeing it.
* Tweak DEBUG output at txn end. Add DEBUG after commit(writer).

Factor me_metas[toggle] out to mdb_env_pick_meta()

Simpler mdb_node_add()

More ESECT declarations

Add DB_USRVALID, to avoid 'dbi == FREE_DBI' tests

Simpler flag/DBI checks and MDB_DEBUG

Simpler mdb_drop().

MDB_DBI_CHANGED(,MAIN_DBI) is never true.

Simpler mdb_node_shrink()

Simpler mdb_txn_commit().

mt_env is always set.
Commit(mt_child) resets mt_child, so parent need not.

mdb_txn_begin() cleanup

mdb_drop0(): Omit scanning DUPSORT sub-DB leaves

Use mdb_cmp_long() for FREE_DBI

mdb_env_get_flags(): Hide internal flags

Support robust mutexes/locks. Add mdb_mutex_t etc.

Add MDB_USE_POSIX_MUTEX.

So far just to help aligning mdb.master and mdb.RE.
We'll make it an option later.

Whitespace (align with mdb.master)

ITS#7969 Use __sync_synchronize()

The rest of 9a80a8a8e8feed56fbccd8851b8a789f7fff9c11
plus commit a937740aa0c47dc7a1a5e9be42dcea2dd3c81683.

Set/clear mp_pad, md_pad (MDB_DUPFIXED data size).

mdb_xcursor_init1(): md_pad is only used when MDB_DUPFIXED.
mdb_page_split():    Copy mp_pad too. Used by mdb_page_list().

Cleanup MDB_env.me_txn0.

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522.

Copy some env flags to txn. Factor out flags.

Taken from mdb_txn_begin(,,MDB_NOMETASYNC, MDB_NOSYNC,,)
without adding those two flags yet, to align with mdb.master:
Part of 54516639acab87aad156230f8a799e9128d266fe (Renumber...)
+ 8adee9464f65d1702b81a7c604f1a48baa7a0ad5 (Fix per-txn...).

ITS#7971 mdb_txn_renew0(): Fix new readers slots.

commit 9a8eb95674c7b500cfe5f44d03493ff76c9fc0c1 (mdb_txn_renew0)
plus b2ab9910dd5f13ca2d92eeb4c39a90b922df8dfe (reader allocation)
from mdb.master.

ITS#7994 Access to current transaction ID.

commit b660491d3fa359325cb3615a276bba78f32e2075 (mdb_txn_id())
plus c36c167cc49a59d4f40ae5fc259c013de601164e (fix prev commit)
from mdb.master.

Try to avoid an invalid datafile after failed init

For ITS#7789: Ensure mapsize >= pages in use.

Check new mapsizes against mm_last_pg.  Move
mdb_env_init_meta0() so it can set mm_last_pg earlier.

ITS#8263, 8264, 7771, 8270

ITS#8270 win32: fix conversion error with MSVC

ITS#7771 fix cursor tracking on fake pages

node_del shifts nodes around, cursors pointing at fake pages
need to have their mc_pg[0] corrected.

ITS#8263 streamline prev patch

ITS#8263 fix cursor tracking in cursor_put