Notes for ITS#8294 remaining bits for 2.5 and later

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

ITS#8295 fix Windows microsecond timer

Also add ldap_pvt_gettimeofday() to
emulate gettimeofday on Windows

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

ITS#8215 fix cd9980c48b0a6b5e4c0fb56dc2a1bc4c845f4040

Wrong function signature

ITS#8292 Fix ldif-filter, drop workaround for bug

ITS#8289 fix mod Increment with inherited attr type

ITS#8216 fix ldif-filter invocation

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Merge remote-tracking branch 'origin/mdb.RE/0.9'

More misc updates

ITS#8216 Windows compat

Fix typo in mdb_tassert().

No effect on current code.

ITS#8069 char* strings on Windows are ASCII

ITS#8067 add ssize_t typedef for MSVC

Simpler mdb_env_write_meta()

Kill magic numbers for NUM_METAS, databases

ITS#7377 Catch mdb_put() to blocked/read-only txns

...early enough that txn state is left unchanged.

ITS#7377 Always notice env error on txn startup.

Move the check to the end of txn startup.  Catches env
breakage which happens while the new txn waits for a lock.

Cleanup: Drop !mt_dbxs hack, use MDB_TXN_FINISHED

Catch most uses of finished/parent txns.

* Add MDB_TXN_FINISHED, MDB_TXN_HAS_CHILD, MDB_TXN_BLOCKED.
* Clear mt_numdbs in writers, for TXN_DBI_EXIST() to catch.
  We already do in readers.

Move code into mdb_txn_end(). Was mdb_txn_reset0.

Side effects:
* Clean txn up a bit even before freeing it.
* Tweak DEBUG output at txn end. Add DEBUG after commit(writer).

Factor me_metas[toggle] out to mdb_env_pick_meta()

Simpler mdb_node_add()

More ESECT declarations

Add DB_USRVALID, to avoid 'dbi == FREE_DBI' tests

Simpler flag/DBI checks and MDB_DEBUG

Simpler mdb_drop().

MDB_DBI_CHANGED(,MAIN_DBI) is never true.

Simpler mdb_node_shrink()

Simpler mdb_txn_commit().

mt_env is always set.
Commit(mt_child) resets mt_child, so parent need not.

mdb_txn_begin() cleanup

mdb_drop0(): Omit scanning DUPSORT sub-DB leaves

Use mdb_cmp_long() for FREE_DBI

mdb_env_get_flags(): Hide internal flags

Support robust mutexes/locks. Add mdb_mutex_t etc.

Add MDB_USE_POSIX_MUTEX.

So far just to help aligning mdb.master and mdb.RE.
We'll make it an option later.

Whitespace (align with mdb.master)

ITS#7969 Use __sync_synchronize()

The rest of 9a80a8a8e8feed56fbccd8851b8a789f7fff9c11
plus commit a937740aa0c47dc7a1a5e9be42dcea2dd3c81683.

Set/clear mp_pad, md_pad (MDB_DUPFIXED data size).

mdb_xcursor_init1(): md_pad is only used when MDB_DUPFIXED.
mdb_page_split():    Copy mp_pad too. Used by mdb_page_list().

Cleanup MDB_env.me_txn0.

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522.

Copy some env flags to txn. Factor out flags.

Taken from mdb_txn_begin(,,MDB_NOMETASYNC, MDB_NOSYNC,,)
without adding those two flags yet, to align with mdb.master:
Part of 54516639acab87aad156230f8a799e9128d266fe (Renumber...)
+ 8adee9464f65d1702b81a7c604f1a48baa7a0ad5 (Fix per-txn...).

ITS#7971 mdb_txn_renew0(): Fix new readers slots.

commit 9a8eb95674c7b500cfe5f44d03493ff76c9fc0c1 (mdb_txn_renew0)
plus b2ab9910dd5f13ca2d92eeb4c39a90b922df8dfe (reader allocation)
from mdb.master.

ITS#7994 Access to current transaction ID.

commit b660491d3fa359325cb3615a276bba78f32e2075 (mdb_txn_id())
plus c36c167cc49a59d4f40ae5fc259c013de601164e (fix prev commit)
from mdb.master.

Try to avoid an invalid datafile after failed init

For ITS#7789: Ensure mapsize >= pages in use.

Check new mapsizes against mm_last_pg.  Move
mdb_env_init_meta0() so it can set mm_last_pg earlier.

ITS#8114 LDAP MODIFY handling

ITS#8114 suppress warn message

ITS#8215 Make slapmodify test failures fatal

ITS#8215 Add config tool delete support

ITS#8215 Add mdb tool delete support

ITS#8215 Add bdb tool delete support

ITS#8215 Change BI_tool_entry_delete signature

ITS#8215 Make editing of invalid entries possible

If the database does not conform to any known schema, make it possible
to edit such a database using slapmodify when schema-checking is
disabled.

ITS#8215 Do not crash on an empty entry

ITS#8215 Remove a memory leak

ITS#8215 Use the correct transaction

ITS#8215 Add slapmodify manpage

ITS#8215 Manpage fixes

ITS#8284 olcRelay needs quotes

Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8263, 8264, 7771, 8270

ITS#8270 win32: fix conversion error with MSVC

ITS#7771 fix cursor tracking on fake pages

node_del shifts nodes around, cursors pointing at fake pages
need to have their mc_pg[0] corrected.

ITS#8263 streamline prev patch

ITS#8263 fix cursor tracking in cursor_put

ITS#8264 fix cursor_del cursor tracking

Some destination fixups need to happen immediately after nodes
are moved, before rebalancing

Cleanup

Log the same pointer in queue_csn as graduate_

ITS#8281 more for prev commit

ITS#8281 fix delta-mmr with interrupted refresh

Prevent spurious contextCSN generation
and ignore consumers when we have no contextCSN yet.
But make sure to propagate valid contextCSN updates to
accesslog/syncprov for delta consumers.

ITS#8280 Fix Windows EOL in test output

ITS#8277 simpler check for syncrepl on config DB

Windows mutexes are recursive so the trylock test will succeed
even though the mutex is already locked. Just compare be pointers.

mdb is the recommended backend to OpenLDAP

ITS#8273 Windows file:// URL fixup

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

ITS#8258

Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8258 fix rebalance/split

The tree height can also increase during rebalance, not just shrink.
This can happen if update_key needs to split a parent branch page.

ITS#8262 more

extended ops

ITS#8262 add ldap_build_*_req functions

Basic ops except abandon and unbind; since they get no reply
it's not important for the caller to know their msgID.

ITS#8261 change sl_mem_detach to sl_mem_setctx

ITS#8259 fix usage ordering

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8221 fix typos

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8221, #8256

ITS#8221 don't merge branch pages needlessly

ITS#8256 Create install directories if needed

ITS#8230 add GnuTLS/nettle support

ITS#8230 fix padding count

ITS#8230 Don't skip tval on big-endian

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

ITS#8233 (#8251)

Schema parsing ignores some slapd.conf rules

Note ITS#8245

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_5

ITS#8249 add option to return search entry

ITS#7897 fix admin guide syncrepl TLS defaults

In 2.4 syncrepl was changed to take its TLS defaults from the slapd
configuration (commit 1cc1f9b) and the man page was updated to document
that (commit 27dd7a5). This updates the admin guide to match.

ITS#8244 skip client controls in ldap_back_entry_get()