ITS#8280

ITS#8280 Fix Windows EOL in test output

ITS#8277

ITS#8277 simpler check for syncrepl on config DB

Windows mutexes are recursive so the trylock test will succeed
even though the mutex is already locked. Just compare be pointers.

mdb is the recommended backend to OpenLDAP

ITS#8273

ITS#8273 Windows file:// URL fixup

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_4

More misc updates

Fix typo in mdb_tassert().

No effect on current code.

ITS#8069 char* strings on Windows are ASCII

ITS#8067 add ssize_t typedef for MSVC

Simpler mdb_env_write_meta()

Kill magic numbers for NUM_METAS, databases

ITS#7377 Catch mdb_put() to blocked/read-only txns

...early enough that txn state is left unchanged.

ITS#7377 Always notice env error on txn startup.

Move the check to the end of txn startup.  Catches env
breakage which happens while the new txn waits for a lock.

Cleanup: Drop !mt_dbxs hack, use MDB_TXN_FINISHED

Catch most uses of finished/parent txns.

* Add MDB_TXN_FINISHED, MDB_TXN_HAS_CHILD, MDB_TXN_BLOCKED.
* Clear mt_numdbs in writers, for TXN_DBI_EXIST() to catch.
  We already do in readers.

Move code into mdb_txn_end(). Was mdb_txn_reset0.

Side effects:
* Clean txn up a bit even before freeing it.
* Tweak DEBUG output at txn end. Add DEBUG after commit(writer).

Factor me_metas[toggle] out to mdb_env_pick_meta()

Simpler mdb_node_add()

More ESECT declarations

Add DB_USRVALID, to avoid 'dbi == FREE_DBI' tests

Simpler flag/DBI checks and MDB_DEBUG

Simpler mdb_drop().

MDB_DBI_CHANGED(,MAIN_DBI) is never true.

Simpler mdb_node_shrink()

Simpler mdb_txn_commit().

mt_env is always set.
Commit(mt_child) resets mt_child, so parent need not.

mdb_txn_begin() cleanup

mdb_drop0(): Omit scanning DUPSORT sub-DB leaves

Use mdb_cmp_long() for FREE_DBI

mdb_env_get_flags(): Hide internal flags

Support robust mutexes/locks. Add mdb_mutex_t etc.

Add MDB_USE_POSIX_MUTEX.

So far just to help aligning mdb.master and mdb.RE.
We'll make it an option later.

Whitespace (align with mdb.master)

ITS#7969 Use __sync_synchronize()

The rest of 9a80a8a8e8feed56fbccd8851b8a789f7fff9c11
plus commit a937740aa0c47dc7a1a5e9be42dcea2dd3c81683.

Set/clear mp_pad, md_pad (MDB_DUPFIXED data size).

mdb_xcursor_init1(): md_pad is only used when MDB_DUPFIXED.
mdb_page_split():    Copy mp_pad too. Used by mdb_page_list().

Cleanup MDB_env.me_txn0.

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522.

Copy some env flags to txn. Factor out flags.

Taken from mdb_txn_begin(,,MDB_NOMETASYNC, MDB_NOSYNC,,)
without adding those two flags yet, to align with mdb.master:
Part of 54516639acab87aad156230f8a799e9128d266fe (Renumber...)
+ 8adee9464f65d1702b81a7c604f1a48baa7a0ad5 (Fix per-txn...).

ITS#7971 mdb_txn_renew0(): Fix new readers slots.

commit 9a8eb95674c7b500cfe5f44d03493ff76c9fc0c1 (mdb_txn_renew0)
plus b2ab9910dd5f13ca2d92eeb4c39a90b922df8dfe (reader allocation)
from mdb.master.

ITS#7994 Access to current transaction ID.

commit b660491d3fa359325cb3615a276bba78f32e2075 (mdb_txn_id())
plus c36c167cc49a59d4f40ae5fc259c013de601164e (fix prev commit)
from mdb.master.

Try to avoid an invalid datafile after failed init

For ITS#7789: Ensure mapsize >= pages in use.

Check new mapsizes against mm_last_pg.  Move
mdb_env_init_meta0() so it can set mm_last_pg earlier.

ITS#8263, 8264, 7771, 8270

ITS#8270 win32: fix conversion error with MSVC

ITS#7771 fix cursor tracking on fake pages

node_del shifts nodes around, cursors pointing at fake pages
need to have their mc_pg[0] corrected.

ITS#8263 streamline prev patch

ITS#8263 fix cursor tracking in cursor_put

ITS#8264 fix cursor_del cursor tracking

Some destination fixups need to happen immediately after nodes
are moved, before rebalancing

ITS#8262 more

extended ops

ITS#8262 add ldap_build_*_req functions

Basic ops except abandon and unbind; since they get no reply
it's not important for the caller to know their msgID.

ITS#8261 change sl_mem_detach to sl_mem_setctx

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_4

ITS#8258

ITS#8258 fix rebalance/split

The tree height can also increase during rebalance, not just shrink.
This can happen if update_key needs to split a parent branch page.

ITS#8259 fix usage ordering

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_4

ITS#8221 fix typos

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_4

ITS#8221, #8256

ITS#8221 don't merge branch pages needlessly

ITS#8256 Create install directories if needed

ITS#8233 (#8251)

Schema parsing ignores some slapd.conf rules

ITS#8249

ITS#8249 add option to return search entry

ITS#8244

ITS#8244 skip client controls in ldap_back_entry_get()

ITS#7897

ITS#7897 fix admin guide syncrepl TLS defaults

In 2.4 syncrepl was changed to take its TLS defaults from the slapd
configuration (commit 1cc1f9b) and the man page was updated to document
that (commit 27dd7a5). This updates the admin guide to match.

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_4

ITS#7377, 8237

ITS#8237 fix ITS#7589 regression

ITS#7377 mdb_env_init_meta(): Catch calloc error

Revert "Revert "ITS#8240""

We have never documented our use of assert, so can't expect
builders to do the right thing.
This reverts commit c5b4cd672eb4a3296e62711473e4c9b7e8a07378.

Revert "ITS#8240"

This reverts commit d65d34ccecedcf4ebbf6d467fd40a9813bdbb40f.
This reverts commit 2cf4758db28f06c63ab64fc11977b2914ecbff61.

ITS#8240

ITS#8240 remove obsolete assert

ITS#7964

ITS#7964 avoid double-unescaping rewrite rules

config_fp_parse_line processes backslash escapes. When existing rewrite
rules were reloaded while inserting a new rule, this caused backslashes
to be lost from every rule except the most recently inserted one.
config_parse_ldif performs similar splitting, but leaves backslashes
alone.

ITS#7889

ITS#7889 add olcDropUnrequested to olcRwmConfig

ITS#8235

ITS#8235 fix compiler warnings

ITS#8234

ITS#8234 revert to default policy on failure

ITS#7537

ITS#7537 release entry on failure

ITS#8233

ITS#8233 reject lines with unbalanced quotes

ITS#8232

ITS#8232 avoid redundant abandon processing

ITS#8231

ITS#8231 fix ITS#8042 regression

ITS#8198

ITS#8198 use #elif instead of #else for gnutls cases

Reserve #else for actual fallback cases.

ITS#8198 Optionally use libnettle instead of OpenSSL for crypto

OpenLDAP can be configured to be either built with OpenSSL or
GnuTLS. This commit adds support for building pw-pbkbdf2 module
without OpenSSL, by using PBKDF2 crypto primitives provided by
libnettle.
Closes hamano/openldap-pbkdf2#2

Signed-off-by: Luca Bruno <luca.bruno@rocket-internet.de>

ITS#8198 Fix an always-true check

Fixed asprintf return value check, in order to properly catch
error conditions. This has been caught by clang -Wtautological-compare:

pw-pbkdf2.c:132:17: warning: comparison of unsigned expression < 0 is always false
        if(msg->bv_len < 0){
           ~~~~~~~~~~~ ^ ~

Signed-off-by: Luca Bruno <luca.bruno@rocket-internet.de>

Doc tweak - MDB_RESERVE / DUPSORT incompat

For those people who insist on ignoring the obvious.

Fix wording for ITS8082

ITS#8173

ITS#8173 fix SEGV after failed retry