ITS#7789 Fix mdb_env_write_meta().

Always write mapsize = max(other metapage:mapsize, env:mapsize).

Revert ITS#7789 commits, let's try this again.

Revert "ITS#7789 Fix resize vs MDB_NOMETASYNC, and a comment."
Revert "ITS#7789 more"
Revert "Revert "ITS#7789 update RESIZED errmsg text""
Revert "ITS#7789 update RESIZED errmsg text"
Revert "ITS#7789 persist mapsize changes"

This reverts commit 02285aca58f5629547263ba09e7dd685dcf6b4b5.
This reverts commit 38e71c68de2ad61fb0fd72fd40214fd9a94479b9.
This reverts commit a5e4eecb1e59e9645113bb4c63d06a23a2c4bdf9.
This reverts commit d8e18551c3f03d5205f4dc8d1711e494d3814b17.
This reverts commit 5926e54bba7c976e0837221efb20cbff384207b8.

ITS#7902

ITS#7903

ITS#7903 preserve Sorted status of attrs

ITS#7902 fix str2entry / sorted vals

ITS#7904

ITS#7904 writewait patch
    Add sc_writewait callback

    Invoked before a blocked writer waits for socket to be writable.
    Use in back-mdb to release reader txn while waiting.

ITS#7838

ITS#7838 add ORDERING rules to ppolicy attrs

ITS#7027

ITS#7027 actually implement RFC 2782 shuffle

ITS#7027 fix bugs in prev commit

ITS#7027 Implement priority/weight for DNS SRV records

From RFC 2782:

  A client MUST attempt to contact the target host with the
  lowest-numbered priority it can reach.

This patch sorts the DNS SRV records by their priority, and
additionally gives records with a larger weight a higher probability
of appearing earlier. This way, the DNS SRV records are tried in the
order of their priority.

ITS#6970, ITS#7249

ITS#6970 more error checks in add_group

ITS#6970 all attrset params are required

ITS#6970 fix deadlocks

ITS#7249 partial fix for memberof on frontendDB

ITS#6970 fix autogroup Add Entry processing

Push modifications into response callback; only execute if
main Add actually succeeded.

ITS#7868

ITS#7868 fix slapo-sock db_init

ITS#7860

ITS#7860 more for #5366, ldap_ava definition

ITS#7851

ITS#7851 contrib pw-sha2 fix int/size_t comparison

ITS#7851 tell lutil_b64_pton the correct target buffer size

ITS#7869

Fix EOL/whitespace

ITS#7869 fix do_phk_hash arguments

ITS#7859 more for revert

ITS#7859 refix

This was actually broken by 65e163d2, ITS#6947. Reverting both
of those changes and fixing #6947 again.

ITS#7893

ITS#7893 (#6508) fix a_numvals

Regenerate

ITS#7891

ITS#7891 fix ODBC link check

Due to 89bae499ed8057e22e4889f8ae6c9ee6825676ba

ITS#7877 update GnuTLS version to 2.12.0

ITS#7890

ITS#7890
Drop support for BDB 6.0.20 and later, incompatible license

ITS#7877

ITS#7877 regenerate configure

ITS#7877 require GnuTLS 2.12.0 or newer

ITS#7877 assume gnutls is at least 2.12.0

ITS#7877 assume gnutls provides cipher suites

ITS#7877 use nettle instead of gcrypt

ITS#7887

ITS#7887 doc tweaks

MDB is the name of the backend, LMDB is the name of the DB engine.
Also update some BerkeleyDB info.

ITS#7885

ITS#7885 Wrong RPATH in contrib/passwd/Makefile

Similar to #7858, another easy patch.

Fixup for win64 commit

couldn't avoid ifdefs. Silence warnings.

Windows64 32/64 silliness

On Windows64, long is the same size as int. Use size_t when we
need an actual 64 bit unsigned long.

Merge remote-tracking branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

Fix env_open mode bits

Merge remote-tracking branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

Fix mdb_cursor_count, reject uninit'd cursor

Silence prototype warnings

Typo

ITS#7896 fix for mdb_env_map

Don't pass non-NULL map address unless MDB_FIXEDMAP was used.

Fix typos

Add missing mdb_strerror calls to debug msgs

Merge remote-tracking branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

More for cursor EOF

Must also set in sub-cursor if deleting entire subDB

Zero-init copy2 writebuf

MDB_MAXKEYSIZE = 0 (dynamic value) when MDB_DEVEL

MDB_DEVEL doxygen fix

ITS#7789 Fix resize vs MDB_NOMETASYNC, and a comment.

Windows fixes

Always set the filesize when opening for writes. Otherwise
can't use backups from mdb_copy.

Windows compat

We mainly use Win32 functions, so cannot just use C-runtime strerror
to return error messages. We have to use Win32-specific messages.
Unfortunately, we document the API to return C-runtime error codes,
so we can't just switch to all Win32 error codes.

Fix loading of printable dump

Off-by-one in end check, would complain on valid input.

ITS#7789 more

persist size changes from env_open() as well. This was the
original behavior.

Revert "ITS#7789 update RESIZED errmsg text"

This reverts commit d8e18551c3f03d5205f4dc8d1711e494d3814b17.
And partially reverts mapsize check. Only mapsize increases are relevant.

ITS#7825 more

Set read txn's dbiseqs to env's. Set child txn's dbiseqs to parent's.
Simplify DBI_CHANGED test, no need to check md_name. No-op dbi_close
of already closed handle.

Updates #7789, #7825

ITS#7825 more

only update dbiseq in dbi_open on write txns

ITS#7825 tweak prev commit

dbiseqs are only checked in write txns so omit from read txns

ITS#7825 add MDB_BAD_DBI error code

Use DBI sequence numbers to detect DBIs being closed while in use.

ITS#7789 update RESIZED errmsg text

ITS#7789 persist mapsize changes

Write decreases too, not just increases. Check for any size change
that was not requested by this process.

Update LMDB version date/info

ITS#7892 Fix MacOSX section name

Merge remote-tracking branch 'origin/mdb.master' into OPENLDAP_REL_ENG_2_4

ITS#7713 cleanups

'#ifdef MDB_DEVEL' -> '#if MDB_DEVEL'
Fix comments, use actual PAGEBASE macro as originally intended.
Actually enable 64K pages. Set MDB_DATA_VERSION for testing only.

Fixes for loose pages

mdb_txn_commit(child): Give loose pages to parent.
Use a pointer beyond the page header instead of mp_next, so
we will not need to save/restore mp_pgno. This avoids a crash
caused by references to mp_pgno.

Re-fix cursor EOF

Fix in 534dcc721287cfe1051191a5cd7d3df6cf1dc409 was in wrong place

ITS#7713 handle 65536 byte page size

Fix mp_lower/mp_upper to exclude PAGEHDRSZ, which means our
max mp_upper is now pagesize - PAGEHDRSZ and won't overflow.
Currently must define MDB_DEVEL to use. Will be default for
LMDB 1.0/OpenLDAP 2.5

Set xcursor EOF after deleting last entry

Compacting copy doesn't need to snapshot metas

Windows fixes

Play games with object file layout

Use gcc section attribute to keep less frequently used functions
away from main code.

Rationalize mdb_env_copy2 API

More tweaks to copyfd2

Make sure the writer thread starts and stops when we expect it to.

More copyfd2 tweaks

Fix envinfo to return fixed map address

Windows compat

Fix subDB/ovpage copying

Larger WBUF still better on large DB

Don't check LEAF2 pages for subnodes

Add mdb_env_copy2()

And mdb_env_copyfd2(). Perform compaction on the copy. Trims out
freed pages and renumbers data pages in sequential order. This is
more CPU-intensive since it copies and modifies data pages.

dump/load need mapsize etc.