Merge remote-tracking branch 'origin/mdb.master'

ITS#7635 simplify 9474c1a0b62cad57b62855d09a201670385caa80

Merge remote-tracking branch 'origin/mdb.master'

ITS#7635 fix read txn potential data race

Fix uninit warnings, lseek usage

Fix alloc/free issues.

Page leak, mdb_page_alloc(). On error, don't shorten me_pghead.
Memleak, mdb_ovpage_free(). Free page or keep it in dirty_list.
Bad MIDL, mdb_midl_need(). Fix midl[-1] (allocated size).

Factor out some vars, simplify.

Makefile/user-macro comments.

Tweak I/O, fix last commit.

ITS#7628 fix back-mdb txn refcount

If multiple ops used the same opinfo the refcount wasn't being decremented

Improve MDB error handling, drop seek calls.

Catch I/O errors. Do nothing between OS call failure and ErrCode().
Do not use errno after non-OS-errors like write() >= 0, which could
give a failure return of success (errno 0) or some irrelevant error
code.  Drop seek calls, use pwrite/pread/Windows OVERLAPPED offset.

Fix Windows I/O.

Don't put a 64-bit filesize in a 32-bit int before shifting
down.  Always pass &sizehi to SetFilePointer->maxsize, so
sizelo not is treated a signed distance.  Hide unused vars
when _WIN32.  Reinitialize OVERLAPPED before reuse.

Catch more MDB errors. DPRINTF in mdb_env_reset0.

Tweak MIDLs, catch errors.

Grow midls earlier in order to catch errors earlier.  Use
mdb_midl_need() instead of mdb_midl_grow(), then mdb_midl_xappend()
needs no error checks. Factor out mdb_midl_append_range().

Factor out MDB variables/expressions, cleanup.

mdb_page_malloc(): Take a txn arg instead of a cursor.

Rearrange MDB dirty page code.

Split out mdb_dpage_free(), mdb_page_flush() and clean up.

Simplify mdb_page_alloc().

Merge if() branches. Restore retry=500 when MDB_PARANOID, for clarity.

ITS#7620: Keep empty IDLs. Tweak mdb_page_alloc().

MDB_env.me_pghead: Don't free it when empty. mdb_ovpage_free()
needs it, but cannot allocate it.
mdb_midl_alloc(): Fill in length=0.
mdb_page_alloc(): Also Skip freeDB if txnid<3, instead of <4,
and consistently DPRINTF consumed IDLs.

ITS#7623 Clear P_SUBP on conversion from fake page

ITS#7580 Fix autogroup when no attrs in URI.

Do not use lvals[], lnvals[] out of scope.

ITS#7515 Nested MDB txns: Inherit txn flags.

Committing a nested txn lost the MDB_TXN_DIRTY flag
in the parent, unless the child had set it too.

Clean up mdb_page_touch(), mdb_page_copy().

When copying, round up/down to aligned sizes. Skip the unused portion,
this was not done when touching a page dirty in the parent txn.
No other change in behavior.

Simplify mdb_page_touch(), including: Drop test m3==mc, the condition
is caught below. Don't "modify" the parent's pgno into the same pgno,
when a nested txn copies a parent's page into its freelist.

ITS#7594 Fix MDB cursor tracking with subDBs.

The tracking code should not change the current cursor.
It did when that was a C_SUB cursor, which should not be
checked against the tracked cursors but their xcursors.

However, do not bother to skip the tracking code for the
current cursor when it would not change that cursor anyway.

ITS#7594 Invalidate a dropped MDB DB's cursors.

Don't #define _GNU_SOURCE if already defined.

More for ITS#7620 Fix mdb_ovpage_free().

Do not binary-search dirty_list, it is unsorted when MDB_WRITEMAP.
Catch errors. In nested txns, put the page in mt_free_pgs after
all since pages dirty in a parent txn would add complexities.

Partial revert c2cac4588a40480c020d320b544bc5f8e72adb11

MDB_NEXT was fine before, duh.

Drop me_pgfree, add mdb_freelist_save().

Split up saving me_pghead, to make me_pgfree unneeded. Also mf_pghead
is now a midl. Needed after e7f6767ea815fe0ada1f95037dfdec176ec4d5bb
("Return fresh overflow pages to current pghead").
Tweak MDB_DEBUG freelist output, make it ascending.

Fix CURSOR_NEXT/PREV on emptied DB

Make sure mdb_stat() gets valid data

Return fresh overflow pages to current pghead

And remove them from the current dirty list.

ITS#7594 more for subDB cursor fix

ITS#7594 better fix

Update the subDB cursor, don't invalidate it

tweak mdb_copy, trap signals

Windows portability fixes for prev commit

Add warning about interrupting copy

Fix prev commit

Add mdb_env_copyfd()

Allow writing backup to an already opened file handle, for piping
to tar/gzip/ssh/whatever.

ITS#7611 Fix loglevel2bvarray

Disable databases & overlays (experimental)

Do not use. backend/overlay code needs to be fixed accordingly.
In particular, code which currently frees configuration in _db_close()
must be changed to free only in _db_destroy().

After restructuring, it must be possible to call _db_close()/_db_open()
multiple times in succession without requiring _db_config() in between.

ITS#7608 allow slapadd w/unknown RDNs for config DB

ITS#7590 tweak bdb/hdb/mdb notes

ITS#7588 plug memleak

ITS#7608 promoted attrs must have valid ad_index

ITS#7609 add per-target filter patterns

Add _M_IX86 macro for MSVC

ITS#7604 fix modrdn, base-scope search

ITS#7588 fix possible NULL-deref in prev commit

ITS#7583 Fix ldap_init_fd() for LDAP_PROTO_UDP

ldap_init_fd() tried to handle UDP sockets but was missing
certain key pieces to make it work. Fill in the address and
set the UDP flag correctly.

ITS#7582 CLDAP, avoid ref to uninit'd memory

ITS#7594 De-init other subcursors in page_touch

ITS#7581 more for prev commit

ITS#7581 fix back-meta config checks

Allow base entry to be added online with targets
added later. Add SLAP_SERVER_RUNNING flag to note
that main slap_startup has already occurred.

Drop unused liblmdb MIDL-range support.

Factor out mdb_find_oldest,mdb_dlist_free,dirty_list.

Do not rescan reader table (mdb_find_oldest) after "goto again".
Skip clearing dirty_list[nonzero].mid in mdb_dlist_free(); it
was not done in mdb_reset0() anyway.

mdb_stat cleanup.

Exit with success when there was no failure.
Do not use data containing NUL as a DB name (which is a C string).

ITS#7598 Tweak MDB_<NEXT/PREV>_NODUP,fix mdb_stat.

MDB_NEXT_NODUP, MDB_PREV_NODUP: Allow for non-MDB_DUPSORT databases.
No mdb.c code changes needed.

mdb_stat.c: Use MDB_NEXT_NODUP, to avoid a crash with a DUPSORT mainDB.

ITS#7598 mdb_dbi_open(named DB): Check mainDB flags.

Reject attempts to open named databases if the main
database has flag MDB_DUPSORT or MDB_INTEGERKEY.

DUPSORT would require an xcursor for the DB, INTEGERKEY
would expect the DB name to be a binary integer.

ITS#7515 Fix nested txn touch of subpage/ovpage.

mdb_page_touch(): Don't touch a subpage, replacing with non-subpage.
mdb_cursor_put(): Don't overwrite ancestor txn's dirty overflow page.

Tweak mdb_page_malloc(),mdb_page_get() semantics.

mdb_page_malloc(): Add "number of pages" parameter.
mdb_page_get(): Add output param for how page was found.
Do not set return params on error.
mdb_cursor_put(): Catch mdb_page_get() error.

Prepares for next commit, no change in caller behavior other
than on mdb_page_get error.

More ITS#7589 followup: OVPAGES() -> mp_pages.

More ITS#7589: Fix prev commit.

mp_pages gives #pages in the ovpage. OVPAGES() no longer does.

ITS#7589 mdb_cursor_put(): Update ovpage nodesize.

Update the nodesize when overwriting an overflow page.
As before, do not attempt to shrink the page.

ITS#7577 more alias deref checks

Cleanup, fix syncrepl config errmsg

Merge remote-tracking branch 'origin/mdb.master'

Include <netinet/in.h> for Solaris 8

Needed for <resolv.h>, which is needed for BYTE_ORDER.

Merge remote-tracking branch 'origin/mdb.master'

Fix mdb_page_split - nested split

If updating a page's separator triggers a split in its parent,
we may have missed adjusting the parent's cursor position.

Doxygen cleanup

ITS#7588 fix double-free for sorted paged search

Merge remote-tracking branch 'origin/mdb.master'

Fix 66c839f0292d9aea12bf93ef6568ac2bd2ca0fc8

Forgot #include <errno.h>

Refactor mdb_midl_append, add mdb_midl_grow()

ITS#7515 Fix nested transaction error handling.

mdb_txn_begin(): Do not free(mt_free_pgs), it needs mdb_midl_free().
mdb_txn_commit(): Catch commit(child) error.

Fix mdb_env_close(unopened MDB_env).

Do not try to scan me_dbxs in a closed/never-opened MDB_env.
Broken by 7d643d3acb94a6d7306330b550fce0e5755444a9
and 151c416b460b02cd96502a47189cda19ab651ada.

Simplify/cleanup mdb_cursor_init, C_ALLOCD.

No real change.
mdb_cursor_init() checks if it needs mx, so pass it unconditionally.
Set C_ALLOCD for shadow cursors, for clarity. (It was always set as
it should anyway from the origin cursor, which would have C_ALLOCD.)

MDB warning cleanup.

Unused function when MDB_DEBUG. Unused 'excl' param.

mdb_dcmp(): Assume the database has MDB_DUPSORT.

There was little point in returning EINVAL when not: Comparing (A,B)
and (B,A) would claim (A > B && B > A), which could confuse callers.

Update MDB doc: Cursors, DB handles, data lifetime

Allow mdb_cursor_close() after readonly txn ends.

Catch mdb_cursor_renew(write txn's cursor).  Add flag C_UNTRACK, so
mdb_cursor_close need not peek inside a possibly-freed readonly txn.

Close cursors when commit(writer). Factor out code.

Close remaining cursors when committing a write txn. The doc says this
happens, and it avoids cursor tracking when updating mainDB + freeDB.

Rename mdb_cursor_merge() -> mdb_cursors_close() for code reuse,
and add a merge option.  Simplify its loop a bit.

Factor out cleanup of DBIs.

Plug txn leak and MDB_NOTLS slot leaks on error.

On mdb_env_copy() error: Abort the txn.
On mdb_txn_renew0() error: Release new MDB_NOTLS reader slot.

Cleaner "Support mdb_txn_abort(a reset txn)".

Redo 8a562f560edcc6417672df453c4e626dfb4c4024 so !mt_dbxs indicates
"txn was reset", so mt_numdbs gets one magic value instead of two.

Update fixes for dbi_open/close, ITS#7515.

Reset me_dbflags[dbi] when closing DBI, to get rid of MDB_VALID flag.
mdb_env_close(): Re-fix DB-name memleak. DBIs > me_numdbs may exist.

Allow reading freelist while working on it

The circular dependency issues appear to have been resolved.
Still, need to watch closely, maybe revert this change if
problems arise.

Merge remote branch 'origin/mdb.master'

Avoid assert

Due to underfilled branch page. We're in the process of merging/moving
nodes to it because we already know it's underfilled. Took this approach
rather than just removing the assert in mdb_page_search_root, because
that assert may yet catch other situations we don't know about.

(Although, it has been there since the original commit of mdb.c and
has never triggered any other times...)

Plug mdb_cursor_renew() memleak

ITS#7577 more for previous commit

ITS#7577 alias fixes

ITS#7513 added TCP keepalive support to back-meta

Drop ldap_int_sasl_mutex

It was introduced for Cyrus 1.5 in 2001; we've been on 2.x since 2002 and
Cyrus does its own locking when needed.

Don't expire a conn if it's still referenced

ITS#7524 make sure binding flag is set before trying to bind

ITS#7518 fix manpage

ITS#7518 resync nss-pam-ldapd files

Also note minimum version required.

Fix MDB_LAST, reset cursor index

Fix typo from 7aba5f5ab92a3fa92de001edb2c5ff4b04fd7d0d

Tweak comments/readability.

Show MDB_PERSISTENT/MDB_VALID/DB_VALID relationship.
mdb_txn_renew0(): Remove obsolete "cannot fail" comment.