ITS#5655 cleanup

ITS#5655 TLS_PROTOCOL_MIN setting

Merge remote-tracking branch 'origin/mdb.master'

Tweak mdb_envinfo numreaders

Return the actual shared reader count when it exists, not
just the current process env's reader count.

ITS#7641 don't muck with controls if slapi doesn't use them

ITS#7615 use shorter names for semaphores

NetBSD can only handle up to 14 chars, we were using 21. Now
we encode to 15, and for NetBSD truncate the last char.

Merge remote-tracking branch 'origin/mdb.master'

Tweak reader_pid check

Check again after acquiring rmutex. Avoids potential issue with
a duplicate pid coming in between initial check and rmutex.

Get pid lock outside of rmutex

Avoid holding rmutex for longer than necessary.

Merge remote-tracking branch 'origin/mdb.master'

Tweak reader checks

Use mti_numreaders for loop limit, not me_maxreaders.

Merge remote-tracking branch 'origin/mdb.master'

Add mdb_reader_check()

Split MDB_VERSION to MDB_DATA/MDB_LOCK VERSION

Tweak reader_list

Tweak mdb_stat(1)

Don't obtain reader txn before displaying reader table. Exit
after reader table if no other DB query options were given.

Add mdb_reader_list()

Dump the active slots in the reader table.

Add mdb_dbi_flags()

Retrieve the flags from a DB handle.

Merge remote-tracking branch 'origin/mdb.master'

Fix child txn dirty_room counts in spill/unspill

Don't count pages twice if they're already accounted in an ancestor txn.

More for stale sub-cursor flags

Same fix for cursor_first/last.

Fix stale sub-cursor C_INIT flag

Whenever we enter cursor_set() the sub-cursor's flag must be
cleared. If the new cursor position has valid subdata it will
be initialized again, if not then the sub-cursor has nothing
to point to.

Tweak comments, defaults should be OK already

Bump version to 0.9.7

Merge remote-tracking branch 'origin/mdb.master'

Also set/clear P_KEEP in parent txn's cursors

Spill pages, take 3

Delay touching pages until cursor is positioned.

This avoids unnecessary rewrites of pages that do not change.
(Restructuring for upcoming mdb_page_spill work.)

Simplify: Always set C_UNTRACK for tracked cursors.

TODO: Rename C_UNTRACK to C_TRACKED.  Omitted now for readability.
The current name is because it's lazy: not always set when tracked.

Save freelist using proper mdb_cursor_put().

(Restructuring for upcoming mdb_page_spill work.)
mdb_freelist_save() can't just Get() the destination, since
mdb_page_spill() may have put the destination in the read-only map.

TODO: Can this new put() modify the freelist, which would break it? The
final iteration's put() can shorten the node, the rest uses MDB_CURRENT.

We could set P_KEEP on dirty freeDB leaves and ovpages, since they are
all about to be modified.  But the code in this commit must stay anyway,
if mdb should support dropping a 256G DB. I.e. too big for dirty_list.

Move code out to mdb_page_dirty()

Factor out parent

Fix env_read_header() on Windows

Commit d6d2638acc245116b8f091ac425b6700d06c4713 broke read
on zero-length files.

Do not follow uninited cursors' page pointers.

Nor uninited cursors' subcursors' page pointers.

ITS#7636 slapi: don't free filterstr if filter didn't change

Fix rebalance/cursor adjust

When collapsing root, must also move cursor index down,
not just the page pointer.

Also in mtest, break from NEXT loops on error, otherwise it just
prints the previous key/data again, which looks confusing.

Cursors: Clear C_EOF when clearing C_INITIALIZED

Fixup other cursors after delete op

ITS#7515 Reject conflicting page versions.

If mdb_page_touch() sees a page in txn's dirty_list, that
is the page version txn's cursors should have.  Fail if
the user may be seeing and depending on another version.

ITS#7515 Fix tracking of parent txn's cursors.

Restore mc_flags and xcursors, they were tracked but not merged.
Simplify: Track parent txn's original cursors after backing them
up, instead of tracking copies and merging them back at commit.

Simplify MDB_cursor: Drop flags C_ALLOCD,C_SHADOW.

Silence more uninit warnings

Silence uninit warning in prev commit

Tweaks for MDB_MULTIPLE

Terminate loop on intermediate failures, return count of written items,
document usage.

Merge remote-tracking branch 'origin/mdb.master'

ITS#7635 simplify 9474c1a0b62cad57b62855d09a201670385caa80

Merge remote-tracking branch 'origin/mdb.master'

ITS#7635 fix read txn potential data race

Fix uninit warnings, lseek usage

Fix alloc/free issues.

Page leak, mdb_page_alloc(). On error, don't shorten me_pghead.
Memleak, mdb_ovpage_free(). Free page or keep it in dirty_list.
Bad MIDL, mdb_midl_need(). Fix midl[-1] (allocated size).

Factor out some vars, simplify.

Makefile/user-macro comments.

Tweak I/O, fix last commit.

ITS#7628 fix back-mdb txn refcount

If multiple ops used the same opinfo the refcount wasn't being decremented

Improve MDB error handling, drop seek calls.

Catch I/O errors. Do nothing between OS call failure and ErrCode().
Do not use errno after non-OS-errors like write() >= 0, which could
give a failure return of success (errno 0) or some irrelevant error
code.  Drop seek calls, use pwrite/pread/Windows OVERLAPPED offset.

Fix Windows I/O.

Don't put a 64-bit filesize in a 32-bit int before shifting
down.  Always pass &sizehi to SetFilePointer->maxsize, so
sizelo not is treated a signed distance.  Hide unused vars
when _WIN32.  Reinitialize OVERLAPPED before reuse.

Catch more MDB errors. DPRINTF in mdb_env_reset0.

Tweak MIDLs, catch errors.

Grow midls earlier in order to catch errors earlier.  Use
mdb_midl_need() instead of mdb_midl_grow(), then mdb_midl_xappend()
needs no error checks. Factor out mdb_midl_append_range().

Factor out MDB variables/expressions, cleanup.

mdb_page_malloc(): Take a txn arg instead of a cursor.

Rearrange MDB dirty page code.

Split out mdb_dpage_free(), mdb_page_flush() and clean up.

Simplify mdb_page_alloc().

Merge if() branches. Restore retry=500 when MDB_PARANOID, for clarity.

ITS#7620: Keep empty IDLs. Tweak mdb_page_alloc().

MDB_env.me_pghead: Don't free it when empty. mdb_ovpage_free()
needs it, but cannot allocate it.
mdb_midl_alloc(): Fill in length=0.
mdb_page_alloc(): Also Skip freeDB if txnid<3, instead of <4,
and consistently DPRINTF consumed IDLs.

ITS#7623 Clear P_SUBP on conversion from fake page

ITS#7580 Fix autogroup when no attrs in URI.

Do not use lvals[], lnvals[] out of scope.

ITS#7515 Nested MDB txns: Inherit txn flags.

Committing a nested txn lost the MDB_TXN_DIRTY flag
in the parent, unless the child had set it too.

Clean up mdb_page_touch(), mdb_page_copy().

When copying, round up/down to aligned sizes. Skip the unused portion,
this was not done when touching a page dirty in the parent txn.
No other change in behavior.

Simplify mdb_page_touch(), including: Drop test m3==mc, the condition
is caught below. Don't "modify" the parent's pgno into the same pgno,
when a nested txn copies a parent's page into its freelist.

ITS#7594 Fix MDB cursor tracking with subDBs.

The tracking code should not change the current cursor.
It did when that was a C_SUB cursor, which should not be
checked against the tracked cursors but their xcursors.

However, do not bother to skip the tracking code for the
current cursor when it would not change that cursor anyway.

ITS#7594 Invalidate a dropped MDB DB's cursors.

Don't #define _GNU_SOURCE if already defined.

More for ITS#7620 Fix mdb_ovpage_free().

Do not binary-search dirty_list, it is unsorted when MDB_WRITEMAP.
Catch errors. In nested txns, put the page in mt_free_pgs after
all since pages dirty in a parent txn would add complexities.

Partial revert c2cac4588a40480c020d320b544bc5f8e72adb11

MDB_NEXT was fine before, duh.

Drop me_pgfree, add mdb_freelist_save().

Split up saving me_pghead, to make me_pgfree unneeded. Also mf_pghead
is now a midl. Needed after e7f6767ea815fe0ada1f95037dfdec176ec4d5bb
("Return fresh overflow pages to current pghead").
Tweak MDB_DEBUG freelist output, make it ascending.

Fix CURSOR_NEXT/PREV on emptied DB

Make sure mdb_stat() gets valid data

Return fresh overflow pages to current pghead

And remove them from the current dirty list.

ITS#7594 more for subDB cursor fix

ITS#7594 better fix

Update the subDB cursor, don't invalidate it

tweak mdb_copy, trap signals

Windows portability fixes for prev commit

Add warning about interrupting copy

Fix prev commit

Add mdb_env_copyfd()

Allow writing backup to an already opened file handle, for piping
to tar/gzip/ssh/whatever.

ITS#7611 Fix loglevel2bvarray

Disable databases & overlays (experimental)

Do not use. backend/overlay code needs to be fixed accordingly.
In particular, code which currently frees configuration in _db_close()
must be changed to free only in _db_destroy().

After restructuring, it must be possible to call _db_close()/_db_open()
multiple times in succession without requiring _db_config() in between.

ITS#7608 allow slapadd w/unknown RDNs for config DB

ITS#7590 tweak bdb/hdb/mdb notes

ITS#7588 plug memleak

ITS#7608 promoted attrs must have valid ad_index

ITS#7609 add per-target filter patterns

Add _M_IX86 macro for MSVC

ITS#7604 fix modrdn, base-scope search

ITS#7588 fix possible NULL-deref in prev commit

ITS#7583 Fix ldap_init_fd() for LDAP_PROTO_UDP

ldap_init_fd() tried to handle UDP sockets but was missing
certain key pieces to make it work. Fill in the address and
set the UDP flag correctly.

ITS#7582 CLDAP, avoid ref to uninit'd memory

ITS#7594 De-init other subcursors in page_touch

ITS#7581 more for prev commit

ITS#7581 fix back-meta config checks

Allow base entry to be added online with targets
added later. Add SLAP_SERVER_RUNNING flag to note
that main slap_startup has already occurred.

Drop unused liblmdb MIDL-range support.

Factor out mdb_find_oldest,mdb_dlist_free,dirty_list.

Do not rescan reader table (mdb_find_oldest) after "goto again".
Skip clearing dirty_list[nonzero].mid in mdb_dlist_free(); it
was not done in mdb_reset0() anyway.

mdb_stat cleanup.

Exit with success when there was no failure.
Do not use data containing NUL as a DB name (which is a C string).