ITS#7496, more for ITS#7483

Missing entries need to be checked at runtime too, not just slapcat.
Apparently some people will still try to run slapd even after slapadd
tells them their DB load was invalid.

ITS#7490
Zero out the complete context buffer
From mhardin@symas.com

more about ITS#7493

s/directoryOperation/dSAOperation/ (ITS#7493)

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

ITS#7489
Update slapd.overlays.5 manpage index

Update slapd.overlays.5 manpage index

Merge remote branch 'origin/mdb.master'

ITS#7485 data sizes limited to 32 bits

That's all we have space for in a node record.

Merge remote-tracking branch 'origin/mdb.master'

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

ITS#7485 more size checks

ITS#7485 check maxkeysize in mdb_cursor_put

Also MDB_MAXKEYSIZE is redefinable at compile time.

One more rename

Forgot this in 98fe3390891c7577e5f2664a091088786da78ffb

add support for 'onerr' (ITS#7492)

ITS#7491 check for filled dirty page list

Very large single transactions will fail. It's not just a problem when
nested transactions are used. We could make this dynamically sized,
but I'm not sure what the point is.

ITS#7473 check DN scope before fetching id2e

This is only a 10% gain, but still worth having for now.

Merge remote-tracking branch 'origin/mdb.master'

Happy New Year

Merge remote-tracking branch 'origin/mdb.master'

Delete liblmdb/mfree. It has moved into mdb_stat.

ITS#7476 Prevent EINTR from stopping otherwise successful connect

ITS#7488 disable threaded indexer for now

No time to find the bug at the moment.
There's no performance benefit anyway.

Merge remote branch 'origin/mdb.master'

ITS#7455 don't give up so soon

If we're operating on the freelist, see if our current pghead
can satisfy the request before giving up and using new pages.

ITS#6164 avoid conn->c_mutex in send_ldap_ber

This may possibly trigger ITS#5835 again. Revert if so.

clarification about filtering for dynamically added attrs (ITS#7486)

more about ITS#7487

handle SLAP_MOD_SOFTDEL (ITS#7487) and other internal modification specifiers

fix slapd.conf name (ITS#7478)

Happy New Year

Better handling of missing entries

Treat zero-length entries properly (as missing entries) in entry_next()
and entry_get_int().

ITS#7481 fix nssov-pam-session config

Merge remote-tracking branch 'origin/mdb.master'

Fix typo

MDB is now called LMDB

Lightning Memory-Mapped Database

Merge remote-tracking branch 'origin/mdb.master'

Add initial mdb utility manpages

ITS#7477 check for invalid LDIF

Get MDB txn before acquiring a CSN

Since MDB writes are fully serialized in txn_begin, we can use CSNs as
commit sequence numbers, not just change sequence numbers. This will
prevent most instances of out-of-order writes, so syncprov will almost
never need to transmit a change without a cookieCSN. (Out-of-order is
still possible, if the write was received via syncrepl.)

Merge remote-tracking branch 'origin/mdb.master'

init_meta should write mapsize

Was leaving it 0 initially.

Merge remote-tracking branch 'origin/mdb.master'

Update version date

Merge remote-tracking branch 'origin/mdb.master'

Make sure init_meta is at beginning of file

More for prev commit

Use the latest meta page

Partially revert 65d40eb5d2c7c28df05e2c1d9b21d90e2a82e0b5

Allow both increasing and decreasing the environment size.
But don't allow decreasing below the currently occupied space.

ITS#7469 fix slapcat

Merge remote-tracking branch 'origin/mdb.master'

FIx prev commit

ITS#7454, fix example usage

Merge remote-tracking branch 'origin/mdb.master'

Add error checks to txn_commit

These ops could fail if the map is full.

ITS#7455 simplify

Don't try to reclaim overflow pages while operating on
the freelist (for now). The circular dependencies are much like
the single-page case, but worse. Maybe look into this in the
future, but it's not absolutely necessary now.

ITS#7467 add verbose freelist info

Merge remote-tracking branch 'origin/mdb.master'

ITS#7465 fail if both -a and -s specified

Merge remote-tracking branch 'origin/mdb.master'

Yet more retries for overflow page scan

Merge remote-tracking branch 'origin/mdb.master'

Freelist fixes

Keep list sorted if it grows during a write. Don't free pghead until
we're sure our writes are all finished.

Merge remote branch 'origin/mdb.master'

Fix mdb_env_copy

Just write in 2^31 sized chunks

Add support for 64 bit index hashing

Add support for 64 bit index hashing

Fix typo

See commit bb36bdcd1c22d1fbc6575452ef5c9112715ab083

Rename mdb_open/close mdb_dbi_open/close

Merge remote-tracking branch 'origin/mdb.master'

Rename mdb_open/close mdb_dbi_open/close

Avoid possible symbol clashes with MDB-Tools libmdb

Fix 5c1ee7f7ba9580d5ff29e74cbb02eee335c33d94

mdb_cursor_sibling() no longer pops cursor before returning.

Fix mdb_midl_shrink

Plug slapindex memleak

ITS#7459 fix config schema

Rename libmdb to liblmdb

Merge remote-tracking branch 'origin/mdb.master'

More retries for overflow page scan

Merge remote-tracking branch 'origin/mdb.master'

Rename libmdb to liblmdb

Add install target

Rename mdb.h to lmdb.h

Merge remote-tracking branch 'origin/mdb.master'

Rename libmdb to liblmdb, lmdb.h

Avoid naming conflicts with other mdb* packages. Bump version to 0.9.5

ITS#7455 use freelist for overflow pages

Drop unneeded #include <time.h>

Doc layout tweaks

mdb_env_sync(,force=1): Override MDB_MAPASYNC.

With MDB_MAPASYNC, the API provided no way to ensure full sync.

mdb_cursor_dbi(): Assume valid args.

It returned 0, which is the freelist DBI and is valid for a few uses.

API change: mdb_drop() only accepts del=0 or 1.

This allows for other flag values in the future.

API change: mdb_env_set_maxdbs(, *named* DBs).

Let the user specify the number of databases he will actually
use. Adding 2 for FREE_DBI and MAIN_DBI is an internal matter.

ITS#7453 Fix reset of MDB_NOSYNC/MDB_NOMETASYNC.

mdb_env_open() with these flags did not open a synchronizing
file descriptor.  Thus disabling them later did not work.

Tweak MDB_FIXEDMAP handling.

Drop mmap()'s MAP_FIXED flag, so it returns another address instead
of unmapping existing overlapping pages. Verify the returned address.

Renumber MDB_NOSUBDIR. Check mdb_env_open() flags.

MDB_NOSUBDIR was == MDB_REVERSEKEY. That affected the freelist:
Env flags are stored in mm_flags alias mm_dbs[FREE_DBI].md_flags.

It stays a persistent flag, in case mdb_env_open someday wants
to pick/verify which lockfile to use with the datafile.

Catch bad flags so they will no longer make it into the data file.

ITS#7451 fix back-ldif return on empty dir

Broken by commit 2d1af3f2f7e32eca5ff77e7e018e88d690ba5e79

ITS#7452 fix typo in envflags

ITS#7431 fix constraint_check_restrict segfault

ITS#7450 enforce SLAPD_MAX_DAEMON_THREADS

Also allow the max to be redefined at compile time. Of course, there is no
legitimate reason to do so.

ITS#7449 fix signedness for index_substr_any_*

Of course, no one would ever have any legitimate reason to set these
items to anywhere near such extreme values in the first place.

ITS#7428 Use non-blocking IO during SSL Handshake

If a timeout is set, perform the SSL Handshake using non-blocking IO.  This way
we can timeout if SSL Handshake gets stuck for whatever reason.

This code is currently hidden behind #ifdefs (LDAP_USE_NON_BLOCKING_TLS) and
disabled by default as there seem to be some problems using NON-blocking
I/O during the TLS Handshake when linking against NSS (either a bug in NSS
itself of in tls_m.c, see discussion on -devel)

This patch adds an additional parameter to ldap_int_poll() in order to indicate
if we're waiting in order to perform a read or write operation.

ITS#7445 fix deref control exposure

do not expose control until deref overlay is actually instantiated at least
once (see also ITS#6647)