Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Happy New Year!

Delete extraneous line

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Merge remote-tracking branch 'origin/mdb.RE/0.9'

Release 0.9.19

ITS#8554

ITS#8554 kFreeBSD is like BSD

Doesn't have POSIX robust mutexes - GNU userland on BSD kernel

More MDB_node doc

Doxygen fixes. Use DISTRIBUTE_GROUP_DOC.

- DISTRIBUTE_GROUP_DOC makes doxygen give several fields the
  same doc: mn_hi + mn_lo in MDB_node.
- With mdb_mutex_t + mdb_mutexref_t, instead split them up.

Fix its6794 test

Must NULL out indexing cursors when closing tool txn

More 0.9.19 updates

ITS#8504 Fix prev commit: mc_error, #ifdef SIGPIPE

Never clear mc_error, we could lose a failure in the other thread.

ITS#8504 mdb_env_copyfd2(): Don't abort on SIGPIPE

Return EPIPE instead.

ITS#8542 mdb_dbi_open(): Protect mainDB cursors

doxygen cleanup

Note functions which must set MDB_TXN_ERROR on failure

Other functions depend on them to do so.
For mdb_node_read(), instead remove such a dependence.

Only set me_mfd if needed. Drop unused read access.

ITS#8505 Clarify fork() caveat, mdb_env_get_fd(), flock->fcntl.

ITS#8505 Protect parent from fork()-pthread_exit()

ITS#8505 Set FD_CLOEXEC for me_mfd,env_copy as well

Move opening files to mdb_fopen()

No change in functionality.

Factor filename handling out to mdb_fname_*()

No change in functionality, except needs less mallocing.

ITS#7992 Tighter utf8_to_utf16(), fix errcodes

The 0xFFFD check seems due to misleading MultiByteToWideChar() doc.
Bad UTF-8 gives 0xFFFD in the output string, not the return value.

Clean up strange fcntl result check

...and check !MDB_CLOEXEC in an 'if' rather than '#if'
to match its non-zero usage.

Drop spurious Errcode() call

ITS#7682 F_NOCACHE: Allow error, skip any O_DIRECT

We can run without F_NOCACHE if it fails. And we do not know
what combining it with O_DIRECT means, if a system has both.

ITS#8489 reset cursor EOF flag in cursor_set

It usually gets done anyway, but one of the fastpath shortcuts
bypassed this step.

Clean up MDB_USE_ROBUST #defines

Make explicit and default nonzero equivalent. Parenthesize.

Fix mdb_page_list() message

Fix mdb_audit() printf format

ITS#8481 make shared lib suffix overridable

Comment MDB_page

Doc fixes: VALID_FLAGS, mm_last_pg, mt_loose_count

Silence warning for initializer "mdb_copy my = {0}"

1st struct member was not a scalar.

ITS#8209 MDB_CP_COMPACT: Handle empty or broken DB

Preserve DB flags (use metapage#1) when main DB is empty.
Fail if metapage root != actual root in output file.

ITS#8209 MDB_CP_COMPACT: Threading/error handling

Handle errors.  Fix cond_wait condition so mc_new
is the sole control var.  Drop specious cond_waits.
Do not look at 'mo' while copythr writes it.

Don't know if posix_memalign() pointer is defined after failure.
Some _aligned_free() doc seems to say arg NULL = user error.

Add MDB_PREV_MULTIPLE (collected mdb.master changes)

Logical counterpart to GET_MULTIPLE, NEXT_MULTIPLE

Factor out refreshing sub-page pointers

More for ITS#8406 (xcursor fixups)

Revert excess cursor fixup
xcursor fixup depends on init state

Cleanup: Add flag DB_DUPDATA, drop DB_DIRTY hack

Fix "make its"/"make regressions" to actually run the regression suite for bdb/hdb/mdb backends

Modify run.in so that it can run individual regression tests

Specifically test for error 32 on the consumer.

Fix rootdn

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

ITS#8353 - Regenerate configure

ITS#8353 -- More for OpenSSL 1.1.0 compat

ITS#8538 - Update information on the interval keyword, as it affects refreshAndPersist in very specific circumstances

ITS#8521 - Updates to test to ensure it fails where it should fail and succeeds where it should succeed.
Reference ITS#8281 as well, since these are related

Pass cursor to mdb_page_get(), mdb_node_read().

No change in behavior.

Fix comment: SysV semaphores -> Posix semaphores

ITS#8521 - Add testcase for this regression

ITS#8535 - Fix regression test for ITS#4337

ITS#8534 - Fix regression test to correctly load back-ldap if it is built as a module

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Use newer DES API so that smbk5pwd loads with newer OpenSSL

OpenSSL removed old DES API which used des_* functions.
https://github.com/openssl/openssl/commit/24956ca00f014a917fb181a8abc39b349f3f316f

In order to link with libcrypto from recent OpenSSL releases, we need
to replace the older API des_* functions by the newer API DES_* functions.

Signed-off-by: Emmanuel Dreyfus <manu@netbsd.org>

Note: previous commit was from hyc@openldap.org

More for multival attrs

check for enumerated delete that deletes all values

Merge remote-tracking branch 'origin/master' into OPENLDAP_REL_ENG_2_5

Merge remote-tracking branch 'origin/mdb.RE/0.9' into OPENLDAP_REL_ENG_2_5

ITS#8185 fix typo in man page

Add -n 0 option to example slapadd command

Fix quickstart guide to reference etc/slapd.d instead of etc/cn=config

More for ITS#8460

accesslog can alter the timestamp on contextCSN updates

ITS#8460 fix slap_op_time

broken in 2d5996ac603391ddbd618425f88eb13e5e0e2cc0
Was allowing tv_usec to exceed 999999

More for multival attrs

Fix id2entry_delete when deleting last multival entry in DB

Fix a4c7943d39df0140edacb5774e977be3f72b694c

Modify/replace was broken if attr didn't already exist

ITS#8099 bindconf ciphersuite setting is 'tls_cipher_suite'

WIN64 needs off_t redefined too

lmdb.h Caveats: Reserved vs. actual mem/disk usage

Merge remote-tracking branch 'origin/mdb.RE/0.9'

ITS#8339, #8424

mdb_env_setup_locks: Plug mutexattr leak on error

ITS#8339 Solaris 10/11 robust mutex fixes

Check for PTHREAD_MUTEX_ROBUST_NP definition (this doesn't work
on Linux/glibc because they used an enum). Zero out mutex before
initing.

ITS#8424 init cursor in mdb_env_cwalk

Comment ovpage code in mdb_cursor_put()

Fix contrib prototypes - add ConfigReply*

ITS#8442 Fix uninitialized rs->sr_text in back-meta

Fix intro comments in test configs

Catch slapmodify entry setup errors

ITS#8435 Move sc_writewait to end of slap_callback

So any initializers in code predating sc_writewait
will find sc_private in the expected position.

ITS#8435 Fix uninited slap_callback.sc_writewait

ITS#8432 fix infinite looping mods in delta-mmr

ITS#8428 init sc_writewait

ITS#8423 check for pause in accesslog_purge

Merge remote-tracking branch 'origin/mdb.RE/0.9'

RE 0.9.19

ITS#8412 fix NEXT_DUP after cursor_del

ITS#8406 fix xcursors after cursor_del

Don't leave them uninit'd if they now point at a valid DUP node

mdb_drop optimization

If we know there are no sub-DBs and no overflow pages, skip leaf scan.

ITS#8393 fix MDB_GET_BOTH on non-dup record

Tweak Win32 errmsg buffer

ITS#8414 - Remove use of "time", as it is non portable

ITS#8413 fix prev commit

Filter needs AttributeAssertions

ITS#8413 don't use str2filter on precomputable filters

and more importantly, avoid escaping requirements that str2filter has

ITS#6826 conversion scripts

These were provided as part of the original ITS but not previously committed.
Perl scripts to convert between Apache and OpenLDAP hash formats.

More for large multival attrs

We can't persist the sorted flag since the sort order between
DB and attr schema don't necessarily agree

ITS#8385 Fix use-after-free with GnuTLS

Add note about fixing dynlist to work with filters so autogroup can be purged