Fixes for multiple threadpool queues

Remove poolq_hash, it wasn't distributing work evenly to the queues.
Just walk through all queues and use the one with smallest
active+pending count. Since pool_retract also relied on the hash,
a different means of locating the thread to retract was needed.
Add pool_submit2 which returns the threadpool task structure,
and record which poolq this task lives on.

ITS#8574 - Deal with rDN correctly

This fixes issues with values that need escaping in the rDN when an
incorrect value would be passed to the handler and back-ldif.

ITS#8529 Avoid hiding the error if user specified CA does not load

The TLS configuration deliberately hid the error in case that
user specified CA locations cannot be read, by loading CAs from default
locations; and when user does not specify CA locations, the CAs from default
locations are not read at all.

This patch corrects the behaviour so that CAs from default location are used
if user does not specify a CA location, and user is informed of the error if
CAs cannot be loaded from the user specified location.

ITS8589 - This modifies the test so that it will not trigger the issue described in the ITS.

ITS#8253 - Further clarification around replication information

ITS#8585 Fail ldap_result if handle is already bad

ITS#8253 - better document options for the syncprov module

Document threadqueues option

Implemented in 34f832faee9f215dfdb61de52506f2905258b147

Correctly exit if the backend is back-ldap

Tweak examples to use back-mdb

ITS#8576 Revert "LDAP_TAILQ fix"

This reverts commit 8ee824832844c16d4199f3aacd8b1d613933a7d5.

Fix comparison error

More for large multival attrs

Fix 23352855028923acb8e8a4a1d5c427006085bfeb
Use custom dupsort function, pass attributeDescription in so
it can use the actual matching rule for sorting.

Ensure BCMD is always defined

Fix regression test suite logic

Fix typo

Remove bashism

Fix grammar

use /bin/bash because dash

ITS#8571 Added testsuite to cover the proxyauthz configuration for proxycache and back-ldap

ITS#8569 Add a manpage for slapo-autogroup

ITS#8544 - Grammar and escaping fixes

ITS#8565 - Clearly document rootdn requirement for the ppolicy overlay

ITS#8563 - Fix missing mentions of back-mdb

ITS#8562 - Various typo fixes

ITS#8570 - Fix typo

ITS#8568

Merge remote-tracking branch 'origin/mdb.RE/0.9'

Further fix f8ce8a82717ddefdc912fa47c07f1bdee2a3336b

Fully revert the change to GET_MULTIPLE

0.9.20 still baking

Fix f8ce8a82717ddefdc912fa47c07f1bdee2a3336b

GET_MULTIPLE was broken

Merge remote-tracking branch 'origin/mdb.RE/0.9'

Release 0.9.20

Happy New Year

ITS#8533 OpenSSL 1.1.0c compat

ITS#8557

Tweak cursor_next C_EOF check

Allow C_EOF flag to be stale

ITS#8557 fix mdb_cursor_last

Optimize mdb_page_search_root(PS_LAST) when cursor is already near
last position, ignoring C_EOF flag for now.

Checkpoint for ITS8444 work.  Need to improve failure scenario, as this can take 250+ iterations to trigger

RE 0.9.20

ITS#8558 fix mdb_load with escaped plaintext

Happy New Year!

Delete extraneous line

Merge remote-tracking branch 'origin/mdb.RE/0.9'

Release 0.9.19

ITS#8554

ITS#8554 kFreeBSD is like BSD

Doesn't have POSIX robust mutexes - GNU userland on BSD kernel

More MDB_node doc

Doxygen fixes. Use DISTRIBUTE_GROUP_DOC.

- DISTRIBUTE_GROUP_DOC makes doxygen give several fields the
  same doc: mn_hi + mn_lo in MDB_node.
- With mdb_mutex_t + mdb_mutexref_t, instead split them up.

Fix its6794 test

Must NULL out indexing cursors when closing tool txn

More 0.9.19 updates

ITS#8504 Fix prev commit: mc_error, #ifdef SIGPIPE

Never clear mc_error, we could lose a failure in the other thread.

ITS#8504 mdb_env_copyfd2(): Don't abort on SIGPIPE

Return EPIPE instead.

ITS#8542 mdb_dbi_open(): Protect mainDB cursors

doxygen cleanup

Note functions which must set MDB_TXN_ERROR on failure

Other functions depend on them to do so.
For mdb_node_read(), instead remove such a dependence.

Only set me_mfd if needed. Drop unused read access.

ITS#8505 Clarify fork() caveat, mdb_env_get_fd(), flock->fcntl.

ITS#8505 Protect parent from fork()-pthread_exit()

ITS#8505 Set FD_CLOEXEC for me_mfd,env_copy as well

Move opening files to mdb_fopen()

No change in functionality.

Factor filename handling out to mdb_fname_*()

No change in functionality, except needs less mallocing.

ITS#7992 Tighter utf8_to_utf16(), fix errcodes

The 0xFFFD check seems due to misleading MultiByteToWideChar() doc.
Bad UTF-8 gives 0xFFFD in the output string, not the return value.

Clean up strange fcntl result check

...and check !MDB_CLOEXEC in an 'if' rather than '#if'
to match its non-zero usage.

Drop spurious Errcode() call

ITS#7682 F_NOCACHE: Allow error, skip any O_DIRECT

We can run without F_NOCACHE if it fails. And we do not know
what combining it with O_DIRECT means, if a system has both.

ITS#8489 reset cursor EOF flag in cursor_set

It usually gets done anyway, but one of the fastpath shortcuts
bypassed this step.

Clean up MDB_USE_ROBUST #defines

Make explicit and default nonzero equivalent. Parenthesize.

Fix mdb_page_list() message

Fix mdb_audit() printf format

ITS#8481 make shared lib suffix overridable

Comment MDB_page

Doc fixes: VALID_FLAGS, mm_last_pg, mt_loose_count

Silence warning for initializer "mdb_copy my = {0}"

1st struct member was not a scalar.

ITS#8209 MDB_CP_COMPACT: Handle empty or broken DB

Preserve DB flags (use metapage#1) when main DB is empty.
Fail if metapage root != actual root in output file.

ITS#8209 MDB_CP_COMPACT: Threading/error handling

Handle errors.  Fix cond_wait condition so mc_new
is the sole control var.  Drop specious cond_waits.
Do not look at 'mo' while copythr writes it.

Don't know if posix_memalign() pointer is defined after failure.
Some _aligned_free() doc seems to say arg NULL = user error.

Add MDB_PREV_MULTIPLE (collected mdb.master changes)

Logical counterpart to GET_MULTIPLE, NEXT_MULTIPLE

Factor out refreshing sub-page pointers

More for ITS#8406 (xcursor fixups)

Revert excess cursor fixup
xcursor fixup depends on init state

Cleanup: Add flag DB_DUPDATA, drop DB_DIRTY hack

Fix "make its"/"make regressions" to actually run the regression suite for bdb/hdb/mdb backends

Modify run.in so that it can run individual regression tests

Specifically test for error 32 on the consumer.

Fix rootdn

ITS#8353 - Regenerate configure

ITS#8353 -- More for OpenSSL 1.1.0 compat

ITS#8538 - Update information on the interval keyword, as it affects refreshAndPersist in very specific circumstances

ITS#8521 - Updates to test to ensure it fails where it should fail and succeeds where it should succeed.
Reference ITS#8281 as well, since these are related

Pass cursor to mdb_page_get(), mdb_node_read().

No change in behavior.

Fix comment: SysV semaphores -> Posix semaphores

ITS#8521 - Add testcase for this regression

ITS#8535 - Fix regression test for ITS#4337

ITS#8534 - Fix regression test to correctly load back-ldap if it is built as a module

Use newer DES API so that smbk5pwd loads with newer OpenSSL

OpenSSL removed old DES API which used des_* functions.
https://github.com/openssl/openssl/commit/24956ca00f014a917fb181a8abc39b349f3f316f

In order to link with libcrypto from recent OpenSSL releases, we need
to replace the older API des_* functions by the newer API DES_* functions.

Signed-off-by: Emmanuel Dreyfus <manu@netbsd.org>

Note: previous commit was from hyc@openldap.org

More for multival attrs

check for enumerated delete that deletes all values

ITS#8185 fix typo in man page

Add -n 0 option to example slapadd command

Fix quickstart guide to reference etc/slapd.d instead of etc/cn=config

More for ITS#8460

accesslog can alter the timestamp on contextCSN updates