ITS#6437

Add Valgrind mempool support.

Compile with -DUSE_VALGRIND. It will attempt to keep Valgrind
informed of our memory allocations. Frees are trickier since they
may be deferred indefinitely.

Fix NO_THREADS typo

ITS#6437: Fix pool version misalignment: It aligned heads, not returned blocks

ITS#6437, move structs slab_object and slab_heap from slap.h to sl_malloc.c

ITS#6437, save space: Do not allocate the tail, except if size==0.
Store a tail only in freed blocks.  (Alignment ensures there will
be room.)  Put the freed mark in next block's head.

ITS#6437 cleanup (noop patch): Join SLAP_NO_SL_MALLOC code with identical
ctx==NULL code.  Add enum No_sl_malloc to avoid #ifdef SLAP_NO_SL_MALLOC.

ITS#6437, follow up previous fixes:
Ensure Align >= sizeof(ber_len_t), to clarify the code's requirements.
Rearrange a slap_sl_malloc() branch to factor out ch_malloc fallbacks.
Fix range check (ptr+size >= endptr) -> (size >= endptr-ptr).  Fix debug msg.

Add comments

ITS#6437, slap_sl_calloc():
Check count*size overflow. Omit slap_sl_malloc failure check, it cannot fail.

ITS#6437, failure/fallback/debug handling:
slap_sl_malloc could return failure. Exit instead, like the rest of sl_malloc.
Since we increase size, reduce it before Debug() and/or fallback to ch_malloc.
Debug() before exit() on failure.  Tweak debug formats and a comment.

Conflicts:

servers/slapd/sl_malloc.c

ITS#6437 cleanup (noop change):
Move thread/nothread code to macros SET_MEMCTX()/GET_MEMCTX().
Rename some thread/memory contexts 'ctx' to thrctx/memctx to avoid confusion.

ITS#6437, fixes for stack implementation of slap_sl_realloc():
Preserve 2*int alignment on hosts where sizeof(int) == sizeof(ber_len_t).
If realloc of last block falls back to ch_malloc, free last block properly.
Fix range check (ptr + size < endptr) --> (size < endptr - ptr).

ITS#6437: Fix alignment after slap_sl_realloc().
Also use -Align instead of ~pad: Valid also for non-twos complement.

ITS#6437 cleanup (noop change): Simplify slap_sl_free() code reclaiming space

ITS#6437 cleanup (noop change): Compute pad,order_start at compile time

ITS#6437, slap_sl_mem_create():
Bugfix: Switching implementation stack<->pool on an old context could
        crash or leak, it ran the wrong implementation's cleanup code.
Cleanup:  Factor out identical stack/pool code.  Call
          slap_sl_mem_destroy(NULL,) instead of copying its pool code.
API change: slap_sl_mem_destroy(key=NULL,) gets a new meaning.  Does
            not affect current OpenLDAP code, it never passed NULL.

ITS#6972

ITS#6972 fix double-free in autogroup

ITS#7063

ITS#7063 add auto-converted LDIFs for missing schema

Syntaxes must come before attributetypes in schema object

ITS#7071

ITS#7071 check for socket() in -lnet

ITS#7065

ITS#7065 fix cn=config modify replace/delete crash

ITS#7061

ITS#7061 only return requested attrs in sssvlv response

Replaces commit 8eecc9a017584ea0b56b25f0e4750e3b16929de6

ITS#6763,7053

ITS#6763,7053 Cleanup after sending entry/searchref.

slap_send_search_entry(), slap_send_search_reference(): Never skip
the cleanup code.  Sending an entry did on sizeLimitExceeded/busy.
Sending a ref dropped rs_flush_entry() on error.

slaptest checks a configuration, not necessarily slapd.conf

ITS#7066 Reworked fix

Seems simpler this way. No need for a back-config specific
bi_access_allowed() handler.

plugged mem-leak introduced by last commit

more for ITS#7066

Delete non-release file

This ought to have been here a long time ago

ITS#7066

ITS#7066 reworked default deny ACL for cn=config

Dynamically adding ACL for cn=config didn't work correctly, when no
ACLs where present for that database upon startup. Delete the last
ACL from the DB could also lead to unexpected results.

ITS#7059

ITS#7059 replace previous patch

Bug was caused by postalAddressNormalize sending 0-length values
to UTF8StringNormalize.

Fix UTF8StringNormalize overrun on zero-length string

Detected by valgrind

ITS#7006

ITS#7006 fix MozNSS wildcard cert match

ITS#7034

ITS#7034 use mutex for connection handshake when using PEM nss

PEM nss is not thread safe when establishing the initial connection
using SSL_ForceHandshake.  Create a new mutex - tlsm_pem_mutex - to
protect this function call.
The call to SSL_ConfigServerSessionIDCache() is not thread-safe - move it
to the init section and protect it with the init mutex.

ITS#7040

ITS#7040 don't complain about other server's CSNs

Only worry if consumer has newer state for our SID. Fixes breakage
caused by ITS#6606.

ITS#7037

ITS#7037 restart consumer on Persist errors

Consumer should never get NO_SUCH_OBJECT for an Add to the underlying DB
during Persist phase.

ITS#7037 fix syncrepl_add_glue for empty suffix

ITS#7051

ITS#7051 fix GNUtls cert dn parse

ITS#7052

ITS#7052 syncrepl deletes need a non-empty CSN

Must not let the underlying DB generate its own.

back-bdb/back-mdb IDL cleanup.

Parenthesize macros.  Microoptimize IDL search.  Use RANGE_<FIRST/LAST>
when IDL is known to be a range.

Cleanup ISO C compatibility for recent commits

Support single parameter substitution in filter

deltasync test tweaks

Check replication success before stopping consumer.
Set retry/interval to make sure consumer reconnects after provider restart.

Add a few NULL checks to defend against dumb API checkers.

Unfortunately automated checkers don't seem to read the documentation
for how APIs are expected to be used, and the C declaration syntax
isn't expressive enough to encode the documented usage.

ITS#7039

fix uninit'ed vars (ITS#7039)

ITS#6925

silence warning

import ITS#6925 patch; fix peeraddr variable name clash in LDAP_CONNECTIONLESS code; fix scope of addr[] when inet_ntop(3) is used

Fix log parsing, broken by 8d74f71

tests/data/: #bdb,hdb# -> #maindb/indexdb#.

Done for keywords index,limits.  (Also do 'mode' if there were any cases.)
Change generated by:  perl -i -pw0777e '
  INIT { $q=qr/\#(?:[bh]|index|main)db\#/im; $k=qr/(?:index|limits|mode)\b/ }
  0 while s/^$q($k.*\n)((?:$q.*\n)*?)\n?$q\1/\#maindb\#$1$2/imo;
  s/^\#maindb\#index/\#indexdb\#index/igm;
' tests/data/*.* tests/data/regressions/*/*.*

tests: Add $MAINDB, $INDEXDB for [bhn]db tests.

Simplifies tests for the DB storage backends.
Adds indexing etc to ndb in some cases, to match bdb/hdb.
This also fixes some broken back-null/back-ldif settings.

Fix loglevel <integer> to be loglevel <level> to match reality (and olcLogLevel description too!)

Also track skipped (non-executable) tests

Add NOEXIT envvar to run all tests and tally failures

ITS#7035

ITS#7035 don't loop forever in wait4msg

ITS#7073

Relax entry_header, zero-length entries are valid.

Fix moduleload path

ITS#7030

ITS#7030 fix overlay_insert() with specific index

ITS#6983

ITS#6983 fix duplicate entry in HDB subtree IDL

ITS#7014
ITS#7022
ITS#7023
ITS#7028

ITS#7028 man: ldap_sync(3) ldap_sync_destroy type

ITS#7028 man: slapo-unique(5) quoting keywords

ITS#7023 document TLSCACertificateFile in the man page as it is in the Admin Guide

ITS#7022 cleanup prev commit

ITS#7022 NSS_Init* functions are not thread safe

The NSS_InitContext et. al, and their corresponding shutdown functions,
are not thread safe.  There can only be one thread at a time calling
these functions.  Protect the calls with a mutex.  Create the mutex
using a PR_CallOnce to ensure that the mutex is only created once and
not used before created.  Move the registration of the nss shutdown
callback to also use a PR_CallOnce.  Removed the call to
SSL_ClearSessionCache() because it is always called at shutdown, and we must
not call it more than once.

ITS#7014 TLS: don't check hostname if reqcert is 'allow'

If server certificate hostname does not match the server hostname,
connection is closed even if client has set TLS_REQCERT to 'allow'. This
is wrong - the documentation says, that bad certificates are being
ignored when TLS_REQCERT is set to 'allow'.

More abandon paranoia

Don't replicate refint repair ops

error messages from ldapsearch changed

further cleanup of ldapsearch response

referral is a legitimate result

make sure size limits are passed to ldapsearch

ITS#7021

add notes about pwdAllowUserChange (more about ITS#7021)

according to draft-behera, this attribute only affects password modifies by self (ITS#7021)

For #6982 fix a66fb16

ITS#7017

fix TTL tolerance (ITS#7017, patch by jvcelak@redhat.com)

ITS#7016

make sure frontend gets the {-1} (ITS#7016)

hack for #6982 - keep o_abandon set in op_free