ITS#7256 A few issues discovered during testing slapmodify.

- bdb deallocates cursor after some tool operations but expects it to be
  around every time it is called
- mdb tries to allocate a second transaction while it already holds one,
  deadlocking
- op->o_hdr must exist for most uses of op, but o_tmpmfuncs need not
- what about indexing after a tool modify? Does it happen automatically?

ITS#7256 Consolidate cleanup code at one location.

ITS#7256 Rework entry retrieval and cleanup.

When doing deletes, lastmod has no entry to work on.

ITS#7256 Add some necessary checks.

ITS#7256 Set backend for operation.

slap_tool_entry_check does it but it is not called every time.

ITS#7256 Let slapmodify ignore unknown operations

ldapmodify already does the same.

ITS#7256 Allow deletes with slapmodify

ITS#7256 mplement bi_tool_entry_delete for back-ldif

ITS#7256 Introduce bi_tool_entry_delete

ITS#7256 Temporarily disable slapmodify checks

ITS#7212 rudimentary slapmodify support for back-config

ITS#7212 slapmodify support for back-ldif

ITS#7256 Introduce slapmodify test

Merge remote-tracking branch 'origin/mdb.master'

ITS#7713 cleanups

'#ifdef MDB_DEVEL' -> '#if MDB_DEVEL'
Fix comments, use actual PAGEBASE macro as originally intended.
Actually enable 64K pages. Set MDB_DATA_VERSION for testing only.

Fixes for loose pages

mdb_txn_commit(child): Give loose pages to parent.
Use a pointer beyond the page header instead of mp_next, so
we will not need to save/restore mp_pgno. This avoids a crash
caused by references to mp_pgno.

Re-fix cursor EOF

Fix in 534dcc721287cfe1051191a5cd7d3df6cf1dc409 was in wrong place

ITS#7713 handle 65536 byte page size

Fix mp_lower/mp_upper to exclude PAGEHDRSZ, which means our
max mp_upper is now pagesize - PAGEHDRSZ and won't overflow.
Currently must define MDB_DEVEL to use. Will be default for
LMDB 1.0/OpenLDAP 2.5

Set xcursor EOF after deleting last entry

Compacting copy doesn't need to snapshot metas

Windows fixes

Play games with object file layout

Use gcc section attribute to keep less frequently used functions
away from main code.

Rationalize mdb_env_copy2 API

More tweaks to copyfd2

Make sure the writer thread starts and stops when we expect it to.

More copyfd2 tweaks

Fix envinfo to return fixed map address

Windows compat

ITS#7891 regenerate

ITS#7891 fix ODBC link check

Due to 89bae499ed8057e22e4889f8ae6c9ee6825676ba

ITS#7877 update GnuTLS version to 2.12.0

Disallow BDB 6.0.20+

Fix subDB/ovpage copying

Larger WBUF still better on large DB

Don't check LEAF2 pages for subnodes

Add mdb_env_copy2()

And mdb_env_copyfd2(). Perform compaction on the copy. Trims out
freed pages and renumbers data pages in sequential order. This is
more CPU-intensive since it copies and modifies data pages.

dump/load need mapsize etc.

All diagnostics should go to stderr

ITS#7877 regenerate configure

ITS#7877 require GnuTLS 2.12.0 or newer

ITS#7877 assume gnutls is at least 2.12.0

ITS#7877 assume gnutls provides cipher suites

ITS#7877 use nettle instead of gcrypt

ITS#7885 Wrong RPATH in contrib/passwd/Makefile

Similar to #7858, another easy patch.

More gcov setup tweaks

ITS#7886 fix mdb_copy write size

Don't try to write past end of file

ITS#7887 doc tweaks

MDB is the name of the backend, LMDB is the name of the DB engine.
Also update some BerkeleyDB info.

Fix mdb_page_loose() vs. mdb_page_flush().

Do not overwrite loose pages' mp_pgno with mp_next.
mdb_page_flush() will use mp_pgno to rebuild dirty_list.

Trap signals

Try to exit cleanly to avoid leaving stale readers. Not
a critical issue since mdb_reader_check can take care of
them, but still cleaner.

Setup for gcov/coverage testing

Merge remote-tracking branch 'origin/mdb.master'

More for mdb_page_loose

Require that the page is dirty in the current txn,
not a parent txn.

More MDB -> LMDB renames

Doc updates

Rename MDB -> LMDB
Integrate tool manpages

Fixup for win64 commit

couldn't avoid ifdefs. Silence warnings.

Windows64 32/64 silliness

On Windows64, long is the same size as int. Use size_t when we
need an actual 64 bit unsigned long.

ITS#7879 Windows build compatibility

Just use srand/rand, we don't care about the quality
of the random numbers, we just want some data.

Flesh out mdb_cmp_cint for BigEndians

More for page_loosen

Don't try this when working on the FreeDB. Again,
too much hassle to unkink the recursions...

More cleanup for page_merge, page_loosen

Only loosen src page if it's actually dirty.
Refactor page refs in page_merge.

Silence ptr arithmetic warnings

Handle loose pages

Pages that were dirtied and deleted in the same txn should be
reused, instead of consuming freeDB pages.

Fix mdb_page_merge

Similar to prev commit for mdb_node_move, the call of
mdb_page_serch_lowest() was leaving csrc unusable.

Fix mdb_node_move

Was leaving stale info in dst cursor

Fix lineno count

Fix multiple subDBs

Fix unhex

Add mdb_load

Add mdb_dump, update copyrights

Merge remote-tracking branch 'origin/mdb.master'

Bump to 0.9.13

Bump to 0.9.13

ITS#7793 Re-fix MDB_CURRENT doc: Match current item

Fix MDB_GET_MULTIPLE/MDB_NEXT_MULTIPLE doc.

Tweak ovpage search

Use num*20, chosen from empirical testing

Fix some overwrite quirks

Was skipping the overwrite in some cases, if the cmp function
said the new and old already matched. We should always perform
the overwrite anyway, since the cmp function may only be doing
a prefix compare and the data may actually be different.

Tweak prev patch for ovpage search

Shorten search for ovpage space

Remove bogus file

added by mistake in 17c09fa476a7dbd49aca5e4caf0384cb1c3d244a

ITS#7161 ppolicy pwdFailureTime resolution should be better than 1 second

Merge remote-tracking branch 'origin/mdb.master'

Merge branch 'master' of ssh://git-master.openldap.org/~git/git/openldap

Bump version to 0.9.12

Merge remote-tracking branch 'origin/mdb.master'

ITS#7871 more for LDIF wrap

Clients should just use 0 for default wrap, and let libldif
take care of it.

Revert "ITS#7616 defer searches while consumer refreshing"

This reverts commit cf4aa8f9d9ac77d2884a34fa0d2e52951cf06ca6.

There appears to be no safe way for this to work with MMR.

ITS#7875 fix #7681 regression

Due to commit 18a07eb7c2dc33372455a6040984cd6b699b41a5

ITS#7873 check for pauses

ITS#7872 plug memleak of matchedDN

Plug one-time leaks

ITS#7871 fix ldif-wrap length

Doc has been updated to note the default was actually 78.
The off-by-two error is fixed. Note that wrap=1 will still
output 2 columns, otherwise it can't output anything besides
the continuation character.

ITS#7870 ignore index DBs in slapcat

Fix possible crash in DLL_THREAD_DETACH (explodes in .Net Framework)

Comment ~MDB_APPEND, from earlier commit message.

Factor out mdb_cmp_clong()

More for big MDB_MAXKEYSIZE with MDB_DUPSORT.

With mdb_cursor_put(new key, data item big enough to need a sub-DB):
- Track cursors as when adding other nodes.  The "!do_sub" is now
  unneeded.  Before ITS#7861 it distinguished inserting key from data.
- Set MDB_TXN_ERROR if an empty sub-DB was created.  I.e. adding
  key:subDB succeeded, but inserting the data item failed.

Factor out MDB_TXN_ERROR

Simplify MDB_MULTIPLE

ITS#7834 Fix MDB_MULTIPLE writing multiple keys.

Update the state before looping, so the key is not duplicated.
Broke in 4c8f57615c5ca7b014c038e59c1045182e74f5ad (mostly).

ITS#7861 Re-fix MDB_db.md_entries.

mdb_cursor_del(): Fix md_entries with MDB_NODUPDATA.
mdb_cursor_put(): Check in xcursor whether an item got inserted. Count
data instead of keys after 13d6d59c512065db3741c20c65b4d9928b986968.

ITS#7771 mdb_cursor_put doc: Cursor moves on error