ITS#7917

ITS#7917 fix mdb_dbi_open

Don't let dummy go out of scope

Just use memalign, not posix_memalign

Everything has it. Solaris doesn't have posix_memalign.

More for MIPS

Do a cacheflush after writing data pages, separate from meta's cacheflush

ITS#7793 more for branch key update

ITS#7793 doc update, again

ITS#7793 update branch key if needed

More for MIPS

Paranoia for 3630066843b7ca6b2cd12911d3e2fe3314cd4549 do the
cacheflush before setting mti_txnid.

ITS#7913 mdb_cursor_get(*_DUP) cleanup

FIRST_DUP/LAST_DUP should succeed even on non-duplicate values
PREV_DUP should reset cursor's EOF flag.

Fix MIPS cache coherency on Linux

MIPS chips require manual control of on-chip caches. The cacheflush
syscall being used here only exists on MIPS Linux, other OSs will
require revisiting.

Update date

more for mdb_cursor_count

return MDB_NOTFOUND if the cursor is empty

Fix mdb_copy & co when MDB pagesize < OS pagesize

ITS#7789 doc updates

ITS#7789 Fix mdb_env_write_meta().

Always write mapsize = max(other metapage:mapsize, env:mapsize).

Revert ITS#7789 commits, let's try this again.

Revert "ITS#7789 Fix resize vs MDB_NOMETASYNC, and a comment."
Revert "ITS#7789 more"
Revert "Revert "ITS#7789 update RESIZED errmsg text""
Revert "ITS#7789 update RESIZED errmsg text"
Revert "ITS#7789 persist mapsize changes"

This reverts commit 02285aca58f5629547263ba09e7dd685dcf6b4b5.
This reverts commit 38e71c68de2ad61fb0fd72fd40214fd9a94479b9.
This reverts commit a5e4eecb1e59e9645113bb4c63d06a23a2c4bdf9.
This reverts commit d8e18551c3f03d5205f4dc8d1711e494d3814b17.
This reverts commit 5926e54bba7c976e0837221efb20cbff384207b8.

Fix env_open mode bits

Fix mdb_cursor_count, reject uninit'd cursor

Silence prototype warnings

Typo

ITS#7896 fix for mdb_env_map

Don't pass non-NULL map address unless MDB_FIXEDMAP was used.

More for cursor EOF

Must also set in sub-cursor if deleting entire subDB

Zero-init copy2 writebuf

MDB_MAXKEYSIZE = 0 (dynamic value) when MDB_DEVEL

MDB_DEVEL doxygen fix

ITS#7789 Fix resize vs MDB_NOMETASYNC, and a comment.

Windows fixes

Always set the filesize when opening for writes. Otherwise
can't use backups from mdb_copy.

Windows compat

We mainly use Win32 functions, so cannot just use C-runtime strerror
to return error messages. We have to use Win32-specific messages.
Unfortunately, we document the API to return C-runtime error codes,
so we can't just switch to all Win32 error codes.

Fix loading of printable dump

Off-by-one in end check, would complain on valid input.

ITS#7789 more

persist size changes from env_open() as well. This was the
original behavior.

Revert "ITS#7789 update RESIZED errmsg text"

This reverts commit d8e18551c3f03d5205f4dc8d1711e494d3814b17.
And partially reverts mapsize check. Only mapsize increases are relevant.

ITS#7825 more

Set read txn's dbiseqs to env's. Set child txn's dbiseqs to parent's.
Simplify DBI_CHANGED test, no need to check md_name. No-op dbi_close
of already closed handle.

Updates #7789, #7825

ITS#7825 more

only update dbiseq in dbi_open on write txns

ITS#7825 tweak prev commit

dbiseqs are only checked in write txns so omit from read txns

ITS#7825 add MDB_BAD_DBI error code

Use DBI sequence numbers to detect DBIs being closed while in use.

ITS#7789 update RESIZED errmsg text

ITS#7789 persist mapsize changes

Write decreases too, not just increases. Check for any size change
that was not requested by this process.

Update LMDB version date/info

ITS#7892 Fix MacOSX section name

ITS#7713 cleanups

'#ifdef MDB_DEVEL' -> '#if MDB_DEVEL'
Fix comments, use actual PAGEBASE macro as originally intended.
Actually enable 64K pages. Set MDB_DATA_VERSION for testing only.

Fixes for loose pages

mdb_txn_commit(child): Give loose pages to parent.
Use a pointer beyond the page header instead of mp_next, so
we will not need to save/restore mp_pgno. This avoids a crash
caused by references to mp_pgno.

Re-fix cursor EOF

Fix in 534dcc721287cfe1051191a5cd7d3df6cf1dc409 was in wrong place

ITS#7713 handle 65536 byte page size

Fix mp_lower/mp_upper to exclude PAGEHDRSZ, which means our
max mp_upper is now pagesize - PAGEHDRSZ and won't overflow.
Currently must define MDB_DEVEL to use. Will be default for
LMDB 1.0/OpenLDAP 2.5

Set xcursor EOF after deleting last entry

Compacting copy doesn't need to snapshot metas

Windows fixes

Play games with object file layout

Use gcc section attribute to keep less frequently used functions
away from main code.

Rationalize mdb_env_copy2 API

More tweaks to copyfd2

Make sure the writer thread starts and stops when we expect it to.

More copyfd2 tweaks

Fix envinfo to return fixed map address

Windows compat

Fix subDB/ovpage copying

Larger WBUF still better on large DB

Don't check LEAF2 pages for subnodes

Add mdb_env_copy2()

And mdb_env_copyfd2(). Perform compaction on the copy. Trims out
freed pages and renumbers data pages in sequential order. This is
more CPU-intensive since it copies and modifies data pages.

dump/load need mapsize etc.

All diagnostics should go to stderr

More gcov setup tweaks

ITS#7886 fix mdb_copy write size

Don't try to write past end of file

Fix mdb_page_loose() vs. mdb_page_flush().

Do not overwrite loose pages' mp_pgno with mp_next.
mdb_page_flush() will use mp_pgno to rebuild dirty_list.

Trap signals

Try to exit cleanly to avoid leaving stale readers. Not
a critical issue since mdb_reader_check can take care of
them, but still cleaner.

Setup for gcov/coverage testing

More for mdb_page_loose

Require that the page is dirty in the current txn,
not a parent txn.

More MDB -> LMDB renames

Doc updates

Rename MDB -> LMDB
Integrate tool manpages

ITS#7879 Windows build compatibility

Just use srand/rand, we don't care about the quality
of the random numbers, we just want some data.

Flesh out mdb_cmp_cint for BigEndians

More for page_loosen

Don't try this when working on the FreeDB. Again,
too much hassle to unkink the recursions...

More cleanup for page_merge, page_loosen

Only loosen src page if it's actually dirty.
Refactor page refs in page_merge.

Silence ptr arithmetic warnings

Handle loose pages

Pages that were dirtied and deleted in the same txn should be
reused, instead of consuming freeDB pages.

Fix mdb_page_merge

Similar to prev commit for mdb_node_move, the call of
mdb_page_serch_lowest() was leaving csrc unusable.

Fix mdb_node_move

Was leaving stale info in dst cursor

Fix lineno count

Fix multiple subDBs

Fix unhex

Add mdb_load

Add mdb_dump, update copyrights

Bump to 0.9.13

Bump to 0.9.13

ITS#7793 Re-fix MDB_CURRENT doc: Match current item

Fix MDB_GET_MULTIPLE/MDB_NEXT_MULTIPLE doc.

Tweak ovpage search

Use num*20, chosen from empirical testing

Fix some overwrite quirks

Was skipping the overwrite in some cases, if the cmp function
said the new and old already matched. We should always perform
the overwrite anyway, since the cmp function may only be doing
a prefix compare and the data may actually be different.

Tweak prev patch for ovpage search

Shorten search for ovpage space

Remove bogus file

added by mistake in 17c09fa476a7dbd49aca5e4caf0384cb1c3d244a

Bump version to 0.9.12

ITS#7875 fix #7681 regression

Due to commit 18a07eb7c2dc33372455a6040984cd6b699b41a5

Fix possible crash in DLL_THREAD_DETACH (explodes in .Net Framework)

Comment ~MDB_APPEND, from earlier commit message.

Factor out mdb_cmp_clong()

More for big MDB_MAXKEYSIZE with MDB_DUPSORT.

With mdb_cursor_put(new key, data item big enough to need a sub-DB):
- Track cursors as when adding other nodes.  The "!do_sub" is now
  unneeded.  Before ITS#7861 it distinguished inserting key from data.
- Set MDB_TXN_ERROR if an empty sub-DB was created.  I.e. adding
  key:subDB succeeded, but inserting the data item failed.

Factor out MDB_TXN_ERROR

Simplify MDB_MULTIPLE

ITS#7834 Fix MDB_MULTIPLE writing multiple keys.

Update the state before looping, so the key is not duplicated.
Broke in 4c8f57615c5ca7b014c038e59c1045182e74f5ad (mostly).

ITS#7861 Re-fix MDB_db.md_entries.

mdb_cursor_del(): Fix md_entries with MDB_NODUPDATA.
mdb_cursor_put(): Check in xcursor whether an item got inserted. Count
data instead of keys after 13d6d59c512065db3741c20c65b4d9928b986968.

ITS#7771 mdb_cursor_put doc: Cursor moves on error