ITS#7561 Fix mdb_drop bugs

Check for overflow pages, reset cursor position properly.

Fix 6beaad52129da5353fd40c0ec48e6a78c4f71a2e

In APPEND don't immediately reject matching key, since this
is valid for APPENDDUP.

Fix d3990eb2f8b2944782604a2ca7bd52e08c58fc3e

Append mode should *reject* keys that are too small.
Also allow APPENDDUP in mdb_put().

Fix rebalance when collapsing root page

When fixing other cursors, must also fix their depth.

More fixes for MDB_LAST

Make sure C_INITIALIZED gets set on successful call

ITS#7556 fix cursor_sibling for PREV

Plug MDB memory leak of DB names.

Silence signedness warning

Fix MDB_DEBUG compile when no varargs macros.

Variables mdb_debug, mdb_debug_start were used undefined.

Tweak mode_t def per Hallvard's suggestion

MSVC doesn't define mode_t

Fix CURSOR_LAST/CURSOR_PREV

ITS#7553 better fix

ITS#7553 deinit cursor after deleting last node

Silence stupid warnings

bugfix for mdb_cursor_put with MDB_MULTIPLE

If the variable dkey.mv_size is non-zero, then it means dkey
contains some original data which has to be put back in the
child db, typically when the child db has just been created.

But when using MDB_MULTIPLE, if this variable has not been
reset to zero, we may come back to this section and wrongly
think that there is some original data to be taken care of.

ITS#7538 fallout from ITS#7536 fix.

Allow leaf pages to have only 1 key.

Precalculate max size of a node

Fix f97552a83abb085bc44b1b578e550d64c1313a4b

Causes Bus Error on SPARC

Check for MADV_RANDOM

Android supports madvise but not posix_madvise

ITS#7377 Fix c0f3d9b9a8864e744a8d1eaffc99bc86026d5351

Add missing parens

Turn off readahead on main mmap

It's harmful when the DB is larger than RAM.

ITS#7536 fix mdb_rebalance

A page must always have at least 2 keys (unless it's a root page)

Use CC/LDFLAGS to link the shared lib

Install manpages too

Delete obsolete @todo

We do it now... (coalescing freelist entries in page_alloc)

Add sample apps for comparison/education purposes

Add $(DESTDIR) to make install target

Update error code instances

Tweak MDB_INCOMPATIBLE description

Tweak prev commit: Restore if-test as an assert

ITS#7515 Fix mdb_txn_commit(nested txn).

Don't modify the parent txn until the current txn cannot fail.
Don't assume new dirty child pgnos > dirty parent pgnos.

Page alloc/touch: Fail if child+parent dirty pages would exceed
dirty_list's maxsize. Avoids an error situation in commit.

ITS#7512 Plug mdb_txn_abort(nested txn) page leaks.

Also catch mdb_cursor_shadow() errors.

Check DB flags when refreshing a stale MDB DBI.

It's hairy to figure out when a DBI is valid. Catch destructive
user errors, and flags which another process changed under us.

mdb_cursor_prev,mdb_cursor_next: Fix return value.

Return mdb_node_read()'s return value if it fails, not 1.
(Can happen if mdb_page_get() fails and NDEBUG is #defined.)

ITS#7515 mdb_dbi_open(): Also open in parent txns.

This makes aborting nested and non-nested txns more
similar: The new DBI is available to the surrounding
context (parent txn and MDB_env respectively).

mdb_page_alloc(): Handle freeDB txnid range holes.

A txn writes no freeDB entry if previous txn dropped mainDB and a read
txn prevents freelist entry reuse. This surprised mdb_page_alloc (and
mdb_txn_commit too before 65c053a6e7f6973c1d09710aa1bd57b218206fcb).

ITS#7517 Document that dirty DBs may not be closed

ITS#7485 Document key/data size limits in lmdb.h.

mdb.c already describes them. The user doc should too.

Revert "ITS#7515 update parent's mt_next_pgno on child commit"

This reverts commit fd4861bf00fb0b86a9f3b80d16cbe363a8eac227.
It duplicated earlier code.

ITS#7515 update parent's mt_next_pgno on child commit

Don't limit retries when coalescing freelist

Try to use whatever's available.

ITS#7515 Fix MDB parent/child txn interaction.

mdb_txn_commit(child): Copy more state. Copy all of mt_dbs:
Include mainDB, and even freeDB since mdb_drop() can update
it. Don't skip DBs with unchanged root, this could break
when the new was newly opened and the old unused junk.

mdb_page_get(): Search parents' dirty lists.

ITS#7377 Catch MDB failure updating root pointers.

"cannot fail" was wrong, it fails at least when exceeding mapsize.

ITS#7517 Don't save dropped dirty MDB databases.

mdb_txn_commit's attempt to save the DB could corrupt another DB if
another thread had called mdb_dbi_open and reused the closed DBI.

mdb_stat -ff[f]: show contiguous page spans.

Add error code MDB_MAP_RESIZED.

Don't memmove freelist entry when chunking it

Just advance the pointer, now that it's no longer a complex struct

ITS#7455 Save freelist in single-page chunks

Freelist cleanup/streamlining

Drop unneeded definitions, redundant code.

ITS#7512 Fix MDB page leak when malloc error.

mdb_page_alloc(): Delay moving me_pgfirst,me_pglast
until malloc(MDB_oldpages to hold the IDs) succeeds.

Revert "ITS#7515 fix mdb_dbi_open/close"

This reverts commit 48dc782ea612f85e8356a50bfbafe22e5be121cf.

NULL key is allowed for MDB_CURRENT

ITS#7515 fix mdb_dbi_open/close

If a DBI handle is opened by a txn that aborts, the DBI handle
should no longer be valid.

ITS#7511 make sure cursor is marked valid after successful put

ITS#7505 fix prev commit, partial revert

ITS#7505 Fix mdb_update_key when key is too big

Fix MDB_CURRENT updating for dupsort items

Update MDB comments: Caveats, flags, etc.

ITS#7485 data sizes limited to 32 bits

That's all we have space for in a node record.

ITS#7485 more size checks

ITS#7485 check maxkeysize in mdb_cursor_put

Also MDB_MAXKEYSIZE is redefinable at compile time.

One more rename

Forgot this in 98fe3390891c7577e5f2664a091088786da78ffb

ITS#7491 check for filled dirty page list

Very large single transactions will fail. It's not just a problem when
nested transactions are used. We could make this dynamically sized,
but I'm not sure what the point is.

Happy New Year

Delete liblmdb/mfree. It has moved into mdb_stat.

ITS#7455 don't give up so soon

If we're operating on the freelist, see if our current pghead
can satisfy the request before giving up and using new pages.

Fix typo

Add initial mdb utility manpages

init_meta should write mapsize

Was leaving it 0 initially.

Update version date

Make sure init_meta is at beginning of file

More for prev commit

Use the latest meta page

Partially revert 65d40eb5d2c7c28df05e2c1d9b21d90e2a82e0b5

Allow both increasing and decreasing the environment size.
But don't allow decreasing below the currently occupied space.

FIx prev commit

Add error checks to txn_commit

These ops could fail if the map is full.

ITS#7455 simplify

Don't try to reclaim overflow pages while operating on
the freelist (for now). The circular dependencies are much like
the single-page case, but worse. Maybe look into this in the
future, but it's not absolutely necessary now.

ITS#7467 add verbose freelist info

ITS#7465 fail if both -a and -s specified

Yet more retries for overflow page scan

Freelist fixes

Keep list sorted if it grows during a write. Don't free pghead until
we're sure our writes are all finished.

Fix mdb_env_copy

Just write in 2^31 sized chunks

Rename mdb_open/close mdb_dbi_open/close

Avoid possible symbol clashes with MDB-Tools libmdb

Fix 5c1ee7f7ba9580d5ff29e74cbb02eee335c33d94

mdb_cursor_sibling() no longer pops cursor before returning.

Fix mdb_midl_shrink

More retries for overflow page scan

Rename libmdb to liblmdb

Add install target

Rename libmdb to liblmdb, lmdb.h

Avoid naming conflicts with other mdb* packages. Bump version to 0.9.5

ITS#7455 use freelist for overflow pages

Drop unneeded #include <time.h>

Doc layout tweaks

mdb_env_sync(,force=1): Override MDB_MAPASYNC.

With MDB_MAPASYNC, the API provided no way to ensure full sync.

mdb_cursor_dbi(): Assume valid args.

It returned 0, which is the freelist DBI and is valid for a few uses.

API change: mdb_drop() only accepts del=0 or 1.

This allows for other flag values in the future.

API change: mdb_env_set_maxdbs(, *named* DBs).

Let the user specify the number of databases he will actually
use. Adding 2 for FREE_DBI and MAIN_DBI is an internal matter.

ITS#7453 Fix reset of MDB_NOSYNC/MDB_NOMETASYNC.

mdb_env_open() with these flags did not open a synchronizing
file descriptor.  Thus disabling them later did not work.

Tweak MDB_FIXEDMAP handling.

Drop mmap()'s MAP_FIXED flag, so it returns another address instead
of unmapping existing overlapping pages. Verify the returned address.

Renumber MDB_NOSUBDIR. Check mdb_env_open() flags.

MDB_NOSUBDIR was == MDB_REVERSEKEY. That affected the freelist:
Env flags are stored in mm_flags alias mm_dbs[FREE_DBI].md_flags.

It stays a persistent flag, in case mdb_env_open someday wants
to pick/verify which lockfile to use with the datafile.

Catch bad flags so they will no longer make it into the data file.

ITS#7432 fix typo in mdb_midl_sort

Wasn't pushing the optimal half of the array onto the stack,
thus used more stack than expected -> overrun.