Freelist cleanup/streamlining

Drop unneeded definitions, redundant code.

ITS#7512 Fix MDB page leak when malloc error.

mdb_page_alloc(): Delay moving me_pgfirst,me_pglast
until malloc(MDB_oldpages to hold the IDs) succeeds.

Revert "ITS#7515 fix mdb_dbi_open/close"

This reverts commit 48dc782ea612f85e8356a50bfbafe22e5be121cf.

NULL key is allowed for MDB_CURRENT

ITS#7515 fix mdb_dbi_open/close

If a DBI handle is opened by a txn that aborts, the DBI handle
should no longer be valid.

ITS#7511 make sure cursor is marked valid after successful put

ITS#7505 fix prev commit, partial revert

ITS#7505 Fix mdb_update_key when key is too big

Fix MDB_CURRENT updating for dupsort items

Update MDB comments: Caveats, flags, etc.

ITS#7485 data sizes limited to 32 bits

That's all we have space for in a node record.

ITS#7485 more size checks

ITS#7485 check maxkeysize in mdb_cursor_put

Also MDB_MAXKEYSIZE is redefinable at compile time.

One more rename

Forgot this in 98fe3390891c7577e5f2664a091088786da78ffb

ITS#7491 check for filled dirty page list

Very large single transactions will fail. It's not just a problem when
nested transactions are used. We could make this dynamically sized,
but I'm not sure what the point is.

Happy New Year

Delete liblmdb/mfree. It has moved into mdb_stat.

ITS#7455 don't give up so soon

If we're operating on the freelist, see if our current pghead
can satisfy the request before giving up and using new pages.

Fix typo

Add initial mdb utility manpages

init_meta should write mapsize

Was leaving it 0 initially.

Update version date

Make sure init_meta is at beginning of file

More for prev commit

Use the latest meta page

Partially revert 65d40eb5d2c7c28df05e2c1d9b21d90e2a82e0b5

Allow both increasing and decreasing the environment size.
But don't allow decreasing below the currently occupied space.

FIx prev commit

Add error checks to txn_commit

These ops could fail if the map is full.

ITS#7455 simplify

Don't try to reclaim overflow pages while operating on
the freelist (for now). The circular dependencies are much like
the single-page case, but worse. Maybe look into this in the
future, but it's not absolutely necessary now.

ITS#7467 add verbose freelist info

ITS#7465 fail if both -a and -s specified

Yet more retries for overflow page scan

Freelist fixes

Keep list sorted if it grows during a write. Don't free pghead until
we're sure our writes are all finished.

Fix mdb_env_copy

Just write in 2^31 sized chunks

Rename mdb_open/close mdb_dbi_open/close

Avoid possible symbol clashes with MDB-Tools libmdb

Fix 5c1ee7f7ba9580d5ff29e74cbb02eee335c33d94

mdb_cursor_sibling() no longer pops cursor before returning.

Fix mdb_midl_shrink

More retries for overflow page scan

Rename libmdb to liblmdb

Add install target

Rename libmdb to liblmdb, lmdb.h

Avoid naming conflicts with other mdb* packages. Bump version to 0.9.5

ITS#7455 use freelist for overflow pages

Drop unneeded #include <time.h>

Doc layout tweaks

mdb_env_sync(,force=1): Override MDB_MAPASYNC.

With MDB_MAPASYNC, the API provided no way to ensure full sync.

mdb_cursor_dbi(): Assume valid args.

It returned 0, which is the freelist DBI and is valid for a few uses.

API change: mdb_drop() only accepts del=0 or 1.

This allows for other flag values in the future.

API change: mdb_env_set_maxdbs(, *named* DBs).

Let the user specify the number of databases he will actually
use. Adding 2 for FREE_DBI and MAIN_DBI is an internal matter.

ITS#7453 Fix reset of MDB_NOSYNC/MDB_NOMETASYNC.

mdb_env_open() with these flags did not open a synchronizing
file descriptor.  Thus disabling them later did not work.

Tweak MDB_FIXEDMAP handling.

Drop mmap()'s MAP_FIXED flag, so it returns another address instead
of unmapping existing overlapping pages. Verify the returned address.

Renumber MDB_NOSUBDIR. Check mdb_env_open() flags.

MDB_NOSUBDIR was == MDB_REVERSEKEY. That affected the freelist:
Env flags are stored in mm_flags alias mm_dbs[FREE_DBI].md_flags.

It stays a persistent flag, in case mdb_env_open someday wants
to pick/verify which lockfile to use with the datafile.

Catch bad flags so they will no longer make it into the data file.

ITS#7432 fix typo in mdb_midl_sort

Wasn't pushing the optimal half of the array onto the stack,
thus used more stack than expected -> overrun.

Better fix for MDB_DEBUG tweak -- from hbf

Revert "MDB_DEBUG tweak for old compilers"

This reverts commit ef2092eac9f35b77eae250801c96dfa515c6d4b2.

MDB_DEBUG tweak for old compilers

Fix flag checks in mdb_open

fix Windows mdb_env_copy(), WriteFile overflow

Make sure mdb_open flags are committed on main DB

If no data was modified in the txn, mdb_open flag changes were dropped.

Minor cleanup

Fix MDB_PREV

Could return 1 garbage record before actual data, if starting from EOF

Tweak output, add free page info

Add mdb_env_info() to retrieve interesting env params

Merge mdb_stata into mdb_stat

Make sure increases of mapsize are persisted

ITS#7377 Errorcheck Windows calls and thread keys.

Explicitly unlock the MDB lockfile on Windows.

mdb_env_open(): Keep mdb_env_set_flags() flags.

More for mdb_env_copy().

Fix #define _GNU_SOURCE = 1 to match any command line -D_GNU_SOURCE.
.gitignore += mdb_copy.

Fix last commit.

Add flag MDB_ENV_ACTIVE instead of using the state of me_lfd.
Require MDB_RDONLY for MDB_ROFS.  Swap reader/writer mutex lock.

Support read access on read-only media

Silence warning in prev commit

Add mdb_copy for backing up a DB environment

Tweak MDB restrictions

Fix mdb_open() off-by-one error in maxdbs check

ITS#7377 Wrap fcntl F_SETLK in EINTR loop too.

This can happen even on local filesystems.

ITS#7377 Catch ftruncate() error

ITS#7377 Document caveats/troubeshooting.

Fix prev commit

It only worked if the freelist was already non-empty

Fix mdb_drop

if it was the only operation in a txn, it would be ignored.

ITS#7385, check further for bad splits

More for 48ef27b6f5c804eca6a9d27f8dd2b4ded376f8af
Our definition of "large" data item needs to be smaller to
handle more cases where a bad split is possible

Add MDB_GET_CURRENT

return whatever the cursor is currently pointing at

ITS#7394 ignore WRITEMAP if RDONLY

More for 48ef27b6f5c804eca6a9d27f8dd2b4ded376f8af

page_split with newindex > split_indx

More for ab04c50a32275e216b82edaeeed50208cf49336b

Use explicit MDB_RDONLY flag

ITS#7377 Catch MDB user errors.

ITS#7377 Catch MDB setup errors and clean up.

ITS#7364 Limit mdb lock upgrade before sem_unlink.

Do not try shared lock when closing or after error.  Track file lock
state to decide.  Change meaning of *excl to reflect file lock state.

ITS#7364 Always sem_unlink() in mdb_env_open().

Drop the sem_unlink() error checks, which could prevent the 2nd
unlink.  Instead use O_EXCL in sem_open().

This makes "open+close the database" the API for trying to clean
away the old semaphores, if they were left behind by a previous run.

ITS#7377 Wrap sem_wait & file locks in EINTR loops

Remove mdb data races. Use (txnid_t)-1 as "no ID".

Avoid race between numreaders++ and reading numreaders at cleanup. Make
the un-mutexed reset of reader table entry, atomic: Reset mr_pid only.

Instead check mr_pid != 0 in mdb_page_alloc()'s scan for readers.
(txnid_t)-1 as "no ID"-mark avoids a check for mr_txnid != 0.
The scan can stop when seeing an old reader.

Save pid in MDB_env instead of repeating getpid().

An open MDB environment does not survive or catch fork(),
so repeating getpid() was pointless.

MDB_WRITEMAP needs no DSYNC descriptor (me_mfd)

ITS#7363 Preprocessor namespace cleanup.

Rename USE_POSIX_SEM to MDB_USE_POSIX_SEM.
Separate MDB_FDATASYNC from MDB_USE_POSIX_SEM.

More for ab04c50a32275e216b82edaeeed50208cf49336b

Fix typos, error code ranges

Add mdb_cursor_renew()

Allow cursors on read-only txns to be reused with later txns.

Shared lib should depend on pthread

Add MDB_SET_KEY cursor op

Overwrites the passed in key with the DB's key

ITS#7383 More explicit error codes

ITS#7385 fix mdb_page_split (again)

More for d793594173bb5367e466134d5fe3366feeb672f6 ITS#7229

Update comments, bump version

Note read-write vs read-only mmap tradeoffs.

msync should default to fully synchronous