Restore support for Posix semaphores

Fix mdb_mutex_t, add mdb_mutexref_t, drop MDB_MUTEX().

Fixes the types of Windows HANDLEs, they became HANDLE*.
MDB_MUTEX() took a magic r/w arg which it's nice to get rid of.

Add MDB_USE_POSIX_MUTEX.

So far just to help aligning mdb.master and mdb.RE.
We'll make it an option later.

CHANGES only belongs in mdb.RE

Bump version to 0.9.15

(not really, since this is the dev/non-release branch)

Use ftok() for semget(), and only lower mode bits

Clarify mdb_env_open() doc of 'mode' param

ITS#8156 Fix MDB_MAXKEYSIZE doc

ITS#8157 mdb_txn_renew0(): init after error checks

mdb_txn_renew(): Drop pointless diff from mdb.RE.

Makes the code friendlier to "git cherry-pick".

Set/clear mp_pad, md_pad (MDB_DUPFIXED data size).

mdb_xcursor_init1(): md_pad is only used when MDB_DUPFIXED.
mdb_page_split():    Copy mp_pad too. Used by mdb_page_list().

mtest*.c: Fix MDB_NOOVERWRITE, plug cursor leak

ITS#8117 Fix MDB_INTEGERDUP keysize doc + md_dcmp

ITS#8117 better fix

Don't change mc_dbx because we would need to undo the change if
the txn aborts. Make the fix (for get) match existing code for put.

Revert "ITS#8117 cleanup prev commit"

This reverts commit ce7ba0ceb69fd2cd56d557c1a877d046ec9f246c.

Revert "ITS#8117 fix INTEGERDUP compare"

This reverts commit ed13d4aa59cf06a1bb6b096fe19af63fc6f8737a.

ITS#8117 cleanup prev commit

ITS#8117 fix INTEGERDUP compare

ITS#8109 fix mdb_cursor_del0 on empty DB

ITS#8106 retry writes on EINTR

ITS#8062 also handle subcursors

ITS#8062 fix rebalance

(Probably fixes the ITS, definitely fixes a bug) when collapsing
the root page, fixups of other cursors was incomplete.

Cleanup mtest* and sample-*.

Fix mdb_txn_begin(&read-only txn) calls. Test mdb_env_set_maxreaders().
Rename DBI open/close functions. Move mdb_dbi_close() out of txn.

Reformat mdb_dbi_open() doc for clarity

Cleanup MDB_env.me_txn0.

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522.

Fix per-txn MDB_NOMETASYNC, MDB_NOSYNC.

Fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522. The flags
were ignored: mdb_txn_renew0/begin cleared and/or did not set them.

Renumber MDB_TXN_* flags, simplify flag code

mdb_txn_renew(): Clear error from previous txn

ITS#8062 fix uninit'd cursor index

ITS#8066 fix mdb_load with large values

Happy New Year

Happy New Year

Also support NOMETASYNC on txn_begin

Support MDB_NOSYNC on mdb_txn_begin()

Fix EACCES description

ITS#7971 Fix reader allocation and me_numreaders

mdb_env_set_flags(): Reject CHANGELESS flags.

Reverts part of a2ac10107e2fb845c4a38a339239063ec4407d84.
MDB_ROBUST needed to be accepted, but that flag is gone.

Fix potential null deref (coverity)

Whitespace (align with mdb.RE)

Make SysV semaphores robust. Cleanup MDB_ROBUST.

ITS#8021 doc: Don't mix MDB_WRITEMAP + non-WRITEMAP

More cleanup for fdatasync hack

Tweak conditionals for fdatasync hack

ITS#8021 env_sync is invalid in RDONLY env

fdatasync hack, again

Check for ext3/ext4 fs, then check kernel version.

Revert "Note MDB_SAFE_FDATASYNC"

This reverts commit 293d6bb47f7f0d54a45d57ce2be3a9595e806dc0.

Revert "Simpler fdatasync hack"

This reverts commit 9585c012335b2a28fbfdd267bcdeeeea91dc0f08.

Note MDB_SAFE_FDATASYNC

Simpler fdatasync hack

Revert "Fix prev commit for env_sync0"

This reverts commit 985bbbbdd5d64e57f55249ffdeb7c08035b240b2.

Revert "Hack for potential ext3/ext4 corruption issue"

This reverts commit 0018eeb2c3b2239c30def9d47c9d194a4ebf35fe.

Fix prev commit for env_sync0

Hack for potential ext3/ext4 corruption issue

Use regular fsync() if we think this commit grew the DB file.

Fix MDB_APPEND doc

We actually compare the new key against the last key, to prevent
corruption.

make clean: remove *.lo

Try to avoid an invalid datafile after failed init

Clarify mdb_dbi_open doc

The concurrency restriction is on threads within a single process.
Multiple processes can use mdb_dbi_open without affecting each other.

C90-compatible code for SysV semaphores

ITS#7987 fix excessive space for single write txn

ITS#7994 fix prev commit

Strip docs promising behaviors that we don't promise to hold.
Strip MDB_txnid_t typedef.

ITS#7994 Access to current transaction ID.

I, David Barbour, hereby place the following modifications to OpenLDAP
Software (and only these modifications) into the public domain. Hence,
these modifications may be freely used and/or redistributed for any
purpose with or without attribution and/or other notice.

Fix SysV semaphores - repair mti_txnid.

Similar to 443a7e40c4280cfd07cbf80c5de62ea072b136e3.

For ITS#7789: Ensure mapsize >= pages in use.

Check new mapsizes against mm_last_pg.  Move
mdb_env_init_meta0() so it can set mm_last_pg earlier.

Fix WIN32 -> _WIN32

mdb_strerror: Silence warning @ Windows

Fix comments

Clean up SysV semaphore code.

Change MDB_LOCK_FORMAT to differ from Posix semaphores/mutexes.
Do not use array/member length 0 for MDB_txninfo.mt2.

Fix robust mutexes - repair mti_txnid.

Broken by e3b6c359a935283c21e1fd7d03b790d87d53b933, if
commit() crashes in write_meta before setting mti_txnid.

Simplify recent changes a bit.

ITS#7961,#7987 Re-fix txn init.

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522:
Don't modify another thread's write txn. Reinit me_txn0 fully.

ITS#7971 LMDB: clarification in mdb_txn_renew0().

ITS#7970 LMDB: Critical Heisenbug

Inconsistent reading & SIGSEGV due to the race condition.

ITS#7969 LMDB: volatile & __synchronize().

Globally shared fields of meta-data are not 'volatile'.

ITS#7959 fix prev commit

fstat returns -1, not an errno. Move code into its own function
for reuse.

ITS#7961 fix txn init

More fallout from 4d02c741b120786df1b87ee9ed49c1d3f9bc7522

ITS#7959 Check fstat return value

Signed-off-by: Jean-Christophe DUBOIS <jcd@tribudubois.net>

ITS#7841 trivial cleanup

TRIVIA - lmdb: clean testdb-dir while "make test".

ITS#7956 fix compact of empty env

ITS#7955, #7671 fix MDB_PREV_DUP

ITS#7953 .gitignore *.lo

ITS#7952 .gitignore mdb_dump/load

Don't use -fPIC for static lib

Use robust mutexes by default

Making it optional on pthreads just complicates things;
they're always robust on other implementations

Use SysV semaphores instead of POSIX

Since they can cleanup after themselves on process exit

Must do dlist_free before releasing Wmutex

MDB_ROBUST: Use MDB_PID_T. Drop a wmutex variable.

Free write mutex earlier in txn_reset0

Add MDB_ROBUST

Android also only has memalign

new date

ITS#7943 reinit txn flags

When reusing the main write txn

Plug leak in 4d02c741b120786df1b87ee9ed49c1d3f9bc7522

Free writer txn on env_close

Silence some clang warnings

Release 0.9.14

Change retry to num times 60.  Testing shows that on a known dataset, this has the same growth behavior as 2.4.39, while num times 20 resulted in significant growth.

More for me_pgoldest

Leave it in main env struct, it doesn't need to be rolled back
with nested txns.

Remember oldest reader txnid

Don't walk the readers table unless we really need to.

Use a single write txn

ITS#7913 cleanup

we already checked for data == NULL, drop unnecessary if

More for MIPS

Move CACHEFLUSH, avoid unnecessary if()

Partially revert ada26306992babeccad0c5443fbd76e28dd24cd6

Of course, MacOSX only has posix_memalign, and only in recent versions.
(Older versions could use valloc instead. That precludes ever changing
the LMDB pagesize to be different from the OS pagesize.) Not all that
crucial since it only affects mdb_env_copyfd1.

Microoptimize loose pages

Fix loose pages in mdb_freelist_save().

Leaving them in dirty_list caused breakage.  Instead merge them
into me_pghead at the end, when no more pages will be allocated.