ITS#8554

ITS#8554 kFreeBSD is like BSD

Doesn't have POSIX robust mutexes - GNU userland on BSD kernel

More MDB_node doc

Doxygen fixes. Use DISTRIBUTE_GROUP_DOC.

- DISTRIBUTE_GROUP_DOC makes doxygen give several fields the
  same doc: mn_hi + mn_lo in MDB_node.
- With mdb_mutex_t + mdb_mutexref_t, instead split them up.

More 0.9.19 updates

ITS#8504 Fix prev commit: mc_error, #ifdef SIGPIPE

Never clear mc_error, we could lose a failure in the other thread.

ITS#8504 mdb_env_copyfd2(): Don't abort on SIGPIPE

Return EPIPE instead.

ITS#8542 mdb_dbi_open(): Protect mainDB cursors

doxygen cleanup

Note functions which must set MDB_TXN_ERROR on failure

Other functions depend on them to do so.
For mdb_node_read(), instead remove such a dependence.

Only set me_mfd if needed. Drop unused read access.

ITS#8505 Clarify fork() caveat, mdb_env_get_fd(), flock->fcntl.

ITS#8505 Protect parent from fork()-pthread_exit()

ITS#8505 Set FD_CLOEXEC for me_mfd,env_copy as well

Move opening files to mdb_fopen()

No change in functionality.

Factor filename handling out to mdb_fname_*()

No change in functionality, except needs less mallocing.

ITS#7992 Tighter utf8_to_utf16(), fix errcodes

The 0xFFFD check seems due to misleading MultiByteToWideChar() doc.
Bad UTF-8 gives 0xFFFD in the output string, not the return value.

Clean up strange fcntl result check

...and check !MDB_CLOEXEC in an 'if' rather than '#if'
to match its non-zero usage.

Drop spurious Errcode() call

ITS#7682 F_NOCACHE: Allow error, skip any O_DIRECT

We can run without F_NOCACHE if it fails. And we do not know
what combining it with O_DIRECT means, if a system has both.

ITS#8489 reset cursor EOF flag in cursor_set

It usually gets done anyway, but one of the fastpath shortcuts
bypassed this step.

Clean up MDB_USE_ROBUST #defines

Make explicit and default nonzero equivalent. Parenthesize.

Fix mdb_page_list() message

Fix mdb_audit() printf format

ITS#8481 make shared lib suffix overridable

Comment MDB_page

Doc fixes: VALID_FLAGS, mm_last_pg, mt_loose_count

Silence warning for initializer "mdb_copy my = {0}"

1st struct member was not a scalar.

ITS#8209 MDB_CP_COMPACT: Handle empty or broken DB

Preserve DB flags (use metapage#1) when main DB is empty.
Fail if metapage root != actual root in output file.

ITS#8209 MDB_CP_COMPACT: Threading/error handling

Handle errors.  Fix cond_wait condition so mc_new
is the sole control var.  Drop specious cond_waits.
Do not look at 'mo' while copythr writes it.

Don't know if posix_memalign() pointer is defined after failure.
Some _aligned_free() doc seems to say arg NULL = user error.

Add MDB_PREV_MULTIPLE (collected mdb.master changes)

Logical counterpart to GET_MULTIPLE, NEXT_MULTIPLE

Factor out refreshing sub-page pointers

More for ITS#8406 (xcursor fixups)

Revert excess cursor fixup
xcursor fixup depends on init state

Cleanup: Add flag DB_DUPDATA, drop DB_DIRTY hack

Pass cursor to mdb_page_get(), mdb_node_read().

No change in behavior.

Fix comment: SysV semaphores -> Posix semaphores

WIN64 needs off_t redefined too

lmdb.h Caveats: Reserved vs. actual mem/disk usage

ITS#8339, #8424

mdb_env_setup_locks: Plug mutexattr leak on error

ITS#8339 Solaris 10/11 robust mutex fixes

Check for PTHREAD_MUTEX_ROBUST_NP definition (this doesn't work
on Linux/glibc because they used an enum). Zero out mutex before
initing.

ITS#8424 init cursor in mdb_env_cwalk

Comment ovpage code in mdb_cursor_put()

RE 0.9.19

ITS#8412 fix NEXT_DUP after cursor_del

ITS#8406 fix xcursors after cursor_del

Don't leave them uninit'd if they now point at a valid DUP node

mdb_drop optimization

If we know there are no sub-DBs and no overflow pages, skip leaf scan.

ITS#8393 fix MDB_GET_BOTH on non-dup record

Tweak Win32 errmsg buffer

Release 0.9.18

ITS#7992 Fix memleak in prev change

Happy New Year

ITS#8363

ITS#8363 Fix off-by-one in mdb_midl_shrink

ITS#8355, doc update

ITS#8355 fix subcursors

make sure C_DEL gets reset in subcursor after it moves.

Update WRITEMAP doc

ITS#8334, mdb_copy

Fixups for env_copy with large files

wsize was being truncated to 32bits on Windows.
Only try to write 1GB at a time on Windows64;
larger writes fail with ERROR_WORKING_SET_QUOTA.

MinGW warning cleanup: _MSC_VER -> _WIN32.

From 1ba5adb2ec262405f9207d6015d4f29eea548d25 "MDB_VL32 preparation".

ITS#8334 Fix MDB_APPENDDUP vs. rewrite(single item)

ITS#8336

ITS#8336 fix page_search_root assert on FreeDB

Let "illegal" branch pages thru on the FreeDB - the condition
is only temporary and will be fixed by the time rebalance finishes.

MDB_RESERVE doc

Add mdb_put text to mdb_cursor_put description for people who
fail to draw logical conclusions.

ITS#7992 cleanup, new docs, mdb_dbi_open cleanup

Add Getting Started doc

ITS#7992 cleanup

check for utf8_to_utf16 failures

mdb_dbi_open(): Catch strdup failure

ITS#8169, #8330

ITS#8330 Fix robust mutex detection for glibc 2.10 and 2.11

pthread_mutexattr_setrobust and pthread_mutex_consistent are provided since 2.12 not 2.10:
https://sourceware.org/git/?p=glibc.git;a=commit;h=402cd98775db1478f64c9b0dbe00664b89eb2773
https://sourceware.org/git/?p=glibc.git;a=commit;h=78ee21859939ff75ccf8bbe00499b0c462df2e2d

ITS#8169 more Makefile tweaks

Fix prev commit, use all the same vars as main OpenLDAP makefiles

Return to releng

Release 0.9.17

ITS#8321 cleanup unused var

from da67af1a4bf1a6d3f5d173d9daf74bb4ec66175a

ITS#8168, 8169

ITS#8169 Allow passing mandir to make install

The motivation for this change is my distribution moving to a multiarch
layout. While the architecture specific stuff (binaries, libraries,
etc.) is installed under /usr/${host}/{bin,lib,...} architecture-independent
data should still be installed to /usr/share/.

ITS#8168 Allow passing AR to make

This is helpful when the ar executable is named differently, for
example with an arch specific prefix.

ITS#8323

ITS#8321 fix ambiguity in cursor_put fixup

After delete/add of a node, other nodes may no longer be
pointing at the data they intended. This can confuse subsequent
fixups.

Cleanup C_DEL flag usage

Only set it if the cursor's current position was deleted

ITS#8321 More cursor fixup

Based on page_touch fixup from ITS#7594 but expanded:
make sure sub-cursors agree with main cursors.

ITS#8321 page_touch - don't fixup the cursor we just touched

ITS#8321 mdb_put cursor needs tracking too

ITS#8321 Fix mdb_cursor_set

Always reinit mc_pg[0] if cursor is not C_INITIALIZED
It might have a stale value when using nested txns

ITS#8321 deinit empty cursors

Always unset C_INIT flag if the cursor's target DB has been deleted

ITS#8323 Fix nested commit

Must remove our spilled pages from parent's dirty list

CURSOR_TMP_[UN]TRACK() -> WITH_CURSOR_TRACKING()

ITS#8319, 8320

ITS#8320 mdb_load: fix loading data from simple text files

mdb_load -T was supposed to read escaped text, but 21b51cb7 "Add mdb_load"
made it read hex.

ITS#8319 mdb_load: explain readline and mdb_cursor_put errors

ITS#8316, 8321

ITS#8321 reorganize page_split fixups

DUPFIXED fixups needed to occur after separator update.
MDB_RESERVE handling moved after split fixup.

ITS#8321 simplify page_split fixups

ITS#8321 track temporary cursors

In rebalance/split operations, temporary cursors need to be visible
to propagate fixups

ITS#8321 fix mdb_cursor_put

Ignore sub-cursors that shouldn't be fixed up

ITS#8321 fix mdb_cursor_shadow()

Set a valid txn so that cursor fixup code works on the shadows

ITS#8321 fix mdb_cursor_chk()

It was reporting spurious errors due to uninit'd cursors

ITS#8321 don't skip fixups on splitting cursors

Adjustments can't be skipped, in recursive calls each level must
fixup their own level.

ITS#8321 Fix del/dupsort

When deleting a dupsort key, if other cursors pointed at that key,
set them to uninit'd, not EOF. They no longer have anything to
point at.

ITS#8300 more for prev commit

Just tell explicitly which direction we moved/merged from