]> git.sur5r.net Git - openldap/blobdiff - libraries/liblmdb/mdb.c
Support dynamic max MDB keysize.
[openldap] / libraries / liblmdb / mdb.c
index 19d5f20a5dea488b36ea2fb7d4266da696068c60..ab7736004217377143f704f4f7e5c28c64b1308e 100644 (file)
 #endif
 #include <sys/types.h>
 #include <sys/stat.h>
-#include <sys/param.h>
 #ifdef _WIN32
 #include <windows.h>
+/** getpid() returns int; MinGW defines pid_t but MinGW64 typedefs it
+ *  as int64 which is wrong. MSVC doesn't define it at all, so just
+ *  don't use it.
+ */
+#define MDB_PID_T      int
+#ifdef __GNUC__
+# include <sys/param.h>
+#else
+# define LITTLE_ENDIAN 1234
+# define BIG_ENDIAN    4321
+# define BYTE_ORDER    LITTLE_ENDIAN
+# ifndef SSIZE_MAX
+#  define SSIZE_MAX    INT_MAX
+# endif
+#endif
 #else
+#define MDB_PID_T      pid_t
+#include <sys/param.h>
 #include <sys/uio.h>
 #include <sys/mman.h>
 #ifdef HAVE_SYS_FILE_H
@@ -366,20 +382,25 @@ static txnid_t mdb_debug_start;
        /**     The version number for a database's lockfile format. */
 #define MDB_LOCK_VERSION        1
 
-       /**     @brief The maximum size of a key in the database.
-        *
-        *      The library rejects bigger keys, and cannot deal with records
-        *      with bigger keys stored by a library with bigger max keysize.
+       /**     @brief The max size of a key we can write, or 0 for dynamic max.
         *
-        *      We require that keys all fit onto a regular page. This limit
-        *      could be raised a bit further if needed; to something just
-        *      under (page size / #MDB_MINKEYS).
+        *      Define this as 0 to compute the max from the page size.  511
+        *      is default for backwards compat: liblmdb <= 0.9.10 can break
+        *      when modifying a DB with keys/dupsort data bigger than its max.
         *
-        *      Note that data items in an #MDB_DUPSORT database are actually keys
-        *      of a subDB, so they're also limited to this size.
+        *      Data items in an #MDB_DUPSORT database are also limited to
+        *      this size, since they're actually keys of a sub-DB.  Keys and
+        *      #MDB_DUPSORT data items must fit on a node in a regular page.
         */
 #ifndef MDB_MAXKEYSIZE
 #define MDB_MAXKEYSIZE  511
+#endif
+
+       /**     The maximum size of a key we can write to the environment. */
+#if MDB_MAXKEYSIZE
+#define ENV_MAXKEY(env)        (MDB_MAXKEYSIZE)
+#else
+#define ENV_MAXKEY(env)        ((env)->me_maxkey)
 #endif
 
        /**     @brief The maximum size of a data item.
@@ -389,11 +410,15 @@ static txnid_t mdb_debug_start;
 #define MAXDATASIZE    0xffffffffUL
 
 #if MDB_DEBUG
+       /**     Key size which fits in a #DKBUF.
+        *      @ingroup debug
+        */
+#define DKBUF_MAXKEYSIZE ((MDB_MAXKEYSIZE) > 0 ? (MDB_MAXKEYSIZE) : 511)
        /**     A key buffer.
         *      @ingroup debug
         *      This is used for printing a hex dump of a key's contents.
         */
-#define DKBUF  char kbuf[(MDB_MAXKEYSIZE*2+1)]
+#define DKBUF  char kbuf[DKBUF_MAXKEYSIZE*2+1]
        /**     Display a key in hex.
         *      @ingroup debug
         *      Invoke a function to display a key in hex.
@@ -412,6 +437,9 @@ static txnid_t mdb_debug_start;
        /** Test if the flags \b f are set in a flag word \b w. */
 #define F_ISSET(w, f)   (((w) & (f)) == (f))
 
+       /** Round \b n up to an even number. */
+#define EVEN(n)                (((n) + 1U) & -2) /* sign-extending -2 to match n+1U */
+
        /**     Used for offsets within a single page.
         *      Since memory pages are typically 4 or 8KB in size, 12-13 bits,
         *      this is plenty.
@@ -497,7 +525,7 @@ typedef struct MDB_rxbody {
         */
        txnid_t         mrb_txnid;
        /** The process ID of the process owning this reader txn. */
-       pid_t           mrb_pid;
+       MDB_PID_T       mrb_pid;
        /** The thread ID of the thread owning this txn. */
        pthread_t       mrb_tid;
 } MDB_rxbody;
@@ -1002,7 +1030,7 @@ struct MDB_env {
        unsigned int    me_numreaders;  /**< max numreaders set by this env */
        MDB_dbi         me_numdbs;              /**< number of DBs opened */
        MDB_dbi         me_maxdbs;              /**< size of the DB table */
-       pid_t           me_pid;         /**< process ID of this env */
+       MDB_PID_T       me_pid;         /**< process ID of this env */
        char            *me_path;               /**< path to the DB files */
        char            *me_map;                /**< the memory map of the data file */
        MDB_txninfo     *me_txns;               /**< the memory map of the lock file or NULL */
@@ -1027,6 +1055,9 @@ struct MDB_env {
        int                     me_maxfree_1pg;
        /** Max size of a node on a page */
        unsigned int    me_nodemax;
+#if !(MDB_MAXKEYSIZE)
+       unsigned int    me_maxkey;      /**< max size of a key */
+#endif
 #ifdef _WIN32
        int             me_pidquery;            /**< Used in OpenProcess */
        HANDLE          me_rmutex;              /* Windows mutexes don't reside in shared mem */
@@ -1186,7 +1217,7 @@ mdb_dkey(MDB_val *key, char *buf)
        if (!key)
                return "";
 
-       if (key->mv_size > MDB_MAXKEYSIZE)
+       if (key->mv_size > DKBUF_MAXKEYSIZE)
                return "MDB_MAXKEYSIZE";
        /* may want to make this a dynamic check: if the key is mostly
         * printable characters, print it as-is instead of converting to hex.
@@ -1206,7 +1237,7 @@ void
 mdb_page_list(MDB_page *mp)
 {
        MDB_node *node;
-       unsigned int i, nkeys, nsize;
+       unsigned int i, nkeys, nsize, total = 0;
        MDB_val key;
        DKBUF;
 
@@ -1216,18 +1247,23 @@ mdb_page_list(MDB_page *mp)
                node = NODEPTR(mp, i);
                key.mv_size = node->mn_ksize;
                key.mv_data = node->mn_data;
-               nsize = NODESIZE + NODEKSZ(node) + sizeof(indx_t);
+               nsize = NODESIZE + key.mv_size;
                if (IS_BRANCH(mp)) {
                        fprintf(stderr, "key %d: page %"Z"u, %s\n", i, NODEPGNO(node),
                                DKEY(&key));
+                       total += nsize;
                } else {
                        if (F_ISSET(node->mn_flags, F_BIGDATA))
                                nsize += sizeof(pgno_t);
                        else
                                nsize += NODEDSZ(node);
+                       total += nsize;
+                       nsize += sizeof(indx_t);
                        fprintf(stderr, "key %d: nsize %d, %s\n", i, nsize, DKEY(&key));
                }
+               total = EVEN(total);
        }
+       fprintf(stderr, "Total: %d\n", total);
 }
 
 void
@@ -1322,7 +1358,12 @@ mdb_page_malloc(MDB_txn *txn, unsigned num)
 {
        MDB_env *env = txn->mt_env;
        MDB_page *ret = env->me_dpages;
-       size_t sz = env->me_psize;
+       size_t psize = env->me_psize, sz = psize, off;
+       /* For ! #MDB_NOMEMINIT, psize counts how much to init.
+        * For a single page alloc, we init everything after the page header.
+        * For multi-page, we init the final page; if the caller needed that
+        * many pages they will be filling in at least up to the last page.
+        */
        if (num == 1) {
                if (ret) {
                        VGMEMP_ALLOC(env, ret, sz);
@@ -1330,10 +1371,16 @@ mdb_page_malloc(MDB_txn *txn, unsigned num)
                        env->me_dpages = ret->mp_next;
                        return ret;
                }
+               psize -= off = PAGEHDRSZ;
        } else {
                sz *= num;
+               off = sz - psize;
        }
        if ((ret = malloc(sz)) != NULL) {
+               if (!(env->me_flags & MDB_NOMEMINIT)) {
+                       memset((char *)ret + off, 0, psize);
+                       ret->mp_pad = 0;
+               }
                VGMEMP_ALLOC(env, ret, sz);
        }
        return ret;
@@ -1642,11 +1689,11 @@ mdb_page_alloc(MDB_cursor *mc, int num, MDB_page **mp)
 #else
        enum { Paranoid = 0, Max_retries = INT_MAX /*infinite*/ };
 #endif
-       int rc, n2 = num-1, retry = Max_retries;
+       int rc, retry = Max_retries;
        MDB_txn *txn = mc->mc_txn;
        MDB_env *env = txn->mt_env;
        pgno_t pgno, *mop = env->me_pghead;
-       unsigned i, j, k, mop_len = mop ? mop[0] : 0;
+       unsigned i, j, k, mop_len = mop ? mop[0] : 0, n2 = num-1;
        MDB_page *np;
        txnid_t oldest = 0, last;
        MDB_cursor_op op;
@@ -1666,13 +1713,13 @@ mdb_page_alloc(MDB_cursor *mc, int num, MDB_page **mp)
                /* Seek a big enough contiguous page range. Prefer
                 * pages at the tail, just truncating the list.
                 */
-               if (mop_len >= (unsigned)num) {
+               if (mop_len > n2) {
                        i = mop_len;
                        do {
                                pgno = mop[i];
                                if (mop[i-n2] == pgno+n2)
                                        goto search_done;
-                       } while (--i >= (unsigned)num);
+                       } while (--i > n2);
                        if (Max_retries < INT_MAX && --retry < 0)
                                break;
                }
@@ -2082,7 +2129,7 @@ enum Pidlock_op {
  * lock on the lockfile, set at an offset equal to the pid.
  */
 static int
-mdb_reader_pid(MDB_env *env, enum Pidlock_op op, pid_t pid)
+mdb_reader_pid(MDB_env *env, enum Pidlock_op op, MDB_PID_T pid)
 {
 #if !(MDB_PIDLOCK)             /* Currently the same as defined(_WIN32) */
        int ret = 0;
@@ -2147,7 +2194,7 @@ mdb_txn_renew0(MDB_txn *txn)
                                if (r->mr_pid != env->me_pid || r->mr_txnid != (txnid_t)-1)
                                        return MDB_BAD_RSLOT;
                        } else {
-                               pid_t pid = env->me_pid;
+                               MDB_PID_T pid = env->me_pid;
                                pthread_t tid = pthread_self();
 
                                if (!(env->me_flags & MDB_LIVE_READER)) {
@@ -2486,7 +2533,7 @@ mdb_freelist_save(MDB_txn *txn)
        int rc, maxfree_1pg = env->me_maxfree_1pg, more = 1;
        txnid_t pglast = 0, head_id = 0;
        pgno_t  freecnt = 0, *free_pgs, *mop;
-       ssize_t head_room = 0, total_room = 0, mop_len;
+       ssize_t head_room = 0, total_room = 0, mop_len, clean_limit;
 
        mdb_cursor_init(&mc, txn, FREE_DBI, NULL);
 
@@ -2497,9 +2544,15 @@ mdb_freelist_save(MDB_txn *txn)
                        return rc;
        }
 
+       /* MDB_RESERVE cancels meminit in ovpage malloc (when no WRITEMAP) */
+       clean_limit = (env->me_flags & (MDB_NOMEMINIT|MDB_WRITEMAP))
+               ? SSIZE_MAX : maxfree_1pg;
+
        for (;;) {
                /* Come back here after each Put() in case freelist changed */
                MDB_val key, data;
+               pgno_t *pgs;
+               ssize_t j;
 
                /* If using records from freeDB which we have not yet
                 * deleted, delete them and any we reserved for me_pghead.
@@ -2583,7 +2636,12 @@ mdb_freelist_save(MDB_txn *txn)
                rc = mdb_cursor_put(&mc, &key, &data, MDB_RESERVE);
                if (rc)
                        return rc;
-               *(MDB_ID *)data.mv_data = 0; /* IDL is initially empty */
+               /* IDL is initially empty, zero out at least the length */
+               pgs = (pgno_t *)data.mv_data;
+               j = head_room > clean_limit ? head_room : 0;
+               do {
+                       pgs[j] = 0;
+               } while (--j >= 0);
                total_room += head_room;
        }
 
@@ -3444,10 +3502,15 @@ mdb_env_open2(MDB_env *env)
                        return i;
                }
        }
-       env->me_maxfree_1pg = (env->me_psize - PAGEHDRSZ) / sizeof(pgno_t) - 1;
-       env->me_nodemax = (env->me_psize - PAGEHDRSZ) / MDB_MINKEYS;
 
+       env->me_maxfree_1pg = (env->me_psize - PAGEHDRSZ) / sizeof(pgno_t) - 1;
+       env->me_nodemax = (((env->me_psize - PAGEHDRSZ) / MDB_MINKEYS) & -2)
+               - sizeof(indx_t);
+#if !(MDB_MAXKEYSIZE)
+       env->me_maxkey = env->me_nodemax - (NODESIZE + sizeof(MDB_db));
+#endif
        env->me_maxpg = env->me_mapsize / env->me_psize;
+
 #if MDB_DEBUG
        {
                int toggle = mdb_env_pick_meta(env);
@@ -3523,7 +3586,7 @@ PIMAGE_TLS_CALLBACK mdb_tls_cbp __attribute__((section (".CRT$XLB"))) = mdb_tls_
 #pragma comment(linker, "/INCLUDE:_tls_used")
 #pragma comment(linker, "/INCLUDE:mdb_tls_cbp")
 #pragma const_seg(".CRT$XLB")
-extern const PIMAGE_TLS_CALLBACK mdb_tls_callback;
+extern const PIMAGE_TLS_CALLBACK mdb_tls_cbp;
 const PIMAGE_TLS_CALLBACK mdb_tls_cbp = mdb_tls_callback;
 #pragma const_seg()
 #else  /* WIN32 */
@@ -3787,7 +3850,7 @@ mdb_env_setup_locks(MDB_env *env, char *lpath, int mode, int *excl)
        rsize = (env->me_maxreaders-1) * sizeof(MDB_reader) + sizeof(MDB_txninfo);
        if (size < rsize && *excl > 0) {
 #ifdef _WIN32
-               if (SetFilePointer(env->me_lfd, rsize, NULL, FILE_BEGIN) != rsize
+               if (SetFilePointer(env->me_lfd, rsize, NULL, FILE_BEGIN) != (DWORD)rsize
                        || !SetEndOfFile(env->me_lfd))
                        goto fail_errno;
 #else
@@ -3943,8 +4006,9 @@ fail:
         *      at runtime. Changing other flags requires closing the
         *      environment and re-opening it with the new flags.
         */
-#define        CHANGEABLE      (MDB_NOSYNC|MDB_NOMETASYNC|MDB_MAPASYNC)
-#define        CHANGELESS      (MDB_FIXEDMAP|MDB_NOSUBDIR|MDB_RDONLY|MDB_WRITEMAP|MDB_NOTLS|MDB_NOLOCK|MDB_NORDAHEAD)
+#define        CHANGEABLE      (MDB_NOSYNC|MDB_NOMETASYNC|MDB_MAPASYNC|MDB_NOMEMINIT)
+#define        CHANGELESS      (MDB_FIXEDMAP|MDB_NOSUBDIR|MDB_RDONLY|MDB_WRITEMAP| \
+       MDB_NOTLS|MDB_NOLOCK|MDB_NORDAHEAD)
 
 int
 mdb_env_open(MDB_env *env, const char *path, unsigned int flags, mdb_mode_t mode)
@@ -4114,7 +4178,7 @@ mdb_env_close0(MDB_env *env, int excl)
        if (env->me_fd != INVALID_HANDLE_VALUE)
                (void) close(env->me_fd);
        if (env->me_txns) {
-               pid_t pid = env->me_pid;
+               MDB_PID_T pid = env->me_pid;
                /* Clearing readers is done in this function because
                 * me_txkey with its destructor must be disabled first.
                 */
@@ -4924,10 +4988,6 @@ mdb_get(MDB_txn *txn, MDB_dbi dbi,
        if (txn->mt_flags & MDB_TXN_ERROR)
                return MDB_BAD_TXN;
 
-       if (key->mv_size > MDB_MAXKEYSIZE) {
-               return MDB_BAD_VALSIZE;
-       }
-
        mdb_cursor_init(&mc, txn, dbi, &mx);
        return mdb_cursor_set(&mc, key, data, MDB_SET, &exact);
 }
@@ -5314,6 +5374,7 @@ set1:
                                if (op == MDB_GET_BOTH || rc > 0)
                                        return MDB_NOTFOUND;
                                rc = 0;
+                               *data = d2;
                        }
 
                } else {
@@ -5482,12 +5543,10 @@ mdb_cursor_get(MDB_cursor *mc, MDB_val *key, MDB_val *data,
        case MDB_SET_RANGE:
                if (key == NULL) {
                        rc = EINVAL;
-               } else if (key->mv_size > MDB_MAXKEYSIZE) {
-                       rc = MDB_BAD_VALSIZE;
-               } else if (op == MDB_SET_RANGE)
-                       rc = mdb_cursor_set(mc, key, data, op, NULL);
-               else
-                       rc = mdb_cursor_set(mc, key, data, op, &exact);
+               } else {
+                       rc = mdb_cursor_set(mc, key, data, op,
+                               op == MDB_SET_RANGE ? NULL : &exact);
+               }
                break;
        case MDB_GET_MULTIPLE:
                if (data == NULL || !(mc->mc_flags & C_INITIALIZED)) {
@@ -5626,13 +5685,14 @@ mdb_cursor_put(MDB_cursor *mc, MDB_val *key, MDB_val *data,
        enum { MDB_NO_ROOT = MDB_LAST_ERRCODE+10 }; /* internal code */
        MDB_env         *env = mc->mc_txn->mt_env;
        MDB_node        *leaf = NULL;
-       MDB_val xdata, *rdata, dkey;
+       MDB_page        *fp, *mp;
+       uint16_t        fp_flags;
+       MDB_val         xdata, *rdata, dkey, olddata;
        MDB_db dummy;
-       int do_sub = 0, insert = 0;
+       int do_sub = 0, insert;
        unsigned int mcount = 0, dcount = 0, nospill;
        size_t nsize;
        int rc, rc2;
-       char dbuf[MDB_MAXKEYSIZE+1];
        unsigned int nflags;
        DKBUF;
 
@@ -5652,14 +5712,14 @@ mdb_cursor_put(MDB_cursor *mc, MDB_val *key, MDB_val *data,
        if (mc->mc_txn->mt_flags & (MDB_TXN_RDONLY|MDB_TXN_ERROR))
                return (mc->mc_txn->mt_flags & MDB_TXN_RDONLY) ? EACCES : MDB_BAD_TXN;
 
-       if (flags != MDB_CURRENT && (key->mv_size == 0 || key->mv_size > MDB_MAXKEYSIZE))
-               return MDB_BAD_VALSIZE;
-
-       if (F_ISSET(mc->mc_db->md_flags, MDB_DUPSORT) && data->mv_size > MDB_MAXKEYSIZE)
+       if (flags != MDB_CURRENT && key->mv_size-1 >= ENV_MAXKEY(env))
                return MDB_BAD_VALSIZE;
 
 #if SIZE_MAX > MAXDATASIZE
-       if (data->mv_size > MAXDATASIZE)
+       if (data->mv_size > ((mc->mc_db->md_flags & MDB_DUPSORT) ? ENV_MAXKEY(env) : MAXDATASIZE))
+               return MDB_BAD_VALSIZE;
+#else
+       if ((mc->mc_db->md_flags & MDB_DUPSORT) && data->mv_size > ENV_MAXKEY(env))
                return MDB_BAD_VALSIZE;
 #endif
 
@@ -5743,11 +5803,21 @@ mdb_cursor_put(MDB_cursor *mc, MDB_val *key, MDB_val *data,
                        return rc2;
        }
 
-       /* The key already exists */
-       if (rc == MDB_SUCCESS) {
-               MDB_page        *fp, *mp;
-               MDB_val         olddata;
-
+       insert = rc;
+       if (insert) {
+               /* The key does not exist */
+               DPRINTF(("inserting key at index %i", mc->mc_ki[mc->mc_top]));
+               if ((mc->mc_db->md_flags & MDB_DUPSORT) &&
+                       LEAFSIZE(key, data) > env->me_nodemax)
+               {
+                       /* Too big for a node, insert in sub-DB */
+                       fp_flags = P_LEAF|P_DIRTY;
+                       fp = env->me_pbuf;
+                       fp->mp_pad = data->mv_size; /* used if MDB_DUPFIXED */
+                       fp->mp_lower = fp->mp_upper = olddata.mv_size = PAGEHDRSZ;
+                       goto prep_subDB;
+               }
+       } else {
                /* there's only a key anyway, so this is a no-op */
                if (IS_LEAF2(mc->mc_pg[mc->mc_top])) {
                        unsigned int ksize = mc->mc_db->md_pad;
@@ -5767,6 +5837,12 @@ more:
 
                /* DB has dups? */
                if (F_ISSET(mc->mc_db->md_flags, MDB_DUPSORT)) {
+                       /* Prepare (sub-)page/sub-DB to accept the new item,
+                        * if needed.  fp: old sub-page or a header faking
+                        * it.  mp: new (sub-)page.  offset: growth in page
+                        * size.  xdata: node data with new page or DB.
+                        */
+                       unsigned        i, offset = 0;
                        mp = fp = xdata.mv_data = env->me_pbuf;
                        mp->mp_pgno = mc->mc_pg[mc->mc_top]->mp_pgno;
 
@@ -5776,9 +5852,8 @@ more:
                                if (flags == MDB_CURRENT)
                                        goto current;
 
-                               dkey = olddata;
 #if UINT_MAX < SIZE_MAX
-                               if (mc->mc_dbx->md_dcmp == mdb_cmp_int && dkey.mv_size == sizeof(size_t))
+                               if (mc->mc_dbx->md_dcmp == mdb_cmp_int && olddata.mv_size == sizeof(size_t))
 #ifdef MISALIGNED_OK
                                        mc->mc_dbx->md_dcmp = mdb_cmp_long;
 #else
@@ -5786,7 +5861,7 @@ more:
 #endif
 #endif
                                /* if data matches, skip it */
-                               if (!mc->mc_dbx->md_dcmp(data, &dkey)) {
+                               if (!mc->mc_dbx->md_dcmp(data, &olddata)) {
                                        if (flags & MDB_NODUPDATA)
                                                rc = MDB_KEYEXIST;
                                        else if (flags & MDB_MULTIPLE)
@@ -5796,9 +5871,11 @@ more:
                                        return rc;
                                }
 
-                               /* create a fake page for the dup items */
-                               memcpy(dbuf, dkey.mv_data, dkey.mv_size);
-                               dkey.mv_data = dbuf;
+                               /* Back up original data item */
+                               dkey.mv_size = olddata.mv_size;
+                               dkey.mv_data = memcpy(fp+1, olddata.mv_data, olddata.mv_size);
+
+                               /* Make sub-page header for the dup items, with dummy body */
                                fp->mp_flags = P_LEAF|P_DIRTY|P_SUBP;
                                fp->mp_lower = PAGEHDRSZ;
                                xdata.mv_size = PAGEHDRSZ + dkey.mv_size + data->mv_size;
@@ -5811,22 +5888,19 @@ more:
                                                (dkey.mv_size & 1) + (data->mv_size & 1);
                                }
                                fp->mp_upper = xdata.mv_size;
+                               olddata.mv_size = fp->mp_upper; /* pretend olddata is fp */
                        } else if (leaf->mn_flags & F_SUBDATA) {
                                /* Data is on sub-DB, just store it */
                                flags |= F_DUPDATA|F_SUBDATA;
                                goto put_sub;
                        } else {
-                               /* See if we need to convert from fake page to subDB */
-                               unsigned int offset;
-                               unsigned int i;
-                               uint16_t fp_flags;
-
+                               /* Data is on sub-page */
                                fp = olddata.mv_data;
                                switch (flags) {
                                default:
                                        if (!(mc->mc_db->md_flags & MDB_DUPFIXED)) {
-                                               offset = NODESIZE + sizeof(indx_t) + data->mv_size;
-                                               offset += offset & 1;
+                                               offset = EVEN(NODESIZE + sizeof(indx_t) +
+                                                       data->mv_size);
                                                break;
                                        }
                                        offset = fp->mp_pad;
@@ -5842,17 +5916,23 @@ more:
                                        flags |= F_DUPDATA;
                                        goto put_sub;
                                }
-                               fp_flags = fp->mp_flags;
                                xdata.mv_size = olddata.mv_size + offset;
-                               if (NODESIZE + sizeof(indx_t) + NODEKSZ(leaf) + xdata.mv_size
-                                       >= env->me_nodemax) {
-                                       /* yes, convert it */
-                                       dummy.md_flags = 0;
+                       }
+
+                       fp_flags = fp->mp_flags;
+                       if (NODESIZE + NODEKSZ(leaf) + xdata.mv_size > env->me_nodemax) {
+                                       /* Too big for a sub-page, convert to sub-DB */
+                                       fp_flags &= ~P_SUBP;
+prep_subDB:
                                        if (mc->mc_db->md_flags & MDB_DUPFIXED) {
+                                               fp_flags |= P_LEAF2;
                                                dummy.md_pad = fp->mp_pad;
                                                dummy.md_flags = MDB_DUPFIXED;
                                                if (mc->mc_db->md_flags & MDB_INTEGERDUP)
                                                        dummy.md_flags |= MDB_INTEGERKEY;
+                                       } else {
+                                               dummy.md_pad = 0;
+                                               dummy.md_flags = 0;
                                        }
                                        dummy.md_depth = 1;
                                        dummy.md_branch_pages = 0;
@@ -5866,13 +5946,13 @@ more:
                                        offset = env->me_psize - olddata.mv_size;
                                        flags |= F_DUPDATA|F_SUBDATA;
                                        dummy.md_root = mp->mp_pgno;
-                                       fp_flags &= ~P_SUBP;
-                               }
+                       }
+                       if (mp != fp) {
                                mp->mp_flags = fp_flags | P_DIRTY;
                                mp->mp_pad   = fp->mp_pad;
                                mp->mp_lower = fp->mp_lower;
                                mp->mp_upper = fp->mp_upper + offset;
-                               if (IS_LEAF2(fp)) {
+                               if (fp_flags & P_LEAF2) {
                                        memcpy(METADATA(mp), METADATA(fp), NUMKEYS(fp) * fp->mp_pad);
                                } else {
                                        memcpy((char *)mp + mp->mp_upper, (char *)fp + fp->mp_upper,
@@ -5963,9 +6043,6 @@ current:
                }
                mdb_node_del(mc->mc_pg[mc->mc_top], mc->mc_ki[mc->mc_top], 0);
                mc->mc_db->md_entries--;
-       } else {
-               DPRINTF(("inserting key at index %i", mc->mc_ki[mc->mc_top]));
-               insert = 1;
        }
 
        rdata = data;
@@ -6204,13 +6281,12 @@ mdb_leaf_size(MDB_env *env, MDB_val *key, MDB_val *data)
        size_t           sz;
 
        sz = LEAFSIZE(key, data);
-       if (sz >= env->me_nodemax) {
+       if (sz > env->me_nodemax) {
                /* put on overflow page */
                sz -= data->mv_size - sizeof(pgno_t);
        }
-       sz += sz & 1;
 
-       return sz + sizeof(indx_t);
+       return EVEN(sz + sizeof(indx_t));
 }
 
 /** Calculate the size of a branch node.
@@ -6229,7 +6305,7 @@ mdb_branch_size(MDB_env *env, MDB_val *key)
        size_t           sz;
 
        sz = INDXSIZE(key);
-       if (sz >= env->me_nodemax) {
+       if (sz > env->me_nodemax) {
                /* put on overflow page */
                /* not implemented */
                /* sz -= key->size - sizeof(pgno_t); */
@@ -6298,13 +6374,13 @@ mdb_node_add(MDB_cursor *mc, indx_t indx,
                if (F_ISSET(flags, F_BIGDATA)) {
                        /* Data already on overflow page. */
                        node_size += sizeof(pgno_t);
-               } else if (node_size + data->mv_size >= mc->mc_txn->mt_env->me_nodemax) {
+               } else if (node_size + data->mv_size > mc->mc_txn->mt_env->me_nodemax) {
                        int ovpages = OVPAGES(data->mv_size, mc->mc_txn->mt_env->me_psize);
                        int rc;
                        /* Put data on overflow page. */
                        DPRINTF(("data size is %"Z"u, node would be %"Z"u, put data on overflow page",
                            data->mv_size, node_size+data->mv_size));
-                       node_size += sizeof(pgno_t) + (node_size & 1);
+                       node_size = EVEN(node_size + sizeof(pgno_t));
                        if ((ssize_t)node_size > room)
                                goto full;
                        if ((rc = mdb_page_new(mc, P_OVERFLOW, ovpages, &ofp)))
@@ -6316,7 +6392,7 @@ mdb_node_add(MDB_cursor *mc, indx_t indx,
                        node_size += data->mv_size;
                }
        }
-       node_size += node_size & 1;
+       node_size = EVEN(node_size);
        if ((ssize_t)node_size > room)
                goto full;
 
@@ -6417,7 +6493,7 @@ mdb_node_del(MDB_page *mp, indx_t indx, int ksize)
                else
                        sz += NODEDSZ(node);
        }
-       sz += sz & 1;
+       sz = EVEN(sz);
 
        ptr = mp->mp_ptrs[indx];
        numkeys = NUMKEYS(mp);
@@ -6447,25 +6523,22 @@ mdb_node_shrink(MDB_page *mp, indx_t indx)
        MDB_node *node;
        MDB_page *sp, *xp;
        char *base;
-       int osize, nsize;
-       int delta;
+       int nsize, delta;
        indx_t           i, numkeys, ptr;
 
        node = NODEPTR(mp, indx);
        sp = (MDB_page *)NODEDATA(node);
-       osize = NODEDSZ(node);
-
-       delta = sp->mp_upper - sp->mp_lower;
-       SETDSZ(node, osize - delta);
+       delta = SIZELEFT(sp);
        xp = (MDB_page *)((char *)sp + delta);
 
        /* shift subpage upward */
        if (IS_LEAF2(sp)) {
                nsize = NUMKEYS(sp) * sp->mp_pad;
+               if (nsize & 1)
+                       return;         /* do not make the node uneven-sized */
                memmove(METADATA(xp), METADATA(sp), nsize);
        } else {
                int i;
-               nsize = osize - sp->mp_upper;
                numkeys = NUMKEYS(sp);
                for (i=numkeys-1; i>=0; i--)
                        xp->mp_ptrs[i] = sp->mp_ptrs[i] - delta;
@@ -6476,6 +6549,9 @@ mdb_node_shrink(MDB_page *mp, indx_t indx)
        xp->mp_pad = sp->mp_pad;
        COPY_PGNO(xp->mp_pgno, mp->mp_pgno);
 
+       nsize = NODEDSZ(node) - delta;
+       SETDSZ(node, nsize);
+
        /* shift lower nodes upward */
        ptr = mp->mp_ptrs[indx];
        numkeys = NUMKEYS(mp);
@@ -6711,7 +6787,7 @@ mdb_update_key(MDB_cursor *mc, MDB_val *key)
        MDB_node                *node;
        char                    *base;
        size_t                   len;
-       int                      delta, delta0;
+       int                              delta, ksize, oksize;
        indx_t                   ptr, i, numkeys, indx;
        DKBUF;
 
@@ -6722,7 +6798,7 @@ mdb_update_key(MDB_cursor *mc, MDB_val *key)
 #if MDB_DEBUG
        {
                MDB_val k2;
-               char kbuf2[(MDB_MAXKEYSIZE*2+1)];
+               char kbuf2[DKBUF_MAXKEYSIZE*2+1];
                k2.mv_data = NODEKEY(node);
                k2.mv_size = node->mn_ksize;
                DPRINTF(("update key %u (ofs %u) [%s] to [%s] on page %"Z"u",
@@ -6733,12 +6809,12 @@ mdb_update_key(MDB_cursor *mc, MDB_val *key)
        }
 #endif
 
-       delta0 = delta = key->mv_size - node->mn_ksize;
+       /* Sizes must be 2-byte aligned. */
+       ksize = EVEN(key->mv_size);
+       oksize = EVEN(node->mn_ksize);
+       delta = ksize - oksize;
 
-       /* Must be 2-byte aligned. If new key is
-        * shorter by 1, the shift will be skipped.
-        */
-       delta += (delta & 1);
+       /* Shift node contents if EVEN(key length) changed. */
        if (delta) {
                if (delta > 0 && SIZELEFT(mp) < delta) {
                        pgno_t pgno;
@@ -6764,7 +6840,7 @@ mdb_update_key(MDB_cursor *mc, MDB_val *key)
        }
 
        /* But even if no shift was needed, update ksize */
-       if (delta0)
+       if (node->mn_ksize != key->mv_size)
                node->mn_ksize = key->mv_size;
 
        if (key->mv_size)
@@ -6796,7 +6872,6 @@ mdb_node_move(MDB_cursor *csrc, MDB_cursor *cdst)
                return rc;
 
        if (IS_LEAF2(csrc->mc_pg[csrc->mc_top])) {
-               srcnode = NODEPTR(csrc->mc_pg[csrc->mc_top], 0);        /* fake */
                key.mv_size = csrc->mc_db->md_pad;
                key.mv_data = LEAF2KEY(csrc->mc_pg[csrc->mc_top], csrc->mc_ki[csrc->mc_top], key.mv_size);
                data.mv_size = 0;
@@ -6805,7 +6880,7 @@ mdb_node_move(MDB_cursor *csrc, MDB_cursor *cdst)
                flags = 0;
        } else {
                srcnode = NODEPTR(csrc->mc_pg[csrc->mc_top], csrc->mc_ki[csrc->mc_top]);
-               assert(!((long)srcnode&1));
+               assert(!((size_t)srcnode&1));
                srcpg = NODEPGNO(srcnode);
                flags = srcnode->mn_flags;
                if (csrc->mc_ki[csrc->mc_top] == 0 && IS_BRANCH(csrc->mc_pg[csrc->mc_top])) {
@@ -7346,10 +7421,6 @@ mdb_del(MDB_txn *txn, MDB_dbi dbi,
        if (txn->mt_flags & (MDB_TXN_RDONLY|MDB_TXN_ERROR))
                return (txn->mt_flags & MDB_TXN_RDONLY) ? EACCES : MDB_BAD_TXN;
 
-       if (key->mv_size > MDB_MAXKEYSIZE) {
-               return MDB_BAD_VALSIZE;
-       }
-
        mdb_cursor_init(&mc, txn, dbi, &mx);
 
        exact = 0;
@@ -7517,7 +7588,7 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                                nsize = mdb_leaf_size(env, newkey, newdata);
                        else
                                nsize = mdb_branch_size(env, newkey);
-                       nsize += nsize & 1;
+                       nsize = EVEN(nsize);
 
                        /* grab a page to hold a temporary copy */
                        copy = mdb_page_malloc(mc->mc_txn, 1);
@@ -7574,7 +7645,7 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                                                        else
                                                                psize += NODEDSZ(node);
                                                }
-                                               psize += psize & 1;
+                                               psize = EVEN(psize);
                                        }
                                        if (psize > pmax || i == k-j) {
                                                split_indx = i + (j<0);
@@ -8220,7 +8291,7 @@ int mdb_set_relctx(MDB_txn *txn, MDB_dbi dbi, void *ctx)
 
 int mdb_env_get_maxkeysize(MDB_env *env)
 {
-       return MDB_MAXKEYSIZE;
+       return ENV_MAXKEY(env);
 }
 
 int mdb_reader_list(MDB_env *env, MDB_msg_func *func, void *ctx)
@@ -8265,7 +8336,7 @@ int mdb_reader_list(MDB_env *env, MDB_msg_func *func, void *ctx)
 /** Insert pid into list if not already present.
  * return -1 if already present.
  */
-static int mdb_pid_insert(pid_t *ids, pid_t pid)
+static int mdb_pid_insert(MDB_PID_T *ids, MDB_PID_T pid)
 {
        /* binary search of pid in list */
        unsigned base = 0;
@@ -8305,7 +8376,7 @@ int mdb_reader_check(MDB_env *env, int *dead)
 {
        unsigned int i, j, rdrs;
        MDB_reader *mr;
-       pid_t *pids, pid;
+       MDB_PID_T *pids, pid;
        int count = 0;
 
        if (!env)
@@ -8315,12 +8386,11 @@ int mdb_reader_check(MDB_env *env, int *dead)
        if (!env->me_txns)
                return MDB_SUCCESS;
        rdrs = env->me_txns->mti_numreaders;
-       pids = malloc((rdrs+1) * sizeof(pid_t));
+       pids = malloc((rdrs+1) * sizeof(MDB_PID_T));
        if (!pids)
                return ENOMEM;
        pids[0] = 0;
        mr = env->me_txns->mti_readers;
-       j = 0;
        for (i=0; i<rdrs; i++) {
                if (mr[i].mr_pid && mr[i].mr_pid != env->me_pid) {
                        pid = mr[i].mr_pid;