]> git.sur5r.net Git - openldap/blobdiff - libraries/liblmdb/mdb.c
Windows compat
[openldap] / libraries / liblmdb / mdb.c
index ac1850733f50c38328da8402dca8dbd7dc10a80f..4712ac25d60c471c844942bfcdda53fcb06a6b9f 100644 (file)
 
 #ifdef __GNUC__
 /** Put infrequently used env functions in separate section */
-#define        ESECT   __attribute__ ((section("text_env")))
+# ifdef __APPLE__
+#  define      ESECT   __attribute__ ((section("__TEXT,text_env")))
+# else
+#  define      ESECT   __attribute__ ((section("text_env")))
+# endif
 #else
 #define ESECT
 #endif
  *     @{
  */
 
+/* Features under development */
+#ifndef MDB_DEVEL
+#define MDB_DEVEL 0
+#endif
+
        /** Wrapper around __func__, which is a C99 feature */
 #if __STDC_VERSION__ >= 199901L
 # define mdb_func_     __func__
@@ -372,7 +381,8 @@ static txnid_t mdb_debug_start;
 
        /**     @brief The maximum size of a database page.
         *
-        *      This is 32k, since it must fit in #MDB_page.%mp_upper.
+        *      It is 32k or 64k, since value-PAGEBASE must fit in
+        *      #MDB_page.%mp_upper.
         *
         *      LMDB will use database pages < OS pages if needed.
         *      That causes more I/O in write transactions: The OS must
@@ -385,7 +395,7 @@ static txnid_t mdb_debug_start;
         *      pressure from other processes is high. So until OSs have
         *      actual paging support for Huge pages, they're not viable.
         */
-#define MAX_PAGESIZE    0x8000
+#define MAX_PAGESIZE    (PAGEBASE ? 0x10000 : 0x8000)
 
        /** The minimum number of keys required in a database page.
         *      Setting this to a larger value will place a smaller bound on the
@@ -408,7 +418,7 @@ static txnid_t mdb_debug_start;
 #define MDB_MAGIC       0xBEEFC0DE
 
        /**     The version number for a database's datafile format. */
-#define MDB_DATA_VERSION        1
+#define MDB_DATA_VERSION        ((MDB_DEVEL) ? 999 : 1)
        /**     The version number for a database's lockfile format. */
 #define MDB_LOCK_VERSION        1
 
@@ -655,7 +665,7 @@ typedef struct MDB_page {
 #define        mp_next mp_p.p_next
        union {
                pgno_t          p_pgno; /**< page number */
-               void *          p_next; /**< for in-memory list of freed structs */
+               struct MDB_page *p_next; /**< for in-memory list of freed pages */
        } mp_p;
        uint16_t        mp_pad;
 /**    @defgroup mdb_page      Page Flags
@@ -694,16 +704,10 @@ typedef struct MDB_page {
 #define METADATA(p)     ((void *)((char *)(p) + PAGEHDRSZ))
 
        /** ITS#7713, change PAGEBASE to handle 65536 byte pages */
-#ifdef MDB_DEVEL
-#define        MP_LOBASE       0
-#define        MP_HIBASE       PAGEHDRSZ
-#else
-#define        MP_LOBASE       PAGEHDRSZ
-#define        MP_HIBASE       0
-#endif
+#define        PAGEBASE        ((MDB_DEVEL) ? PAGEHDRSZ : 0)
 
        /** Number of nodes on a page */
-#define NUMKEYS(p)      (((p)->mp_lower - MP_LOBASE) >> 1)
+#define NUMKEYS(p)      (((p)->mp_lower - (PAGEHDRSZ-PAGEBASE)) >> 1)
 
        /** The amount of space remaining in the page */
 #define SIZELEFT(p)     (indx_t)((p)->mp_upper - (p)->mp_lower)
@@ -731,7 +735,7 @@ typedef struct MDB_page {
 #define OVPAGES(size, psize)   ((PAGEHDRSZ-1 + (size)) / (psize) + 1)
 
        /** Link in #MDB_txn.%mt_loose_pages list */
-#define NEXT_LOOSE_PAGE(p)             (*(MDB_page **)METADATA(p))
+#define NEXT_LOOSE_PAGE(p)             (*(MDB_page **)((p) + 2))
 
        /** Header for a single key/data pair within a page.
         * Used in pages of type #P_BRANCH and #P_LEAF without #P_LEAF2.
@@ -784,7 +788,7 @@ typedef struct MDB_node {
 #define LEAFSIZE(k, d)  (NODESIZE + (k)->mv_size + (d)->mv_size)
 
        /** Address of node \b i in page \b p */
-#define NODEPTR(p, i)   ((MDB_node *)((char *)(p) + (p)->mp_ptrs[i] + MP_HIBASE))
+#define NODEPTR(p, i)   ((MDB_node *)((char *)(p) + (p)->mp_ptrs[i] + PAGEBASE))
 
        /** Address of the key for the node */
 #define NODEKEY(node)   (void *)((node)->mn_data)
@@ -950,6 +954,8 @@ struct MDB_txn {
        MDB_dbx         *mt_dbxs;
        /** Array of MDB_db records for each known DB */
        MDB_db          *mt_dbs;
+       /** Array of sequence numbers for each DB handle */
+       unsigned int    *mt_dbiseqs;
 /** @defgroup mt_dbflag        Transaction DB Flags
  *     @ingroup internal
  * @{
@@ -1067,6 +1073,8 @@ struct MDB_env {
        HANDLE          me_mfd;                 /**< just for writing the meta pages */
        /** Failed to update the meta page. Probably an I/O error. */
 #define        MDB_FATAL_ERROR 0x80000000U
+       /** We're explicitly changing the mapsize. */
+#define        MDB_RESIZING    0x40000000U
        /** Some fields are initialized. */
 #define        MDB_ENV_ACTIVE  0x20000000U
        /** me_txkey is set */
@@ -1090,6 +1098,7 @@ struct MDB_env {
        pgno_t          me_maxpg;               /**< me_mapsize / me_psize */
        MDB_dbx         *me_dbxs;               /**< array of static DB info */
        uint16_t        *me_dbflags;    /**< array of flags from MDB_db.md_flags */
+       unsigned int    *me_dbiseqs;    /**< array of dbi sequence numbers */
        pthread_key_t   me_txkey;       /**< thread-key for readers */
        MDB_pgstate     me_pgstate;             /**< state of old pages from freeDB */
 #      define          me_pglast       me_pgstate.mf_pglast
@@ -1139,6 +1148,10 @@ typedef struct MDB_ntxn {
 #define TXN_DBI_EXIST(txn, dbi) \
        ((txn) && (dbi) < (txn)->mt_numdbs && ((txn)->mt_dbflags[dbi] & DB_VALID))
 
+       /** Check for misused \b dbi handles */
+#define TXN_DBI_CHANGED(txn, dbi) \
+       ((txn)->mt_dbiseqs[dbi] != (txn)->mt_env->me_dbiseqs[dbi])
+
 static int  mdb_page_alloc(MDB_cursor *mc, int num, MDB_page **mp);
 static int  mdb_page_new(MDB_cursor *mc, uint32_t flags, int num, MDB_page **mp);
 static int  mdb_page_touch(MDB_cursor *mc);
@@ -1240,11 +1253,20 @@ static char *const mdb_errstr[] = {
        "MDB_BAD_RSLOT: Invalid reuse of reader locktable slot",
        "MDB_BAD_TXN: Transaction cannot recover - it must be aborted",
        "MDB_BAD_VALSIZE: Unsupported size of key/DB name/data, or wrong DUPFIXED size",
+       "MDB_BAD_DBI: The specified DBI handle was closed/changed unexpectedly",
 };
 
 char *
 mdb_strerror(int err)
 {
+#ifdef _WIN32
+       /** HACK: pad 4KB on stack over the buf. Return system msgs in buf.
+        *      This works as long as no function between the call to mdb_strerror
+        *      and the actual use of the message uses more than 4K of stack.
+        */
+       char pad[4096];
+       char buf[1024], *ptr = buf;
+#endif
        int i;
        if (!err)
                return ("Successful return: 0");
@@ -1254,7 +1276,32 @@ mdb_strerror(int err)
                return mdb_errstr[i];
        }
 
+#ifdef _WIN32
+       /* These are the C-runtime error codes we use. The comment indicates
+        * their numeric value, and the Win32 error they would correspond to
+        * if the error actually came from a Win32 API. A major mess, we should
+        * have used LMDB-specific error codes for everything.
+        */
+       switch(err) {
+       case ENOENT:    /* 2, FILE_NOT_FOUND */
+       case EIO:               /* 5, ACCESS_DENIED */
+       case ENOMEM:    /* 12, INVALID_ACCESS */
+       case EACCES:    /* 13, INVALID_DATA */
+       case EBUSY:             /* 16, CURRENT_DIRECTORY */
+       case EINVAL:    /* 22, BAD_COMMAND */
+       case ENOSPC:    /* 28, OUT_OF_PAPER */
+               return strerror(err);
+       default:
+               ;
+       }
+       buf[0] = 0;
+       FormatMessage(FORMAT_MESSAGE_FROM_SYSTEM |
+               FORMAT_MESSAGE_IGNORE_INSERTS,
+               NULL, err, 0, ptr, sizeof(buf), pad);
+       return ptr;
+#else
        return strerror(err);
+#endif
 }
 
 /** assert(3) variant in cursor context */
@@ -1394,7 +1441,7 @@ mdb_page_list(MDB_page *mp)
                total = EVEN(total);
        }
        fprintf(stderr, "Total: header %d + contents %d + unused %d\n",
-               IS_LEAF2(mp) ? PAGEHDRSZ : MP_HIBASE + mp->mp_lower, total, SIZELEFT(mp));
+               IS_LEAF2(mp) ? PAGEHDRSZ : PAGEBASE + mp->mp_lower, total, SIZELEFT(mp));
 }
 
 void
@@ -1601,6 +1648,8 @@ mdb_page_loose(MDB_cursor *mc, MDB_page *mp)
                }
        }
        if (loose) {
+               DPRINTF(("loosen db %d page %"Z"u", DDBI(mc),
+                       mp->mp_pgno));
                NEXT_LOOSE_PAGE(mp) = mc->mc_txn->mt_loose_pgs;
                mc->mc_txn->mt_loose_pgs = mp;
                mp->mp_flags |= P_LOOSE;
@@ -1623,7 +1672,7 @@ mdb_page_loose(MDB_cursor *mc, MDB_page *mp)
 static int
 mdb_pages_xkeep(MDB_cursor *mc, unsigned pflags, int all)
 {
-       enum { Mask = P_SUBP|P_DIRTY|P_KEEP };
+       enum { Mask = P_SUBP|P_DIRTY|P_LOOSE|P_KEEP };
        MDB_txn *txn = mc->mc_txn;
        MDB_cursor *m3;
        MDB_xcursor *mx;
@@ -1661,12 +1710,6 @@ mdb_pages_xkeep(MDB_cursor *mc, unsigned pflags, int all)
                        break;
        }
 
-       /* Loose pages shouldn't be spilled */
-       for (dp = txn->mt_loose_pgs; dp; dp = NEXT_LOOSE_PAGE(dp)) {
-               if ((dp->mp_flags & Mask) == pflags)
-                       dp->mp_flags ^= P_KEEP;
-       }
-
        if (all) {
                /* Mark dirty root pages */
                for (i=0; i<txn->mt_numdbs; i++) {
@@ -1780,7 +1823,7 @@ mdb_page_spill(MDB_cursor *m0, MDB_val *key, MDB_val *data)
        for (i=dl[0].mid; i && need; i--) {
                MDB_ID pn = dl[i].mid << 1;
                dp = dl[i].mptr;
-               if (dp->mp_flags & P_KEEP)
+               if (dp->mp_flags & (P_LOOSE|P_KEEP))
                        continue;
                /* Can't spill twice, make sure it's not already in a parent's
                 * spill list.
@@ -1898,6 +1941,8 @@ mdb_page_alloc(MDB_cursor *mc, int num, MDB_page **mp)
        if (num == 1 && txn->mt_loose_pgs) {
                np = txn->mt_loose_pgs;
                txn->mt_loose_pgs = NEXT_LOOSE_PAGE(np);
+               DPRINTF(("db %d use loose page %"Z"u", DDBI(mc),
+                               np->mp_pgno));
                *mp = np;
                return MDB_SUCCESS;
        }
@@ -2048,10 +2093,10 @@ mdb_page_copy(MDB_page *dst, MDB_page *src, unsigned int psize)
         * alignment so memcpy may copy words instead of bytes.
         */
        if ((unused &= -Align) && !IS_LEAF2(src)) {
-               upper &= -Align;
-               memcpy(dst, src, (lower + MP_HIBASE + (Align-1)) & -Align);
-               memcpy((pgno_t *)((char *)dst+upper+MP_HIBASE), (pgno_t *)((char *)src+upper+MP_HIBASE),
-                       psize - upper - MP_HIBASE);
+               upper = (upper + PAGEBASE) & -Align;
+               memcpy(dst, src, (lower + PAGEBASE + (Align-1)) & -Align);
+               memcpy((pgno_t *)((char *)dst+upper), (pgno_t *)((char *)src+upper),
+                       psize - upper);
        } else {
                memcpy(dst, src, psize - unused);
        }
@@ -2475,6 +2520,7 @@ mdb_txn_renew0(MDB_txn *txn)
                txn->mt_free_pgs[0] = 0;
                txn->mt_spill_pgs = NULL;
                env->me_txn = txn;
+               memcpy(txn->mt_dbiseqs, env->me_dbiseqs, env->me_maxdbs * sizeof(unsigned int));
        }
 
        /* Copy the DB info and flags */
@@ -2490,7 +2536,9 @@ mdb_txn_renew0(MDB_txn *txn)
        }
        txn->mt_dbflags[0] = txn->mt_dbflags[1] = DB_VALID;
 
-       if (env->me_maxpg < txn->mt_next_pgno) {
+       /* If we didn't ask for a resize, but the size grew, fail */
+       if (!(env->me_flags & MDB_RESIZING)
+               && env->me_mapsize < meta->mm_mapsize) {
                mdb_txn_reset0(txn, "renew0-mapfail");
                if (new_notls) {
                        txn->mt_u.reader->mr_pid = 0;
@@ -2549,20 +2597,31 @@ mdb_txn_begin(MDB_env *env, MDB_txn *parent, unsigned int flags, MDB_txn **ret)
                tsize = sizeof(MDB_ntxn);
        }
        size = tsize + env->me_maxdbs * (sizeof(MDB_db)+1);
-       if (!(flags & MDB_RDONLY))
+       if (!(flags & MDB_RDONLY)) {
                size += env->me_maxdbs * sizeof(MDB_cursor *);
+               /* child txns use parent's dbiseqs */
+               if (!parent)
+                       size += env->me_maxdbs * sizeof(unsigned int);
+       }
 
        if ((txn = calloc(1, size)) == NULL) {
-               DPRINTF(("calloc: %s", strerror(ErrCode())));
+               DPRINTF(("calloc: %s", strerror(errno)));
                return ENOMEM;
        }
        txn->mt_dbs = (MDB_db *) ((char *)txn + tsize);
        if (flags & MDB_RDONLY) {
                txn->mt_flags |= MDB_TXN_RDONLY;
                txn->mt_dbflags = (unsigned char *)(txn->mt_dbs + env->me_maxdbs);
+               txn->mt_dbiseqs = env->me_dbiseqs;
        } else {
                txn->mt_cursors = (MDB_cursor **)(txn->mt_dbs + env->me_maxdbs);
-               txn->mt_dbflags = (unsigned char *)(txn->mt_cursors + env->me_maxdbs);
+               if (parent) {
+                       txn->mt_dbiseqs = parent->mt_dbiseqs;
+                       txn->mt_dbflags = (unsigned char *)(txn->mt_cursors + env->me_maxdbs);
+               } else {
+                       txn->mt_dbiseqs = (unsigned int *)(txn->mt_cursors + env->me_maxdbs);
+                       txn->mt_dbflags = (unsigned char *)(txn->mt_dbiseqs + env->me_maxdbs);
+               }
        }
        txn->mt_env = env;
 
@@ -2642,10 +2701,13 @@ mdb_dbis_update(MDB_txn *txn, int keep)
                                env->me_dbflags[i] = txn->mt_dbs[i].md_flags | MDB_VALID;
                        } else {
                                char *ptr = env->me_dbxs[i].md_name.mv_data;
-                               env->me_dbxs[i].md_name.mv_data = NULL;
-                               env->me_dbxs[i].md_name.mv_size = 0;
-                               env->me_dbflags[i] = 0;
-                               free(ptr);
+                               if (ptr) {
+                                       env->me_dbxs[i].md_name.mv_data = NULL;
+                                       env->me_dbxs[i].md_name.mv_size = 0;
+                                       env->me_dbflags[i] = 0;
+                                       env->me_dbiseqs[i]++;
+                                       free(ptr);
+                               }
                        }
                }
        }
@@ -2951,8 +3013,8 @@ mdb_page_flush(MDB_txn *txn, int keep)
                while (++i <= pagecount) {
                        dp = dl[i].mptr;
                        /* Don't flush this page yet */
-                       if (dp->mp_flags & P_KEEP) {
-                               dp->mp_flags ^= P_KEEP;
+                       if (dp->mp_flags & (P_LOOSE|P_KEEP)) {
+                               dp->mp_flags &= ~P_KEEP;
                                dl[++j] = dl[i];
                                continue;
                        }
@@ -2966,8 +3028,8 @@ mdb_page_flush(MDB_txn *txn, int keep)
                if (++i <= pagecount) {
                        dp = dl[i].mptr;
                        /* Don't flush this page yet */
-                       if (dp->mp_flags & P_KEEP) {
-                               dp->mp_flags ^= P_KEEP;
+                       if (dp->mp_flags & (P_LOOSE|P_KEEP)) {
+                               dp->mp_flags &= ~P_KEEP;
                                dl[i].mid = 0;
                                continue;
                        }
@@ -3096,6 +3158,7 @@ mdb_txn_commit(MDB_txn *txn)
 
        if (txn->mt_parent) {
                MDB_txn *parent = txn->mt_parent;
+               MDB_page **lp;
                MDB_ID2L dst, src;
                MDB_IDL pspill;
                unsigned x, y, len, ps_len;
@@ -3193,6 +3256,11 @@ mdb_txn_commit(MDB_txn *txn)
                        }
                }
 
+               /* Append our loose page list to parent's */
+               for (lp = &parent->mt_loose_pgs; *lp; lp = &NEXT_LOOSE_PAGE(lp))
+                       ;
+               *lp = txn->mt_loose_pgs;
+
                parent->mt_child = NULL;
                mdb_midl_free(((MDB_ntxn *)txn)->mnt_pgstate.mf_pghead);
                free(txn);
@@ -3208,8 +3276,13 @@ mdb_txn_commit(MDB_txn *txn)
        mdb_cursors_close(txn, 0);
 
        if (!txn->mt_u.dirty_list[0].mid &&
-               !(txn->mt_flags & (MDB_TXN_DIRTY|MDB_TXN_SPILLS)))
+               !(txn->mt_flags & (MDB_TXN_DIRTY|MDB_TXN_SPILLS))) {
+               if ((env->me_flags & MDB_RESIZING)
+                       && (rc = mdb_env_write_meta(txn))) {
+                       goto fail;
+               }
                goto done;
+       }
 
        DPRINTF(("committing txn %"Z"u %p on mdbenv %p, root page %"Z"u",
            txn->mt_txnid, (void*)txn, (void*)env, txn->mt_dbs[MAIN_DBI].md_root));
@@ -3224,6 +3297,10 @@ mdb_txn_commit(MDB_txn *txn)
                mdb_cursor_init(&mc, txn, MAIN_DBI, NULL);
                for (i = 2; i < txn->mt_numdbs; i++) {
                        if (txn->mt_dbflags[i] & DB_DIRTY) {
+                               if (TXN_DBI_CHANGED(txn, i)) {
+                                       rc = MDB_BAD_DBI;
+                                       goto fail;
+                               }
                                data.mv_data = &txn->mt_dbs[i];
                                rc = mdb_cursor_put(&mc, &txn->mt_dbxs[i].md_name, &data, 0);
                                if (rc)
@@ -3423,9 +3500,11 @@ mdb_env_write_meta(MDB_txn *txn)
        mp = env->me_metas[toggle];
 
        if (env->me_flags & MDB_WRITEMAP) {
-               /* Persist any increases of mapsize config */
-               if (env->me_mapsize > mp->mm_mapsize)
+               /* Persist any changes of mapsize config */
+               if (env->me_flags & MDB_RESIZING) {
                        mp->mm_mapsize = env->me_mapsize;
+                       env->me_flags ^= MDB_RESIZING;
+               }
                mp->mm_dbs[0] = txn->mt_dbs[0];
                mp->mm_dbs[1] = txn->mt_dbs[1];
                mp->mm_last_pg = txn->mt_next_pgno - 1;
@@ -3453,10 +3532,11 @@ mdb_env_write_meta(MDB_txn *txn)
        metab.mm_last_pg = env->me_metas[toggle]->mm_last_pg;
 
        ptr = (char *)&meta;
-       if (env->me_mapsize > mp->mm_mapsize) {
-               /* Persist any increases of mapsize config */
+       if (env->me_flags & MDB_RESIZING) {
+               /* Persist any changes of mapsize config */
                meta.mm_mapsize = env->me_mapsize;
                off = offsetof(MDB_meta, mm_mapsize);
+               env->me_flags ^= MDB_RESIZING;
        } else {
                off = offsetof(MDB_meta, mm_dbs[0].md_depth);
        }
@@ -3644,19 +3724,25 @@ mdb_env_set_mapsize(MDB_env *env, size_t size)
         * sure there are no active txns.
         */
        if (env->me_map) {
-               int rc;
+               int rc, change = 0;
                void *old;
                if (env->me_txn)
                        return EINVAL;
                if (!size)
                        size = env->me_metas[mdb_env_pick_meta(env)]->mm_mapsize;
-               else if (size < env->me_mapsize) {
-                       /* If the configured size is smaller, make sure it's
-                        * still big enough. Silently round up to minimum if not.
-                        */
-                       size_t minsize = (env->me_metas[mdb_env_pick_meta(env)]->mm_last_pg + 1) * env->me_psize;
-                       if (size < minsize)
-                               size = minsize;
+               else {
+                       if (size < env->me_mapsize) {
+                               /* If the configured size is smaller, make sure it's
+                                * still big enough. Silently round up to minimum if not.
+                                */
+                               size_t minsize = (env->me_metas[mdb_env_pick_meta(env)]->mm_last_pg + 1) * env->me_psize;
+                               if (size < minsize)
+                                       size = minsize;
+                       }
+                       /* nothing actually changed */
+                       if (size == env->me_mapsize)
+                               return MDB_SUCCESS;
+                       change = 1;
                }
                munmap(env->me_map, env->me_mapsize);
                env->me_mapsize = size;
@@ -3664,6 +3750,8 @@ mdb_env_set_mapsize(MDB_env *env, size_t size)
                rc = mdb_env_map(env, old, 1);
                if (rc)
                        return rc;
+               if (change)
+                       env->me_flags |= MDB_RESIZING;
        }
        env->me_mapsize = size;
        if (env->me_psize)
@@ -3736,13 +3824,17 @@ mdb_env_open2(MDB_env *env)
                 * else use the size recorded in the existing env.
                 */
                env->me_mapsize = newenv ? DEFAULT_MAPSIZE : meta.mm_mapsize;
-       } else if (env->me_mapsize < meta.mm_mapsize) {
-               /* If the configured size is smaller, make sure it's
-                * still big enough. Silently round up to minimum if not.
-                */
-               size_t minsize = (meta.mm_last_pg + 1) * meta.mm_psize;
-               if (env->me_mapsize < minsize)
-                       env->me_mapsize = minsize;
+       } else {
+               if (env->me_mapsize < meta.mm_mapsize) {
+                       /* If the configured size is smaller, make sure it's
+                        * still big enough. Silently round up to minimum if not.
+                        */
+                       size_t minsize = (meta.mm_last_pg + 1) * meta.mm_psize;
+                       if (env->me_mapsize < minsize)
+                               env->me_mapsize = minsize;
+               }
+               if (env->me_mapsize != meta.mm_mapsize)
+                       env->me_flags |= MDB_RESIZING;
        }
 
        rc = mdb_env_map(env, meta.mm_address, newenv || env->me_mapsize != meta.mm_mapsize);
@@ -4316,7 +4408,8 @@ mdb_env_open(MDB_env *env, const char *path, unsigned int flags, mdb_mode_t mode
        env->me_path = strdup(path);
        env->me_dbxs = calloc(env->me_maxdbs, sizeof(MDB_dbx));
        env->me_dbflags = calloc(env->me_maxdbs, sizeof(uint16_t));
-       if (!(env->me_dbxs && env->me_path && env->me_dbflags)) {
+       env->me_dbiseqs = calloc(env->me_maxdbs, sizeof(unsigned int));
+       if (!(env->me_dbxs && env->me_path && env->me_dbflags && env->me_dbiseqs)) {
                rc = ENOMEM;
                goto leave;
        }
@@ -4412,6 +4505,7 @@ mdb_env_close0(MDB_env *env, int excl)
                free(env->me_dbxs[i].md_name.mv_data);
 
        free(env->me_pbuf);
+       free(env->me_dbiseqs);
        free(env->me_dbflags);
        free(env->me_dbxs);
        free(env->me_path);
@@ -4931,6 +5025,8 @@ mdb_page_search(MDB_cursor *mc, MDB_val *key, int flags)
                /* Make sure we're using an up-to-date root */
                if (*mc->mc_dbflag & DB_STALE) {
                                MDB_cursor mc2;
+                               if (TXN_DBI_CHANGED(mc->mc_txn, mc->mc_dbi))
+                                       return MDB_BAD_DBI;
                                mdb_cursor_init(&mc2, mc->mc_txn, MAIN_DBI, NULL);
                                rc = mdb_page_search(&mc2, &mc->mc_dbx->md_name, 0);
                                if (rc)
@@ -5785,6 +5881,8 @@ mdb_cursor_touch(MDB_cursor *mc)
        if (mc->mc_dbi > MAIN_DBI && !(*mc->mc_dbflag & DB_DIRTY)) {
                MDB_cursor mc2;
                MDB_xcursor mcx;
+               if (TXN_DBI_CHANGED(mc->mc_txn, mc->mc_dbi))
+                       return MDB_BAD_DBI;
                mdb_cursor_init(&mc2, mc->mc_txn, MAIN_DBI, &mcx);
                rc = mdb_page_search(&mc2, &mc->mc_dbx->md_name, MDB_PS_MODIFY);
                if (rc)
@@ -5941,11 +6039,14 @@ mdb_cursor_put(MDB_cursor *mc, MDB_val *key, MDB_val *data,
                if ((mc->mc_db->md_flags & MDB_DUPSORT) &&
                        LEAFSIZE(key, data) > env->me_nodemax)
                {
-                       /* Too big for a node, insert in sub-DB */
+                       /* Too big for a node, insert in sub-DB.  Set up an empty
+                        * "old sub-page" for prep_subDB to expand to a full page.
+                        */
                        fp_flags = P_LEAF|P_DIRTY;
                        fp = env->me_pbuf;
                        fp->mp_pad = data->mv_size; /* used if MDB_DUPFIXED */
-                       fp->mp_lower = fp->mp_upper = olddata.mv_size = MP_LOBASE;
+                       fp->mp_lower = fp->mp_upper = (PAGEHDRSZ-PAGEBASE);
+                       olddata.mv_size = PAGEHDRSZ;
                        goto prep_subDB;
                }
        } else {
@@ -6000,7 +6101,7 @@ more:
 
                                /* Make sub-page header for the dup items, with dummy body */
                                fp->mp_flags = P_LEAF|P_DIRTY|P_SUBP;
-                               fp->mp_lower = MP_LOBASE;
+                               fp->mp_lower = (PAGEHDRSZ-PAGEBASE);
                                xdata.mv_size = PAGEHDRSZ + dkey.mv_size + data->mv_size;
                                if (mc->mc_db->md_flags & MDB_DUPFIXED) {
                                        fp->mp_flags |= P_LEAF2;
@@ -6010,7 +6111,7 @@ more:
                                        xdata.mv_size += 2 * (sizeof(indx_t) + NODESIZE) +
                                                (dkey.mv_size & 1) + (data->mv_size & 1);
                                }
-                               fp->mp_upper = xdata.mv_size - MP_HIBASE;
+                               fp->mp_upper = xdata.mv_size - PAGEBASE;
                                olddata.mv_size = xdata.mv_size; /* pretend olddata is fp */
                        } else if (leaf->mn_flags & F_SUBDATA) {
                                /* Data is on sub-DB, just store it */
@@ -6078,8 +6179,8 @@ prep_subDB:
                                if (fp_flags & P_LEAF2) {
                                        memcpy(METADATA(mp), METADATA(fp), NUMKEYS(fp) * fp->mp_pad);
                                } else {
-                                       memcpy((char *)mp + mp->mp_upper + MP_HIBASE, (char *)fp + fp->mp_upper + MP_HIBASE,
-                                               olddata.mv_size - fp->mp_upper);
+                                       memcpy((char *)mp + mp->mp_upper + PAGEBASE, (char *)fp + fp->mp_upper + PAGEBASE,
+                                               olddata.mv_size - fp->mp_upper - PAGEBASE);
                                        for (i=0; i<NUMKEYS(fp); i++)
                                                mp->mp_ptrs[i] = fp->mp_ptrs[i] + offset;
                                }
@@ -6400,8 +6501,8 @@ mdb_page_new(MDB_cursor *mc, uint32_t flags, int num, MDB_page **mp)
        DPRINTF(("allocated new mpage %"Z"u, page size %u",
            np->mp_pgno, mc->mc_txn->mt_env->me_psize));
        np->mp_flags = flags | P_DIRTY;
-       np->mp_lower = MP_LOBASE;
-       np->mp_upper = mc->mc_txn->mt_env->me_psize - MP_HIBASE;
+       np->mp_lower = (PAGEHDRSZ-PAGEBASE);
+       np->mp_upper = mc->mc_txn->mt_env->me_psize - PAGEBASE;
 
        if (IS_BRANCH(np))
                mc->mc_db->md_branch_pages++;
@@ -6654,7 +6755,7 @@ mdb_node_del(MDB_cursor *mc, int ksize)
                }
        }
 
-       base = (char *)mp + mp->mp_upper + MP_HIBASE;
+       base = (char *)mp + mp->mp_upper + PAGEBASE;
        memmove(base + sz, base, ptr - mp->mp_upper);
 
        mp->mp_lower -= sizeof(indx_t);
@@ -6708,7 +6809,7 @@ mdb_node_shrink(MDB_page *mp, indx_t indx)
                        mp->mp_ptrs[i] += delta;
        }
 
-       base = (char *)mp + mp->mp_upper + MP_HIBASE;
+       base = (char *)mp + mp->mp_upper + PAGEBASE;
        memmove(base + delta, base, ptr - mp->mp_upper + NODESIZE + NODEKSZ(node));
        mp->mp_upper += delta;
 }
@@ -6980,7 +7081,7 @@ mdb_update_key(MDB_cursor *mc, MDB_val *key)
                                mp->mp_ptrs[i] -= delta;
                }
 
-               base = (char *)mp + mp->mp_upper + MP_HIBASE;
+               base = (char *)mp + mp->mp_upper + PAGEBASE;
                len = ptr - mp->mp_upper + NODESIZE;
                memmove(base - delta, base, len);
                mp->mp_upper -= delta;
@@ -7775,8 +7876,8 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                        }
                        copy->mp_pgno  = mp->mp_pgno;
                        copy->mp_flags = mp->mp_flags;
-                       copy->mp_lower = MP_LOBASE;
-                       copy->mp_upper = env->me_psize - MP_HIBASE;
+                       copy->mp_lower = (PAGEHDRSZ-PAGEBASE);
+                       copy->mp_upper = env->me_psize - PAGEBASE;
 
                        /* prepare to insert */
                        for (i=0, j=0; i<nkeys; i++) {
@@ -7816,7 +7917,7 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                                                psize += nsize;
                                                node = NULL;
                                        } else {
-                                               node = (MDB_node *)((char *)mp + copy->mp_ptrs[i] + MP_HIBASE);
+                                               node = (MDB_node *)((char *)mp + copy->mp_ptrs[i] + PAGEBASE);
                                                psize += NODESIZE + NODEKSZ(node) + sizeof(indx_t);
                                                if (IS_LEAF(mp)) {
                                                        if (F_ISSET(node->mn_flags, F_BIGDATA))
@@ -7836,7 +7937,7 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                                sepkey.mv_size = newkey->mv_size;
                                sepkey.mv_data = newkey->mv_data;
                        } else {
-                               node = (MDB_node *)((char *)mp + copy->mp_ptrs[split_indx] + MP_HIBASE);
+                               node = (MDB_node *)((char *)mp + copy->mp_ptrs[split_indx] + PAGEBASE);
                                sepkey.mv_size = node->mn_ksize;
                                sepkey.mv_data = NODEKEY(node);
                        }
@@ -7917,7 +8018,7 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                                /* Update index for the new key. */
                                mc->mc_ki[mc->mc_top] = j;
                        } else {
-                               node = (MDB_node *)((char *)mp + copy->mp_ptrs[i] + MP_HIBASE);
+                               node = (MDB_node *)((char *)mp + copy->mp_ptrs[i] + PAGEBASE);
                                rkey.mv_data = NODEKEY(node);
                                rkey.mv_size = node->mn_ksize;
                                if (IS_LEAF(mp)) {
@@ -7953,7 +8054,7 @@ mdb_page_split(MDB_cursor *mc, MDB_val *newkey, MDB_val *newdata, pgno_t newpgno
                mp->mp_lower = copy->mp_lower;
                mp->mp_upper = copy->mp_upper;
                memcpy(NODEPTR(mp, nkeys-1), NODEPTR(copy, nkeys-1),
-                       env->me_psize - copy->mp_upper - MP_HIBASE);
+                       env->me_psize - copy->mp_upper - PAGEBASE);
 
                /* reset back to original page */
                if (newindx < split_indx) {
@@ -8756,7 +8857,7 @@ int mdb_dbi_open(MDB_txn *txn, const char *name, unsigned int flags, MDB_dbi *db
        MDB_dbi i;
        MDB_cursor mc;
        int rc, dbflag, exact;
-       unsigned int unused = 0;
+       unsigned int unused = 0, seq;
        size_t len;
 
        if (txn->mt_dbxs[FREE_DBI].md_cmp == NULL) {
@@ -8841,6 +8942,12 @@ int mdb_dbi_open(MDB_txn *txn, const char *name, unsigned int flags, MDB_dbi *db
                txn->mt_dbxs[slot].md_name.mv_size = len;
                txn->mt_dbxs[slot].md_rel = NULL;
                txn->mt_dbflags[slot] = dbflag;
+               /* txn-> and env-> are the same in read txns, use
+                * tmp variable to avoid undefined assignment
+                */
+               seq = ++txn->mt_env->me_dbiseqs[slot];
+               txn->mt_dbiseqs[slot] = seq;
+
                memcpy(&txn->mt_dbs[slot], data.mv_data, sizeof(MDB_db));
                *dbi = slot;
                mdb_default_cmp(txn, slot);
@@ -8875,10 +8982,14 @@ void mdb_dbi_close(MDB_env *env, MDB_dbi dbi)
        if (dbi <= MAIN_DBI || dbi >= env->me_maxdbs)
                return;
        ptr = env->me_dbxs[dbi].md_name.mv_data;
-       env->me_dbxs[dbi].md_name.mv_data = NULL;
-       env->me_dbxs[dbi].md_name.mv_size = 0;
-       env->me_dbflags[dbi] = 0;
-       free(ptr);
+       /* If there was no name, this was already closed */
+       if (ptr) {
+               env->me_dbxs[dbi].md_name.mv_data = NULL;
+               env->me_dbxs[dbi].md_name.mv_size = 0;
+               env->me_dbflags[dbi] = 0;
+               env->me_dbiseqs[dbi]++;
+               free(ptr);
+       }
 }
 
 int mdb_dbi_flags(MDB_txn *txn, MDB_dbi dbi, unsigned int *flags)
@@ -8988,6 +9099,9 @@ int mdb_drop(MDB_txn *txn, MDB_dbi dbi, int del)
        if (F_ISSET(txn->mt_flags, MDB_TXN_RDONLY))
                return EACCES;
 
+       if (dbi > MAIN_DBI && TXN_DBI_CHANGED(txn, dbi))
+               return MDB_BAD_DBI;
+
        rc = mdb_cursor_open(txn, dbi, &mc);
        if (rc)
                return rc;