]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/acquire.c
Try to fix acquire not to block during despooling
[bacula/bacula] / bacula / src / stored / acquire.c
index 4b88e35146f630c346a4bfe0da00ad09764ba1e5..2180ebb4f39f46f3139f6804bbf209681efc25c0 100644 (file)
@@ -1,3 +1,30 @@
+/*
+   Bacula® - The Network Backup Solution
+
+   Copyright (C) 2002-2009 Free Software Foundation Europe e.V.
+
+   The main author of Bacula is Kern Sibbald, with contributions from
+   many others, a complete list can be found in the file AUTHORS.
+   This program is Free Software; you can redistribute it and/or
+   modify it under the terms of version two of the GNU General Public
+   License as published by the Free Software Foundation and included
+   in the file LICENSE.
+
+   This program is distributed in the hope that it will be useful, but
+   WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
+   General Public License for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with this program; if not, write to the Free Software
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.
+
+   Bacula® is a registered trademark of Kern Sibbald.
+   The licensor of Bacula is the Free Software Foundation Europe
+   (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
+   Switzerland, email:ftf@fsfeurope.org.
+*/
 /*
  *  Routines to acquire and release a device for read/write
  *
  *
  *   Version $Id$
  */
-/*
-   Copyright (C) 2002-2005 Kern Sibbald
-
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License
-   version 2 as amended with additional clauses defined in the
-   file LICENSE in the main source directory.
-
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the 
-   the file LICENSE for additional details.
-
- */
 
 #include "bacula.h"                   /* pull in global headers */
 #include "stored.h"                   /* pull in Storage Deamon headers */
 
-/*
- * Create a new Device Control Record and attach
- *   it to the device (if this is a real job).
- */
-DCR *new_dcr(JCR *jcr, DEVICE *dev)
-{
-   if (jcr && jcr->dcr) {
-      return jcr->dcr;
-   }
-   DCR *dcr = (DCR *)malloc(sizeof(DCR));
-   memset(dcr, 0, sizeof(DCR));
-   dcr->jcr = jcr;
-   if (dev) {
-      if (jcr) {
-         jcr->dcr = dcr;
-      }
-      dcr->dev = dev;
-      dcr->device = dev->device;
-      dcr->block = new_block(dev);
-      dcr->rec = new_record();
-      dcr->max_job_spool_size = dev->device->max_job_spool_size;
-      /* Attach this dcr only if dev is initialized */
-      if (dev->fd != 0 && jcr && jcr->JobType != JT_SYSTEM) {
-         dev->attached_dcrs->append(dcr);  /* attach dcr to device */
-//       jcr->dcrs->append(dcr);         /* put dcr in list for Job */
-      }
-   }
-   dcr->spool_fd = -1;
-   return dcr;
-}
-
-/*
- * Search the dcrs list for the given dcr. If it is found,
- *  as it should be, then remove it. Also zap the jcr pointer
- *  to the dcr if it is the same one.
- */
-#ifdef needed
-static void remove_dcr_from_dcrs(DCR *dcr)
-{
-   JCR *jcr = dcr->jcr;
-   if (jcr->dcrs) {
-      int i = 0;
-      DCR *ldcr;
-      int num = jcr->dcrs->size();
-      for (i=0; i < num; i++) {
-         ldcr = (DCR *)jcr->dcrs->get(i);
-         if (ldcr == dcr) {
-            jcr->dcrs->remove(i);
-            if (jcr->dcr == dcr) {
-               jcr->dcr = NULL;
-            }
-         }
-      }
-   }
-}
-#endif
+/* Forward referenced functions */
+static void attach_dcr_to_dev(DCR *dcr);
+static void set_dcr_from_vol(DCR *dcr, VOL_LIST *vol);
 
-/*
- * Free up all aspects of the given dcr -- i.e. dechain it,
- *  release allocated memory, zap pointers, ...
- */
-void free_dcr(DCR *dcr)
-{
-   JCR *jcr = dcr->jcr;
-   DEVICE *dev = dcr->dev;
-
-   if (dcr->reserved_device) {
-      lock_device(dev);
-      dev->reserved_device--;
-      Dmsg1(200, "Dec reserve=%d\n", dev->reserved_device);
-      dcr->reserved_device = false;
-      if (dev->num_writers < 0) {
-         Jmsg1(dcr->jcr, M_ERROR, 0, _("Hey! num_writers=%d!!!!\n"), dev->num_writers);
-         dev->num_writers = 0;
-      }
-      unlock_device(dev);
-   }
-
-   /* Detach this dcr only if the dev is initialized */
-   if (dev->fd != 0 && jcr && jcr->JobType != JT_SYSTEM) {
-      dev->attached_dcrs->remove(dcr);  /* detach dcr from device */
-//    remove_dcr_from_dcrs(dcr);      /* remove dcr from jcr list */
-   }
-   if (dcr->block) {
-      free_block(dcr->block);
-   }
-   if (dcr->rec) {
-      free_record(dcr->rec);
-   }
-   if (dcr->jcr) {
-      dcr->jcr->dcr = NULL;
-   }
-   free_unused_volume(dcr);           /* free unused vols attached to this dcr */
-   free(dcr);
-}
 
 /*********************************************************************
  * Acquire device for reading. 
@@ -128,22 +50,24 @@ void free_dcr(DCR *dcr)
  *  Returns: NULL if failed for any reason
  *           dcr  if successful
  */
-DCR *acquire_device_for_read(DCR *dcr)
+bool acquire_device_for_read(DCR *dcr)
 {
    DEVICE *dev = dcr->dev;
    JCR *jcr = dcr->jcr;
-   bool vol_ok = false;
+   bool ok = false;
    bool tape_previously_mounted;
    bool tape_initially_mounted;
    VOL_LIST *vol;
    bool try_autochanger = true;
    int i;
    int vol_label_status;
+   int retry = 0;
    
-   dev->block(BST_DOING_ACQUIRE);
+   Dmsg1(950, "jcr->dcr=%p\n", jcr->dcr);
+   dev->dblock(BST_DOING_ACQUIRE);
 
    if (dev->num_writers > 0) {
-      Jmsg2(jcr, M_FATAL, 0, _("Num_writers=%d not zero. Job %d canceled.\n"), 
+      Jmsg2(jcr, M_FATAL, 0, _("Acquire read: num_writers=%d not zero. Job %d canceled.\n"), 
          dev->num_writers, jcr->JobId);
       goto get_out;
    }
@@ -151,17 +75,105 @@ DCR *acquire_device_for_read(DCR *dcr)
    /* Find next Volume, if any */
    vol = jcr->VolList;
    if (!vol) {
-      Jmsg(jcr, M_FATAL, 0, _("No volumes specified. Job %d canceled.\n"), jcr->JobId);
+      char ed1[50];
+      Jmsg(jcr, M_FATAL, 0, _("No volumes specified for reading. Job %s canceled.\n"), 
+         edit_int64(jcr->JobId, ed1));
       goto get_out;
    }
-   jcr->CurVolume++;
-   for (i=1; i<jcr->CurVolume; i++) {
+   jcr->CurReadVolume++;
+   for (i=1; i<jcr->CurReadVolume; i++) {
       vol = vol->next;
    }
    if (!vol) {
+      Jmsg(jcr, M_FATAL, 0, _("Logic error: no next volume to read. Numvol=%d Curvol=%d\n"),
+         jcr->NumReadVolumes, jcr->CurReadVolume);
       goto get_out;                   /* should not happen */   
    }
-   bstrncpy(dcr->VolumeName, vol->VolumeName, sizeof(dcr->VolumeName));
+   set_dcr_from_vol(dcr, vol);
+
+   Dmsg2(100, "Want Vol=%s Slot=%d\n", vol->VolumeName, vol->Slot);
+    
+   /*
+    * If the MediaType requested for this volume is not the
+    *  same as the current drive, we attempt to find the same
+    *  device that was used to write the orginal volume.  If
+    *  found, we switch to using that device.
+    *
+    *  N.B. A lot of routines rely on the dcr pointer not changing
+    *    read_records.c even has multiple dcrs cached, so we take care
+    *    here to release all important parts of the dcr and re-acquire
+    *    them such as the block pointer (size may change), but we do
+    *    not release the dcr.
+    */
+   Dmsg2(50, "MediaType dcr=%s dev=%s\n", dcr->media_type, dev->device->media_type);
+   if (dcr->media_type[0] && strcmp(dcr->media_type, dev->device->media_type) != 0) {
+      RCTX rctx;
+      DIRSTORE *store;
+      int stat;
+
+      Jmsg3(jcr, M_INFO, 0, _("Changing read device. Want Media Type=\"%s\" have=\"%s\"\n"
+                              "  device=%s\n"), 
+            dcr->media_type, dev->device->media_type, dev->print_name());
+      Dmsg3(50, "Changing read device. Want Media Type=\"%s\" have=\"%s\"\n"
+                              "  device=%s\n", 
+            dcr->media_type, dev->device->media_type, dev->print_name());
+
+      dev->dunblock(DEV_UNLOCKED);
+
+      lock_reservations();
+      memset(&rctx, 0, sizeof(RCTX));
+      rctx.jcr = jcr;
+      jcr->reserve_msgs = New(alist(10, not_owned_by_alist));
+      rctx.any_drive = true;
+      rctx.device_name = vol->device;
+      store = new DIRSTORE;
+      memset(store, 0, sizeof(DIRSTORE));
+      store->name[0] = 0; /* No dir name */
+      bstrncpy(store->media_type, vol->MediaType, sizeof(store->media_type));
+      bstrncpy(store->pool_name, dcr->pool_name, sizeof(store->pool_name));
+      bstrncpy(store->pool_type, dcr->pool_type, sizeof(store->pool_type));
+      store->append = false;
+      rctx.store = store;
+      clean_device(dcr);                     /* clean up the dcr */
+      
+      /*
+       * Search for a new device
+       */
+      stat = search_res_for_device(rctx);
+      release_reserve_messages(jcr);         /* release queued messages */
+      unlock_reservations();
+
+      if (stat == 1) {
+         dev = dcr->dev;                     /* get new device pointer */
+         dev->dblock(BST_DOING_ACQUIRE); 
+         dcr->VolumeName[0] = 0;
+         Jmsg(jcr, M_INFO, 0, _("Media Type change.  New read device %s chosen.\n"),
+            dev->print_name());
+         Dmsg1(50, "Media Type change.  New read device %s chosen.\n", dev->print_name());
+
+         bstrncpy(dcr->VolumeName, vol->VolumeName, sizeof(dcr->VolumeName));
+         bstrncpy(dcr->VolCatInfo.VolCatName, vol->VolumeName, sizeof(dcr->VolCatInfo.VolCatName));
+         bstrncpy(dcr->media_type, vol->MediaType, sizeof(dcr->media_type));
+         dcr->VolCatInfo.Slot = vol->Slot;
+         dcr->VolCatInfo.InChanger = vol->Slot > 0; 
+         bstrncpy(dcr->pool_name, store->pool_name, sizeof(dcr->pool_name));
+         bstrncpy(dcr->pool_type, store->pool_type, sizeof(dcr->pool_type));
+      } else {
+         /* error */
+         Jmsg1(jcr, M_FATAL, 0, _("No suitable device found to read Volume \"%s\"\n"),
+            vol->VolumeName);
+         Dmsg1(50, "No suitable device found to read Volume \"%s\"\n", vol->VolumeName);
+         goto get_out;
+      }
+   }
+
+   dev->clear_unload();
+
+   if (dev->vol && dev->vol->is_swapping()) {
+      dev->vol->set_slot(vol->Slot);
+      Dmsg3(100, "swapping: slot=%d Vol=%s dev=%s\n", dev->vol->get_slot(),
+         dev->vol->vol_name, dev->print_name());
+   }
 
    init_device_wait_timers(dcr);
 
@@ -171,17 +183,32 @@ DCR *acquire_device_for_read(DCR *dcr)
 
 
    /* Volume info is always needed because of VolParts */
-   Dmsg0(200, "dir_get_volume_info\n");
+   Dmsg1(150, "dir_get_volume_info vol=%s\n", dcr->VolumeName);
    if (!dir_get_volume_info(dcr, GET_VOL_INFO_FOR_READ)) {
-      Jmsg1(jcr, M_WARNING, 0, "%s", jcr->errmsg);
+      Dmsg2(150, "dir_get_vol_info failed for vol=%s: %s\n", 
+         dcr->VolumeName, jcr->errmsg);
+      Jmsg1(jcr, M_WARNING, 0, "Read acquire: %s", jcr->errmsg);
    }
+   dev->set_load();                /* set to load volume */
    
-   for (i=0; i<5; i++) {
+   for ( ;; ) {
+      /* If not polling limit retries */
+      if (!dev->poll && retry++ > 10) {
+         break;
+      }
       dev->clear_labeled();              /* force reread of label */
       if (job_canceled(jcr)) {
-         Mmsg1(dev->errmsg, _("Job %d canceled.\n"), jcr->JobId);
+         char ed1[50];
+         Mmsg1(dev->errmsg, _("Job %s canceled.\n"), edit_int64(jcr->JobId, ed1));
+         Jmsg(jcr, M_INFO, 0, dev->errmsg);
          goto get_out;                /* error return */
       }
+
+      dcr->do_unload();
+      dcr->do_swapping(false/*!is_writing*/);
+      dcr->do_load(false /*!is_writing*/);
+      set_dcr_from_vol(dcr, vol);          /* refresh dcr with desired volume info */
+
       /*
        * This code ensures that the device is ready for
        * reading. If it is a file, it opens it.
@@ -189,62 +216,57 @@ DCR *acquire_device_for_read(DCR *dcr)
        */
       Dmsg1(100, "bstored: open vol=%s\n", dcr->VolumeName);
       if (dev->open(dcr, OPEN_READ_ONLY) < 0) {
-         if (dev->dev_errno == EIO) {   /* no tape loaded */
-           Jmsg3(jcr, M_WARNING, 0, _("Open device %s Volume \"%s\" failed (EIO): ERR=%s\n"),
-                 dev->print_name(), dcr->VolumeName, strerror_dev(dev));
-            goto default_path;
+         if (!dev->poll) {
+            Jmsg3(jcr, M_WARNING, 0, _("Read open device %s Volume \"%s\" failed: ERR=%s\n"),
+                  dev->print_name(), dcr->VolumeName, dev->bstrerror());
          }
-         
-#ifdef xxx_needed
-         /* If we have a dvd that requires mount, 
-          * we need to try to open the label, so the info can be reported
-          * if a wrong volume has been mounted.   
-          */
-         if (dev->is_dvd() && (dcr->VolCatInfo.VolCatParts > 0)) {
-            break;
-         }  
-#endif
-         
-         Jmsg3(jcr, M_FATAL, 0, _("Open device %s Volume \"%s\" failed: ERR=%s\n"),
-             dev->print_name(), dcr->VolumeName, strerror_dev(dev));
-         goto get_out;
+         goto default_path;
       }
-      Dmsg1(100, "opened dev %s OK\n", dev->print_name());
+      Dmsg1(50, "opened dev %s OK\n", dev->print_name());
       
       /* Read Volume Label */
-      
-      Dmsg0(200, "calling read-vol-label\n");
+      Dmsg0(50, "calling read-vol-label\n");
       vol_label_status = read_dev_volume_label(dcr);
       switch (vol_label_status) {
       case VOL_OK:
-         vol_ok = true;
-         memcpy(&dev->VolCatInfo, &dcr->VolCatInfo, sizeof(dev->VolCatInfo));
+         Dmsg0(50, "Got correct volume.\n");
+         ok = true;
+         dev->VolCatInfo = dcr->VolCatInfo;     /* structure assignment */
          break;                    /* got it */
       case VOL_IO_ERROR:
+         Dmsg0(50, "IO Error\n");
          /*
           * Send error message generated by read_dev_volume_label()
           *  only we really had a tape mounted. This supresses superfluous
           *  error messages when nothing is mounted.
           */
          if (tape_previously_mounted) {
-            Jmsg(jcr, M_WARNING, 0, "%s", jcr->errmsg);
+            Jmsg(jcr, M_WARNING, 0, "Read acquire: %s", jcr->errmsg);
          }
          goto default_path;
       case VOL_NAME_ERROR:
-         if (tape_initially_mounted) {
-            tape_initially_mounted = false;
+         Dmsg0(50, "Vol name error.\n");
+         if (dev->is_volume_to_unload()) {
             goto default_path;
          }
+         dev->set_unload();              /* force unload of unwanted tape */
+         if (!unload_autochanger(dcr, -1)) {
+            /* at least free the device so we can re-open with correct volume */
+            dev->close();                                                          
+         }
+         dev->set_load();
          /* Fall through */
       default:
-         Jmsg1(jcr, M_WARNING, 0, "%s", jcr->errmsg);
+         Jmsg1(jcr, M_WARNING, 0, "Read acquire: %s", jcr->errmsg);
 default_path:
+         Dmsg0(50, "default path\n");
          tape_previously_mounted = true;
          
-         /* If the device requires mount, close it, so the device can be ejected.
-          * FIXME: This should perhaps be done for all devices. */
+         /*
+          * If the device requires mount, close it, so the device can be ejected.
+          */
          if (dev->requires_mount()) {
-            force_close_device(dev);
+            dev->close();
          }
          
          /* Call autochanger only once unless ask_sysop called */
@@ -261,16 +283,28 @@ default_path:
          
          /* Mount a specific volume and no other */
          Dmsg0(200, "calling dir_ask_sysop\n");
-         if (!dir_ask_sysop_to_mount_volume(dcr)) {
+         if (!dir_ask_sysop_to_mount_volume(dcr, ST_READ)) {
             goto get_out;             /* error return */
          }
-         try_autochanger = true;      /* permit using autochanger again */
+
+         /* Volume info is always needed because of VolParts */
+         Dmsg1(150, "dir_get_volume_info vol=%s\n", dcr->VolumeName);
+         if (!dir_get_volume_info(dcr, GET_VOL_INFO_FOR_READ)) {
+            Dmsg2(150, "dir_get_vol_info failed for vol=%s: %s\n", 
+                  dcr->VolumeName, jcr->errmsg);
+            Jmsg1(jcr, M_WARNING, 0, "Read acquire: %s", jcr->errmsg);
+         }
+         dev->set_load();                /* set to load volume */
+
+         try_autochanger = true;      /* permit trying the autochanger again */
+
          continue;                    /* try reading again */
       } /* end switch */
       break;
    } /* end for loop */
-   if (!vol_ok) {
-      Jmsg1(jcr, M_FATAL, 0, _("Too many errors trying to mount device %s.\n"),
+
+   if (!ok) {
+      Jmsg1(jcr, M_FATAL, 0, _("Too many errors trying to mount device %s for reading.\n"),
             dev->print_name());
       goto get_out;
    }
@@ -283,12 +317,20 @@ default_path:
       dcr->VolumeName, dev->print_name());
 
 get_out:
-   dev->unblock();
-   if (!vol_ok) {
-      free_dcr(dcr);
-      dcr = NULL;
+   dev->dlock();
+   dcr->clear_reserved();
+   /* 
+    * Normally we are blocked, but in at least one error case above 
+    *   we are not blocked because we unsuccessfully tried changing
+    *   devices.  
+    */
+   if (dev->is_blocked()) {
+      dev->dunblock(DEV_LOCKED);
+   } else {
+      dev->dunlock();               /* dunblock() unlock the device too */
    }
-   return dcr;
+   Dmsg1(950, "jcr->dcr=%p\n", jcr->dcr);
+   return ok;
 }
 
 
@@ -303,97 +345,51 @@ get_out:
  */
 DCR *acquire_device_for_append(DCR *dcr)
 {
-   bool release = false;
-   bool recycle = false;
-   bool do_mount = false;
    DEVICE *dev = dcr->dev;
    JCR *jcr = dcr->jcr;
+   bool ok = false;
+   bool have_vol = false;
 
    init_device_wait_timers(dcr);
 
-   dev->block(BST_DOING_ACQUIRE);
-   Dmsg1(190, "acquire_append device is %s\n", dev->is_tape()?"tape":
+   dev->dlock();
+   Dmsg1(100, "acquire_append device is %s\n", dev->is_tape()?"tape":
         (dev->is_dvd()?"DVD":"disk"));
 
-   if (dcr->reserved_device) {
-      dev->reserved_device--;
-      Dmsg1(200, "Dec reserve=%d\n", dev->reserved_device);
-      dcr->reserved_device = false;
-   }
-
    /*
     * With the reservation system, this should not happen
     */
    if (dev->can_read()) {
-      Jmsg1(jcr, M_FATAL, 0, _("Device %s is busy reading.\n"), dev->print_name());
-      Dmsg1(200, "Device %s is busy reading.\n", dev->print_name());
+      Jmsg1(jcr, M_FATAL, 0, _("Want to append, but device %s is busy reading.\n"), dev->print_name());
+      Dmsg1(200, "Want to append but device %s is busy reading.\n", dev->print_name());
       goto get_out;
    }
 
-   if (dev->can_append()) {
+   dev->clear_unload();
+
+   /*
+    * have_vol defines whether or not mount_next_write_volume should
+    *   ask the Director again about what Volume to use.
+    */
+   if (dev->can_append() && dcr->is_suitable_volume_mounted() &&
+       strcmp(dcr->VolCatInfo.VolCatStatus, "Recycle") != 0) {
       Dmsg0(190, "device already in append.\n");
       /*
-       * Device already in append mode
-       *
-       * Check if we have the right Volume mounted
-       *   OK if current volume info OK
-       *   OK if next volume matches current volume
-       *   otherwise mount desired volume obtained from
-       *    dir_find_next_appendable_volume
-       *  dev->VolHdr.VolumeName is what is in the drive
-       *  dcr->VolumeName is what we pass into the routines, or
-       *    get back from the subroutines.
+       * At this point, the correct tape is already mounted, so
+       *   we do not need to do mount_next_write_volume(), unless
+       *   we need to recycle the tape.
        */
-      bstrncpy(dcr->VolumeName, dev->VolHdr.VolumeName, sizeof(dcr->VolumeName));
-      if (!dir_get_volume_info(dcr, GET_VOL_INFO_FOR_WRITE) &&
-          !(dir_find_next_appendable_volume(dcr) &&
-            strcmp(dev->VolHdr.VolumeName, dcr->VolumeName) == 0)) { /* wrong tape mounted */
-         Dmsg2(190, "Wrong tape mounted: %s. wants:%s\n", dev->VolHdr.VolumeName,
-            dcr->VolumeName);
-         /* Release volume reserved by dir_find_next_appendable_volume() */
-         if (dcr->VolumeName[0]) {
-            free_unused_volume(dcr);
-         }
-         if (dev->num_writers != 0) {
-            Jmsg3(jcr, M_FATAL, 0, _("Wanted Volume \"%s\", but device %s is busy writing on \"%s\" .\n"), 
-                 dcr->VolumeName, dev->print_name(), dev->VolHdr.VolumeName);
-            Dmsg3(200, "Wanted Volume \"%s\", but device %s is busy writing on \"%s\" .\n",  
-                 dcr->VolumeName, dev->print_name(), dev->VolHdr.VolumeName);
-            goto get_out;
-         }
-         /* Wrong tape mounted, release it, then fall through to get correct one */
-         Dmsg0(190, "Wrong tape mounted, release and try mount.\n");
-         release = true;
-         do_mount = true;
-      } else {
-         /*
-          * At this point, the correct tape is already mounted, so
-          *   we do not need to do mount_next_write_volume(), unless
-          *   we need to recycle the tape.
-          */
-          recycle = strcmp(dcr->VolCatInfo.VolCatStatus, "Recycle") == 0;
-          Dmsg1(190, "Correct tape mounted. recycle=%d\n", recycle);
-          if (recycle && dev->num_writers != 0) {
-             Jmsg(jcr, M_FATAL, 0, _("Cannot recycle volume \"%s\""
-                  " on device %s because it is in use by another job.\n"),
-                  dev->VolHdr.VolumeName, dev->print_name());
-             goto get_out;
-          }
-          if (dev->num_writers == 0) {
-             memcpy(&dev->VolCatInfo, &dcr->VolCatInfo, sizeof(dev->VolCatInfo));
-          }
-      }
-   } else {
-      /* Not already in append mode, so mount the device */
-      Dmsg0(190, "Not in append mode, try mount.\n");
-      ASSERT(dev->num_writers == 0);
-      do_mount = true;
+       if (dev->num_writers == 0) {
+          memcpy(&dev->VolCatInfo, &dcr->VolCatInfo, sizeof(dev->VolCatInfo));
+       }
+       have_vol = dcr->is_tape_position_ok();
    }
 
-   if (do_mount || recycle) {
-      Dmsg0(190, "Do mount_next_write_vol\n");
-      bool mounted = mount_next_write_volume(dcr, release);
-      if (!mounted) {
+   if (!have_vol) {
+      dev->dunlock();
+      dev->dblock(BST_DOING_ACQUIRE);
+      Dmsg1(190, "jid=%u Do mount_next_write_vol\n", (uint32_t)jcr->JobId);
+      if (!dcr->mount_next_write_volume()) {
          if (!job_canceled(jcr)) {
             /* Reduce "noise" -- don't print if job canceled */
             Jmsg(jcr, M_FATAL, 0, _("Could not ready device %s for append.\n"),
@@ -401,54 +397,67 @@ DCR *acquire_device_for_append(DCR *dcr)
             Dmsg1(200, "Could not ready device %s for append.\n", 
                dev->print_name());
          }
+         dev->dlock();
+         unblock_device(dev);
          goto get_out;
       }
+      Dmsg2(190, "Output pos=%u:%u\n", dcr->dev->file, dcr->dev->block_num);
+      dev->dlock();
+      unblock_device(dev);
    }
 
    dev->num_writers++;                /* we are now a writer */
-   if (jcr->NumVolumes == 0) {
-      jcr->NumVolumes = 1;
+   if (jcr->NumWriteVolumes == 0) {
+      jcr->NumWriteVolumes = 1;
    }
-   goto ok_out;
+   dev->VolCatInfo.VolCatJobs++;              /* increment number of jobs on vol */
+   Dmsg4(100, "=== nwriters=%d nres=%d vcatjob=%d dev=%s\n", 
+      dev->num_writers, dev->num_reserved(), dev->VolCatInfo.VolCatJobs, 
+      dev->print_name());
+   dir_update_volume_info(dcr, false, false); /* send Volume info to Director */
+   ok = true;
 
-/*
- * If we jump here, it is an error return because
- *  rtn_dev will still be NULL
- */
 get_out:
-   free_dcr(dcr);
-   dcr = NULL;
-ok_out:
-   dev->unblock();
-   return dcr;
+   dcr->clear_reserved();
+   dev->dunlock();
+   return ok ? dcr : NULL;
 }
 
 /*
  * This job is done, so release the device. From a Unix standpoint,
  *  the device remains open.
  *
+ * Note, if we are spooling, we may enter with the device locked.
+ * However, in all cases, unlock the device when leaving.
+ *
  */
 bool release_device(DCR *dcr)
 {
    JCR *jcr = dcr->jcr;
    DEVICE *dev = dcr->dev;
    bool ok = true;
+   char tbuf[100];
 
-   lock_device(dev);
-   Dmsg1(100, "release_device device is %s\n", dev->is_tape()?"tape":"disk");
+   /* lock only if not already locked by this thread */
+   if (!dcr->is_dev_locked()) {
+      dev->r_dlock();
+   }
+   lock_volumes();
+   Dmsg2(100, "release_device device %s is %s\n", dev->print_name(), dev->is_tape()?"tape":"disk");
 
    /* if device is reserved, job never started, so release the reserve here */
-   if (dcr->reserved_device) {
-      dev->reserved_device--;
-      Dmsg1(200, "Dec reserve=%d\n", dev->reserved_device);
-      dcr->reserved_device = false;
-   }
+   dcr->clear_reserved();
 
    if (dev->can_read()) {
+      VOLUME_CAT_INFO *vol = &dev->VolCatInfo;
       dev->clear_read();              /* clear read bit */
-
-      /******FIXME**** send read volume usage statistics to director */
-
+      Dmsg2(150, "dir_update_vol_info. label=%d Vol=%s\n",
+         dev->is_labeled(), vol->VolCatName);
+      if (dev->is_labeled() && vol->VolCatName[0] != 0) {
+         dir_update_volume_info(dcr, false, false); /* send Volume info to Director */
+         remove_read_volume(jcr, dcr->VolumeName);
+         volume_unused(dcr);
+      }
    } else if (dev->num_writers > 0) {
       /* 
        * Note if WEOT is set, we are at the end of the tape
@@ -459,22 +468,26 @@ bool release_device(DCR *dcr)
       dev->num_writers--;
       Dmsg1(100, "There are %d writers in release_device\n", dev->num_writers);
       if (dev->is_labeled()) {
-         Dmsg0(100, "dir_create_jobmedia_record. Release\n");
+         Dmsg2(200, "dir_create_jobmedia. Release vol=%s dev=%s\n", 
+               dev->VolCatInfo.VolCatName, dev->print_name());
          if (!dev->at_weot() && !dir_create_jobmedia_record(dcr)) {
-            Jmsg(jcr, M_FATAL, 0, _("Could not create JobMedia record for Volume=\"%s\" Job=%s\n"),
+            Jmsg2(jcr, M_FATAL, 0, _("Could not create JobMedia record for Volume=\"%s\" Job=%s\n"),
                dcr->VolCatInfo.VolCatName, jcr->Job);
          }
-         /* If no more writers, write an EOF */
-         if (!dev->num_writers && dev->can_write()) {
-            weof_dev(dev, 1);
+         /* If no more writers, and no errors, and wrote something, write an EOF */
+         if (!dev->num_writers && dev->can_write() && dev->block_num > 0) {
+            dev->weof(1);
             write_ansi_ibm_labels(dcr, ANSI_EOF_LABEL, dev->VolHdr.VolumeName);
          }
          if (!dev->at_weot()) {
             dev->VolCatInfo.VolCatFiles = dev->file;   /* set number of files */
-            dev->VolCatInfo.VolCatJobs++;              /* increment number of jobs */
             /* Note! do volume update before close, which zaps VolCatInfo */
-            Dmsg0(100, "dir_update_vol_info. Release0\n");
-            dir_update_volume_info(dcr, false); /* send Volume info to Director */
+            dir_update_volume_info(dcr, false, false); /* send Volume info to Director */
+            Dmsg2(200, "dir_update_vol_info. Release vol=%s dev=%s\n", 
+                  dev->VolCatInfo.VolCatName, dev->print_name());
+         }
+         if (dev->num_writers == 0) {         /* if not being used */
+            volume_unused(dcr);               /*  we obviously are not using the volume */
          }
       }
 
@@ -484,12 +497,18 @@ bool release_device(DCR *dcr)
        *   has failed, since the device is not in read mode and
        *   there are no writers. It was probably reserved.
        */
+      volume_unused(dcr);
    }
+   unlock_volumes();
+   Dmsg3(100, "%d writers, %d reserve, dev=%s\n", dev->num_writers, dev->num_reserved(),
+         dev->print_name());
+   debug_list_volumes("acquire:release_device()");
+
 
    /* If no writers, close if file or !CAP_ALWAYS_OPEN */
-   if (dev->num_writers == 0 && (!dev->is_tape() || !dev_cap(dev, CAP_ALWAYSOPEN))) {
-      offline_or_rewind_dev(dev);
-      close_device(dev);
+   if (dev->num_writers == 0 && (!dev->is_tape() || !dev->has_cap(CAP_ALWAYSOPEN))) {
+      dvd_remove_empty_part(dcr);        /* get rid of any empty spool part */
+      dev->close();
    }
 
    /* Fire off Alert command and include any output */
@@ -512,15 +531,182 @@ bool release_device(DCR *dcr)
       if (status != 0) {
          berrno be;
          Jmsg(jcr, M_ALERT, 0, _("3997 Bad alert command: %s: ERR=%s.\n"),
-              alert, be.strerror(status));
+              alert, be.bstrerror(status));
       }
 
       Dmsg1(400, "alert status=%d\n", status);
       free_pool_memory(alert);
    }
-   unlock_device(dev);
-   free_dcr(dcr);
-   jcr->dcr = NULL;
+   pthread_cond_broadcast(&dev->wait_next_vol);
+   Dmsg2(100, "JobId=%u broadcast wait_device_release at %s\n", 
+         (uint32_t)jcr->JobId, bstrftimes(tbuf, sizeof(tbuf), (utime_t)time(NULL)));
    pthread_cond_broadcast(&wait_device_release);
+   dev->dunlock();
+   if (dcr->keep_dcr) {
+      detach_dcr_from_dev(dcr);
+   } else {
+      if (jcr->read_dcr == dcr) {
+         jcr->read_dcr = NULL;
+      }
+      if (jcr->dcr == dcr) {
+         jcr->dcr = NULL;
+      }
+      free_dcr(dcr);
+   }
+   Dmsg2(100, "===== Device %s released by JobId=%u\n", dev->print_name(),
+         (uint32_t)jcr->JobId);
+   return ok;
+}
+
+/*
+ * Clean up the device for reuse without freeing the memory
+ */
+bool clean_device(DCR *dcr)
+{
+   bool ok;
+   dcr->keep_dcr = true;                  /* do not free the dcr */
+   ok = release_device(dcr);
+   dcr->keep_dcr = false;
    return ok;
 }
+
+/*
+ * Create a new Device Control Record and attach
+ *   it to the device (if this is a real job).
+ * Note, this has been updated so that it can be called first 
+ *   without a DEVICE, then a second or third time with a DEVICE,
+ *   and each time, it should cleanup and point to the new device.
+ *   This should facilitate switching devices.
+ * Note, each dcr must point to the controlling job (jcr).  However,
+ *   a job can have multiple dcrs, so we must not store in the jcr's
+ *   structure as previously. The higher level routine must store
+ *   this dcr in the right place
+ *
+ */
+DCR *new_dcr(JCR *jcr, DCR *dcr, DEVICE *dev)
+{
+   if (!dcr) {
+      dcr = (DCR *)malloc(sizeof(DCR));
+      memset(dcr, 0, sizeof(DCR));
+      dcr->tid = pthread_self();
+      dcr->spool_fd = -1;
+   }
+   dcr->jcr = jcr;                 /* point back to jcr */
+   /* Set device information, possibly change device */
+   if (dev) {
+      if (dcr->block) {
+         free_block(dcr->block);
+      }
+      dcr->block = new_block(dev);
+      if (dcr->rec) {
+         free_record(dcr->rec);
+      }
+      dcr->rec = new_record();
+      if (dcr->attached_to_dev) {
+         detach_dcr_from_dev(dcr);
+      }
+      /* Use job spoolsize prior to device spoolsize */
+      if (jcr->spool_size) {
+         dcr->max_job_spool_size = jcr->spool_size;
+      } else {
+         dcr->max_job_spool_size = dev->device->max_job_spool_size;
+      }
+      dcr->device = dev->device;
+      dcr->dev = dev;
+      attach_dcr_to_dev(dcr);
+   }
+   return dcr;
+}
+
+/*
+ * Search the dcrs list for the given dcr. If it is found,
+ *  as it should be, then remove it. Also zap the jcr pointer
+ *  to the dcr if it is the same one.
+ *
+ * Note, this code will be turned on when we can write to multiple
+ *  dcrs at the same time.
+ */
+#ifdef needed
+static void remove_dcr_from_dcrs(DCR *dcr)
+{
+   JCR *jcr = dcr->jcr;
+   if (jcr->dcrs) {
+      int i = 0;
+      DCR *ldcr;
+      int num = jcr->dcrs->size();
+      for (i=0; i < num; i++) {
+         ldcr = (DCR *)jcr->dcrs->get(i);
+         if (ldcr == dcr) {
+            jcr->dcrs->remove(i);
+            if (jcr->dcr == dcr) {
+               jcr->dcr = NULL;
+            }
+         }
+      }
+   }
+}
+#endif
+
+static void attach_dcr_to_dev(DCR *dcr)
+{
+   DEVICE *dev = dcr->dev;
+   JCR *jcr = dcr->jcr;
+
+   if (jcr) Dmsg1(500, "JobId=%u enter attach_dcr_to_dev\n", (uint32_t)jcr->JobId);
+   if (!dcr->attached_to_dev && dev->initiated && jcr && jcr->get_JobType() != JT_SYSTEM) {
+      dev->attached_dcrs->append(dcr);  /* attach dcr to device */
+      dcr->attached_to_dev = true;
+      Dmsg1(500, "JobId=%u attach_dcr_to_dev\n", (uint32_t)jcr->JobId);
+   }
+}
+
+void detach_dcr_from_dev(DCR *dcr)
+{
+   DEVICE *dev = dcr->dev;
+   Dmsg0(500, "Enter detach_dcr_from_dev\n"); /* jcr is NULL in some cases */
+
+   /* Detach this dcr only if attached */
+   if (dcr->attached_to_dev && dev) {
+      dev->dlock();
+      dcr->unreserve_device();
+      dcr->dev->attached_dcrs->remove(dcr);  /* detach dcr from device */
+      dcr->attached_to_dev = false;
+//    remove_dcr_from_dcrs(dcr);      /* remove dcr from jcr list */
+      dev->dunlock();
+   }
+}
+
+/*
+ * Free up all aspects of the given dcr -- i.e. dechain it,
+ *  release allocated memory, zap pointers, ...
+ */
+void free_dcr(DCR *dcr)
+{
+   JCR *jcr = dcr->jcr;
+
+   detach_dcr_from_dev(dcr);
+
+   if (dcr->block) {
+      free_block(dcr->block);
+   }
+   if (dcr->rec) {
+      free_record(dcr->rec);
+   }
+   if (jcr && jcr->dcr == dcr) {
+      jcr->dcr = NULL;
+   }
+   free(dcr);
+}
+
+static void set_dcr_from_vol(DCR *dcr, VOL_LIST *vol)
+{
+   /*    
+    * Note, if we want to be able to work from a .bsr file only          
+    *  for disaster recovery, we must "simulate" reading the catalog
+    */
+   bstrncpy(dcr->VolumeName, vol->VolumeName, sizeof(dcr->VolumeName));
+   bstrncpy(dcr->VolCatInfo.VolCatName, vol->VolumeName, sizeof(dcr->VolCatInfo.VolCatName));
+   bstrncpy(dcr->media_type, vol->MediaType, sizeof(dcr->media_type));
+   dcr->VolCatInfo.Slot = vol->Slot;
+   dcr->VolCatInfo.InChanger = vol->Slot > 0; 
+}