]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/askdir.c
Convert restore object to use STREAM_RESTORE_OBJECT; cleaner code
[bacula/bacula] / bacula / src / stored / askdir.c
index 3a2b41128f3ecfdc28ee4994ac7eb5d1b2e803fa..5326e308a47ad4e5a32942740e7cb57ec33fd7b4 100644 (file)
@@ -1,29 +1,36 @@
 /*
- *  Subroutines to handle Catalog reqests sent to the Director
- *   Reqests/commands from the Director are handled in dircmd.c
- *
- *   Kern Sibbald, December 2000
- *
- *   Version $Id$
- */
-/*
-   Copyright (C) 2000-2005 Kern Sibbald
+   Bacula® - The Network Backup Solution
+
+   Copyright (C) 2000-2010 Free Software Foundation Europe e.V.
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of
-   the License, or (at your option) any later version.
+   The main author of Bacula is Kern Sibbald, with contributions from
+   many others, a complete list can be found in the file AUTHORS.
+   This program is Free Software; you can redistribute it and/or
+   modify it under the terms of version two of the GNU General Public
+   License as published by the Free Software Foundation and included
+   in the file LICENSE.
 
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   This program is distributed in the hope that it will be useful, but
+   WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
    General Public License for more details.
 
-   You should have received a copy of the GNU General Public
-   License along with this program; if not, write to the Free
-   Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
-   MA 02111-1307, USA.
+   You should have received a copy of the GNU General Public License
+   along with this program; if not, write to the Free Software
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.
 
+   Bacula® is a registered trademark of Kern Sibbald.
+   The licensor of Bacula is the Free Software Foundation Europe
+   (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
+   Switzerland, email:ftf@fsfeurope.org.
+*/
+/*
+ *  Subroutines to handle Catalog reqests sent to the Director
+ *   Reqests/commands from the Director are handled in dircmd.c
+ *
+ *   Kern Sibbald, December 2000
+ *
  */
 
 #include "bacula.h"                   /* pull in global headers */
@@ -34,48 +41,50 @@ static char Find_media[]   = "CatReq Job=%s FindMedia=%d pool_name=%s media_type
 static char Get_Vol_Info[] = "CatReq Job=%s GetVolInfo VolName=%s write=%d\n";
 static char Update_media[] = "CatReq Job=%s UpdateMedia VolName=%s"
    " VolJobs=%u VolFiles=%u VolBlocks=%u VolBytes=%s VolMounts=%u"
-   " VolErrors=%u VolWrites=%u MaxVolBytes=%s EndTime=%d VolStatus=%s"
+   " VolErrors=%u VolWrites=%u MaxVolBytes=%s EndTime=%s VolStatus=%s"
    " Slot=%d relabel=%d InChanger=%d VolReadTime=%s VolWriteTime=%s"
-   " VolParts=%u\n";
+   " VolFirstWritten=%s VolParts=%u\n";
 static char Create_job_media[] = "CatReq Job=%s CreateJobMedia"
    " FirstIndex=%u LastIndex=%u StartFile=%u EndFile=%u"
-   " StartBlock=%u EndBlock=%u\n";
+   " StartBlock=%u EndBlock=%u Copy=%d Strip=%d MediaId=%s\n";
 static char FileAttributes[] = "UpdCat Job=%s FileAttributes ";
 static char Job_status[]     = "Status Job=%s JobStatus=%d\n";
+
+/* Responses received from the Director */
+static char OK_media[] = "1000 OK VolName=%127s VolJobs=%u VolFiles=%lu"
+   " VolBlocks=%lu VolBytes=%lld VolMounts=%lu VolErrors=%lu VolWrites=%lu"
+   " MaxVolBytes=%lld VolCapacityBytes=%lld VolStatus=%20s"
+   " Slot=%ld MaxVolJobs=%lu MaxVolFiles=%lu InChanger=%ld"
+   " VolReadTime=%lld VolWriteTime=%lld EndFile=%lu EndBlock=%lu"
+   " VolParts=%lu LabelType=%ld MediaId=%lld\n";
+
+
+static char OK_create[] = "1000 OK CreateJobMedia\n";
+
+static pthread_mutex_t vol_info_mutex = PTHREAD_MUTEX_INITIALIZER;
+
+#ifdef needed
+
 static char Device_update[] = "DevUpd Job=%s device=%s "
    "append=%d read=%d num_writers=%d "
    "open=%d labeled=%d offline=%d "
    "reserved=%d max_writers=%d "
    "autoselect=%d autochanger=%d "
-   "poolid=%s "
    "changer_name=%s media_type=%s volume_name=%s\n";
 
 
-
-/* Responses received from the Director */
-static char OK_media[] = "1000 OK VolName=%127s VolJobs=%u VolFiles=%u"
-   " VolBlocks=%u VolBytes=%" lld " VolMounts=%u VolErrors=%u VolWrites=%u"
-   " MaxVolBytes=%" lld " VolCapacityBytes=%" lld " VolStatus=%20s"
-   " Slot=%d MaxVolJobs=%u MaxVolFiles=%u InChanger=%d"
-   " VolReadTime=%" lld " VolWriteTime=%" lld " EndFile=%u EndBlock=%u"
-   " VolParts=%u LabelType=%d";
-
-
-static char OK_create[] = "1000 OK CreateJobMedia\n";
-
-/* Send update information about a device to Director */
+/** Send update information about a device to Director */
 bool dir_update_device(JCR *jcr, DEVICE *dev)
 {
    BSOCK *dir = jcr->dir_bsock;
    POOL_MEM dev_name, VolumeName, MediaType, ChangerName;
    DEVRES *device = dev->device;
    bool ok;
-   char ed1[50];
    
    pm_strcpy(dev_name, device->hdr.name);
    bash_spaces(dev_name);
    if (dev->is_labeled()) {
-      pm_strcpy(VolumeName, dev->VolHdr.VolName);
+      pm_strcpy(VolumeName, dev->VolHdr.VolumeName);
    } else {
       pm_strcpy(VolumeName, "*");
    }
@@ -88,7 +97,7 @@ bool dir_update_device(JCR *jcr, DEVICE *dev)
    } else {
       pm_strcpy(ChangerName, "*");
    }
-   ok =bnet_fsend(dir, Device_update, 
+   ok = dir->fsend(Device_update, 
       jcr->Job,
       dev_name.c_str(),
       dev->can_append()!=0,
@@ -97,7 +106,6 @@ bool dir_update_device(JCR *jcr, DEVICE *dev)
       dev->is_offline()!=0, dev->reserved_device, 
       dev->is_tape()?100000:1,
       dev->autoselect, 0, 
-      edit_uint64(dev->PoolId, ed1),
       ChangerName.c_str(), MediaType.c_str(), VolumeName.c_str());
    Dmsg1(100, ">dird: %s\n", dir->msg);
    return ok;
@@ -116,39 +124,45 @@ bool dir_update_changer(JCR *jcr, AUTOCHANGER *changer)
    pm_strcpy(MediaType, device->media_type);
    bash_spaces(MediaType);
    /* This is mostly to indicate that we are here */
-   ok = bnet_fsend(dir, Device_update,
+   ok = dir->fsend(Device_update,
       jcr->Job,
-      dev_name.c_str(),        /* Changer name */
-      0, 0, 0,                 /* append, read, num_writers */
-      0, 0, 0,                 /* is_open, is_labeled, offline */
-      0, 0,                    /* reserved, max_writers */
-      0,                       /* Autoselect */
-      changer->device->size(), /* Number of devices */
+      dev_name.c_str(),         /* Changer name */
+      0, 0, 0,                  /* append, read, num_writers */
+      0, 0, 0,                  /* is_open, is_labeled, offline */
+      0, 0,                     /* reserved, max_writers */
+      0,                        /* Autoselect */
+      changer->device->size(),  /* Number of devices */
       "0",                      /* PoolId */
       "*",                      /* ChangerName */
-      MediaType.c_str(),       /* MediaType */
+      MediaType.c_str(),        /* MediaType */
       "*");                     /* VolName */
    Dmsg1(100, ">dird: %s\n", dir->msg);
    return ok;
 }
+#endif
 
 
-/*
+/**
  * Send current JobStatus to Director
  */
 bool dir_send_job_status(JCR *jcr)
 {
-   return bnet_fsend(jcr->dir_bsock, Job_status, jcr->Job, jcr->JobStatus);
+   return jcr->dir_bsock->fsend(Job_status, jcr->Job, jcr->JobStatus);
 }
 
-/*
+/**
  * Common routine for:
  *   dir_get_volume_info()
  * and
  *   dir_find_next_appendable_volume()
  *
+ *  NOTE!!! All calls to this routine must be protected by
+ *          locking vol_info_mutex before calling it so that
+ *          we don't have one thread modifying the parameters
+ *          and another reading them.
+ *
  *  Returns: true  on success and vol info in dcr->VolCatInfo
- *          false on failure
+ *           false on failure
  */
 static bool do_get_volume_info(DCR *dcr)
 {
@@ -156,10 +170,10 @@ static bool do_get_volume_info(DCR *dcr)
     BSOCK *dir = jcr->dir_bsock;
     VOLUME_CAT_INFO vol;
     int n;
-    int InChanger;
+    int32_t InChanger;
 
-    dcr->VolumeName[0] = 0;          /* No volume */
-    if (bnet_recv(dir) <= 0) {
+    dcr->setVolCatInfo(false);
+    if (dir->recv() <= 0) {
        Dmsg0(200, "getvolname error bnet_recv\n");
        Mmsg(jcr->errmsg, _("Network error on bnet_recv in req_vol_info.\n"));
        return false;
@@ -167,207 +181,256 @@ static bool do_get_volume_info(DCR *dcr)
     memset(&vol, 0, sizeof(vol));
     Dmsg1(100, "<dird %s", dir->msg);
     n = sscanf(dir->msg, OK_media, vol.VolCatName,
-              &vol.VolCatJobs, &vol.VolCatFiles,
-              &vol.VolCatBlocks, &vol.VolCatBytes,
-              &vol.VolCatMounts, &vol.VolCatErrors,
-              &vol.VolCatWrites, &vol.VolCatMaxBytes,
-              &vol.VolCatCapacityBytes, vol.VolCatStatus,
-              &vol.Slot, &vol.VolCatMaxJobs, &vol.VolCatMaxFiles,
-              &InChanger, &vol.VolReadTime, &vol.VolWriteTime,
-              &vol.EndFile, &vol.EndBlock, &vol.VolCatParts,
-              &vol.LabelType);
-    if (n != 21) {
-       Dmsg2(100, "Bad response from Dir fields=%d: %s\n", n, dir->msg);
-       Mmsg(jcr->errmsg, _("Error getting Volume info: %s\n"), dir->msg);
+               &vol.VolCatJobs, &vol.VolCatFiles,
+               &vol.VolCatBlocks, &vol.VolCatBytes,
+               &vol.VolCatMounts, &vol.VolCatErrors,
+               &vol.VolCatWrites, &vol.VolCatMaxBytes,
+               &vol.VolCatCapacityBytes, vol.VolCatStatus,
+               &vol.Slot, &vol.VolCatMaxJobs, &vol.VolCatMaxFiles,
+               &InChanger, &vol.VolReadTime, &vol.VolWriteTime,
+               &vol.EndFile, &vol.EndBlock, &vol.VolCatParts,
+               &vol.LabelType, &vol.VolMediaId);
+    if (n != 22) {
+       Dmsg3(100, "Bad response from Dir fields=%d, len=%d: %s", 
+             n, dir->msglen, dir->msg);
+       Mmsg(jcr->errmsg, _("Error getting Volume info: %s"), dir->msg);
        return false;
     }
-    vol.InChanger = InChanger;       /* bool in structure */
+    vol.InChanger = InChanger;        /* bool in structure */
+    vol.is_valid = true;
     unbash_spaces(vol.VolCatName);
     bstrncpy(dcr->VolumeName, vol.VolCatName, sizeof(dcr->VolumeName));
-    memcpy(&dcr->VolCatInfo, &vol, sizeof(dcr->VolCatInfo));
+    dcr->VolCatInfo = vol;            /* structure assignment */
 
-    Dmsg2(300, "do_reqest_vol_info got slot=%d Volume=%s\n",
-         vol.Slot, vol.VolCatName);
+    Dmsg2(100, "do_reqest_vol_info return true slot=%d Volume=%s\n",
+          vol.Slot, vol.VolCatName);
     return true;
 }
 
 
-/*
+/**
  * Get Volume info for a specific volume from the Director's Database
  *
- * Returns: true  on success   (not Director guarantees that Pool and MediaType
- *                            are correct and VolStatus==Append or
- *                            VolStatus==Recycle)
- *         false on failure
+ * Returns: true  on success   (Director guarantees that Pool and MediaType
+ *                              are correct and VolStatus==Append or
+ *                              VolStatus==Recycle)
+ *          false on failure
  *
- *         Volume information returned in jcr
+ *          Volume information returned in dcr->VolCatInfo
  */
 bool dir_get_volume_info(DCR *dcr, enum get_vol_info_rw writing)
 {
     JCR *jcr = dcr->jcr;
     BSOCK *dir = jcr->dir_bsock;
 
-    bstrncpy(dcr->VolCatInfo.VolCatName, dcr->VolumeName, sizeof(dcr->VolCatInfo.VolCatName));
-    bash_spaces(dcr->VolCatInfo.VolCatName);
-    bnet_fsend(dir, Get_Vol_Info, jcr->Job, dcr->VolCatInfo.VolCatName,
+    P(vol_info_mutex);
+    dcr->setVolCatName(dcr->VolumeName);
+    bash_spaces(dcr->getVolCatName());
+    dir->fsend(Get_Vol_Info, jcr->Job, dcr->getVolCatName(),
        writing==GET_VOL_INFO_FOR_WRITE?1:0);
-    Dmsg1(100, ">dird: %s", dir->msg);
-    return do_get_volume_info(dcr);
+    Dmsg1(100, ">dird %s", dir->msg);
+    unbash_spaces(dcr->getVolCatName());
+    bool ok = do_get_volume_info(dcr);
+    V(vol_info_mutex);
+    return ok;
 }
 
 
 
-/*
+/**
  * Get info on the next appendable volume in the Director's database
- * Returns: true  on success
- *         false on failure
  *
- *         Volume information returned in dcr
+ * Returns: true  on success dcr->VolumeName is volume
+ *                reserve_volume() called on Volume name
+ *          false on failure dcr->VolumeName[0] == 0
+ *                also sets dcr->found_in_use if at least one 
+ *                in use volume was found.
+ *
+ *          Volume information returned in dcr
  *
  */
 bool dir_find_next_appendable_volume(DCR *dcr)
 {
     JCR *jcr = dcr->jcr;
     BSOCK *dir = jcr->dir_bsock;
-    JCR *njcr;
+    bool rtn;
+    char lastVolume[MAX_NAME_LENGTH];
+
+    Dmsg2(200, "dir_find_next_appendable_volume: reserved=%d Vol=%s\n", 
+       dcr->is_reserved(), dcr->VolumeName);
 
-    Dmsg0(200, "dir_find_next_appendable_volume\n");
     /*
-     * Try the three oldest or most available volumes. Note,
-     *  the most available could already be mounted on another
-     *  drive, so we continue looking for a not in use Volume.
+     * Try the twenty oldest or most available volumes.  Note,
+     *   the most available could already be mounted on another
+     *   drive, so we continue looking for a not in use Volume.
      */
-    for (int vol_index=1;  vol_index < 3; vol_index++) {
+    lock_volumes();
+    P(vol_info_mutex);
+    dcr->clear_found_in_use();
+    lastVolume[0] = 0;
+    for (int vol_index=1;  vol_index < 20; vol_index++) {
        bash_spaces(dcr->media_type);
        bash_spaces(dcr->pool_name);
-       bnet_fsend(dir, Find_media, jcr->Job, vol_index, dcr->pool_name, dcr->media_type);
+       dir->fsend(Find_media, jcr->Job, vol_index, dcr->pool_name, dcr->media_type);
        unbash_spaces(dcr->media_type);
        unbash_spaces(dcr->pool_name);
-       Dmsg1(100, ">dird: %s", dir->msg);
+       Dmsg1(100, ">dird %s", dir->msg);
        if (do_get_volume_info(dcr)) {
-          Dmsg2(300, "JobId=%d got possible Vol=%s\n", jcr->JobId, dcr->VolumeName);
-         bool found = false;
-         /*
-          * Walk through all jobs and see if the volume is
-          *  already mounted. If so, try a different one.
-          * This would be better done by walking through
-          *  all the devices.
-          */
-         lock_jcr_chain();
-         foreach_jcr(njcr) {
-            if (jcr == njcr) {
-               free_locked_jcr(njcr);
-               continue;             /* us */
-            }
-             Dmsg2(300, "Compare to JobId=%d using Vol=%s\n", njcr->JobId, njcr->dcr->VolumeName);
-            if (njcr->dcr && strcmp(dcr->VolumeName, njcr->dcr->VolumeName) == 0) {
-               found = true;
-                Dmsg1(400, "Vol in use by JobId=%u\n", njcr->JobId);
-               free_locked_jcr(njcr);
-               break;
-            }
-            free_locked_jcr(njcr);
-         }
-         unlock_jcr_chain();
-         if (!found) {
-             Dmsg0(400, "dir_find_next_appendable_volume return true\n");
-            return true;             /* Got good Volume */
-         }
-       } else {
-          Dmsg0(200, "No volume info, return false\n");
-         return false;
+          /* Give up if we get the same volume name twice */
+          if (lastVolume[0] && strcmp(lastVolume, dcr->VolumeName) == 0) {
+             Dmsg1(100, "Got same vol = %s\n", lastVolume);
+             break;
+          }
+          bstrncpy(lastVolume, dcr->VolumeName, sizeof(lastVolume));
+          if (dcr->can_i_write_volume()) {
+             Dmsg1(100, "Call reserve_volume. Vol=%s\n", dcr->VolumeName);
+             if (reserve_volume(dcr, dcr->VolumeName) == NULL) {
+                Dmsg2(100, "Could not reserve volume %s on %s\n", dcr->VolumeName,
+                    dcr->dev->print_name());
+                continue;
+             }
+             Dmsg1(100, "dir_find_next_appendable_volume return true. vol=%s\n",
+                dcr->VolumeName);
+             rtn = true;
+             goto get_out;
+          } else {
+             Dmsg1(100, "Volume %s is in use.\n", dcr->VolumeName);
+             /* If volume is not usable, it is in use by someone else */
+             dcr->set_found_in_use();
+             continue;
+          }
        }
+       Dmsg2(100, "No vol. index %d return false. dev=%s\n", vol_index,
+          dcr->dev->print_name());
+       break;
     }
-    Dmsg0(400, "dir_find_next_appendable_volume return true\n");
-    return true;
+    rtn = false;
+    dcr->VolumeName[0] = 0;
+
+get_out:
+    V(vol_info_mutex);
+    unlock_volumes();
+    return rtn;
 }
 
 
-/*
+/**
  * After writing a Volume, send the updated statistics
  * back to the director. The information comes from the
  * dev record.
  */
-bool dir_update_volume_info(DCR *dcr, bool label)
+bool dir_update_volume_info(DCR *dcr, bool label, bool update_LastWritten)
 {
    JCR *jcr = dcr->jcr;
    BSOCK *dir = jcr->dir_bsock;
    DEVICE *dev = dcr->dev;
-   time_t LastWritten = time(NULL);
-   char ed1[50], ed2[50], ed3[50], ed4[50];
    VOLUME_CAT_INFO *vol = &dev->VolCatInfo;
+   char ed1[50], ed2[50], ed3[50], ed4[50], ed5[50], ed6[50];
    int InChanger;
+   bool ok = false;
    POOL_MEM VolumeName;
 
+   /* If system job, do not update catalog */
+   if (jcr->getJobType() == JT_SYSTEM) {
+      return true;
+   }
+
    if (vol->VolCatName[0] == 0) {
       Jmsg0(jcr, M_FATAL, 0, _("NULL Volume name. This shouldn't happen!!!\n"));
-      Pmsg0(000, "NULL Volume name. This shouldn't happen!!!\n");
-      return false;
-   }
-   if (dev->can_read()) {
-      Jmsg0(jcr, M_FATAL, 0, _("Attempt to update_volume_info in read mode!!!\n"));
-      Pmsg0(000, "Attempt to update_volume_info in read mode!!!\n");
+      Pmsg0(000, _("NULL Volume name. This shouldn't happen!!!\n"));
       return false;
    }
 
-   Dmsg1(300, "Update cat VolFiles=%d\n", dev->file);
+   /* Lock during Volume update */
+   P(vol_info_mutex);
+   Dmsg1(100, "Update cat VolBytes=%lld\n", vol->VolCatBytes);
    /* Just labeled or relabeled the tape */
    if (label) {
       bstrncpy(vol->VolCatStatus, "Append", sizeof(vol->VolCatStatus));
-      vol->VolCatBytes = 1;          /* indicates tape labeled */
    }
+// if (update_LastWritten) {
+      vol->VolLastWritten = time(NULL);
+// }
    pm_strcpy(VolumeName, vol->VolCatName);
    bash_spaces(VolumeName);
    InChanger = vol->InChanger;
-   bnet_fsend(dir, Update_media, jcr->Job,
+   dir->fsend(Update_media, jcr->Job,
       VolumeName.c_str(), vol->VolCatJobs, vol->VolCatFiles,
       vol->VolCatBlocks, edit_uint64(vol->VolCatBytes, ed1),
       vol->VolCatMounts, vol->VolCatErrors,
       vol->VolCatWrites, edit_uint64(vol->VolCatMaxBytes, ed2),
-      LastWritten, vol->VolCatStatus, vol->Slot, label,
-      InChanger,                     /* bool in structure */
-      edit_uint64(vol->VolReadTime, ed3),
-      edit_uint64(vol->VolWriteTime, ed4),
+      edit_uint64(vol->VolLastWritten, ed6), 
+      vol->VolCatStatus, vol->Slot, label,
+      InChanger,                      /* bool in structure */
+      edit_int64(vol->VolReadTime, ed3),
+      edit_int64(vol->VolWriteTime, ed4),
+      edit_uint64(vol->VolFirstWritten, ed5),
       vol->VolCatParts);
-    Dmsg1(100, ">dird: %s", dir->msg);
+    Dmsg1(100, ">dird %s", dir->msg);
 
+   /* Do not lock device here because it may be locked from label */
    if (!do_get_volume_info(dcr)) {
       Jmsg(jcr, M_FATAL, 0, "%s", jcr->errmsg);
-      Pmsg2(000, "Didn't get vol info vol=%s: ERR=%s"
-        vol->VolCatName, jcr->errmsg);
-      return false;
+      Dmsg2(100, _("Didn't get vol info vol=%s: ERR=%s")
+         vol->VolCatName, jcr->errmsg);
+      goto bail_out;
    }
-   Dmsg1(420, "get_volume_info(): %s", dir->msg);
+   Dmsg1(420, "get_volume_info() %s", dir->msg);
    /* Update dev Volume info in case something changed (e.g. expired) */
-   memcpy(&dev->VolCatInfo, &dcr->VolCatInfo, sizeof(dev->VolCatInfo));
-   return true;
+   dev->VolCatInfo = dcr->VolCatInfo;
+   ok = true;
+
+bail_out:
+   V(vol_info_mutex);
+   return ok;
 }
 
-/*
+/**
  * After writing a Volume, create the JobMedia record.
  */
-bool dir_create_jobmedia_record(DCR *dcr)
+bool dir_create_jobmedia_record(DCR *dcr, bool zero)
 {
    JCR *jcr = dcr->jcr;
    BSOCK *dir = jcr->dir_bsock;
+   char ed1[50];
+
+   /* If system job, do not update catalog */
+   if (jcr->getJobType() == JT_SYSTEM) {
+      return true;
+   }
+
+   /* Throw out records where FI is zero -- i.e. nothing done */
+   if (!zero && dcr->VolFirstIndex == 0 && 
+        (dcr->StartBlock != 0 || dcr->EndBlock != 0)) {
+      Dmsg0(100, "JobMedia FI=0 StartBlock!=0 record suppressed\n");
+      return true;
+   }
 
    if (!dcr->WroteVol) {
-      return true;                   /* nothing written to tape */
+      return true;                    /* nothing written to tape */
    }
 
    dcr->WroteVol = false;
-   bnet_fsend(dir, Create_job_media, jcr->Job,
-      dcr->VolFirstIndex, dcr->VolLastIndex,
-      dcr->StartFile, dcr->EndFile,
-      dcr->StartBlock, dcr->EndBlock);
-    Dmsg1(100, ">dird: %s", dir->msg);
-   if (bnet_recv(dir) <= 0) {
+   if (zero) {
+      /* Send dummy place holder to avoid purging */
+      dir->fsend(Create_job_media, jcr->Job,
+         0 , 0, 0, 0, 0, 0, 0, 0, edit_uint64(dcr->VolMediaId, ed1));
+   } else {
+      dir->fsend(Create_job_media, jcr->Job,
+         dcr->VolFirstIndex, dcr->VolLastIndex,
+         dcr->StartFile, dcr->EndFile,
+         dcr->StartBlock, dcr->EndBlock, 
+         dcr->Copy, dcr->Stripe, 
+         edit_uint64(dcr->VolMediaId, ed1));
+   }
+   Dmsg1(100, ">dird %s", dir->msg);
+   if (dir->recv() <= 0) {
       Dmsg0(190, "create_jobmedia error bnet_recv\n");
       Jmsg(jcr, M_FATAL, 0, _("Error creating JobMedia record: ERR=%s\n"),
-          bnet_strerror(dir));
+           dir->bstrerror());
       return false;
    }
-   Dmsg1(100, "<dir: %s", dir->msg);
+   Dmsg1(100, "<dird %s", dir->msg);
    if (strcmp(dir->msg, OK_create) != 0) {
       Dmsg1(130, "Bad response from Dir: %s\n", dir->msg);
       Jmsg(jcr, M_FATAL, 0, _("Error creating JobMedia record: %s\n"), dir->msg);
@@ -377,8 +440,21 @@ bool dir_create_jobmedia_record(DCR *dcr)
 }
 
 
-/*
+/**
  * Update File Attribute data
+ * We do the following:
+ *  1. expand the bsock buffer to be large enough 
+ *  2. Write a "header" into the buffer with serialized data
+ *    VolSessionId
+ *    VolSeesionTime
+ *    FileIndex
+ *    Stream
+ *    data length that follows
+ *    start of raw byte data from the Device record.
+ * Note, this is primarily for Attribute data, but can
+ *   also handle any device record. The Director must know
+ *   the raw byte data format that is defined for each Stream.
+ * Now Restore Objects pass through here STREAM_RESTORE_OBJECT
  */
 bool dir_update_file_attributes(DCR *dcr, DEV_RECORD *rec)
 {
@@ -390,9 +466,10 @@ bool dir_update_file_attributes(DCR *dcr, DEV_RECORD *rec)
    return true;
 #endif
 
-   dir->msglen = sprintf(dir->msg, FileAttributes, jcr->Job);
-   dir->msg = check_pool_memory_size(dir->msg, dir->msglen +
-               sizeof(DEV_RECORD) + rec->data_len);
+   dir->msg = check_pool_memory_size(dir->msg, sizeof(FileAttributes) +
+                MAX_NAME_LENGTH + sizeof(DEV_RECORD) + rec->data_len + 1);
+   dir->msglen = bsnprintf(dir->msg, sizeof(FileAttributes) +
+                MAX_NAME_LENGTH + 1, FileAttributes, jcr->Job);
    ser_begin(dir->msg + dir->msglen, 0);
    ser_uint32(rec->VolSessionId);
    ser_uint32(rec->VolSessionTime);
@@ -401,165 +478,124 @@ bool dir_update_file_attributes(DCR *dcr, DEV_RECORD *rec)
    ser_uint32(rec->data_len);
    ser_bytes(rec->data, rec->data_len);
    dir->msglen = ser_length(dir->msg);
-   Dmsg1(1800, ">dird: %s\n", dir->msg);    /* Attributes */
-   return bnet_send(dir);
+   Dmsg1(1800, ">dird %s\n", dir->msg);    /* Attributes */
+   if (rec->Stream == STREAM_UNIX_ATTRIBUTES || 
+       rec->Stream == STREAM_UNIX_ATTRIBUTES_EX) {
+      dir->set_data_end();                 /* set offset of last valid data */
+   }
+   return dir->send();
 }
 
 
-/*
+/**
  *   Request the sysop to create an appendable volume
  *
  *   Entered with device blocked.
  *   Leaves with device blocked.
  *
  *   Returns: true  on success (operator issues a mount command)
- *           false on failure
- *             Note, must create dev->errmsg on error return.
+ *            false on failure
+ *              Note, must create dev->errmsg on error return.
  *
  *    On success, dcr->VolumeName and dcr->VolCatInfo contain
- *     information on suggested volume, but this may not be the
- *     same as what is actually mounted.
+ *      information on suggested volume, but this may not be the
+ *      same as what is actually mounted.
  *
  *    When we return with success, the correct tape may or may not
- *     actually be mounted. The calling routine must read it and
- *     verify the label.
+ *      actually be mounted. The calling routine must read it and
+ *      verify the label.
  */
 bool dir_ask_sysop_to_create_appendable_volume(DCR *dcr)
 {
-   int stat = 0, jstat;
-   bool unmounted;
-   bool first = true;
+   int stat = W_TIMEOUT;
    DEVICE *dev = dcr->dev;
    JCR *jcr = dcr->jcr;
+   bool got_vol = false;
 
+   if (job_canceled(jcr)) {
+      return false;
+   }
    Dmsg0(400, "enter dir_ask_sysop_to_create_appendable_volume\n");
-   ASSERT(dev->dev_blocked);
+   ASSERT(dev->blocked());
    for ( ;; ) {
       if (job_canceled(jcr)) {
-        Mmsg(dev->errmsg,
+         Mmsg(dev->errmsg,
               _("Job %s canceled while waiting for mount on Storage Device \"%s\".\n"),
-             jcr->Job, dev->print_name());
+              jcr->Job, dev->print_name());
          Jmsg(jcr, M_INFO, 0, "%s", dev->errmsg);
-        return false;
+         return false;
       }
-      /* First pass, we *know* there are no appendable volumes, so no need to call */
-      if (!first && dir_find_next_appendable_volume(dcr)) { /* get suggested volume */
-        unmounted = (dev->dev_blocked == BST_UNMOUNTED) ||
-                    (dev->dev_blocked == BST_UNMOUNTED_WAITING_FOR_SYSOP);
-        /*
-         * If we have a valid volume name and we are not
-         *   removable media, return now, or if we have a
-         *   Slot for an autochanger, otherwise wait
-         *   for the operator to mount the media.
-         */
-        if (!unmounted && ((dcr->VolumeName[0] && !dev_cap(dev, CAP_REM) &&
-               dev_cap(dev, CAP_LABEL)) ||
-                (dcr->VolumeName[0] && dcr->VolCatInfo.Slot))) {
-            Dmsg0(400, "Return 1 from mount without wait.\n");
-           return true;
-        }
-        jstat = JS_WaitMount;
-        if (!dev->poll) {
-           Jmsg(jcr, M_MOUNT, 0, _(
-"Please mount Volume \"%s\" on Storage Device %s for Job %s\n"
-"Use \"mount\" command to release Job.\n"),
-             dcr->VolumeName, dev->print_name(), jcr->Job);
-            Dmsg3(400, "Mount %s on %s for Job %s\n",
-                 dcr->VolumeName, dcr->dev_name, jcr->Job);
-        }
+      got_vol = dir_find_next_appendable_volume(dcr);   /* get suggested volume */
+      if (got_vol) {
+         goto get_out;
       } else {
-        jstat = JS_WaitMedia;
-        if (!dev->poll) {
-           Jmsg(jcr, M_MOUNT, 0, _(
-"Job %s waiting. Cannot find any appendable volumes.\n"
-"Please use the \"label\"  command to create a new Volume for:\n"
+         if (stat == W_TIMEOUT || stat == W_MOUNT) {
+            Mmsg(dev->errmsg, _(
+"Job %s is waiting. Cannot find any appendable volumes.\n"
+"Please use the \"label\" command to create a new Volume for:\n"
 "    Storage:      %s\n"
-"    Media type:   %s\n"
-"    Pool:         %s\n"),
-              jcr->Job,
-              dev->print_name(),
-              dcr->media_type,
-              dcr->pool_name);
-        }
+"    Pool:         %s\n"
+"    Media type:   %s\n"),
+               jcr->Job,
+               dev->print_name(),
+               dcr->pool_name,
+               dcr->media_type);
+            Jmsg(jcr, M_MOUNT, 0, "%s", dev->errmsg);
+            Dmsg1(100, "%s", dev->errmsg);
+         }
       }
-      first = false;
 
-      jcr->JobStatus = jstat;
+      set_jcr_job_status(jcr, JS_WaitMedia);
       dir_send_job_status(jcr);
 
       stat = wait_for_sysop(dcr);
+      Dmsg1(100, "Back from wait_for_sysop stat=%d\n", stat);
       if (dev->poll) {
-         Dmsg1(400, "Poll timeout in create append vol on device %s\n", dev->print_name());
-        continue;
+         Dmsg1(100, "Poll timeout in create append vol on device %s\n", dev->print_name());
+         continue;
       }
 
-      if (stat == ETIMEDOUT) {
-        if (!double_dev_wait_time(dev)) {
+      if (stat == W_TIMEOUT) {
+         if (!double_dev_wait_time(dev)) {
             Mmsg(dev->errmsg, _("Max time exceeded waiting to mount Storage Device %s for Job %s\n"),
-              dev->print_name(), jcr->Job);
+               dev->print_name(), jcr->Job);
             Jmsg(jcr, M_FATAL, 0, "%s", dev->errmsg);
-            Dmsg1(400, "Gave up waiting on device %s\n", dev->print_name());
-           return false;             /* exceeded maximum waits */
-        }
-        continue;
+            Dmsg1(100, "Gave up waiting on device %s\n", dev->print_name());
+            return false;             /* exceeded maximum waits */
+         }
+         continue;
       }
-      if (stat == EINVAL) {
-        berrno be;
-         Mmsg2(dev->errmsg, _("pthread error in mount_next_volume stat=%d ERR=%s\n"),
-              stat, be.strerror(stat));
+      if (stat == W_ERROR) {
+         berrno be;
+         Mmsg0(dev->errmsg, _("pthread error in mount_next_volume.\n"));
          Jmsg(jcr, M_FATAL, 0, "%s", dev->errmsg);
-        return false;
-      }
-      if (stat != 0) {
-        berrno be;
-         Jmsg(jcr, M_WARNING, 0, _("pthread error in mount_next_volume stat=%d ERR=%s\n"), stat,
-           be.strerror(stat));
-      }
-      Dmsg1(400, "Someone woke me for device %s\n", dev->print_name());
-
-      /* If no VolumeName, and cannot get one, try again */
-      if (dcr->VolumeName[0] == 0 && !job_canceled(jcr) &&
-         !dir_find_next_appendable_volume(dcr)) {
-        Jmsg(jcr, M_MOUNT, 0, _(
-"Someone woke me up, but I cannot find any appendable\n"
-"volumes for Job=%s.\n"), jcr->Job);
-        /* Restart wait counters after user interaction */
-        init_dev_wait_timers(dev);
-        continue;
-      }
-      unmounted = (dev->dev_blocked == BST_UNMOUNTED) ||
-                 (dev->dev_blocked == BST_UNMOUNTED_WAITING_FOR_SYSOP);
-      if (unmounted) {
-        continue;                    /* continue to wait */
+         return false;
       }
-
-      /*
-       * Device mounted, we have a volume, break and return
-       */
-      break;
+      Dmsg1(100, "Someone woke me for device %s\n", dev->print_name());
    }
+
+get_out:
    set_jcr_job_status(jcr, JS_Running);
    dir_send_job_status(jcr);
-   Dmsg0(400, "leave dir_ask_sysop_to_mount_create_appendable_volume\n");
+   Dmsg0(100, "leave dir_ask_sysop_to_mount_create_appendable_volume\n");
    return true;
 }
 
-/*
+/**
  *   Request to mount specific Volume
  *
  *   Entered with device blocked and dcr->VolumeName is desired
- *     volume.
+ *      volume.
  *   Leaves with device blocked.
  *
  *   Returns: true  on success (operator issues a mount command)
- *           false on failure
- *                 Note, must create dev->errmsg on error return.
+ *            false on failure
+ *                  Note, must create dev->errmsg on error return.
  *
  */
-bool dir_ask_sysop_to_mount_volume(DCR *dcr)
+bool dir_ask_sysop_to_mount_volume(DCR *dcr, int mode)
 {
-   int stat = 0;
-   const char *msg;
+   int stat = W_TIMEOUT;
    DEVICE *dev = dcr->dev;
    JCR *jcr = dcr->jcr;
 
@@ -568,57 +604,80 @@ bool dir_ask_sysop_to_mount_volume(DCR *dcr)
       Mmsg0(dev->errmsg, _("Cannot request another volume: no volume name given.\n"));
       return false;
    }
-   ASSERT(dev->dev_blocked);
+   ASSERT(dev->blocked());
    for ( ;; ) {
       if (job_canceled(jcr)) {
          Mmsg(dev->errmsg, _("Job %s canceled while waiting for mount on Storage Device %s.\n"),
-             jcr->Job, dev->print_name());
-        return false;
+              jcr->Job, dev->print_name());
+         return false;
       }
 
-      if (!dev->poll) {
-         msg = _("Please mount");
-         Jmsg(jcr, M_MOUNT, 0, _("%s Volume \"%s\" on Storage Device %s for Job %s\n"),
-             msg, dcr->VolumeName, dev->print_name(), jcr->Job);
+      if (dev->is_dvd()) {   
+         dev->unmount(0);
+      }
+      
+      /*
+       * If we are not polling, and the wait timeout or the
+       *   user explicitly did a mount, send him the message.
+       *   Otherwise skip it.
+       */
+      if (!dev->poll && (stat == W_TIMEOUT || stat == W_MOUNT)) {
+         char *msg;
+         if (mode == ST_APPEND) {
+            msg = _("Please mount Volume \"%s\" or label a new one for:\n"
+              "    Job:          %s\n"
+              "    Storage:      %s\n"
+              "    Pool:         %s\n"
+              "    Media type:   %s\n");
+         } else {
+            msg = _("Please mount Volume \"%s\" for:\n"
+              "    Job:          %s\n"
+              "    Storage:      %s\n"
+              "    Pool:         %s\n"
+              "    Media type:   %s\n");
+         }
+         Jmsg(jcr, M_MOUNT, 0, msg, 
+              dcr->VolumeName,
+              jcr->Job,
+              dev->print_name(),
+              dcr->pool_name,
+              dcr->media_type);
          Dmsg3(400, "Mount \"%s\" on device \"%s\" for Job %s\n",
-              dcr->VolumeName, dcr->dev_name, jcr->Job);
+               dcr->VolumeName, dev->print_name(), jcr->Job);
       }
 
-      jcr->JobStatus = JS_WaitMount;
+      set_jcr_job_status(jcr, JS_WaitMount);
       dir_send_job_status(jcr);
 
-      stat = wait_for_sysop(dcr);    ;    /* wait on device */
+      stat = wait_for_sysop(dcr);          /* wait on device */
+      Dmsg1(100, "Back from wait_for_sysop stat=%d\n", stat);
       if (dev->poll) {
          Dmsg1(400, "Poll timeout in mount vol on device %s\n", dev->print_name());
-         Dmsg1(400, "Blocked=%s\n", edit_blocked_reason(dev));
-        return true;
+         Dmsg1(400, "Blocked=%s\n", dev->print_blocked());
+         goto get_out;
       }
 
-      if (stat == ETIMEDOUT) {
-        if (!double_dev_wait_time(dev)) {
+      if (stat == W_TIMEOUT) {
+         if (!double_dev_wait_time(dev)) {
             Mmsg(dev->errmsg, _("Max time exceeded waiting to mount Storage Device %s for Job %s\n"),
-              dev->print_name(), jcr->Job);
+               dev->print_name(), jcr->Job);
             Jmsg(jcr, M_FATAL, 0, "%s", dev->errmsg);
             Dmsg1(400, "Gave up waiting on device %s\n", dev->print_name());
-           return false;             /* exceeded maximum waits */
-        }
-        continue;
+            return false;             /* exceeded maximum waits */
+         }
+         continue;
       }
-      if (stat == EINVAL) {
-        berrno be;
-         Mmsg2(dev->errmsg, _("pthread error in mount_volume stat=%d ERR=%s\n"),
-              stat, be.strerror(stat));
+      if (stat == W_ERROR) {
+         berrno be;
+         Mmsg(dev->errmsg, _("pthread error in mount_volume\n"));
          Jmsg(jcr, M_FATAL, 0, "%s", dev->errmsg);
-        return false;
-      }
-      if (stat != 0) {
-        berrno be;
-         Jmsg(jcr, M_FATAL, 0, _("pthread error in mount_next_volume stat=%d: ERR=%s\n"), stat,
-           be.strerror(stat));
+         return false;
       }
       Dmsg1(400, "Someone woke me for device %s\n", dev->print_name());
       break;
    }
+
+get_out:
    set_jcr_job_status(jcr, JS_Running);
    dir_send_job_status(jcr);
    Dmsg0(400, "leave dir_ask_sysop_to_mount_volume\n");