]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/bscan.c
Cleanup Python build so that Python is not dragged
[bacula/bacula] / bacula / src / stored / bscan.c
index ceeebe3de144293ac9e64f565ac4276a473c7ae3..c8d442b13b0060649c88e4e7c7bbd946d9065913 100644 (file)
@@ -10,7 +10,7 @@
  *   Version $Id$
  */
 /*
-   Copyright (C) 2001, 2002 Kern Sibbald and John Walker
+   Copyright (C) 2001-2005 Kern Sibbald
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
 #include "stored.h"
 #include "findlib/find.h"
 #include "cats/cats.h"
+/* Dummy functions */
+int generate_daemon_event(JCR *jcr, const char *event) { return 1; }
 
 /* Forward referenced functions */
 static void do_scan(void);
-static void record_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec);
-static int  create_file_attributes_record(B_DB *db, JCR *mjcr, 
+static bool record_cb(DCR *dcr, DEV_RECORD *rec);
+static int  create_file_attributes_record(B_DB *db, JCR *mjcr,
                                char *fname, char *lname, int type,
                                char *ap, DEV_RECORD *rec);
 static int  create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl);
-static int  update_media_record(B_DB *db, MEDIA_DBR *mr);
+static bool update_media_record(B_DB *db, MEDIA_DBR *mr);
 static int  create_pool_record(B_DB *db, POOL_DBR *pr);
 static JCR *create_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *label, DEV_RECORD *rec);
-static int  update_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *elabel, 
+static int  update_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *elabel,
                               DEV_RECORD *rec);
 static int  create_client_record(B_DB *db, CLIENT_DBR *cr);
 static int  create_fileset_record(B_DB *db, FILESET_DBR *fsr);
@@ -54,8 +57,7 @@ static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type);
 
 
 /* Global variables */
-STORES *me;
-#ifdef HAVE_CYGWIN
+#if defined(HAVE_CYGWIN) || defined(HAVE_WIN32)
 int win32_client = 1;
 #else
 int win32_client = 0;
@@ -80,37 +82,53 @@ static ATTR *attr;
 
 static time_t lasttime = 0;
 
-static char *db_name = "bacula";
-static char *db_user = "bacula";
-static char *db_password = "";
-static char *wd = NULL;
-static int update_db = 0;
-static int update_vol_info = 0;
-static int list_records = 0;
+static const char *db_name = "bacula";
+static const char *db_user = "bacula";
+static const char *db_password = "";
+static const char *db_host = NULL;
+static const char *wd = NULL;
+static bool update_db = false;
+static bool update_vol_info = false;
+static bool list_records = false;
 static int ignored_msgs = 0;
 
+static uint64_t currentVolumeSize;
+static int last_pct = -1;
+static bool showProgress = false;
+static int num_jobs = 0;
+static int num_pools = 0;
+static int num_media = 0;
+static int num_files = 0;
+
 #define CONFIG_FILE "bacula-sd.conf"
 char *configfile;
-
+STORES *me = NULL;                    /* our Global resource */
+bool forge_on = false;                /* proceed inspite of I/O errors */
+pthread_mutex_t device_release_mutex = PTHREAD_MUTEX_INITIALIZER;
+pthread_cond_t wait_device_release = PTHREAD_COND_INITIALIZER;
 
 
 static void usage()
 {
    fprintf(stderr, _(
+"Copyright (C) 2001-2005 Kern Sibbald.\n"
 "\nVersion: " VERSION " (" BDATE ")\n\n"
-"Usage: bscan [-d debug_level] <bacula-archive>\n"
+"Usage: bscan [ options ] <bacula-archive>\n"
 "       -b bootstrap      specify a bootstrap file\n"
 "       -c <file>         specify configuration file\n"
-"       -dnn              set debug level to nn\n"
+"       -d <nn>           set debug level to nn\n"
 "       -m                update media info in database\n"
-"       -n name           specify the database name (default bacula)\n"
-"       -u user           specify database user name (default bacula)\n"
-"       -p password       specify database password (default none)\n"
+"       -n <name>         specify the database name (default bacula)\n"
+"       -u <user>         specify database user name (default bacula)\n"
+"       -P <password      specify database password (default none)\n"
+"       -h <host>         specify database host (default NULL)\n"
+"       -p                proceed inspite of I/O errors\n"
 "       -r                list records\n"
 "       -s                synchronize or store in database\n"
+"       -S                show scan progress periodically\n"
 "       -v                verbose\n"
-"       -V                specify Volume names (separated by |)\n"
-"       -w dir            specify working directory (default from conf file)\n"
+"       -V <Volumes>      specify Volume names (separated by |)\n"
+"       -w <dir>          specify working directory (default from conf file)\n"
 "       -?                print this message\n\n"));
    exit(1);
 }
@@ -125,8 +143,11 @@ int main (int argc, char *argv[])
    init_msg(NULL, NULL);
 
 
-   while ((ch = getopt(argc, argv, "b:c:d:mn:p:rsu:vVw:?")) != -1) {
+   while ((ch = getopt(argc, argv, "b:c:d:h:mn:pP:rsSu:vV:w:?")) != -1) {
       switch (ch) {
+      case 'S' :
+         showProgress = true;
+         break;
       case 'b':
          bsr = parse_bsr(NULL, optarg);
          break;
@@ -141,11 +162,15 @@ int main (int argc, char *argv[])
       case 'd':                    /* debug level */
          debug_level = atoi(optarg);
          if (debug_level <= 0)
-            debug_level = 1; 
+            debug_level = 1;
+         break;
+
+      case 'h':
+         db_host = optarg;
          break;
 
       case 'm':
-         update_vol_info = 1;
+         update_vol_info = true;
          break;
 
       case 'n':
@@ -156,16 +181,20 @@ int main (int argc, char *argv[])
          db_user = optarg;
          break;
 
-      case 'p':
+      case 'P':
          db_password = optarg;
          break;
 
+      case 'p':
+         forge_on = true;
+         break;
+
       case 'r':
-         list_records = 1;
+         list_records = true;
          break;
 
       case 's':
-         update_db = 1;
+         update_db = true;
          break;
 
       case 'v':
@@ -184,7 +213,7 @@ int main (int argc, char *argv[])
       default:
          usage();
 
-      }  
+      }
    }
    argc -= optind;
    argv += optind;
@@ -203,12 +232,12 @@ int main (int argc, char *argv[])
    me = (STORES *)GetNextRes(R_STORAGE, NULL);
    if (!me) {
       UnlockRes();
-      Emsg1(M_ERROR_TERM, 0, _("No Storage resource defined in %s. Cannot continue.\n"), 
+      Emsg1(M_ERROR_TERM, 0, _("No Storage resource defined in %s. Cannot continue.\n"),
          configfile);
    }
    UnlockRes();
    /* Check if -w option given, otherwise use resource for working directory */
-   if (wd) { 
+   if (wd) {
       working_directory = wd;
    } else if (!me->working_directory) {
       Emsg1(M_ERROR_TERM, 0, _("No Working Directory defined in %s. Cannot continue.\n"),
@@ -227,13 +256,22 @@ int main (int argc, char *argv[])
          working_directory);
    }
 
-   bjcr = setup_jcr("bscan", argv[0], bsr, VolumeName);
-   dev = setup_to_access_device(bjcr, 1);   /* read device */
-   if (!dev) { 
+   bjcr = setup_jcr("bscan", argv[0], bsr, VolumeName, 1); /* read device */
+   if (!bjcr) {
       exit(1);
    }
+   dev = bjcr->dcr->dev;
+   if (showProgress) {
+      char ed1[50];
+      struct stat sb;
+      fstat(dev->fd, &sb);
+      currentVolumeSize = sb.st_size;
+      Pmsg1(000, _("First Volume Size = %sn"), 
+         edit_uint64(currentVolumeSize, ed1));
+   }
 
-   if ((db=db_init_database(NULL, db_name, db_user, db_password, NULL, 0, NULL)) == NULL) {
+   if ((db=db_init_database(NULL, db_name, db_user, db_password,
+        db_host, 0, NULL, 0)) == NULL) {
       Emsg0(M_ERROR_TERM, 0, _("Could not init Bacula database\n"));
    }
    if (!db_open_database(NULL, db)) {
@@ -245,46 +283,63 @@ int main (int argc, char *argv[])
    }
 
    do_scan();
+   printf("Records %sadded or updated in the catalog:\n%7d Media\n%7d Pool\n%7d Job\n%7d File\n",
+      update_db?"":"would have been ",
+      num_media, num_pools, num_jobs, num_files);
 
    free_jcr(bjcr);
+   term_dev(dev);
    return 0;
 }
-  
-/*  
+
+/*
  * We are at the end of reading a tape. Now, we simulate handling
  *   the end of writing a tape by wiffling through the attached
  *   jcrs creating jobmedia records.
  */
-static int bscan_mount_next_read_volume(JCR *jcr, DEVICE *dev, DEV_BLOCK *block)
+static bool bscan_mount_next_read_volume(DCR *dcr)
 {
+   DEVICE *dev = dcr->dev;
+   DCR *mdcr;
    Dmsg1(100, "Walk attached jcrs. Volume=%s\n", dev->VolCatInfo.VolCatName);
-   for (JCR *mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
+   foreach_dlist(mdcr, dev->attached_dcrs) {
+      JCR *mjcr = mdcr->jcr;
+      if (mjcr->JobId == 0) {
+         continue;
+      }
       if (verbose) {
          Pmsg1(000, _("Create JobMedia for Job %s\n"), mjcr->Job);
       }
-      if (dev->state & ST_TAPE) {
-         mjcr->EndBlock = dev->EndBlock;
-         mjcr->EndFile = dev->EndFile;
-      } else {
-         mjcr->EndBlock = (uint32_t)dev->file_addr;
-         mjcr->StartBlock = (uint32_t)(dev->file_addr >> 32);
+      if (dev->is_tape()) {
+         mdcr->EndBlock = dcr->EndBlock;
+         mdcr->EndFile = dcr->EndFile;
+//    } else {
+//       mdcr->EndBlock = (uint32_t)dcr->file_addr;
+//       mdcr->EndFile = (uint32_t)(dcr->file_addr >> 32);
       }
       if (!create_jobmedia_record(db, mjcr)) {
          Pmsg2(000, _("Could not create JobMedia record for Volume=%s Job=%s\n"),
             dev->VolCatInfo.VolCatName, mjcr->Job);
       }
-   }  
+   }
    /* Now let common read routine get up next tape. Note,
     * we call mount_next... with bscan's jcr because that is where we
     * have the Volume list, but we get attached.
     */
-   int stat = mount_next_read_volume(jcr, dev, block);
-   /* we must once more detach ourselves (attached by mount_next ...) */
-   detach_jcr_from_device(dev, jcr); /* detach bscan jcr */
+   bool stat = mount_next_read_volume(dcr);
+
+   if (showProgress) {
+      char ed1[50];
+      struct stat sb;
+      fstat(dev->fd, &sb);
+      currentVolumeSize = sb.st_size;
+      Pmsg1(000, _("First Volume Size = %sn"), 
+         edit_uint64(currentVolumeSize, ed1));
+   }
    return stat;
 }
 
-static void do_scan()             
+static void do_scan()
 {
    attr = new_attr();
 
@@ -296,34 +351,47 @@ static void do_scan()
    memset(&fr, 0, sizeof(fr));
 
    /* Detach bscan's jcr as we are not a real Job on the tape */
-   detach_jcr_from_device(dev, bjcr);
 
-   read_records(bjcr, dev, record_cb, bscan_mount_next_read_volume);
-   release_device(bjcr, dev);
+   read_records(bjcr->dcr, record_cb, bscan_mount_next_read_volume);
 
    free_attr(attr);
-   term_dev(dev);
 }
 
-static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
+/*
+ * Returns: true  if OK
+ *          false if error
+ */
+static bool record_cb(DCR *dcr, DEV_RECORD *rec)
 {
    JCR *mjcr;
    char ec1[30];
+   DEVICE *dev = dcr->dev;
+   JCR *bjcr = dcr->jcr;
+   DEV_BLOCK *block = dcr->block;
 
    if (rec->data_len > 0) {
       mr.VolBytes += rec->data_len + WRITE_RECHDR_LENGTH; /* Accumulate Volume bytes */
+      if (showProgress) {
+         int pct = (mr.VolBytes * 100) / currentVolumeSize;
+         if (pct != last_pct) {
+            fprintf(stdout, "done: %d%%\n", pct);
+            fflush(stdout);
+            last_pct = pct;
+         }
+      }
    }
+
    if (list_records) {
       Pmsg5(000, _("Record: SessId=%u SessTim=%u FileIndex=%d Stream=%d len=%u\n"),
-            rec->VolSessionId, rec->VolSessionTime, rec->FileIndex, 
+            rec->VolSessionId, rec->VolSessionTime, rec->FileIndex,
             rec->Stream, rec->data_len);
    }
-   /* 
-    * Check for Start or End of Session Record 
+   /*
+    * Check for Start or End of Session Record
     *
     */
    if (rec->FileIndex < 0) {
-      int save_update_db = update_db;
+      bool save_update_db = update_db;
 
       if (verbose > 1) {
          dump_label_record(dev, rec, 1);
@@ -331,14 +399,15 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
       switch (rec->FileIndex) {
       case PRE_LABEL:
          Pmsg0(000, _("Volume is prelabeled. This tape cannot be scanned.\n"));
-         return;
+         return false;
          break;
 
       case VOL_LABEL:
          unser_volume_label(dev, rec);
          /* Check Pool info */
-         strcpy(pr.Name, dev->VolHdr.PoolName);
-         strcpy(pr.PoolType, dev->VolHdr.PoolType);
+         bstrncpy(pr.Name, dev->VolHdr.PoolName, sizeof(pr.Name));
+         bstrncpy(pr.PoolType, dev->VolHdr.PoolType, sizeof(pr.PoolType));
+         num_pools++;
          if (db_get_pool_record(bjcr, db, &pr)) {
             if (verbose) {
                Pmsg1(000, _("Pool record for %s found in DB.\n"), pr.Name);
@@ -353,15 +422,16 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
          if (strcmp(pr.PoolType, dev->VolHdr.PoolType) != 0) {
             Pmsg2(000, _("VOL_LABEL: PoolType mismatch. DB=%s Vol=%s\n"),
                pr.PoolType, dev->VolHdr.PoolType);
-            return;
+            return true;
          } else if (verbose) {
             Pmsg1(000, _("Pool type \"%s\" is OK.\n"), pr.PoolType);
          }
 
          /* Check Media Info */
          memset(&mr, 0, sizeof(mr));
-         strcpy(mr.VolumeName, dev->VolHdr.VolName);
+         bstrncpy(mr.VolumeName, dev->VolHdr.VolName, sizeof(mr.VolumeName));
          mr.PoolId = pr.PoolId;
+         num_media++;
          if (db_get_media_record(bjcr, db, &mr)) {
             if (verbose) {
                Pmsg1(000, _("Media record for %s found in DB.\n"), mr.VolumeName);
@@ -374,21 +444,21 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
                Pmsg1(000, _("VOL_LABEL: Media record not found for Volume: %s\n"),
                   mr.VolumeName);
             }
-            strcpy(mr.MediaType, dev->VolHdr.MediaType);
+            bstrncpy(mr.MediaType, dev->VolHdr.MediaType, sizeof(mr.MediaType));
             create_media_record(db, &mr, &dev->VolHdr);
          }
          if (strcmp(mr.MediaType, dev->VolHdr.MediaType) != 0) {
             Pmsg2(000, _("VOL_LABEL: MediaType mismatch. DB=%s Vol=%s\n"),
                mr.MediaType, dev->VolHdr.MediaType);
-            return;
+            return true;              /* ignore error */
          } else if (verbose) {
             Pmsg1(000, _("Media type \"%s\" is OK.\n"), mr.MediaType);
          }
-         /* Reset some JCR variables */
-         for (mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
-            mjcr->VolFirstIndex = mjcr->FileIndex = 0;
-            mjcr->StartBlock = mjcr->EndBlock = 0;
-            mjcr->StartFile = mjcr->EndFile = 0;
+         /* Reset some DCR variables */
+         foreach_dlist(dcr, dev->attached_dcrs) {
+            dcr->VolFirstIndex = dcr->FileIndex = 0;
+            dcr->StartBlock = dcr->EndBlock = 0;
+            dcr->StartFile = dcr->EndFile = 0;
          }
 
          Pmsg1(000, _("VOL_LABEL: OK for Volume: %s\n"), mr.VolumeName);
@@ -396,17 +466,18 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
 
       case SOS_LABEL:
          mr.VolJobs++;
+         num_jobs++;
          if (ignored_msgs > 0) {
-            Pmsg1(000, _("%d \"errors\" ignored before first Start of Session record.\n"), 
+            Pmsg1(000, _("%d \"errors\" ignored before first Start of Session record.\n"),
                   ignored_msgs);
             ignored_msgs = 0;
          }
          unser_session_label(&label, rec);
          memset(&jr, 0, sizeof(jr));
-         jr.JobId = label.JobId;
+         bstrncpy(jr.Job, label.Job, sizeof(jr.Job));
          if (db_get_job_record(bjcr, db, &jr)) {
             /* Job record already exists in DB */
-            update_db = 0;  /* don't change db in create_job_record */
+            update_db = false;  /* don't change db in create_job_record */
             if (verbose) {
                Pmsg1(000, _("SOS_LABEL: Found Job record for JobId: %d\n"), jr.JobId);
             }
@@ -418,52 +489,55 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
             }
          }
          /* Create Client record if not already there */
-            strcpy(cr.Name, label.ClientName);
+            bstrncpy(cr.Name, label.ClientName, sizeof(cr.Name));
             create_client_record(db, &cr);
             jr.ClientId = cr.ClientId;
 
          /* process label, if Job record exists don't update db */
          mjcr = create_job_record(db, &jr, &label, rec);
+         dcr = mjcr->dcr;
          update_db = save_update_db;
 
          jr.PoolId = pr.PoolId;
          /* Set start positions into JCR */
-         if (dev->state & ST_TAPE) {
-            mjcr->StartBlock = dev->block_num;
-            mjcr->StartFile = dev->file;
+         if (dev->is_tape()) {
+            /*
+             * Note, we have already advanced past current block,
+             *  so the correct number is block_num - 1
+             */
+            dcr->StartBlock = dev->block_num - 1;
+            dcr->StartFile = dev->file;
          } else {
-            mjcr->StartBlock = (uint32_t)dev->file_addr;
-            mjcr->StartFile = (uint32_t)(dev->file_addr >> 32);
+            dcr->StartBlock = (uint32_t)dev->file_addr;
+            dcr->StartFile = (uint32_t)(dev->file_addr >> 32);
          }
          mjcr->start_time = jr.StartTime;
-         mjcr->JobLevel = jr.Level;
+         mjcr->JobLevel = jr.JobLevel;
 
          mjcr->client_name = get_pool_memory(PM_FNAME);
-         pm_strcpy(&mjcr->client_name, label.ClientName);
-         mjcr->pool_type = get_pool_memory(PM_FNAME);
-         pm_strcpy(&mjcr->pool_type, label.PoolType);
+         pm_strcpy(mjcr->client_name, label.ClientName);
          mjcr->fileset_name = get_pool_memory(PM_FNAME);
-         pm_strcpy(&mjcr->fileset_name, label.FileSetName);
-         mjcr->pool_name = get_pool_memory(PM_FNAME);
-         pm_strcpy(&mjcr->pool_name, label.PoolName);
+         pm_strcpy(mjcr->fileset_name, label.FileSetName);
+         bstrncpy(dcr->pool_type, label.PoolType, sizeof(dcr->pool_type));
+         bstrncpy(dcr->pool_name, label.PoolName, sizeof(dcr->pool_name));
 
          if (rec->VolSessionId != jr.VolSessionId) {
             Pmsg3(000, _("SOS_LABEL: VolSessId mismatch for JobId=%u. DB=%d Vol=%d\n"),
                jr.JobId,
                jr.VolSessionId, rec->VolSessionId);
-            return;
+            return true;              /* ignore error */
          }
          if (rec->VolSessionTime != jr.VolSessionTime) {
             Pmsg3(000, _("SOS_LABEL: VolSessTime mismatch for JobId=%u. DB=%d Vol=%d\n"),
                jr.JobId,
                jr.VolSessionTime, rec->VolSessionTime);
-            return;
+            return true;              /* ignore error */
          }
          if (jr.PoolId != pr.PoolId) {
             Pmsg3(000, _("SOS_LABEL: PoolId mismatch for JobId=%u. DB=%d Vol=%d\n"),
                jr.JobId,
                jr.PoolId, pr.PoolId);
-            return;
+            return true;              /* ignore error */
          }
          break;
 
@@ -471,8 +545,8 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
          unser_session_label(&elabel, rec);
 
          /* Create FileSet record */
-         strcpy(fsr.FileSet, label.FileSetName);
-         strcpy(fsr.MD5, label.FileSetMD5);
+         bstrncpy(fsr.FileSet, label.FileSetName, sizeof(fsr.FileSet));
+         bstrncpy(fsr.MD5, label.FileSetMD5, sizeof(fsr.MD5));
          create_fileset_record(db, &fsr);
          jr.FileSetId = fsr.FileSetId;
 
@@ -491,7 +565,7 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
 
          /* Create JobMedia record */
          create_jobmedia_record(db, mjcr);
-         detach_jcr_from_device(dev, mjcr);
+         dev->attached_dcrs->remove(mjcr->dcr);
          free_jcr(mjcr);
 
          break;
@@ -500,13 +574,19 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
          break;
 
       case EOT_LABEL:              /* end of all tapes */
-         /* 
+         /*
           * Wiffle through all jobs still open and close
           *   them.
           */
          if (update_db) {
-            for (mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
+            DCR *mdcr;
+            foreach_dlist(mdcr, dev->attached_dcrs) {
+               JCR *mjcr = mdcr->jcr;
+               if (!mjcr || mjcr->JobId == 0) {
+                  continue;
+               }
                jr.JobId = mjcr->JobId;
+               /* Mark Job as Error Terimined */
                jr.JobStatus = JS_ErrorTerminated;
                jr.JobFiles = mjcr->JobFiles;
                jr.JobBytes = mjcr->JobBytes;
@@ -514,10 +594,11 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
                jr.VolSessionTime = mjcr->VolSessionTime;
                jr.JobTDate = (utime_t)mjcr->start_time;
                jr.ClientId = mjcr->ClientId;
-               free_jcr(mjcr);
                if (!db_update_job_end_record(bjcr, db, &jr)) {
                   Pmsg1(0, _("Could not update job record. ERR=%s\n"), db_strerror(db));
                }
+               mjcr->dcr = NULL;
+               free_jcr(mjcr);
             }
          }
          mr.VolFiles = rec->File;
@@ -531,14 +612,28 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
       default:
          break;
       } /* end switch */
-      return;
+      return true;
    }
 
+   mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
+   if (!mjcr) {
+      if (mr.VolJobs > 0) {
+         Pmsg2(000, _("Could not find Job for SessId=%d SessTime=%d record.\n"),
+                      rec->VolSessionId, rec->VolSessionTime);
+      } else {
+         ignored_msgs++;
+      }
+      return true;
+   }
+   dcr = mjcr->dcr;
+   if (dcr->VolFirstIndex == 0) {
+      dcr->VolFirstIndex = block->FirstIndex;
+   }
 
    /* File Attributes stream */
    switch (rec->Stream) {
-   case STREAM_UNIX_ATTRIBUTES:   
-   case STREAM_UNIX_ATTRIBUTES_EX:  
+   case STREAM_UNIX_ATTRIBUTES:
+   case STREAM_UNIX_ATTRIBUTES_EX:
 
       if (!unpack_attributes_record(bjcr, rec->Stream, rec->data, attr)) {
          Emsg0(M_ERROR_TERM, 0, _("Cannot continue.\n"));
@@ -548,32 +643,25 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
          Emsg2(M_ERROR_TERM, 0, _("Record header file index %ld not equal record index %ld\n"),
             rec->FileIndex, attr->file_index);
       }
-       
+
       if (verbose > 1) {
-         uint32_t LinkFI;
-         decode_stat(attr->attr, &attr->statp, &LinkFI);
+         decode_stat(attr->attr, &attr->statp, &attr->LinkFI);
+         build_attr_output_fnames(bjcr, attr);
          print_ls_output(bjcr, attr);
       }
-      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
-      if (!mjcr) {
-         if (mr.VolJobs > 0) {
-            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Attributes record.\n"),
-                         rec->VolSessionId, rec->VolSessionTime);
-         } else {
-            ignored_msgs++;
-         }
-         return;
-      }
       fr.JobId = mjcr->JobId;
       fr.FileId = 0;
-      if (db_get_file_attributes_record(bjcr, db, attr->fname, &fr)) {
-         if (verbose > 1) {
-            Pmsg1(000, _("File record already exists for: %s\n"), attr->fname);
-         }
-      } else {
-         create_file_attributes_record(db, mjcr, attr->fname, attr->lname, 
-            attr->type, attr->attr, rec);
+      num_files++;
+      if (verbose && (num_files & 0x7FFF) == 0) {
+         char ed1[30], ed2[30], ed3[30], ed4[30];
+         Pmsg4(000, _("%s file records. At file:blk=%s:%s bytes=%s\n"),
+                     edit_uint64_with_commas(num_files, ed1),
+                     edit_uint64_with_commas(rec->File, ed2),
+                     edit_uint64_with_commas(rec->Block, ed3),
+                     edit_uint64_with_commas(mr.VolBytes, ed4));
       }
+      create_file_attributes_record(db, mjcr, attr->fname, attr->lname,
+            attr->type, attr->attr, rec);
       free_jcr(mjcr);
       break;
 
@@ -581,66 +669,26 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
    case STREAM_WIN32_DATA:
    case STREAM_FILE_DATA:
    case STREAM_SPARSE_DATA:
-      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
-      if (!mjcr) {
-         if (mr.VolJobs > 0) {
-            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for File Data record.\n"),
-                         rec->VolSessionId, rec->VolSessionTime);
-         } else {
-            ignored_msgs++;
-         }
-         return;
-      }
       mjcr->JobBytes += rec->data_len;
       if (rec->Stream == STREAM_SPARSE_DATA) {
          mjcr->JobBytes -= sizeof(uint64_t);
       }
-         
+
       free_jcr(mjcr);                 /* done using JCR */
       break;
 
    case STREAM_GZIP_DATA:
-      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
-      if (!mjcr) {
-         if (mr.VolJobs > 0) {
-            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for GZIP Data record.\n"),
-                         rec->VolSessionId, rec->VolSessionTime);
-         } else {
-            ignored_msgs++;
-         }
-         return;
-      }
       mjcr->JobBytes += rec->data_len; /* No correct, we should expand it */
       free_jcr(mjcr);                 /* done using JCR */
       break;
 
    case STREAM_SPARSE_GZIP_DATA:
-      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
-      if (!mjcr) {
-         if (mr.VolJobs > 0) {
-            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Sparse GZIP Data record.\n"),
-                         rec->VolSessionId, rec->VolSessionTime);
-         } else {
-            ignored_msgs++;
-         }
-         return;
-      }
       mjcr->JobBytes += rec->data_len - sizeof(uint64_t); /* No correct, we should expand it */
       free_jcr(mjcr);                 /* done using JCR */
       break;
 
    /* Win32 GZIP stream */
    case STREAM_WIN32_GZIP_DATA:
-      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
-      if (!mjcr) {
-         if (mr.VolJobs > 0) {
-            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Win32 GZIP Data record.\n"),
-                         rec->VolSessionId, rec->VolSessionTime);
-         } else {
-            ignored_msgs++;
-         }
-         return;
-      }
       mjcr->JobBytes += rec->data_len;
       free_jcr(mjcr);                 /* done using JCR */
       break;
@@ -679,7 +727,7 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
       Pmsg2(0, _("Unknown stream type!!! stream=%d data=%s\n"), rec->Stream, rec->data);
       break;
    }
-   return;
+   return true;
 }
 
 /*
@@ -687,7 +735,7 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
  *  Called from main free_jcr() routine in src/lib/jcr.c so
  *  that we can do our Director specific cleanup of the jcr.
  */
-static void dird_free_jcr(JCR *jcr)
+static void bscan_free_jcr(JCR *jcr)
 {
    Dmsg0(200, "Start dird free_jcr\n");
 
@@ -702,6 +750,10 @@ static void dird_free_jcr(JCR *jcr)
    if (jcr->RestoreBootstrap) {
       free(jcr->RestoreBootstrap);
    }
+   if (jcr->dcr) {
+      free_dcr(jcr->dcr);
+      jcr->dcr = NULL;
+   }
    Dmsg0(200, "End dird free_jcr\n");
 }
 
@@ -713,7 +765,7 @@ static int create_file_attributes_record(B_DB *db, JCR *mjcr,
                                char *fname, char *lname, int type,
                                char *ap, DEV_RECORD *rec)
 {
-
+   DCR *dcr = mjcr->dcr;
    ar.fname = fname;
    ar.link = lname;
    ar.ClientId = mjcr->ClientId;
@@ -721,10 +773,10 @@ static int create_file_attributes_record(B_DB *db, JCR *mjcr,
    ar.Stream = rec->Stream;
    ar.FileIndex = rec->FileIndex;
    ar.attr = ap;
-   if (mjcr->VolFirstIndex == 0) {
-      mjcr->VolFirstIndex = rec->FileIndex;
+   if (dcr->VolFirstIndex == 0) {
+      dcr->VolFirstIndex = rec->FileIndex;
    }
-   mjcr->FileIndex = rec->FileIndex;
+   dcr->FileIndex = rec->FileIndex;
    mjcr->JobFiles++;
 
    if (!update_db) {
@@ -738,7 +790,7 @@ static int create_file_attributes_record(B_DB *db, JCR *mjcr,
    mjcr->FileId = ar.FileId;
 
    if (verbose > 1) {
-      Pmsg1(000, _("Created File record: %s\n"), fname);   
+      Pmsg1(000, _("Created File record: %s\n"), fname);
    }
    return 1;
 }
@@ -751,7 +803,8 @@ static int create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl)
    struct date_time dt;
    struct tm tm;
 
-   strcpy(mr->VolStatus, "Full");
+   /* We mark Vols as Archive to keep them from being re-written */
+   bstrncpy(mr->VolStatus, "Archive", sizeof(mr->VolStatus));
    mr->VolRetention = 365 * 3600 * 24; /* 1 year */
    if (vl->VerNum >= 11) {
       mr->FirstWritten = btime_to_utime(vl->write_btime);
@@ -791,21 +844,21 @@ static int create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl)
 /*
  * Called at end of media to update it
  */
-static int update_media_record(B_DB *db, MEDIA_DBR *mr)
+static bool update_media_record(B_DB *db, MEDIA_DBR *mr)
 {
    if (!update_db && !update_vol_info) {
-      return 1;
+      return true;
    }
 
    mr->LastWritten = lasttime;
    if (!db_update_media_record(bjcr, db, mr)) {
       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
-      return 0;
+      return false;;
    }
    if (verbose) {
       Pmsg1(000, _("Updated Media record at end of Volume: %s\n"), mr->VolumeName);
    }
-   return 1;
+   return true;
 
 }
 
@@ -832,7 +885,7 @@ static int create_pool_record(B_DB *db, POOL_DBR *pr)
 
 
 /*
- * Called from SOS to create a client for the current Job 
+ * Called from SOS to create a client for the current Job
  */
 static int create_client_record(B_DB *db, CLIENT_DBR *cr)
 {
@@ -865,7 +918,7 @@ static int create_fileset_record(B_DB *db, FILESET_DBR *fsr)
       }
    } else {
       if (!db_create_fileset_record(bjcr, db, fsr)) {
-         Pmsg2(0, _("Could not create FileSet record \"%s\". ERR=%s\n"), 
+         Pmsg2(0, _("Could not create FileSet record \"%s\". ERR=%s\n"),
             fsr->FileSet, db_strerror(db));
          return 0;
       }
@@ -881,7 +934,7 @@ static int create_fileset_record(B_DB *db, FILESET_DBR *fsr)
  *  the Job record and to update it when the Job actually
  *  begins running.
  */
-static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label, 
+static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
                              DEV_RECORD *rec)
 {
    JCR *mjcr;
@@ -889,11 +942,11 @@ static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
    struct tm tm;
 
    jr->JobId = label->JobId;
-   jr->Type = label->JobType;
-   jr->Level = label->JobLevel;
+   jr->JobType = label->JobType;
+   jr->JobLevel = label->JobLevel;
    jr->JobStatus = JS_Created;
-   strcpy(jr->Name, label->JobName);
-   strcpy(jr->Job, label->Job);
+   bstrncpy(jr->Name, label->JobName, sizeof(jr->Name));
+   bstrncpy(jr->Job, label->Job, sizeof(jr->Job));
    if (label->VerNum >= 11) {
       jr->SchedTime = btime_to_unix(label->write_btime);
    } else {
@@ -926,14 +979,14 @@ static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
       Pmsg1(0, _("Could not update job start record. ERR=%s\n"), db_strerror(db));
       return mjcr;
    }
-   Pmsg2(000, _("Created new JobId=%u record for original JobId=%u\n"), jr->JobId, 
+   Pmsg2(000, _("Created new JobId=%u record for original JobId=%u\n"), jr->JobId,
          label->JobId);
    mjcr->JobId = jr->JobId;           /* set new JobId */
    return mjcr;
 }
 
-/* 
- * Simulate the database call that updates the Job 
+/*
+ * Simulate the database call that updates the Job
  *  at Job termination time.
  */
 static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
@@ -974,17 +1027,18 @@ static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
       free_jcr(mjcr);
       return 1;
    }
-   
+
    if (!db_update_job_end_record(bjcr, db, jr)) {
       Pmsg2(0, _("Could not update JobId=%u record. ERR=%s\n"), jr->JobId,  db_strerror(db));
       free_jcr(mjcr);
       return 0;
    }
    if (verbose) {
-      Pmsg1(000, _("Updated Job termination record for new JobId=%u\n"), jr->JobId);
+      Pmsg2(000, _("Updated Job termination record for JobId=%u TermStat=%c\n"), jr->JobId,
+         jr->JobStatus);
    }
    if (verbose > 1) {
-      char *term_msg;
+      const char *term_msg;
       static char term_code[70];
       char sdt[50], edt[50];
       char ec1[30], ec2[30], ec3[30];
@@ -1007,20 +1061,20 @@ static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
       }
       bstrftime(sdt, sizeof(sdt), mjcr->start_time);
       bstrftime(edt, sizeof(edt), mjcr->end_time);
-      Pmsg14(000,  _("%s\n\
-JobId:                  %d\n\
-Job:                    %s\n\
-FileSet:                %s\n\
-Backup Level:           %s\n\
-Client:                 %s\n\
-Start time:             %s\n\
-End time:               %s\n\
-Files Written:          %s\n\
-Bytes Written:          %s\n\
-Volume Session Id:      %d\n\
-Volume Session Time:    %d\n\
-Last Volume Bytes:      %s\n\
-Termination:            %s\n\n"),
+      Pmsg14(000,  _("%s\n"
+"JobId:                  %d\n"
+"Job:                    %s\n"
+"FileSet:                %s\n"
+"Backup Level:           %s\n"
+"Client:                 %s\n"
+"Start time:             %s\n"
+"End time:               %s\n"
+"Files Written:          %s\n"
+"Bytes Written:          %s\n"
+"Volume Session Id:      %d\n"
+"Volume Session Time:    %d\n"
+"Last Volume Bytes:      %s\n"
+"Termination:            %s\n\n"),
         edt,
         mjcr->JobId,
         mjcr->Job,
@@ -1043,24 +1097,27 @@ Termination:            %s\n\n"),
 static int create_jobmedia_record(B_DB *db, JCR *mjcr)
 {
    JOBMEDIA_DBR jmr;
+   DCR *dcr = mjcr->dcr;
 
-   if (dev->state & ST_TAPE) {
-      mjcr->EndBlock = dev->EndBlock;
-      mjcr->EndFile  = dev->EndFile;
+   if (dev->is_tape()) {
+      dcr->EndBlock = dev->EndBlock;
+      dcr->EndFile  = dev->EndFile;
+#ifdef needed
    } else {
-      mjcr->EndBlock = (uint32_t)dev->file_addr;
-      mjcr->EndFile = (uint32_t)(dev->file_addr >> 32);
-   }
+      dcr->EndBlock = (uint32_t)dev->file_addr;
+      dcr->EndFile = (uint32_t)(dev->file_addr >> 32);
+#endif
+   } 
 
    memset(&jmr, 0, sizeof(jmr));
    jmr.JobId = mjcr->JobId;
    jmr.MediaId = mr.MediaId;
-   jmr.FirstIndex = mjcr->VolFirstIndex;
-   jmr.LastIndex = mjcr->FileIndex;
-   jmr.StartFile = mjcr->StartFile;
-   jmr.EndFile = mjcr->EndFile;
-   jmr.StartBlock = mjcr->StartBlock;
-   jmr.EndBlock = mjcr->EndBlock;
+   jmr.FirstIndex = dcr->VolFirstIndex;
+   jmr.LastIndex = dcr->FileIndex;
+   jmr.StartFile = dcr->StartFile;
+   jmr.EndFile = dcr->EndFile;
+   jmr.StartBlock = dcr->StartBlock;
+   jmr.EndBlock = dcr->EndBlock;
 
 
    if (!update_db) {
@@ -1072,13 +1129,13 @@ static int create_jobmedia_record(B_DB *db, JCR *mjcr)
       return 0;
    }
    if (verbose) {
-      Pmsg2(000, _("Created JobMedia record JobId %d, MediaId %d\n"), 
+      Pmsg2(000, _("Created JobMedia record JobId %d, MediaId %d\n"),
                 jmr.JobId, jmr.MediaId);
    }
    return 1;
 }
 
-/* 
+/*
  * Simulate the database call that updates the MD5/SHA1 record
  */
 static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type)
@@ -1096,11 +1153,11 @@ static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type)
       return 0;
    }
 
-   if (!update_db) {
+   if (!update_db || mjcr->FileId == 0) {
       free_jcr(mjcr);
       return 1;
    }
-   
+
    if (!db_add_SIG_to_file_record(bjcr, db, mjcr->FileId, SIGbuf, type)) {
       Pmsg1(0, _("Could not add MD5/SHA1 to File record. ERR=%s\n"), db_strerror(db));
       free_jcr(mjcr);
@@ -1114,7 +1171,7 @@ static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type)
 }
 
 
-/* 
+/*
  * Create a JCR as if we are really starting the job
  */
 static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId)
@@ -1124,35 +1181,43 @@ static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId)
     * Transfer as much as possible to the Job JCR. Most important is
     *   the JobId and the ClientId.
     */
-   jobjcr = new_jcr(sizeof(JCR), dird_free_jcr);
-   jobjcr->JobType = jr->Type;
-   jobjcr->JobLevel = jr->Level;
+   jobjcr = new_jcr(sizeof(JCR), bscan_free_jcr);
+   jobjcr->JobType = jr->JobType;
+   jobjcr->JobLevel = jr->JobLevel;
    jobjcr->JobStatus = jr->JobStatus;
-   strcpy(jobjcr->Job, jr->Job);
+   bstrncpy(jobjcr->Job, jr->Job, sizeof(jobjcr->Job));
    jobjcr->JobId = JobId;      /* this is JobId on tape */
    jobjcr->sched_time = jr->SchedTime;
    jobjcr->start_time = jr->StartTime;
    jobjcr->VolSessionId = rec->VolSessionId;
    jobjcr->VolSessionTime = rec->VolSessionTime;
    jobjcr->ClientId = jr->ClientId;
-   attach_jcr_to_device(dev, jobjcr);
+   new_dcr(jobjcr, dev);
    return jobjcr;
 }
 
 /* Dummies to replace askdir.c */
-int     dir_get_volume_info(JCR *jcr, enum get_vol_info_rw  writing) { return 1;}
-int     dir_find_next_appendable_volume(JCR *jcr) { return 1;}
-int     dir_update_volume_info(JCR *jcr, VOLUME_CAT_INFO *vol, int relabel) { return 1; }
-int     dir_create_jobmedia_record(JCR *jcr) { return 1; }
-int     dir_ask_sysop_to_mount_next_volume(JCR *jcr, DEVICE *dev) { return 1; }
-int     dir_update_file_attributes(JCR *jcr, DEV_RECORD *rec) { return 1;}
-int     dir_send_job_status(JCR *jcr) {return 1;}
+bool    dir_get_volume_info(DCR *dcr, enum get_vol_info_rw  writing) { return 1;}
+bool    dir_find_next_appendable_volume(DCR *dcr) { return 1;}
+bool    dir_update_volume_info(DCR *dcr, bool relabel) { return 1; }
+bool    dir_create_jobmedia_record(DCR *dcr) { return 1; }
+bool    dir_ask_sysop_to_create_appendable_volume(DCR *dcr) { return 1; }
+bool    dir_update_file_attributes(DCR *dcr, DEV_RECORD *rec) { return 1;}
+bool    dir_send_job_status(JCR *jcr) {return 1;}
+int     generate_job_event(JCR *jcr, const char *event) { return 1; }
 
 
-int dir_ask_sysop_to_mount_volume(JCR *jcr, DEVICE *dev)
+bool dir_ask_sysop_to_mount_volume(DCR *dcr)
 {
-   fprintf(stderr, _("Mount Volume %s on device %s and press return when ready: "),
-      jcr->VolumeName, dev_name(dev));
-   getchar();   
-   return 1;
+   DEVICE *dev = dcr->dev;
+   Dmsg0(20, "Enter dir_ask_sysop_to_mount_volume\n");
+   /* Close device so user can use autochanger if desired */
+   if (dev_cap(dev, CAP_OFFLINEUNMOUNT)) {
+      offline_dev(dev);
+   }
+   force_close_dev(dev);
+   fprintf(stderr, "Mount Volume \"%s\" on device %s and press return when ready: ",
+         dcr->VolumeName, dev->print_name());
+   getchar();
+   return true;
 }