]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/bscan.c
Use rentrant mysql lib, eliminate race in sql_list, Win32 streams, misc see kes-1.31
[bacula/bacula] / bacula / src / stored / bscan.c
index 678718ae74fe343d301b33426fb911181e1cb117..b0a4493fd05c6cc5fbd2542549ddd30ee9fb7d34 100644 (file)
@@ -35,7 +35,7 @@
 #include "cats/cats.h"
 
 /* Forward referenced functions */
-static void do_scan(char *fname);
+static void do_scan(void);
 static void record_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec);
 static int  create_file_attributes_record(B_DB *db, JCR *mjcr, 
                               char *fname, char *lname, int type,
@@ -50,14 +50,17 @@ static int  create_client_record(B_DB *db, CLIENT_DBR *cr);
 static int  create_fileset_record(B_DB *db, FILESET_DBR *fsr);
 static int  create_jobmedia_record(B_DB *db, JCR *jcr);
 static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId);
-static int update_MD5_record(B_DB *db, char *MD5buf, DEV_RECORD *rec);
+static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type);
 
 
 /* Global variables */
+STORES *me;
+
+/* Local variables */
 static DEVICE *dev = NULL;
 static B_DB *db;
 static JCR *bjcr;                    /* jcr for bscan */
-static BSR *bsr;
+static BSR *bsr = NULL;
 static struct stat statp;
 static int type;
 static long record_file_index;
@@ -74,21 +77,29 @@ static FILE_DBR fr;
 static SESSION_LABEL label;
 static SESSION_LABEL elabel;
 
+static time_t lasttime = 0;
+
 static char *db_name = "bacula";
 static char *db_user = "bacula";
 static char *db_password = "";
-static char *wd = "/tmp";
-static int verbose = 0;
+static char *wd = NULL;
 static int update_db = 0;
 static int update_vol_info = 0;
 static int list_records = 0;
+static int ignored_msgs = 0;
+
+#define CONFIG_FILE "bacula-sd.conf"
+char *configfile;
+
+
 
 static void usage()
 {
    fprintf(stderr, _(
-"\nVersion: " VERSION " (" DATE ")\n\n"
+"\nVersion: " VERSION " (" BDATE ")\n\n"
 "Usage: bscan [-d debug_level] <bacula-archive>\n"
 "       -b bootstrap      specify a bootstrap file\n"
+"       -c <file>         specify configuration file\n"
 "       -dnn              set debug level to nn\n"
 "       -m                update media info in database\n"
 "       -n name           specify the database name (default bacula)\n"
@@ -97,7 +108,8 @@ static void usage()
 "       -r                list records\n"
 "       -s                synchronize or store in database\n"
 "       -v                verbose\n"
-"       -w dir            specify working directory (default /tmp)\n"
+"       -V              specify Volume names (separated by |)\n"
+"       -w dir            specify working directory (default from conf file)\n"
 "       -?                print this message\n\n"));
    exit(1);
 }
@@ -105,16 +117,26 @@ static void usage()
 int main (int argc, char *argv[])
 {
    int ch;
+   struct stat stat_buf;
+   char *VolumeName = NULL;
 
    my_name_is(argc, argv, "bscan");
    init_msg(NULL, NULL);
 
 
-   while ((ch = getopt(argc, argv, "b:d:mn:p:rsu:vw:?")) != -1) {
+   while ((ch = getopt(argc, argv, "b:c:d:mn:p:rsu:vw:?")) != -1) {
       switch (ch) {
          case 'b':
            bsr = parse_bsr(NULL, optarg);
            break;
+
+         case 'c':                    /* specify config file */
+           if (configfile != NULL) {
+              free(configfile);
+           }
+           configfile = bstrdup(optarg);
+           break;
+
          case 'd':                    /* debug level */
            debug_level = atoi(optarg);
            if (debug_level <= 0)
@@ -149,6 +171,10 @@ int main (int argc, char *argv[])
            verbose++;
            break;
 
+         case 'V':                    /* Volume name */
+           VolumeName = optarg;
+           break;
+
          case 'w':
            wd = optarg;
            break;
@@ -167,14 +193,49 @@ int main (int argc, char *argv[])
       usage();
    }
 
-   working_directory = wd;
+   if (configfile == NULL) {
+      configfile = bstrdup(CONFIG_FILE);
+   }
+
+   parse_config(configfile);
+   LockRes();
+   me = (STORES *)GetNextRes(R_STORAGE, NULL);
+   if (!me) {
+      UnlockRes();
+      Emsg1(M_ERROR_TERM, 0, _("No Storage resource defined in %s. Cannot continue.\n"), 
+        configfile);
+   }
+   UnlockRes();
+   /* Check if -w option given, otherwise use resource for working directory */
+   if (wd) { 
+      working_directory = wd;
+   } else if (!me->working_directory) {
+      Emsg1(M_ERROR_TERM, 0, _("No Working Directory defined in %s. Cannot continue.\n"),
+        configfile);
+   } else {
+      working_directory = me->working_directory;
+   }
+
+   /* Check that working directory is good */
+   if (stat(working_directory, &stat_buf) != 0) {
+      Emsg1(M_ERROR_TERM, 0, _("Working Directory: %s not found. Cannot continue.\n"),
+        working_directory);
+   }
+   if (!S_ISDIR(stat_buf.st_mode)) {
+      Emsg1(M_ERROR_TERM, 0, _("Working Directory: %s is not a directory. Cannot continue.\n"),
+        working_directory);
+   }
 
-   bjcr = setup_jcr("bscan", argv[0], bsr);
+   bjcr = setup_jcr("bscan", argv[0], bsr, VolumeName);
+   dev = setup_to_access_device(bjcr, 1);   /* read device */
+   if (!dev) { 
+      exit(1);
+   }
 
-   if ((db=db_init_database(NULL, db_name, db_user, db_password)) == NULL) {
+   if ((db=db_init_database(NULL, db_name, db_user, db_password, NULL, 0, NULL)) == NULL) {
       Emsg0(M_ERROR_TERM, 0, _("Could not init Bacula database\n"));
    }
-   if (!db_open_database(db)) {
+   if (!db_open_database(NULL, db)) {
       Emsg0(M_ERROR_TERM, 0, db_strerror(db));
    }
    Dmsg0(200, "Database opened\n");
@@ -182,21 +243,15 @@ int main (int argc, char *argv[])
       Pmsg2(000, _("Using Database: %s, User: %s\n"), db_name, db_user);
    }
 
-   do_scan(argv[0]);
+   do_scan();
 
    free_jcr(bjcr);
    return 0;
 }
   
 
-static void do_scan(char *devname)            
+static void do_scan()            
 {
-
-   dev = setup_to_read_device(bjcr);
-   if (!dev) { 
-      exit(1);
-   }
-
    fname = get_pool_memory(PM_FNAME);
    ofile = get_pool_memory(PM_FNAME);
    lname = get_pool_memory(PM_FNAME);
@@ -232,7 +287,6 @@ static void record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
            rec->VolSessionId, rec->VolSessionTime, rec->FileIndex, 
            rec->Stream, rec->data_len);
    }
-Dmsg1(000, "record_cb block=%u\n", rec->Block);
    /* 
     * Check for Start or End of Session Record 
     *
@@ -245,7 +299,7 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
       }
       switch (rec->FileIndex) {
         case PRE_LABEL:
-            Pmsg0(000, "Volume is prelabeled. This tape cannot be scanned.\n");
+            Pmsg0(000, _("Volume is prelabeled. This tape cannot be scanned.\n"));
            return;
            break;
         case VOL_LABEL:
@@ -253,46 +307,50 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
            /* Check Pool info */
            strcpy(pr.Name, dev->VolHdr.PoolName);
            strcpy(pr.PoolType, dev->VolHdr.PoolType);
-           if (db_get_pool_record(db, &pr)) {
+           if (db_get_pool_record(bjcr, db, &pr)) {
               if (verbose) {
-                  Pmsg1(000, "Pool record for %s found in DB.\n", pr.Name);
+                  Pmsg1(000, _("Pool record for %s found in DB.\n"), pr.Name);
               }
            } else {
-               Pmsg1(000, "VOL_LABEL: Pool record not found for Pool: %s\n",
-                 pr.Name);
+              if (!update_db) {
+                  Pmsg1(000, _("VOL_LABEL: Pool record not found for Pool: %s\n"),
+                    pr.Name);
+              }
               create_pool_record(db, &pr);
            }
            if (strcmp(pr.PoolType, dev->VolHdr.PoolType) != 0) {
-               Pmsg2(000, "VOL_LABEL: PoolType mismatch. DB=%s Vol=%s\n",
+               Pmsg2(000, _("VOL_LABEL: PoolType mismatch. DB=%s Vol=%s\n"),
                  pr.PoolType, dev->VolHdr.PoolType);
               return;
            } else if (verbose) {
-               Pmsg1(000, "Pool type \"%s\" is OK.\n", pr.PoolType);
+               Pmsg1(000, _("Pool type \"%s\" is OK.\n"), pr.PoolType);
            }
 
            /* Check Media Info */
            memset(&mr, 0, sizeof(mr));
            strcpy(mr.VolumeName, dev->VolHdr.VolName);
            mr.PoolId = pr.PoolId;
-           if (db_get_media_record(db, &mr)) {
+           if (db_get_media_record(bjcr, db, &mr)) {
               if (verbose) {
-                  Pmsg1(000, "Media record for %s found in DB.\n", mr.VolumeName);
+                  Pmsg1(000, _("Media record for %s found in DB.\n"), mr.VolumeName);
               }
               /* Clear out some volume statistics that will be updated */
               mr.VolJobs = mr.VolFiles = mr.VolBlocks = 0;
               mr.VolBytes = rec->data_len + 20;
            } else {
-               Pmsg1(000, "VOL_LABEL: Media record not found for Volume: %s\n",
-                 mr.VolumeName);
+              if (!update_db) {
+                  Pmsg1(000, _("VOL_LABEL: Media record not found for Volume: %s\n"),
+                    mr.VolumeName);
+              }
               strcpy(mr.MediaType, dev->VolHdr.MediaType);
               create_media_record(db, &mr, &dev->VolHdr);
            }
            if (strcmp(mr.MediaType, dev->VolHdr.MediaType) != 0) {
-               Pmsg2(000, "VOL_LABEL: MediaType mismatch. DB=%s Vol=%s\n",
+               Pmsg2(000, _("VOL_LABEL: MediaType mismatch. DB=%s Vol=%s\n"),
                  mr.MediaType, dev->VolHdr.MediaType);
               return;
            } else if (verbose) {
-               Pmsg1(000, "Media type \"%s\" is OK.\n", mr.MediaType);
+               Pmsg1(000, _("Media type \"%s\" is OK.\n"), mr.MediaType);
            }
            /* Reset some JCR variables */
            for (mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
@@ -301,15 +359,19 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
               mjcr->StartFile = mjcr->EndFile = 0;
            }
 
-            Pmsg1(000, "VOL_LABEL: OK for Volume: %s\n", mr.VolumeName);
+            Pmsg1(000, _("VOL_LABEL: OK for Volume: %s\n"), mr.VolumeName);
            break;
         case SOS_LABEL:
-
            mr.VolJobs++;
+           if (ignored_msgs > 0) {
+               Pmsg1(000, _("%d \"errors\" ignored before first Start of Session record.\n"), 
+                    ignored_msgs);
+              ignored_msgs = 0;
+           }
            unser_session_label(&label, rec);
            memset(&jr, 0, sizeof(jr));
            jr.JobId = label.JobId;
-           if (db_get_job_record(db, &jr)) {
+           if (db_get_job_record(bjcr, db, &jr)) {
               /* Job record already exists in DB */
                update_db = 0;  /* don't change db in create_job_record */
               if (verbose) {
@@ -317,8 +379,10 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
               }
            } else {
               /* Must create a Job record in DB */
-               Pmsg1(000, "SOS_LABEL: Job record not found for JobId: %d\n",
-                 jr.JobId);
+              if (!update_db) {
+                  Pmsg1(000, _("SOS_LABEL: Job record not found for JobId: %d\n"),
+                    jr.JobId);
+              }
            }
            /* Create Client record if not already there */
               strcpy(cr.Name, label.ClientName);
@@ -329,10 +393,15 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
            mjcr = create_job_record(db, &jr, &label, rec);
            update_db = save_update_db;
 
-              jr.PoolId = pr.PoolId;
-              /* Set start positions into JCR */
-           mjcr->StartBlock = dev->block_num;
-           mjcr->StartFile = dev->file;
+           jr.PoolId = pr.PoolId;
+           /* Set start positions into JCR */
+           if (dev->state & ST_TAPE) {
+              mjcr->StartBlock = dev->block_num;
+              mjcr->StartFile = dev->file;
+           } else {
+              mjcr->StartBlock = (uint32_t)dev->file_addr;
+              mjcr->StartFile = (uint32_t)(dev->file_addr >> 32);
+           }
            mjcr->start_time = jr.StartTime;
            mjcr->JobLevel = jr.Level;
 
@@ -346,19 +415,19 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
            pm_strcpy(&mjcr->pool_name, label.PoolName);
 
            if (rec->VolSessionId != jr.VolSessionId) {
-               Pmsg3(000, "SOS_LABEL: VolSessId mismatch for JobId=%u. DB=%d Vol=%d\n",
+               Pmsg3(000, _("SOS_LABEL: VolSessId mismatch for JobId=%u. DB=%d Vol=%d\n"),
                  jr.JobId,
                  jr.VolSessionId, rec->VolSessionId);
               return;
            }
            if (rec->VolSessionTime != jr.VolSessionTime) {
-               Pmsg3(000, "SOS_LABEL: VolSessTime mismatch for JobId=%u. DB=%d Vol=%d\n",
+               Pmsg3(000, _("SOS_LABEL: VolSessTime mismatch for JobId=%u. DB=%d Vol=%d\n"),
                  jr.JobId,
                  jr.VolSessionTime, rec->VolSessionTime);
               return;
            }
            if (jr.PoolId != pr.PoolId) {
-               Pmsg3(000, "SOS_LABEL: PoolId mismatch for JobId=%u. DB=%d Vol=%d\n",
+               Pmsg3(000, _("SOS_LABEL: PoolId mismatch for JobId=%u. DB=%d Vol=%d\n"),
                  jr.JobId,
                  jr.PoolId, pr.PoolId);
               return;
@@ -369,14 +438,14 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
 
            /* Create FileSet record */
            strcpy(fsr.FileSet, label.FileSetName);
+           strcpy(fsr.MD5, label.FileSetMD5);
            create_fileset_record(db, &fsr);
            jr.FileSetId = fsr.FileSetId;
 
-
            mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
            if (!mjcr) {
                Pmsg2(000, _("Could not find SessId=%d SessTime=%d for EOS record.\n"),
-                  rec->VolSessionId, rec->VolSessionTime);
+                    rec->VolSessionId, rec->VolSessionTime);
               break;
            }
 
@@ -407,10 +476,10 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
                  jr.JobBytes = mjcr->JobBytes;
                  jr.VolSessionId = mjcr->VolSessionId;
                  jr.VolSessionTime = mjcr->VolSessionTime;
-                 jr.JobTDate = (btime_t)mjcr->start_time;
+                 jr.JobTDate = (utime_t)mjcr->start_time;
                  jr.ClientId = mjcr->ClientId;
                  free_jcr(mjcr);
-                 if (!db_update_job_end_record(db, &jr)) {
+                 if (!db_update_job_end_record(bjcr, db, &jr)) {
                      Pmsg1(0, _("Could not update job record. ERR=%s\n"), db_strerror(db));
                  }
               }
@@ -431,7 +500,7 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
 
 
    /* File Attributes stream */
-   if (rec->Stream == STREAM_UNIX_ATTRIBUTES) {
+   if (rec->Stream == STREAM_UNIX_ATTRIBUTES || rec->Stream == STREAM_WIN32_ATTRIBUTES) {
       char *ap, *lp, *fp;
 
       if (sizeof_pool_memory(fname) < rec->data_len) {
@@ -474,21 +543,24 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
         ;
       }
       strcat(lname, lp);        /* "save" link name */
-
-
       if (verbose > 1) {
-        decode_stat(ap, &statp);
+        uint32_t LinkFI;
+        decode_stat(ap, &statp, &LinkFI);
         print_ls_output(fname, lname, type, &statp);   
       }
       mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
       if (!mjcr) {
-         Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Attributes record.\n"),
-                     rec->VolSessionId, rec->VolSessionTime);
+        if (mr.VolJobs > 0) {
+            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Attributes record.\n"),
+                        rec->VolSessionId, rec->VolSessionTime);
+        } else {
+           ignored_msgs++;
+        }
         return;
       }
       fr.JobId = mjcr->JobId;
       fr.FileId = 0;
-      if (db_get_file_attributes_record(db, fname, &fr)) {
+      if (db_get_file_attributes_record(bjcr, db, fname, &fr)) {
         if (verbose > 1) {
             Pmsg1(000, _("File record already exists for: %s\n"), fname);
         }
@@ -497,34 +569,89 @@ Dmsg1(000, "record_cb block=%u\n", rec->Block);
       }
       free_jcr(mjcr);
 
-   /* Data stream and extracting */
+   /* Data stream */
    } else if (rec->Stream == STREAM_FILE_DATA) {
       mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
       if (!mjcr) {
-         Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Attributes record.\n"),
-                     rec->VolSessionId, rec->VolSessionTime);
+        if (mr.VolJobs > 0) {
+            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for File Data record.\n"),
+                        rec->VolSessionId, rec->VolSessionTime);
+        } else {
+           ignored_msgs++;
+        }
         return;
       }
       mjcr->JobBytes += rec->data_len;
       free_jcr(mjcr);                /* done using JCR */
 
+   } else if (rec->Stream == STREAM_SPARSE_DATA) {
+      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
+      if (!mjcr) {
+        if (mr.VolJobs > 0) {
+            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Sparse Data record.\n"),
+                        rec->VolSessionId, rec->VolSessionTime);
+        } else {
+           ignored_msgs++;
+        }
+        return;
+      }
+      mjcr->JobBytes += rec->data_len - sizeof(uint64_t);
+      free_jcr(mjcr);                /* done using JCR */
+
    } else if (rec->Stream == STREAM_GZIP_DATA) {
       mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
       if (!mjcr) {
-         Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Attributes record.\n"),
-                     rec->VolSessionId, rec->VolSessionTime);
+        if (mr.VolJobs > 0) {
+            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for GZIP Data record.\n"),
+                        rec->VolSessionId, rec->VolSessionTime);
+        } else {
+           ignored_msgs++;
+        }
         return;
       }
-      mjcr->JobBytes += rec->data_len;
+      mjcr->JobBytes += rec->data_len; /* No correct, we should expand it */
+      free_jcr(mjcr);                /* done using JCR */
+
+   } else if (rec->Stream == STREAM_SPARSE_GZIP_DATA) {
+      mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
+      if (!mjcr) {
+        if (mr.VolJobs > 0) {
+            Pmsg2(000, _("Could not find Job SessId=%d SessTime=%d for Sparse GZIP Data record.\n"),
+                        rec->VolSessionId, rec->VolSessionTime);
+        } else {
+           ignored_msgs++;
+        }
+        return;
+      }
+      mjcr->JobBytes += rec->data_len - sizeof(uint64_t); /* No correct, we should expand it */
       free_jcr(mjcr);                /* done using JCR */
 
+
    } else if (rec->Stream == STREAM_MD5_SIGNATURE) {
-      char MD5buf[30];
+      char MD5buf[50];
       bin_to_base64(MD5buf, (char *)rec->data, 16); /* encode 16 bytes */
       if (verbose > 1) {
          Pmsg1(000, _("Got MD5 record: %s\n"), MD5buf);
       }
-      update_MD5_record(db, MD5buf, rec);
+      update_SIG_record(db, MD5buf, rec, MD5_SIG);
+
+   } else if (rec->Stream == STREAM_SHA1_SIGNATURE) {
+      char SIGbuf[50];
+      bin_to_base64(SIGbuf, (char *)rec->data, 20); /* encode 20 bytes */
+      if (verbose > 1) {
+         Pmsg1(000, _("Got SHA1 record: %s\n"), SIGbuf);
+      }
+      update_SIG_record(db, SIGbuf, rec, SHA1_SIG);
+
+
+   } else if (rec->Stream == STREAM_PROGRAM_NAMES) {
+      if (verbose) {
+         Pmsg1(000, _("Got Prog Names Stream: %s\n"), rec->data);
+      }
+   } else if (rec->Stream == STREAM_PROGRAM_DATA) {
+      if (verbose > 1) {
+         Pmsg0(000, _("Got Prog Data Stream record.\n"));
+      }
    } else {
       Pmsg2(0, _("Unknown stream type!!! stream=%d data=%s\n"), rec->Stream, rec->data);
    }
@@ -580,7 +707,7 @@ static int create_file_attributes_record(B_DB *db, JCR *mjcr,
       return 1;
    }
 
-   if (!db_create_file_attributes_record(db, &ar)) {
+   if (!db_create_file_attributes_record(bjcr, db, &ar)) {
       Pmsg1(0, _("Could not create File Attributes record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
@@ -601,25 +728,32 @@ static int create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl)
    struct tm tm;
 
    strcpy(mr->VolStatus, "Full");
-   mr->VolRetention = 355 * 3600 * 24; /* 1 year */
-   dt.julian_day_number = vl->write_date;
-   dt.julian_day_fraction = vl->write_time;
-   tm_decode(&dt, &tm);
-   mr->FirstWritten = mktime(&tm);
-   dt.julian_day_number = vl->label_date;
-   dt.julian_day_fraction = vl->label_time;
-   tm_decode(&dt, &tm);
-   mr->LabelDate = mktime(&tm);
+   mr->VolRetention = 365 * 3600 * 24; /* 1 year */
+   if (vl->VerNum >= 11) {
+      mr->FirstWritten = btime_to_utime(vl->write_btime);
+      mr->LabelDate    = btime_to_utime(vl->label_btime);
+   } else {
+      /* DEPRECATED DO NOT USE */
+      dt.julian_day_number = vl->write_date;
+      dt.julian_day_fraction = vl->write_time;
+      tm_decode(&dt, &tm);
+      mr->FirstWritten = mktime(&tm);
+      dt.julian_day_number = vl->label_date;
+      dt.julian_day_fraction = vl->label_time;
+      tm_decode(&dt, &tm);
+      mr->LabelDate = mktime(&tm);
+   }
+   lasttime = mr->LabelDate;
 
    if (!update_db) {
       return 1;
    }
 
-   if (!db_create_media_record(db, mr)) {
+   if (!db_create_media_record(bjcr, db, mr)) {
       Pmsg1(0, _("Could not create media record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
-   if (!db_update_media_record(db, mr)) {
+   if (!db_update_media_record(bjcr, db, mr)) {
       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
@@ -639,7 +773,8 @@ static int update_media_record(B_DB *db, MEDIA_DBR *mr)
       return 1;
    }
 
-   if (!db_update_media_record(db, mr)) {
+   mr->LastWritten = lasttime;
+   if (!db_update_media_record(bjcr, db, mr)) {
       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
@@ -660,7 +795,7 @@ static int create_pool_record(B_DB *db, POOL_DBR *pr)
    if (!update_db) {
       return 1;
    }
-   if (!db_create_pool_record(db, pr)) {
+   if (!db_create_pool_record(bjcr, db, pr)) {
       Pmsg1(0, _("Could not create pool record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
@@ -680,7 +815,7 @@ static int create_client_record(B_DB *db, CLIENT_DBR *cr)
    if (!update_db) {
       return 1;
    }
-   if (!db_create_client_record(db, cr)) {
+   if (!db_create_client_record(bjcr, db, cr)) {
       Pmsg1(0, _("Could not create Client record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
@@ -696,16 +831,21 @@ static int create_fileset_record(B_DB *db, FILESET_DBR *fsr)
       return 1;
    }
    fsr->FileSetId = 0;
-   if (db_get_fileset_record(db, fsr)) {
+   if (fsr->MD5[0] == 0) {
+      fsr->MD5[0] = ' ';              /* Equivalent to nothing */
+      fsr->MD5[1] = 0;
+   }
+   if (db_get_fileset_record(bjcr, db, fsr)) {
       if (verbose) {
          Pmsg1(000, _("Fileset \"%s\" already exists.\n"), fsr->FileSet);
       }
    } else {
-   if (!db_create_fileset_record(db, fsr)) {
-      Pmsg1(0, _("Could not create FileSet record. ERR=%s\n"), db_strerror(db));
-      return 0;
-   }
-   if (verbose) {
+      if (!db_create_fileset_record(bjcr, db, fsr)) {
+         Pmsg2(0, _("Could not create FileSet record \"%s\". ERR=%s\n"), 
+           fsr->FileSet, db_strerror(db));
+        return 0;
+      }
+      if (verbose) {
          Pmsg1(000, _("Created FileSet record \"%s\"\n"), fsr->FileSet);
       }
    }
@@ -730,12 +870,17 @@ static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
    jr->JobStatus = JS_Created;
    strcpy(jr->Name, label->JobName);
    strcpy(jr->Job, label->Job);
-   dt.julian_day_number = label->write_date;
-   dt.julian_day_fraction = label->write_time;
-   tm_decode(&dt, &tm);
-   jr->SchedTime = mktime(&tm);
+   if (label->VerNum >= 11) {
+      jr->SchedTime = btime_to_unix(label->write_btime);
+   } else {
+      dt.julian_day_number = label->write_date;
+      dt.julian_day_fraction = label->write_time;
+      tm_decode(&dt, &tm);
+      jr->SchedTime = mktime(&tm);
+   }
+
    jr->StartTime = jr->SchedTime;
-   jr->JobTDate = (btime_t)jr->SchedTime;
+   jr->JobTDate = (utime_t)jr->SchedTime;
    jr->VolSessionId = rec->VolSessionId;
    jr->VolSessionTime = rec->VolSessionTime;
 
@@ -747,19 +892,19 @@ static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
    }
 
    /* This creates the bare essentials */
-   if (!db_create_job_record(db, jr)) {
-      Pmsg1(0, _("Could not create job record. ERR=%s\n"), db_strerror(db));
+   if (!db_create_job_record(bjcr, db, jr)) {
+      Pmsg1(0, _("Could not create JobId record. ERR=%s\n"), db_strerror(db));
       return mjcr;
    }
 
    /* This adds the client, StartTime, JobTDate, ... */
-   if (!db_update_job_start_record(db, jr)) {
+   if (!db_update_job_start_record(bjcr, db, jr)) {
       Pmsg1(0, _("Could not update job start record. ERR=%s\n"), db_strerror(db));
       return mjcr;
    }
-   if (verbose) {
-      Pmsg1(000, _("Created Job record for JobId: %d\n"), jr->JobId);
-   }
+   Pmsg2(000, _("Created new JobId=%u record for original JobId=%u\n"), jr->JobId, 
+        label->JobId);
+   mjcr->JobId = jr->JobId;          /* set new JobId */
    return mjcr;
 }
 
@@ -780,19 +925,25 @@ static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
                   rec->VolSessionId, rec->VolSessionTime);
       return 0;
    }
-   dt.julian_day_number = elabel->write_date;
-   dt.julian_day_fraction = elabel->write_time;
-   tm_decode(&dt, &tm);
-   jr->JobId = mjcr->JobId;
-   jr->JobStatus = JS_Terminated;     /* ***FIXME*** need to add to EOS label */
-   mjcr->JobStatus = JS_Terminated;
-   jr->EndTime = mktime(&tm);
+   if (elabel->VerNum >= 11) {
+      jr->EndTime = btime_to_unix(elabel->write_btime);
+   } else {
+      dt.julian_day_number = elabel->write_date;
+      dt.julian_day_fraction = elabel->write_time;
+      tm_decode(&dt, &tm);
+      jr->EndTime = mktime(&tm);
+   }
+   lasttime = jr->EndTime;
    mjcr->end_time = jr->EndTime;
+
+   jr->JobId = mjcr->JobId;
+   jr->JobStatus = elabel->JobStatus;
+   mjcr->JobStatus = elabel->JobStatus;
    jr->JobFiles = elabel->JobFiles;
    jr->JobBytes = elabel->JobBytes;
    jr->VolSessionId = rec->VolSessionId;
    jr->VolSessionTime = rec->VolSessionTime;
-   jr->JobTDate = (btime_t)mjcr->start_time;
+   jr->JobTDate = (utime_t)mjcr->start_time;
    jr->ClientId = mjcr->ClientId;
 
    if (!update_db) {
@@ -800,13 +951,13 @@ static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
       return 1;
    }
    
-   if (!db_update_job_end_record(db, jr)) {
-      Pmsg1(0, _("Could not update job record. ERR=%s\n"), db_strerror(db));
+   if (!db_update_job_end_record(bjcr, db, jr)) {
+      Pmsg2(0, _("Could not update JobId=%u record. ERR=%s\n"), jr->JobId,  db_strerror(db));
       free_jcr(mjcr);
       return 0;
    }
    if (verbose) {
-      Pmsg1(000, _("Updated Job termination record for JobId: %u\n"), jr->JobId);
+      Pmsg1(000, _("Updated Job termination record for new JobId=%u\n"), jr->JobId);
    }
    if (verbose > 1) {
       char *term_msg;
@@ -822,8 +973,8 @@ static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
       case JS_ErrorTerminated:
          term_msg = _("*** Backup Error ***");
         break;
-      case JS_Cancelled:
-         term_msg = _("Backup Cancelled");
+      case JS_Canceled:
+         term_msg = _("Backup Canceled");
         break;
       default:
         term_msg = term_code;
@@ -869,8 +1020,13 @@ static int create_jobmedia_record(B_DB *db, JCR *mjcr)
 {
    JOBMEDIA_DBR jmr;
 
-   mjcr->EndBlock = dev->block_num;
-   mjcr->EndFile = dev->file;
+   if (dev->state & ST_TAPE) {
+      mjcr->EndBlock = dev->EndBlock;
+      mjcr->EndFile  = dev->EndFile;
+   } else {
+      mjcr->EndBlock = (uint32_t)dev->file_addr;
+      mjcr->EndFile = (uint32_t)(dev->file_addr >> 32);
+   }
 
    memset(&jmr, 0, sizeof(jmr));
    jmr.JobId = mjcr->JobId;
@@ -887,7 +1043,7 @@ static int create_jobmedia_record(B_DB *db, JCR *mjcr)
       return 1;
    }
 
-   if (!db_create_jobmedia_record(db, &jmr)) {
+   if (!db_create_jobmedia_record(bjcr, db, &jmr)) {
       Pmsg1(0, _("Could not create JobMedia record. ERR=%s\n"), db_strerror(db));
       return 0;
    }
@@ -899,16 +1055,20 @@ static int create_jobmedia_record(B_DB *db, JCR *mjcr)
 }
 
 /* 
- * Simulate the database call that updates the MD5 record
+ * Simulate the database call that updates the MD5/SHA1 record
  */
-static int update_MD5_record(B_DB *db, char *MD5buf, DEV_RECORD *rec)
+static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type)
 {
    JCR *mjcr;
 
    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
    if (!mjcr) {
-      Pmsg2(000, _("Could not find SessId=%d SessTime=%d for EOS record.\n"),
-                  rec->VolSessionId, rec->VolSessionTime);
+      if (mr.VolJobs > 0) {
+         Pmsg2(000, _("Could not find SessId=%d SessTime=%d for MD5/SHA1 record.\n"),
+                     rec->VolSessionId, rec->VolSessionTime);
+      } else {
+        ignored_msgs++;
+      }
       return 0;
    }
 
@@ -917,13 +1077,13 @@ static int update_MD5_record(B_DB *db, char *MD5buf, DEV_RECORD *rec)
       return 1;
    }
    
-   if (!db_add_MD5_to_file_record(db, mjcr->FileId, MD5buf)) {
-      Pmsg1(0, _("Could not add MD5 to File record. ERR=%s\n"), db_strerror(db));
+   if (!db_add_SIG_to_file_record(bjcr, db, mjcr->FileId, SIGbuf, type)) {
+      Pmsg1(0, _("Could not add MD5/SHA1 to File record. ERR=%s\n"), db_strerror(db));
       free_jcr(mjcr);
       return 0;
    }
    if (verbose > 1) {
-      Pmsg0(000, _("Updated MD5 record\n"));
+      Pmsg0(000, _("Updated MD5/SHA1 record\n"));
    }
    free_jcr(mjcr);
    return 1;
@@ -975,17 +1135,22 @@ int dir_ask_sysop_to_mount_volume(JCR *jcr, DEVICE *dev)
    Dmsg1(100, "Walk attached jcrs. Volume=%s\n", dev->VolCatInfo.VolCatName);
    for (JCR *mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
       if (verbose) {
-         Pmsg1(000, "create JobMedia for Job %s\n", mjcr->Job);
+         Pmsg1(000, _("Create JobMedia for Job %s\n"), mjcr->Job);
+      }
+      if (dev->state & ST_TAPE) {
+        mjcr->EndBlock = dev->EndBlock;
+        mjcr->EndFile = dev->EndFile;
+      } else {
+        mjcr->EndBlock = (uint32_t)dev->file_addr;
+        mjcr->StartBlock = (uint32_t)(dev->file_addr >> 32);
       }
-      mjcr->EndBlock = dev->block_num;
-      mjcr->EndFile = dev->file;
       if (!create_jobmedia_record(db, mjcr)) {
          Pmsg2(000, _("Could not create JobMedia record for Volume=%s Job=%s\n"),
            dev->VolCatInfo.VolCatName, mjcr->Job);
       }
    }
 
-   fprintf(stderr, "Mount Volume %s on device %s and press return when ready: ",
+   fprintf(stderr, _("Mount Volume %s on device %s and press return when ready: "),
       jcr->VolumeName, dev_name(dev));
    getchar();  
    return 1;