git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/bscan.c

   1 /*
   2    Bacula® - The Network Backup Solution
   3
   4    Copyright (C) 2001-2010 Free Software Foundation Europe e.V.
   5
   6    The main author of Bacula is Kern Sibbald, with contributions from
   7    many others, a complete list can be found in the file AUTHORS.
   8    This program is Free Software; you can redistribute it and/or
   9    modify it under the terms of version three of the GNU Affero General Public
  10    License as published by the Free Software Foundation and included
  11    in the file LICENSE.
  12
  13    This program is distributed in the hope that it will be useful, but
  14    WITHOUT ANY WARRANTY; without even the implied warranty of
  15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  16    General Public License for more details.
  17
  18    You should have received a copy of the GNU Affero General Public License
  19    along with this program; if not, write to the Free Software
  20    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  21    02110-1301, USA.
  22
  23    Bacula® is a registered trademark of Kern Sibbald.
  24    The licensor of Bacula is the Free Software Foundation Europe
  25    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
  26    Switzerland, email:ftf@fsfeurope.org.
  27 */
  28 /*
  29  *
  30  *  Program to scan a Bacula Volume and compare it with
  31  *    the catalog and optionally synchronize the catalog
  32  *    with the tape.
  33  *
  34  *   Kern E. Sibbald, December 2001
  35  *
  36  */
  37
  38 #include "bacula.h"
  39 #include "stored.h"
  40 #include "findlib/find.h"
  41 #include "cats/cats.h"
  42
  43 /* Dummy functions */
  44 int generate_daemon_event(JCR *jcr, const char *event) { return 1; }
  45 extern bool parse_sd_config(CONFIG *config, const char *configfile, int exit_code);
  46
  47 /* Forward referenced functions */
  48 static void do_scan(void);
  49 static bool record_cb(DCR *dcr, DEV_RECORD *rec);
  50 static int  create_file_attributes_record(B_DB *db, JCR *mjcr,
  51                                char *fname, char *lname, int type,
  52                                char *ap, DEV_RECORD *rec);
  53 static int  create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl);
  54 static bool update_media_record(B_DB *db, MEDIA_DBR *mr);
  55 static int  create_pool_record(B_DB *db, POOL_DBR *pr);
  56 static JCR *create_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *label, DEV_RECORD *rec);
  57 static int  update_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *elabel,
  58                               DEV_RECORD *rec);
  59 static int  create_client_record(B_DB *db, CLIENT_DBR *cr);
  60 static int  create_fileset_record(B_DB *db, FILESET_DBR *fsr);
  61 static int  create_jobmedia_record(B_DB *db, JCR *jcr);
  62 static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId);
  63 static int update_digest_record(B_DB *db, char *digest, DEV_RECORD *rec, int type);
  64
  65
  66 /* Local variables */
  67 static DEVICE *dev = NULL;
  68 static B_DB *db;
  69 static JCR *bjcr;                     /* jcr for bscan */
  70 static BSR *bsr = NULL;
  71 static MEDIA_DBR mr;
  72 static POOL_DBR pr;
  73 static JOB_DBR jr;
  74 static CLIENT_DBR cr;
  75 static FILESET_DBR fsr;
  76 static ATTR_DBR ar;
  77 static FILE_DBR fr;
  78 static SESSION_LABEL label;
  79 static SESSION_LABEL elabel;
  80 static ATTR *attr;
  81
  82 static time_t lasttime = 0;
  83
  84 static const char *db_driver = "NULL";
  85 static const char *db_name = "bacula";
  86 static const char *db_user = "bacula";
  87 static const char *db_password = "";
  88 static const char *db_host = NULL;
  89 static int db_port = 0;
  90 static const char *wd = NULL;
  91 static bool update_db = false;
  92 static bool update_vol_info = false;
  93 static bool list_records = false;
  94 static int ignored_msgs = 0;
  95
  96 static uint64_t currentVolumeSize;
  97 static int last_pct = -1;
  98 static bool showProgress = false;
  99 static int num_jobs = 0;
 100 static int num_pools = 0;
 101 static int num_media = 0;
 102 static int num_files = 0;
 103
 104 static CONFIG *config;
 105 #define CONFIG_FILE "bacula-sd.conf"
 106 char *configfile = NULL;
 107 STORES *me = NULL;                    /* our Global resource */
 108 bool forge_on = false;                /* proceed inspite of I/O errors */
 109 pthread_mutex_t device_release_mutex = PTHREAD_MUTEX_INITIALIZER;
 110 pthread_cond_t wait_device_release = PTHREAD_COND_INITIALIZER;
 111
 112
 113 static void usage()
 114 {
 115    fprintf(stderr, _(
 116 PROG_COPYRIGHT
 117 "\nVersion: %s (%s)\n\n"
 118 "Usage: bscan [ options ] <bacula-archive>\n"
 119 "       -b bootstrap      specify a bootstrap file\n"
 120 "       -c <file>         specify configuration file\n"
 121 "       -d <nn>           set debug level to <nn>\n"
 122 "       -dt               print timestamp in debug output\n"
 123 "       -m                update media info in database\n"
 124 "       -D <driver name>  specify the driver database name (default NULL)\n"
 125 "       -n <name>         specify the database name (default bacula)\n"
 126 "       -u <user>         specify database user name (default bacula)\n"
 127 "       -P <password>     specify database password (default none)\n"
 128 "       -h <host>         specify database host (default NULL)\n"
 129 "       -t <port>         specify database port (default 0)\n"
 130 "       -p                proceed inspite of I/O errors\n"
 131 "       -r                list records\n"
 132 "       -s                synchronize or store in database\n"
 133 "       -S                show scan progress periodically\n"
 134 "       -v                verbose\n"
 135 "       -V <Volumes>      specify Volume names (separated by |)\n"
 136 "       -w <dir>          specify working directory (default from conf file)\n"
 137 "       -?                print this message\n\n"), 2001, VERSION, BDATE);
 138    exit(1);
 139 }
 140
 141 int main (int argc, char *argv[])
 142 {
 143    int ch;
 144    struct stat stat_buf;
 145    char *VolumeName = NULL;
 146
 147    setlocale(LC_ALL, "");
 148    bindtextdomain("bacula", LOCALEDIR);
 149    textdomain("bacula");
 150    init_stack_dump();
 151    lmgr_init_thread();
 152
 153    my_name_is(argc, argv, "bscan");
 154    init_msg(NULL, NULL);
 155
 156    OSDependentInit();
 157
 158    while ((ch = getopt(argc, argv, "b:c:d:D:h:p:mn:pP:rsSt:u:vV:w:?")) != -1) {
 159       switch (ch) {
 160       case 'S' :
 161          showProgress = true;
 162          break;
 163       case 'b':
 164          bsr = parse_bsr(NULL, optarg);
 165          break;
 166
 167       case 'c':                    /* specify config file */
 168          if (configfile != NULL) {
 169             free(configfile);
 170          }
 171          configfile = bstrdup(optarg);
 172          break;
 173
 174       case 'D':
 175          db_driver = optarg;
 176          break;
 177
 178       case 'd':                    /* debug level */
 179          if (*optarg == 't') {
 180             dbg_timestamp = true;
 181          } else {
 182             debug_level = atoi(optarg);
 183             if (debug_level <= 0) {
 184                debug_level = 1;
 185             }
 186          }
 187          break;
 188
 189       case 'h':
 190          db_host = optarg;
 191          break;
 192
 193       case 't':
 194          db_port = atoi(optarg);
 195          break;
 196
 197       case 'm':
 198          update_vol_info = true;
 199          break;
 200
 201       case 'n':
 202          db_name = optarg;
 203          break;
 204
 205       case 'u':
 206          db_user = optarg;
 207          break;
 208
 209       case 'P':
 210          db_password = optarg;
 211          break;
 212
 213       case 'p':
 214          forge_on = true;
 215          break;
 216
 217       case 'r':
 218          list_records = true;
 219          break;
 220
 221       case 's':
 222          update_db = true;
 223          break;
 224
 225       case 'v':
 226          verbose++;
 227          break;
 228
 229       case 'V':                    /* Volume name */
 230          VolumeName = optarg;
 231          break;
 232
 233       case 'w':
 234          wd = optarg;
 235          break;
 236
 237       case '?':
 238       default:
 239          usage();
 240
 241       }
 242    }
 243    argc -= optind;
 244    argv += optind;
 245
 246    if (argc != 1) {
 247       Pmsg0(0, _("Wrong number of arguments: \n"));
 248       usage();
 249    }
 250
 251    if (configfile == NULL) {
 252       configfile = bstrdup(CONFIG_FILE);
 253    }
 254
 255    config = new_config_parser();
 256    parse_sd_config(config, configfile, M_ERROR_TERM);
 257    LockRes();
 258    me = (STORES *)GetNextRes(R_STORAGE, NULL);
 259    if (!me) {
 260       UnlockRes();
 261       Emsg1(M_ERROR_TERM, 0, _("No Storage resource defined in %s. Cannot continue.\n"),
 262          configfile);
 263    }
 264    UnlockRes();
 265    /* Check if -w option given, otherwise use resource for working directory */
 266    if (wd) {
 267       working_directory = wd;
 268    } else if (!me->working_directory) {
 269       Emsg1(M_ERROR_TERM, 0, _("No Working Directory defined in %s. Cannot continue.\n"),
 270          configfile);
 271    } else {
 272       working_directory = me->working_directory;
 273    }
 274
 275    /* Check that working directory is good */
 276    if (stat(working_directory, &stat_buf) != 0) {
 277       Emsg1(M_ERROR_TERM, 0, _("Working Directory: %s not found. Cannot continue.\n"),
 278          working_directory);
 279    }
 280    if (!S_ISDIR(stat_buf.st_mode)) {
 281       Emsg1(M_ERROR_TERM, 0, _("Working Directory: %s is not a directory. Cannot continue.\n"),
 282          working_directory);
 283    }
 284
 285    bjcr = setup_jcr("bscan", argv[0], bsr, VolumeName, 1); /* read device */
 286    if (!bjcr) {
 287       exit(1);
 288    }
 289    dev = bjcr->read_dcr->dev;
 290    if (showProgress) {
 291       char ed1[50];
 292       struct stat sb;
 293       fstat(dev->fd(), &sb);
 294       currentVolumeSize = sb.st_size;
 295       Pmsg1(000, _("First Volume Size = %s\n"),
 296          edit_uint64(currentVolumeSize, ed1));
 297    }
 298
 299    if ((db=db_init(NULL, db_driver, db_name, db_user, db_password,
 300         db_host, db_port, NULL, 0)) == NULL) {
 301       Emsg0(M_ERROR_TERM, 0, _("Could not init Bacula database\n"));
 302    }
 303    if (!db_open_database(NULL, db)) {
 304       Emsg0(M_ERROR_TERM, 0, db_strerror(db));
 305    }
 306    Dmsg0(200, "Database opened\n");
 307    if (verbose) {
 308       Pmsg2(000, _("Using Database: %s, User: %s\n"), db_name, db_user);
 309    }
 310
 311    do_scan();
 312    if (update_db) {
 313       printf("Records added or updated in the catalog:\n%7d Media\n%7d Pool\n%7d Job\n%7d File\n",
 314          num_media, num_pools, num_jobs, num_files);
 315    } else {
 316       printf("Records would have been added or updated in the catalog:\n%7d Media\n%7d Pool\n%7d Job\n%7d File\n",
 317          num_media, num_pools, num_jobs, num_files);
 318    }
 319
 320    free_jcr(bjcr);
 321    dev->term();
 322    return 0;
 323 }
 324
 325 /*
 326  * We are at the end of reading a tape. Now, we simulate handling
 327  *   the end of writing a tape by wiffling through the attached
 328  *   jcrs creating jobmedia records.
 329  */
 330 static bool bscan_mount_next_read_volume(DCR *dcr)
 331 {
 332    DEVICE *dev = dcr->dev;
 333    DCR *mdcr;
 334    Dmsg1(100, "Walk attached jcrs. Volume=%s\n", dev->getVolCatName());
 335    foreach_dlist(mdcr, dev->attached_dcrs) {
 336       JCR *mjcr = mdcr->jcr;
 337       Dmsg1(000, "========== JobId=%u ========\n", mjcr->JobId);
 338       if (mjcr->JobId == 0) {
 339          continue;
 340       }
 341       if (verbose) {
 342          Pmsg1(000, _("Create JobMedia for Job %s\n"), mjcr->Job);
 343       }
 344       mdcr->StartBlock = dcr->StartBlock;
 345       mdcr->StartFile = dcr->StartFile;
 346       mdcr->EndBlock = dcr->EndBlock;
 347       mdcr->EndFile = dcr->EndFile;
 348       mdcr->VolMediaId = dcr->VolMediaId;
 349       mjcr->read_dcr->VolLastIndex = dcr->VolLastIndex;
 350       if (!create_jobmedia_record(db, mjcr)) {
 351          Pmsg2(000, _("Could not create JobMedia record for Volume=%s Job=%s\n"),
 352             dev->getVolCatName(), mjcr->Job);
 353       }
 354    }
 355
 356    update_media_record(db, &mr);
 357
 358    /* Now let common read routine get up next tape. Note,
 359     * we call mount_next... with bscan's jcr because that is where we
 360     * have the Volume list, but we get attached.
 361     */
 362    bool stat = mount_next_read_volume(dcr);
 363
 364    if (showProgress) {
 365       char ed1[50];
 366       struct stat sb;
 367       fstat(dev->fd(), &sb);
 368       currentVolumeSize = sb.st_size;
 369       Pmsg1(000, _("First Volume Size = %s\n"),
 370          edit_uint64(currentVolumeSize, ed1));
 371    }
 372    return stat;
 373 }
 374
 375 static void do_scan()
 376 {
 377    attr = new_attr(bjcr);
 378
 379    memset(&ar, 0, sizeof(ar));
 380    memset(&pr, 0, sizeof(pr));
 381    memset(&jr, 0, sizeof(jr));
 382    memset(&cr, 0, sizeof(cr));
 383    memset(&fsr, 0, sizeof(fsr));
 384    memset(&fr, 0, sizeof(fr));
 385
 386    /* Detach bscan's jcr as we are not a real Job on the tape */
 387
 388    read_records(bjcr->read_dcr, record_cb, bscan_mount_next_read_volume);
 389
 390    if (update_db) {
 391       db_write_batch_file_records(bjcr); /* used by bulk batch file insert */
 392    }
 393    free_attr(attr);
 394 }
 395
 396 /*
 397  * Returns: true  if OK
 398  *          false if error
 399  */
 400 static bool record_cb(DCR *dcr, DEV_RECORD *rec)
 401 {
 402    JCR *mjcr;
 403    char ec1[30];
 404    DEVICE *dev = dcr->dev;
 405    JCR *bjcr = dcr->jcr;
 406    DEV_BLOCK *block = dcr->block;
 407    char digest[BASE64_SIZE(CRYPTO_DIGEST_MAX_SIZE)];
 408
 409    if (rec->data_len > 0) {
 410       mr.VolBytes += rec->data_len + WRITE_RECHDR_LENGTH; /* Accumulate Volume bytes */
 411       if (showProgress && currentVolumeSize > 0) {
 412          int pct = (mr.VolBytes * 100) / currentVolumeSize;
 413          if (pct != last_pct) {
 414             fprintf(stdout, _("done: %d%%\n"), pct);
 415             fflush(stdout);
 416             last_pct = pct;
 417          }
 418       }
 419    }
 420
 421    if (list_records) {
 422       Pmsg5(000, _("Record: SessId=%u SessTim=%u FileIndex=%d Stream=%d len=%u\n"),
 423             rec->VolSessionId, rec->VolSessionTime, rec->FileIndex,
 424             rec->Stream, rec->data_len);
 425    }
 426    /*
 427     * Check for Start or End of Session Record
 428     *
 429     */
 430    if (rec->FileIndex < 0) {
 431       bool save_update_db = update_db;
 432
 433       if (verbose > 1) {
 434          dump_label_record(dev, rec, 1);
 435       }
 436       switch (rec->FileIndex) {
 437       case PRE_LABEL:
 438          Pmsg0(000, _("Volume is prelabeled. This tape cannot be scanned.\n"));
 439          return false;
 440          break;
 441
 442       case VOL_LABEL:
 443          unser_volume_label(dev, rec);
 444          /* Check Pool info */
 445          bstrncpy(pr.Name, dev->VolHdr.PoolName, sizeof(pr.Name));
 446          bstrncpy(pr.PoolType, dev->VolHdr.PoolType, sizeof(pr.PoolType));
 447          num_pools++;
 448          if (db_get_pool_record(bjcr, db, &pr)) {
 449             if (verbose) {
 450                Pmsg1(000, _("Pool record for %s found in DB.\n"), pr.Name);
 451             }
 452          } else {
 453             if (!update_db) {
 454                Pmsg1(000, _("VOL_LABEL: Pool record not found for Pool: %s\n"),
 455                   pr.Name);
 456             }
 457             create_pool_record(db, &pr);
 458          }
 459          if (strcmp(pr.PoolType, dev->VolHdr.PoolType) != 0) {
 460             Pmsg2(000, _("VOL_LABEL: PoolType mismatch. DB=%s Vol=%s\n"),
 461                pr.PoolType, dev->VolHdr.PoolType);
 462             return true;
 463          } else if (verbose) {
 464             Pmsg1(000, _("Pool type \"%s\" is OK.\n"), pr.PoolType);
 465          }
 466
 467          /* Check Media Info */
 468          memset(&mr, 0, sizeof(mr));
 469          bstrncpy(mr.VolumeName, dev->VolHdr.VolumeName, sizeof(mr.VolumeName));
 470          mr.PoolId = pr.PoolId;
 471          num_media++;
 472          if (db_get_media_record(bjcr, db, &mr)) {
 473             if (verbose) {
 474                Pmsg1(000, _("Media record for %s found in DB.\n"), mr.VolumeName);
 475             }
 476             /* Clear out some volume statistics that will be updated */
 477             mr.VolJobs = mr.VolFiles = mr.VolBlocks = 0;
 478             mr.VolBytes = rec->data_len + 20;
 479          } else {
 480             if (!update_db) {
 481                Pmsg1(000, _("VOL_LABEL: Media record not found for Volume: %s\n"),
 482                   mr.VolumeName);
 483             }
 484             bstrncpy(mr.MediaType, dev->VolHdr.MediaType, sizeof(mr.MediaType));
 485             create_media_record(db, &mr, &dev->VolHdr);
 486          }
 487          if (strcmp(mr.MediaType, dev->VolHdr.MediaType) != 0) {
 488             Pmsg2(000, _("VOL_LABEL: MediaType mismatch. DB=%s Vol=%s\n"),
 489                mr.MediaType, dev->VolHdr.MediaType);
 490             return true;              /* ignore error */
 491          } else if (verbose) {
 492             Pmsg1(000, _("Media type \"%s\" is OK.\n"), mr.MediaType);
 493          }
 494          /* Reset some DCR variables */
 495          foreach_dlist(dcr, dev->attached_dcrs) {
 496             dcr->VolFirstIndex = dcr->FileIndex = 0;
 497             dcr->StartBlock = dcr->EndBlock = 0;
 498             dcr->StartFile = dcr->EndFile = 0;
 499             dcr->VolMediaId = 0;
 500          }
 501
 502          Pmsg1(000, _("VOL_LABEL: OK for Volume: %s\n"), mr.VolumeName);
 503          break;
 504
 505       case SOS_LABEL:
 506          mr.VolJobs++;
 507          num_jobs++;
 508          if (ignored_msgs > 0) {
 509             Pmsg1(000, _("%d \"errors\" ignored before first Start of Session record.\n"),
 510                   ignored_msgs);
 511             ignored_msgs = 0;
 512          }
 513          unser_session_label(&label, rec);
 514          memset(&jr, 0, sizeof(jr));
 515          bstrncpy(jr.Job, label.Job, sizeof(jr.Job));
 516          if (db_get_job_record(bjcr, db, &jr)) {
 517             /* Job record already exists in DB */
 518             update_db = false;  /* don't change db in create_job_record */
 519             if (verbose) {
 520                Pmsg1(000, _("SOS_LABEL: Found Job record for JobId: %d\n"), jr.JobId);
 521             }
 522          } else {
 523             /* Must create a Job record in DB */
 524             if (!update_db) {
 525                Pmsg1(000, _("SOS_LABEL: Job record not found for JobId: %d\n"),
 526                   jr.JobId);
 527             }
 528          }
 529          /* Create Client record if not already there */
 530          bstrncpy(cr.Name, label.ClientName, sizeof(cr.Name));
 531          create_client_record(db, &cr);
 532          jr.ClientId = cr.ClientId;
 533
 534          /* process label, if Job record exists don't update db */
 535          mjcr = create_job_record(db, &jr, &label, rec);
 536          dcr = mjcr->read_dcr;
 537          update_db = save_update_db;
 538
 539          jr.PoolId = pr.PoolId;
 540          mjcr->start_time = jr.StartTime;
 541          mjcr->set_JobLevel(jr.JobLevel);
 542
 543          mjcr->client_name = get_pool_memory(PM_FNAME);
 544          pm_strcpy(mjcr->client_name, label.ClientName);
 545          mjcr->fileset_name = get_pool_memory(PM_FNAME);
 546          pm_strcpy(mjcr->fileset_name, label.FileSetName);
 547          bstrncpy(dcr->pool_type, label.PoolType, sizeof(dcr->pool_type));
 548          bstrncpy(dcr->pool_name, label.PoolName, sizeof(dcr->pool_name));
 549
 550          if (rec->VolSessionId != jr.VolSessionId) {
 551             Pmsg3(000, _("SOS_LABEL: VolSessId mismatch for JobId=%u. DB=%d Vol=%d\n"),
 552                jr.JobId,
 553                jr.VolSessionId, rec->VolSessionId);
 554             return true;              /* ignore error */
 555          }
 556          if (rec->VolSessionTime != jr.VolSessionTime) {
 557             Pmsg3(000, _("SOS_LABEL: VolSessTime mismatch for JobId=%u. DB=%d Vol=%d\n"),
 558                jr.JobId,
 559                jr.VolSessionTime, rec->VolSessionTime);
 560             return true;              /* ignore error */
 561          }
 562          if (jr.PoolId != pr.PoolId) {
 563             Pmsg3(000, _("SOS_LABEL: PoolId mismatch for JobId=%u. DB=%d Vol=%d\n"),
 564                jr.JobId,
 565                jr.PoolId, pr.PoolId);
 566             return true;              /* ignore error */
 567          }
 568          break;
 569
 570       case EOS_LABEL:
 571          unser_session_label(&elabel, rec);
 572
 573          /* Create FileSet record */
 574          bstrncpy(fsr.FileSet, label.FileSetName, sizeof(fsr.FileSet));
 575          bstrncpy(fsr.MD5, label.FileSetMD5, sizeof(fsr.MD5));
 576          create_fileset_record(db, &fsr);
 577          jr.FileSetId = fsr.FileSetId;
 578
 579          mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
 580          if (!mjcr) {
 581             Pmsg2(000, _("Could not find SessId=%d SessTime=%d for EOS record.\n"),
 582                   rec->VolSessionId, rec->VolSessionTime);
 583             break;
 584          }
 585
 586          /* Do the final update to the Job record */
 587          update_job_record(db, &jr, &elabel, rec);
 588
 589          mjcr->end_time = jr.EndTime;
 590          mjcr->JobStatus = JS_Terminated;
 591
 592          /* Create JobMedia record */
 593          mjcr->read_dcr->VolLastIndex = dcr->VolLastIndex;
 594          create_jobmedia_record(db, mjcr);
 595          free_dcr(mjcr->read_dcr);
 596          free_jcr(mjcr);
 597
 598          break;
 599
 600       case EOM_LABEL:
 601          break;
 602
 603       case EOT_LABEL:              /* end of all tapes */
 604          /*
 605           * Wiffle through all jobs still open and close
 606           *   them.
 607           */
 608          if (update_db) {
 609             DCR *mdcr;
 610             foreach_dlist(mdcr, dev->attached_dcrs) {
 611                JCR *mjcr = mdcr->jcr;
 612                if (!mjcr || mjcr->JobId == 0) {
 613                   continue;
 614                }
 615                jr.JobId = mjcr->JobId;
 616                /* Mark Job as Error Terimined */
 617                jr.JobStatus = JS_ErrorTerminated;
 618                jr.JobFiles = mjcr->JobFiles;
 619                jr.JobBytes = mjcr->JobBytes;
 620                jr.VolSessionId = mjcr->VolSessionId;
 621                jr.VolSessionTime = mjcr->VolSessionTime;
 622                jr.JobTDate = (utime_t)mjcr->start_time;
 623                jr.ClientId = mjcr->ClientId;
 624                if (!db_update_job_end_record(bjcr, db, &jr)) {
 625                   Pmsg1(0, _("Could not update job record. ERR=%s\n"), db_strerror(db));
 626                }
 627                mjcr->read_dcr = NULL;
 628                free_jcr(mjcr);
 629             }
 630          }
 631          mr.VolFiles = rec->File;
 632          mr.VolBlocks = rec->Block;
 633          mr.VolBytes += mr.VolBlocks * WRITE_BLKHDR_LENGTH; /* approx. */
 634          mr.VolMounts++;
 635          update_media_record(db, &mr);
 636          Pmsg3(0, _("End of all Volumes. VolFiles=%u VolBlocks=%u VolBytes=%s\n"), mr.VolFiles,
 637                     mr.VolBlocks, edit_uint64_with_commas(mr.VolBytes, ec1));
 638          break;
 639       default:
 640          break;
 641       } /* end switch */
 642       return true;
 643    }
 644
 645    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
 646    if (!mjcr) {
 647       if (mr.VolJobs > 0) {
 648          Pmsg2(000, _("Could not find Job for SessId=%d SessTime=%d record.\n"),
 649                       rec->VolSessionId, rec->VolSessionTime);
 650       } else {
 651          ignored_msgs++;
 652       }
 653       return true;
 654    }
 655    dcr = mjcr->read_dcr;
 656    if (dcr->VolFirstIndex == 0) {
 657       dcr->VolFirstIndex = block->FirstIndex;
 658    }
 659
 660    /* File Attributes stream */
 661    switch (rec->Stream) {
 662    case STREAM_UNIX_ATTRIBUTES:
 663    case STREAM_UNIX_ATTRIBUTES_EX:
 664
 665       if (!unpack_attributes_record(bjcr, rec->Stream, rec->data, rec->data_len, attr)) {
 666          Emsg0(M_ERROR_TERM, 0, _("Cannot continue.\n"));
 667       }
 668
 669       if (verbose > 1) {
 670          decode_stat(attr->attr, &attr->statp, &attr->LinkFI);
 671          build_attr_output_fnames(bjcr, attr);
 672          print_ls_output(bjcr, attr);
 673       }
 674       fr.JobId = mjcr->JobId;
 675       fr.FileId = 0;
 676       num_files++;
 677       if (verbose && (num_files & 0x7FFF) == 0) {
 678          char ed1[30], ed2[30], ed3[30], ed4[30];
 679          Pmsg4(000, _("%s file records. At file:blk=%s:%s bytes=%s\n"),
 680                      edit_uint64_with_commas(num_files, ed1),
 681                      edit_uint64_with_commas(rec->File, ed2),
 682                      edit_uint64_with_commas(rec->Block, ed3),
 683                      edit_uint64_with_commas(mr.VolBytes, ed4));
 684       }
 685       create_file_attributes_record(db, mjcr, attr->fname, attr->lname,
 686             attr->type, attr->attr, rec);
 687       free_jcr(mjcr);
 688       break;
 689
 690    case STREAM_RESTORE_OBJECT:
 691    /* ****FIXME*****/
 692       /* Implement putting into catalog */
 693       break;
 694
 695    /* Data stream */
 696    case STREAM_WIN32_DATA:
 697    case STREAM_FILE_DATA:
 698    case STREAM_SPARSE_DATA:
 699    case STREAM_ENCRYPTED_FILE_DATA:
 700    case STREAM_ENCRYPTED_WIN32_DATA:
 701    case STREAM_ENCRYPTED_MACOS_FORK_DATA:
 702       /*
 703        * For encrypted stream, this is an approximation.
 704        * The data must be decrypted to know the correct length.
 705        */
 706       mjcr->JobBytes += rec->data_len;
 707       if (rec->Stream == STREAM_SPARSE_DATA) {
 708          mjcr->JobBytes -= sizeof(uint64_t);
 709       }
 710
 711       free_jcr(mjcr);                 /* done using JCR */
 712       break;
 713
 714    case STREAM_GZIP_DATA:
 715    case STREAM_ENCRYPTED_FILE_GZIP_DATA:
 716    case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
 717       /* No correct, we should (decrypt and) expand it
 718          done using JCR
 719       */
 720       mjcr->JobBytes += rec->data_len;
 721       free_jcr(mjcr);
 722       break;
 723
 724    case STREAM_SPARSE_GZIP_DATA:
 725       mjcr->JobBytes += rec->data_len - sizeof(uint64_t); /* No correct, we should expand it */
 726       free_jcr(mjcr);                 /* done using JCR */
 727       break;
 728
 729    /* Win32 GZIP stream */
 730    case STREAM_WIN32_GZIP_DATA:
 731       mjcr->JobBytes += rec->data_len;
 732       free_jcr(mjcr);                 /* done using JCR */
 733       break;
 734
 735    case STREAM_MD5_DIGEST:
 736       bin_to_base64(digest, sizeof(digest), (char *)rec->data, CRYPTO_DIGEST_MD5_SIZE, true);
 737       if (verbose > 1) {
 738          Pmsg1(000, _("Got MD5 record: %s\n"), digest);
 739       }
 740       update_digest_record(db, digest, rec, CRYPTO_DIGEST_MD5);
 741       break;
 742
 743    case STREAM_SHA1_DIGEST:
 744       bin_to_base64(digest, sizeof(digest), (char *)rec->data, CRYPTO_DIGEST_SHA1_SIZE, true);
 745       if (verbose > 1) {
 746          Pmsg1(000, _("Got SHA1 record: %s\n"), digest);
 747       }
 748       update_digest_record(db, digest, rec, CRYPTO_DIGEST_SHA1);
 749       break;
 750
 751    case STREAM_SHA256_DIGEST:
 752       bin_to_base64(digest, sizeof(digest), (char *)rec->data, CRYPTO_DIGEST_SHA256_SIZE, true);
 753       if (verbose > 1) {
 754          Pmsg1(000, _("Got SHA256 record: %s\n"), digest);
 755       }
 756       update_digest_record(db, digest, rec, CRYPTO_DIGEST_SHA256);
 757       break;
 758
 759    case STREAM_SHA512_DIGEST:
 760       bin_to_base64(digest, sizeof(digest), (char *)rec->data, CRYPTO_DIGEST_SHA512_SIZE, true);
 761       if (verbose > 1) {
 762          Pmsg1(000, _("Got SHA512 record: %s\n"), digest);
 763       }
 764       update_digest_record(db, digest, rec, CRYPTO_DIGEST_SHA512);
 765       break;
 766
 767    case STREAM_ENCRYPTED_SESSION_DATA:
 768       // TODO landonf: Investigate crypto support in bscan
 769       if (verbose > 1) {
 770          Pmsg0(000, _("Got signed digest record\n"));
 771       }
 772       break;
 773
 774    case STREAM_SIGNED_DIGEST:
 775       // TODO landonf: Investigate crypto support in bscan
 776       if (verbose > 1) {
 777          Pmsg0(000, _("Got signed digest record\n"));
 778       }
 779       break;
 780
 781    case STREAM_PROGRAM_NAMES:
 782       if (verbose) {
 783          Pmsg1(000, _("Got Prog Names Stream: %s\n"), rec->data);
 784       }
 785       break;
 786
 787    case STREAM_PROGRAM_DATA:
 788       if (verbose > 1) {
 789          Pmsg0(000, _("Got Prog Data Stream record.\n"));
 790       }
 791       break;
 792
 793    case STREAM_UNIX_ACCESS_ACL:          /* Deprecated Standard ACL attributes on UNIX */
 794    case STREAM_UNIX_DEFAULT_ACL:         /* Deprecated Default ACL attributes on UNIX */
 795    case STREAM_ACL_AIX_TEXT:
 796    case STREAM_ACL_DARWIN_ACCESS_ACL:
 797    case STREAM_ACL_FREEBSD_DEFAULT_ACL:
 798    case STREAM_ACL_FREEBSD_ACCESS_ACL:
 799    case STREAM_ACL_HPUX_ACL_ENTRY:
 800    case STREAM_ACL_IRIX_DEFAULT_ACL:
 801    case STREAM_ACL_IRIX_ACCESS_ACL:
 802    case STREAM_ACL_LINUX_DEFAULT_ACL:
 803    case STREAM_ACL_LINUX_ACCESS_ACL:
 804    case STREAM_ACL_TRU64_DEFAULT_ACL:
 805    case STREAM_ACL_TRU64_DEFAULT_DIR_ACL:
 806    case STREAM_ACL_TRU64_ACCESS_ACL:
 807    case STREAM_ACL_SOLARIS_ACLENT:
 808    case STREAM_ACL_SOLARIS_ACE:
 809    case STREAM_ACL_AFS_TEXT:
 810    case STREAM_ACL_AIX_AIXC:
 811    case STREAM_ACL_AIX_NFS4:
 812       /* Ignore Unix ACL attributes */
 813       break;
 814
 815    case STREAM_XATTR_AIX:
 816    case STREAM_XATTR_OPENBSD:
 817    case STREAM_XATTR_SOLARIS_SYS:
 818    case STREAM_XATTR_SOLARIS:
 819    case STREAM_XATTR_DARWIN:
 820    case STREAM_XATTR_FREEBSD:
 821    case STREAM_XATTR_LINUX:
 822    case STREAM_XATTR_NETBSD:
 823       /* Ignore Unix Extended attributes */
 824       break;
 825
 826    default:
 827       Pmsg2(0, _("Unknown stream type!!! stream=%d len=%i\n"), rec->Stream, rec->data_len);
 828       break;
 829    }
 830    return true;
 831 }
 832
 833 /*
 834  * Free the Job Control Record if no one is still using it.
 835  *  Called from main free_jcr() routine in src/lib/jcr.c so
 836  *  that we can do our Director specific cleanup of the jcr.
 837  */
 838 static void bscan_free_jcr(JCR *jcr)
 839 {
 840    Dmsg0(200, "Start bscan free_jcr\n");
 841
 842    if (jcr->file_bsock) {
 843       Dmsg0(200, "Close File bsock\n");
 844       bnet_close(jcr->file_bsock);
 845    }
 846    if (jcr->store_bsock) {
 847       Dmsg0(200, "Close Store bsock\n");
 848       bnet_close(jcr->store_bsock);
 849    }
 850    if (jcr->RestoreBootstrap) {
 851       free(jcr->RestoreBootstrap);
 852    }
 853    if (jcr->dcr) {
 854       free_dcr(jcr->dcr);
 855       jcr->dcr = NULL;
 856    }
 857    if (jcr->read_dcr) {
 858       free_dcr(jcr->read_dcr);
 859       jcr->read_dcr = NULL;
 860    }
 861    Dmsg0(200, "End bscan free_jcr\n");
 862 }
 863
 864 /*
 865  * We got a File Attributes record on the tape.  Now, lookup the Job
 866  *   record, and then create the attributes record.
 867  */
 868 static int create_file_attributes_record(B_DB *db, JCR *mjcr,
 869                                char *fname, char *lname, int type,
 870                                char *ap, DEV_RECORD *rec)
 871 {
 872    DCR *dcr = mjcr->read_dcr;
 873    ar.fname = fname;
 874    ar.link = lname;
 875    ar.ClientId = mjcr->ClientId;
 876    ar.JobId = mjcr->JobId;
 877    ar.Stream = rec->Stream;
 878    if (type == FT_DELETED) {
 879       ar.FileIndex = 0;
 880    } else {
 881       ar.FileIndex = rec->FileIndex;
 882    }
 883    ar.attr = ap;
 884    if (dcr->VolFirstIndex == 0) {
 885       dcr->VolFirstIndex = rec->FileIndex;
 886    }
 887    dcr->FileIndex = rec->FileIndex;
 888    mjcr->JobFiles++;
 889
 890    if (!update_db) {
 891       return 1;
 892    }
 893
 894    if (!db_create_file_attributes_record(bjcr, db, &ar)) {
 895       Pmsg1(0, _("Could not create File Attributes record. ERR=%s\n"), db_strerror(db));
 896       return 0;
 897    }
 898    mjcr->FileId = ar.FileId;
 899
 900    if (verbose > 1) {
 901       Pmsg1(000, _("Created File record: %s\n"), fname);
 902    }
 903    return 1;
 904 }
 905
 906 /*
 907  * For each Volume we see, we create a Medium record
 908  */
 909 static int create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl)
 910 {
 911    struct date_time dt;
 912    struct tm tm;
 913
 914    /* We mark Vols as Archive to keep them from being re-written */
 915    bstrncpy(mr->VolStatus, "Archive", sizeof(mr->VolStatus));
 916    mr->VolRetention = 365 * 3600 * 24; /* 1 year */
 917    mr->Enabled = 1;
 918    if (vl->VerNum >= 11) {
 919       mr->set_first_written = true; /* Save FirstWritten during update_media */
 920       mr->FirstWritten = btime_to_utime(vl->write_btime);
 921       mr->LabelDate    = btime_to_utime(vl->label_btime);
 922    } else {
 923       /* DEPRECATED DO NOT USE */
 924       dt.julian_day_number = vl->write_date;
 925       dt.julian_day_fraction = vl->write_time;
 926       tm_decode(&dt, &tm);
 927       mr->FirstWritten = mktime(&tm);
 928       dt.julian_day_number = vl->label_date;
 929       dt.julian_day_fraction = vl->label_time;
 930       tm_decode(&dt, &tm);
 931       mr->LabelDate = mktime(&tm);
 932    }
 933    lasttime = mr->LabelDate;
 934    if (mr->VolJobs == 0) {
 935       mr->VolJobs = 1;
 936    }
 937    if (mr->VolMounts == 0) {
 938       mr->VolMounts = 1;
 939    }
 940
 941    if (!update_db) {
 942       return 1;
 943    }
 944
 945    if (!db_create_media_record(bjcr, db, mr)) {
 946       Pmsg1(0, _("Could not create media record. ERR=%s\n"), db_strerror(db));
 947       return 0;
 948    }
 949    if (!db_update_media_record(bjcr, db, mr)) {
 950       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
 951       return 0;
 952    }
 953    if (verbose) {
 954       Pmsg1(000, _("Created Media record for Volume: %s\n"), mr->VolumeName);
 955    }
 956    return 1;
 957
 958 }
 959
 960 /*
 961  * Called at end of media to update it
 962  */
 963 static bool update_media_record(B_DB *db, MEDIA_DBR *mr)
 964 {
 965    if (!update_db && !update_vol_info) {
 966       return true;
 967    }
 968
 969    mr->LastWritten = lasttime;
 970    if (!db_update_media_record(bjcr, db, mr)) {
 971       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
 972       return false;;
 973    }
 974    if (verbose) {
 975       Pmsg1(000, _("Updated Media record at end of Volume: %s\n"), mr->VolumeName);
 976    }
 977    return true;
 978
 979 }
 980
 981
 982 static int create_pool_record(B_DB *db, POOL_DBR *pr)
 983 {
 984    pr->NumVols++;
 985    pr->UseCatalog = 1;
 986    pr->VolRetention = 355 * 3600 * 24; /* 1 year */
 987
 988    if (!update_db) {
 989       return 1;
 990    }
 991    if (!db_create_pool_record(bjcr, db, pr)) {
 992       Pmsg1(0, _("Could not create pool record. ERR=%s\n"), db_strerror(db));
 993       return 0;
 994    }
 995    if (verbose) {
 996       Pmsg1(000, _("Created Pool record for Pool: %s\n"), pr->Name);
 997    }
 998    return 1;
 999
1000 }
1001
1002
1003 /*
1004  * Called from SOS to create a client for the current Job
1005  */
1006 static int create_client_record(B_DB *db, CLIENT_DBR *cr)
1007 {
1008    /*
1009     * Note, update_db can temporarily be set false while
1010     * updating the database, so we must ensure that ClientId is non-zero.
1011     */
1012    if (!update_db) {
1013       cr->ClientId = 0;
1014       if (!db_get_client_record(bjcr, db, cr)) {
1015         Pmsg1(0, _("Could not get Client record. ERR=%s\n"), db_strerror(db));
1016         return 0;
1017       }
1018       return 1;
1019    }
1020    if (!db_create_client_record(bjcr, db, cr)) {
1021       Pmsg1(0, _("Could not create Client record. ERR=%s\n"), db_strerror(db));
1022       return 0;
1023    }
1024    if (verbose) {
1025       Pmsg1(000, _("Created Client record for Client: %s\n"), cr->Name);
1026    }
1027    return 1;
1028 }
1029
1030 static int create_fileset_record(B_DB *db, FILESET_DBR *fsr)
1031 {
1032    if (!update_db) {
1033       return 1;
1034    }
1035    fsr->FileSetId = 0;
1036    if (fsr->MD5[0] == 0) {
1037       fsr->MD5[0] = ' ';              /* Equivalent to nothing */
1038       fsr->MD5[1] = 0;
1039    }
1040    if (db_get_fileset_record(bjcr, db, fsr)) {
1041       if (verbose) {
1042          Pmsg1(000, _("Fileset \"%s\" already exists.\n"), fsr->FileSet);
1043       }
1044    } else {
1045       if (!db_create_fileset_record(bjcr, db, fsr)) {
1046          Pmsg2(0, _("Could not create FileSet record \"%s\". ERR=%s\n"),
1047             fsr->FileSet, db_strerror(db));
1048          return 0;
1049       }
1050       if (verbose) {
1051          Pmsg1(000, _("Created FileSet record \"%s\"\n"), fsr->FileSet);
1052       }
1053    }
1054    return 1;
1055 }
1056
1057 /*
1058  * Simulate the two calls on the database to create
1059  *  the Job record and to update it when the Job actually
1060  *  begins running.
1061  */
1062 static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
1063                              DEV_RECORD *rec)
1064 {
1065    JCR *mjcr;
1066    struct date_time dt;
1067    struct tm tm;
1068
1069    jr->JobId = label->JobId;
1070    jr->JobType = label->JobType;
1071    jr->JobLevel = label->JobLevel;
1072    jr->JobStatus = JS_Created;
1073    bstrncpy(jr->Name, label->JobName, sizeof(jr->Name));
1074    bstrncpy(jr->Job, label->Job, sizeof(jr->Job));
1075    if (label->VerNum >= 11) {
1076       jr->SchedTime = btime_to_unix(label->write_btime);
1077    } else {
1078       dt.julian_day_number = label->write_date;
1079       dt.julian_day_fraction = label->write_time;
1080       tm_decode(&dt, &tm);
1081       jr->SchedTime = mktime(&tm);
1082    }
1083
1084    jr->StartTime = jr->SchedTime;
1085    jr->JobTDate = (utime_t)jr->SchedTime;
1086    jr->VolSessionId = rec->VolSessionId;
1087    jr->VolSessionTime = rec->VolSessionTime;
1088
1089    /* Now create a JCR as if starting the Job */
1090    mjcr = create_jcr(jr, rec, label->JobId);
1091
1092    if (!update_db) {
1093       return mjcr;
1094    }
1095
1096    /* This creates the bare essentials */
1097    if (!db_create_job_record(bjcr, db, jr)) {
1098       Pmsg1(0, _("Could not create JobId record. ERR=%s\n"), db_strerror(db));
1099       return mjcr;
1100    }
1101
1102    /* This adds the client, StartTime, JobTDate, ... */
1103    if (!db_update_job_start_record(bjcr, db, jr)) {
1104       Pmsg1(0, _("Could not update job start record. ERR=%s\n"), db_strerror(db));
1105       return mjcr;
1106    }
1107    Pmsg2(000, _("Created new JobId=%u record for original JobId=%u\n"), jr->JobId,
1108          label->JobId);
1109    mjcr->JobId = jr->JobId;           /* set new JobId */
1110    return mjcr;
1111 }
1112
1113 /*
1114  * Simulate the database call that updates the Job
1115  *  at Job termination time.
1116  */
1117 static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
1118                               DEV_RECORD *rec)
1119 {
1120    struct date_time dt;
1121    struct tm tm;
1122    JCR *mjcr;
1123
1124    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
1125    if (!mjcr) {
1126       Pmsg2(000, _("Could not find SessId=%d SessTime=%d for EOS record.\n"),
1127                    rec->VolSessionId, rec->VolSessionTime);
1128       return 0;
1129    }
1130    if (elabel->VerNum >= 11) {
1131       jr->EndTime = btime_to_unix(elabel->write_btime);
1132    } else {
1133       dt.julian_day_number = elabel->write_date;
1134       dt.julian_day_fraction = elabel->write_time;
1135       tm_decode(&dt, &tm);
1136       jr->EndTime = mktime(&tm);
1137    }
1138    lasttime = jr->EndTime;
1139    mjcr->end_time = jr->EndTime;
1140
1141    jr->JobId = mjcr->JobId;
1142    jr->JobStatus = elabel->JobStatus;
1143    mjcr->JobStatus = elabel->JobStatus;
1144    jr->JobFiles = elabel->JobFiles;
1145    if (jr->JobFiles > 0) {  /* If we found files, force PurgedFiles */
1146       jr->PurgedFiles = 0;
1147    }
1148    jr->JobBytes = elabel->JobBytes;
1149    jr->VolSessionId = rec->VolSessionId;
1150    jr->VolSessionTime = rec->VolSessionTime;
1151    jr->JobTDate = (utime_t)mjcr->start_time;
1152    jr->ClientId = mjcr->ClientId;
1153
1154    if (!update_db) {
1155       free_jcr(mjcr);
1156       return 1;
1157    }
1158
1159    if (!db_update_job_end_record(bjcr, db, jr)) {
1160       Pmsg2(0, _("Could not update JobId=%u record. ERR=%s\n"), jr->JobId,  db_strerror(db));
1161       free_jcr(mjcr);
1162       return 0;
1163    }
1164    if (verbose) {
1165       Pmsg3(000, _("Updated Job termination record for JobId=%u Level=%s TermStat=%c\n"),
1166          jr->JobId, job_level_to_str(mjcr->getJobLevel()), jr->JobStatus);
1167    }
1168    if (verbose > 1) {
1169       const char *term_msg;
1170       static char term_code[70];
1171       char sdt[50], edt[50];
1172       char ec1[30], ec2[30], ec3[30];
1173
1174       switch (mjcr->JobStatus) {
1175       case JS_Terminated:
1176          term_msg = _("Backup OK");
1177          break;
1178       case JS_Warnings:
1179          term_msg = _("Backup OK -- with warnings");
1180          break;
1181       case JS_FatalError:
1182       case JS_ErrorTerminated:
1183          term_msg = _("*** Backup Error ***");
1184          break;
1185       case JS_Canceled:
1186          term_msg = _("Backup Canceled");
1187          break;
1188       default:
1189          term_msg = term_code;
1190          sprintf(term_code, _("Job Termination code: %d"), mjcr->JobStatus);
1191          break;
1192       }
1193       bstrftime(sdt, sizeof(sdt), mjcr->start_time);
1194       bstrftime(edt, sizeof(edt), mjcr->end_time);
1195       Pmsg14(000,  _("%s\n"
1196 "JobId:                  %d\n"
1197 "Job:                    %s\n"
1198 "FileSet:                %s\n"
1199 "Backup Level:           %s\n"
1200 "Client:                 %s\n"
1201 "Start time:             %s\n"
1202 "End time:               %s\n"
1203 "Files Written:          %s\n"
1204 "Bytes Written:          %s\n"
1205 "Volume Session Id:      %d\n"
1206 "Volume Session Time:    %d\n"
1207 "Last Volume Bytes:      %s\n"
1208 "Termination:            %s\n\n"),
1209         edt,
1210         mjcr->JobId,
1211         mjcr->Job,
1212         mjcr->fileset_name,
1213         job_level_to_str(mjcr->getJobLevel()),
1214         mjcr->client_name,
1215         sdt,
1216         edt,
1217         edit_uint64_with_commas(mjcr->JobFiles, ec1),
1218         edit_uint64_with_commas(mjcr->JobBytes, ec2),
1219         mjcr->VolSessionId,
1220         mjcr->VolSessionTime,
1221         edit_uint64_with_commas(mr.VolBytes, ec3),
1222         term_msg);
1223    }
1224    free_jcr(mjcr);
1225    return 1;
1226 }
1227
1228 static int create_jobmedia_record(B_DB *db, JCR *mjcr)
1229 {
1230    JOBMEDIA_DBR jmr;
1231    DCR *dcr = mjcr->read_dcr;
1232
1233    dcr->EndBlock = dev->EndBlock;
1234    dcr->EndFile  = dev->EndFile;
1235    dcr->VolMediaId = dev->VolCatInfo.VolMediaId;
1236
1237    memset(&jmr, 0, sizeof(jmr));
1238    jmr.JobId = mjcr->JobId;
1239    jmr.MediaId = mr.MediaId;
1240    jmr.FirstIndex = dcr->VolFirstIndex;
1241    jmr.LastIndex = dcr->VolLastIndex;
1242    jmr.StartFile = dcr->StartFile;
1243    jmr.EndFile = dcr->EndFile;
1244    jmr.StartBlock = dcr->StartBlock;
1245    jmr.EndBlock = dcr->EndBlock;
1246
1247
1248    if (!update_db) {
1249       return 1;
1250    }
1251
1252    if (!db_create_jobmedia_record(bjcr, db, &jmr)) {
1253       Pmsg1(0, _("Could not create JobMedia record. ERR=%s\n"), db_strerror(db));
1254       return 0;
1255    }
1256    if (verbose) {
1257       Pmsg2(000, _("Created JobMedia record JobId %d, MediaId %d\n"),
1258                 jmr.JobId, jmr.MediaId);
1259    }
1260    return 1;
1261 }
1262
1263 /*
1264  * Simulate the database call that updates the MD5/SHA1 record
1265  */
1266 static int update_digest_record(B_DB *db, char *digest, DEV_RECORD *rec, int type)
1267 {
1268    JCR *mjcr;
1269
1270    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
1271    if (!mjcr) {
1272       if (mr.VolJobs > 0) {
1273          Pmsg2(000, _("Could not find SessId=%d SessTime=%d for MD5/SHA1 record.\n"),
1274                       rec->VolSessionId, rec->VolSessionTime);
1275       } else {
1276          ignored_msgs++;
1277       }
1278       return 0;
1279    }
1280
1281    if (!update_db || mjcr->FileId == 0) {
1282       free_jcr(mjcr);
1283       return 1;
1284    }
1285
1286    if (!db_add_digest_to_file_record(bjcr, db, mjcr->FileId, digest, type)) {
1287       Pmsg1(0, _("Could not add MD5/SHA1 to File record. ERR=%s\n"), db_strerror(db));
1288       free_jcr(mjcr);
1289       return 0;
1290    }
1291    if (verbose > 1) {
1292       Pmsg0(000, _("Updated MD5/SHA1 record\n"));
1293    }
1294    free_jcr(mjcr);
1295    return 1;
1296 }
1297
1298
1299 /*
1300  * Create a JCR as if we are really starting the job
1301  */
1302 static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId)
1303 {
1304    JCR *jobjcr;
1305    /*
1306     * Transfer as much as possible to the Job JCR. Most important is
1307     *   the JobId and the ClientId.
1308     */
1309    jobjcr = new_jcr(sizeof(JCR), bscan_free_jcr);
1310    jobjcr->set_JobType(jr->JobType);
1311    jobjcr->set_JobLevel(jr->JobLevel);
1312    jobjcr->JobStatus = jr->JobStatus;
1313    bstrncpy(jobjcr->Job, jr->Job, sizeof(jobjcr->Job));
1314    jobjcr->JobId = JobId;      /* this is JobId on tape */
1315    jobjcr->sched_time = jr->SchedTime;
1316    jobjcr->start_time = jr->StartTime;
1317    jobjcr->VolSessionId = rec->VolSessionId;
1318    jobjcr->VolSessionTime = rec->VolSessionTime;
1319    jobjcr->ClientId = jr->ClientId;
1320    jobjcr->dcr = jobjcr->read_dcr = new_dcr(jobjcr, NULL, dev);
1321
1322    return jobjcr;
1323 }
1324
1325 /* Dummies to replace askdir.c */
1326 bool    dir_find_next_appendable_volume(DCR *dcr) { return 1;}
1327 bool    dir_update_volume_info(DCR *dcr, bool relabel, bool update_LastWritten) { return 1; }
1328 bool    dir_create_jobmedia_record(DCR *dcr, bool zero) { return 1; }
1329 bool    dir_ask_sysop_to_create_appendable_volume(DCR *dcr) { return 1; }
1330 bool    dir_update_file_attributes(DCR *dcr, DEV_RECORD *rec) { return 1;}
1331 bool    dir_send_job_status(JCR *jcr) {return 1;}
1332 int     generate_job_event(JCR *jcr, const char *event) { return 1; }
1333
1334 bool dir_ask_sysop_to_mount_volume(DCR *dcr, int /*mode*/)
1335 {
1336    DEVICE *dev = dcr->dev;
1337    Dmsg0(20, "Enter dir_ask_sysop_to_mount_volume\n");
1338    /* Close device so user can use autochanger if desired */
1339    fprintf(stderr, _("Mount Volume \"%s\" on device %s and press return when ready: "),
1340          dcr->VolumeName, dev->print_name());
1341    dev->close();
1342    getchar();
1343    return true;
1344 }
1345
1346 bool dir_get_volume_info(DCR *dcr, enum get_vol_info_rw  writing)
1347 {
1348    Dmsg0(100, "Fake dir_get_volume_info\n");
1349    dcr->setVolCatName(dcr->VolumeName);
1350    dcr->VolCatInfo.VolCatParts = find_num_dvd_parts(dcr);
1351    Dmsg2(500, "Vol=%s num_parts=%d\n", dcr->getVolCatName(), dcr->VolCatInfo.VolCatParts);
1352    return 1;
1353 }