git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/bscan.c

   1 /*
   2  *
   3  *  Program to scan a Bacula Volume and compare it with
   4  *    the catalog and optionally synchronize the catalog
   5  *    with the tape.
   6  *
   7  *   Kern E. Sibbald, December 2001
   8  *
   9  *
  10  *   Version $Id$
  11  */
  12 /*
  13    Copyright (C) 2001-2004 Kern Sibbald and John Walker
  14
  15    This program is free software; you can redistribute it and/or
  16    modify it under the terms of the GNU General Public License as
  17    published by the Free Software Foundation; either version 2 of
  18    the License, or (at your option) any later version.
  19
  20    This program is distributed in the hope that it will be useful,
  21    but WITHOUT ANY WARRANTY; without even the implied warranty of
  22    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  23    General Public License for more details.
  24
  25    You should have received a copy of the GNU General Public
  26    License along with this program; if not, write to the Free
  27    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  28    MA 02111-1307, USA.
  29
  30  */
  31
  32 #include "bacula.h"
  33 #include "stored.h"
  34 #include "findlib/find.h"
  35 #include "cats/cats.h"
  36
  37 /* Forward referenced functions */
  38 static void do_scan(void);
  39 static bool record_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec);
  40 static int  create_file_attributes_record(B_DB *db, JCR *mjcr,
  41                                char *fname, char *lname, int type,
  42                                char *ap, DEV_RECORD *rec);
  43 static int  create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl);
  44 static bool update_media_record(B_DB *db, MEDIA_DBR *mr);
  45 static int  create_pool_record(B_DB *db, POOL_DBR *pr);
  46 static JCR *create_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *label, DEV_RECORD *rec);
  47 static int  update_job_record(B_DB *db, JOB_DBR *mr, SESSION_LABEL *elabel,
  48                               DEV_RECORD *rec);
  49 static int  create_client_record(B_DB *db, CLIENT_DBR *cr);
  50 static int  create_fileset_record(B_DB *db, FILESET_DBR *fsr);
  51 static int  create_jobmedia_record(B_DB *db, JCR *jcr);
  52 static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId);
  53 static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type);
  54
  55
  56 /* Global variables */
  57 STORES *me;
  58 #if defined(HAVE_CYGWIN) || defined(HAVE_WIN32)
  59 int win32_client = 1;
  60 #else
  61 int win32_client = 0;
  62 #endif
  63
  64
  65 /* Local variables */
  66 static DEVICE *dev = NULL;
  67 static B_DB *db;
  68 static JCR *bjcr;                     /* jcr for bscan */
  69 static BSR *bsr = NULL;
  70 static MEDIA_DBR mr;
  71 static POOL_DBR pr;
  72 static JOB_DBR jr;
  73 static CLIENT_DBR cr;
  74 static FILESET_DBR fsr;
  75 static ATTR_DBR ar;
  76 static FILE_DBR fr;
  77 static SESSION_LABEL label;
  78 static SESSION_LABEL elabel;
  79 static ATTR *attr;
  80
  81 static time_t lasttime = 0;
  82
  83 static const char *db_name = "bacula";
  84 static const char *db_user = "bacula";
  85 static const char *db_password = "";
  86 static const char *db_host = NULL;
  87 static const char *wd = NULL;
  88 static bool update_db = false;
  89 static bool update_vol_info = false;
  90 static bool list_records = false;
  91 static int ignored_msgs = 0;
  92
  93 static int num_jobs = 0;
  94 static int num_pools = 0;
  95 static int num_media = 0;
  96 static int num_files = 0;
  97
  98 #define CONFIG_FILE "bacula-sd.conf"
  99 char *configfile;
 100 bool forge_on = false;
 101
 102
 103 static void usage()
 104 {
 105    fprintf(stderr, _(
 106 "\nVersion: " VERSION " (" BDATE ")\n\n"
 107 "Usage: bscan [ options ] <bacula-archive>\n"
 108 "       -b bootstrap      specify a bootstrap file\n"
 109 "       -c <file>         specify configuration file\n"
 110 "       -d <nn>           set debug level to nn\n"
 111 "       -m                update media info in database\n"
 112 "       -n <name>         specify the database name (default bacula)\n"
 113 "       -u <user>         specify database user name (default bacula)\n"
 114 "       -P <password      specify database password (default none)\n"
 115 "       -h <host>         specify database host (default NULL)\n"
 116 "       -p                proceed inspite of I/O errors\n"
 117 "       -r                list records\n"
 118 "       -s                synchronize or store in database\n"
 119 "       -v                verbose\n"
 120 "       -V <Volumes>      specify Volume names (separated by |)\n"
 121 "       -w <dir>          specify working directory (default from conf file)\n"
 122 "       -?                print this message\n\n"));
 123    exit(1);
 124 }
 125
 126 int main (int argc, char *argv[])
 127 {
 128    int ch;
 129    struct stat stat_buf;
 130    char *VolumeName = NULL;
 131
 132    my_name_is(argc, argv, "bscan");
 133    init_msg(NULL, NULL);
 134
 135
 136    while ((ch = getopt(argc, argv, "b:c:d:h:mn:pP:rsu:vV:w:?")) != -1) {
 137       switch (ch) {
 138       case 'b':
 139          bsr = parse_bsr(NULL, optarg);
 140          break;
 141
 142       case 'c':                    /* specify config file */
 143          if (configfile != NULL) {
 144             free(configfile);
 145          }
 146          configfile = bstrdup(optarg);
 147          break;
 148
 149       case 'd':                    /* debug level */
 150          debug_level = atoi(optarg);
 151          if (debug_level <= 0)
 152             debug_level = 1;
 153          break;
 154
 155       case 'h':
 156          db_host = optarg;
 157          break;
 158
 159       case 'm':
 160          update_vol_info = true;
 161          break;
 162
 163       case 'n':
 164          db_name = optarg;
 165          break;
 166
 167       case 'u':
 168          db_user = optarg;
 169          break;
 170
 171       case 'P':
 172          db_password = optarg;
 173          break;
 174
 175       case 'p':
 176          forge_on = true;
 177          break;
 178
 179       case 'r':
 180          list_records = true;
 181          break;
 182
 183       case 's':
 184          update_db = true;
 185          break;
 186
 187       case 'v':
 188          verbose++;
 189          break;
 190
 191       case 'V':                    /* Volume name */
 192          VolumeName = optarg;
 193          break;
 194
 195       case 'w':
 196          wd = optarg;
 197          break;
 198
 199       case '?':
 200       default:
 201          usage();
 202
 203       }
 204    }
 205    argc -= optind;
 206    argv += optind;
 207
 208    if (argc != 1) {
 209       Pmsg0(0, _("Wrong number of arguments: \n"));
 210       usage();
 211    }
 212
 213    if (configfile == NULL) {
 214       configfile = bstrdup(CONFIG_FILE);
 215    }
 216
 217    parse_config(configfile);
 218    LockRes();
 219    me = (STORES *)GetNextRes(R_STORAGE, NULL);
 220    if (!me) {
 221       UnlockRes();
 222       Emsg1(M_ERROR_TERM, 0, _("No Storage resource defined in %s. Cannot continue.\n"),
 223          configfile);
 224    }
 225    UnlockRes();
 226    /* Check if -w option given, otherwise use resource for working directory */
 227    if (wd) {
 228       working_directory = wd;
 229    } else if (!me->working_directory) {
 230       Emsg1(M_ERROR_TERM, 0, _("No Working Directory defined in %s. Cannot continue.\n"),
 231          configfile);
 232    } else {
 233       working_directory = me->working_directory;
 234    }
 235
 236    /* Check that working directory is good */
 237    if (stat(working_directory, &stat_buf) != 0) {
 238       Emsg1(M_ERROR_TERM, 0, _("Working Directory: %s not found. Cannot continue.\n"),
 239          working_directory);
 240    }
 241    if (!S_ISDIR(stat_buf.st_mode)) {
 242       Emsg1(M_ERROR_TERM, 0, _("Working Directory: %s is not a directory. Cannot continue.\n"),
 243          working_directory);
 244    }
 245
 246    bjcr = setup_jcr("bscan", argv[0], bsr, VolumeName);
 247    dev = setup_to_access_device(bjcr, 1);   /* read device */
 248    if (!dev) {
 249       exit(1);
 250    }
 251
 252    if ((db=db_init_database(NULL, db_name, db_user, db_password, db_host, 0, NULL)) == NULL) {
 253       Emsg0(M_ERROR_TERM, 0, _("Could not init Bacula database\n"));
 254    }
 255    if (!db_open_database(NULL, db)) {
 256       Emsg0(M_ERROR_TERM, 0, db_strerror(db));
 257    }
 258    Dmsg0(200, "Database opened\n");
 259    if (verbose) {
 260       Pmsg2(000, _("Using Database: %s, User: %s\n"), db_name, db_user);
 261    }
 262
 263    do_scan();
 264    printf("Records %sadded to catalog:\n%7d Media\n%7d Pool\n%7d Job\n%7d File\n",
 265       update_db?"":"would have been ",
 266       num_media, num_pools, num_jobs, num_files);
 267
 268    free_jcr(bjcr);
 269    term_dev(dev);
 270    return 0;
 271 }
 272
 273 /*
 274  * We are at the end of reading a tape. Now, we simulate handling
 275  *   the end of writing a tape by wiffling through the attached
 276  *   jcrs creating jobmedia records.
 277  */
 278 static bool bscan_mount_next_read_volume(JCR *jcr, DEVICE *dev, DEV_BLOCK *block)
 279 {
 280    Dmsg1(100, "Walk attached jcrs. Volume=%s\n", dev->VolCatInfo.VolCatName);
 281    for (JCR *mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
 282       DCR *dcr = mjcr->dcr;
 283       if (verbose) {
 284          Pmsg1(000, _("Create JobMedia for Job %s\n"), mjcr->Job);
 285       }
 286       if (dev->state & ST_TAPE) {
 287          dcr->EndBlock = dev->EndBlock;
 288          dcr->EndFile = dev->EndFile;
 289       } else {
 290          dcr->EndBlock = (uint32_t)dev->file_addr;
 291          dcr->EndFile = (uint32_t)(dev->file_addr >> 32);
 292       }
 293       if (!create_jobmedia_record(db, mjcr)) {
 294          Pmsg2(000, _("Could not create JobMedia record for Volume=%s Job=%s\n"),
 295             dev->VolCatInfo.VolCatName, mjcr->Job);
 296       }
 297    }
 298    /* Now let common read routine get up next tape. Note,
 299     * we call mount_next... with bscan's jcr because that is where we
 300     * have the Volume list, but we get attached.
 301     */
 302    bool stat = mount_next_read_volume(jcr, dev, block);
 303    /* we must once more detach ourselves (attached by mount_next ...) */
 304    detach_jcr_from_device(dev, jcr); /* detach bscan jcr */
 305    return stat;
 306 }
 307
 308 static void do_scan()
 309 {
 310    attr = new_attr();
 311
 312    memset(&ar, 0, sizeof(ar));
 313    memset(&pr, 0, sizeof(pr));
 314    memset(&jr, 0, sizeof(jr));
 315    memset(&cr, 0, sizeof(cr));
 316    memset(&fsr, 0, sizeof(fsr));
 317    memset(&fr, 0, sizeof(fr));
 318
 319    /* Detach bscan's jcr as we are not a real Job on the tape */
 320    detach_jcr_from_device(dev, bjcr);
 321
 322    read_records(bjcr->dcr, record_cb, bscan_mount_next_read_volume);
 323    release_device(bjcr);
 324
 325    free_attr(attr);
 326 }
 327
 328 /*
 329  * Returns: true if OK
 330  *          false if error
 331  */
 332 static bool record_cb(JCR *bjcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
 333 {
 334    JCR *mjcr;
 335    DCR *dcr;
 336    char ec1[30];
 337
 338    if (rec->data_len > 0) {
 339       mr.VolBytes += rec->data_len + WRITE_RECHDR_LENGTH; /* Accumulate Volume bytes */
 340    }
 341    if (list_records) {
 342       Pmsg5(000, _("Record: SessId=%u SessTim=%u FileIndex=%d Stream=%d len=%u\n"),
 343             rec->VolSessionId, rec->VolSessionTime, rec->FileIndex,
 344             rec->Stream, rec->data_len);
 345    }
 346    /*
 347     * Check for Start or End of Session Record
 348     *
 349     */
 350    if (rec->FileIndex < 0) {
 351       bool save_update_db = update_db;
 352
 353       if (verbose > 1) {
 354          dump_label_record(dev, rec, 1);
 355       }
 356       switch (rec->FileIndex) {
 357       case PRE_LABEL:
 358          Pmsg0(000, _("Volume is prelabeled. This tape cannot be scanned.\n"));
 359          return false;
 360          break;
 361
 362       case VOL_LABEL:
 363          unser_volume_label(dev, rec);
 364          /* Check Pool info */
 365          bstrncpy(pr.Name, dev->VolHdr.PoolName, sizeof(pr.Name));
 366          bstrncpy(pr.PoolType, dev->VolHdr.PoolType, sizeof(pr.PoolType));
 367          num_pools++;
 368          if (db_get_pool_record(bjcr, db, &pr)) {
 369             if (verbose) {
 370                Pmsg1(000, _("Pool record for %s found in DB.\n"), pr.Name);
 371             }
 372          } else {
 373             if (!update_db) {
 374                Pmsg1(000, _("VOL_LABEL: Pool record not found for Pool: %s\n"),
 375                   pr.Name);
 376             }
 377             create_pool_record(db, &pr);
 378          }
 379          if (strcmp(pr.PoolType, dev->VolHdr.PoolType) != 0) {
 380             Pmsg2(000, _("VOL_LABEL: PoolType mismatch. DB=%s Vol=%s\n"),
 381                pr.PoolType, dev->VolHdr.PoolType);
 382             return true;
 383          } else if (verbose) {
 384             Pmsg1(000, _("Pool type \"%s\" is OK.\n"), pr.PoolType);
 385          }
 386
 387          /* Check Media Info */
 388          memset(&mr, 0, sizeof(mr));
 389          bstrncpy(mr.VolumeName, dev->VolHdr.VolName, sizeof(mr.VolumeName));
 390          mr.PoolId = pr.PoolId;
 391          num_media++;
 392          if (db_get_media_record(bjcr, db, &mr)) {
 393             if (verbose) {
 394                Pmsg1(000, _("Media record for %s found in DB.\n"), mr.VolumeName);
 395             }
 396             /* Clear out some volume statistics that will be updated */
 397             mr.VolJobs = mr.VolFiles = mr.VolBlocks = 0;
 398             mr.VolBytes = rec->data_len + 20;
 399          } else {
 400             if (!update_db) {
 401                Pmsg1(000, _("VOL_LABEL: Media record not found for Volume: %s\n"),
 402                   mr.VolumeName);
 403             }
 404             bstrncpy(mr.MediaType, dev->VolHdr.MediaType, sizeof(mr.MediaType));
 405             create_media_record(db, &mr, &dev->VolHdr);
 406          }
 407          if (strcmp(mr.MediaType, dev->VolHdr.MediaType) != 0) {
 408             Pmsg2(000, _("VOL_LABEL: MediaType mismatch. DB=%s Vol=%s\n"),
 409                mr.MediaType, dev->VolHdr.MediaType);
 410             return true;              /* ignore error */
 411          } else if (verbose) {
 412             Pmsg1(000, _("Media type \"%s\" is OK.\n"), mr.MediaType);
 413          }
 414          /* Reset some JCR variables */
 415          for (mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
 416             dcr = mjcr->dcr;
 417             dcr->VolFirstIndex = dcr->FileIndex = 0;
 418             dcr->StartBlock = dcr->EndBlock = 0;
 419             dcr->StartFile = dcr->EndFile = 0;
 420          }
 421
 422          Pmsg1(000, _("VOL_LABEL: OK for Volume: %s\n"), mr.VolumeName);
 423          break;
 424
 425       case SOS_LABEL:
 426          mr.VolJobs++;
 427          num_jobs++;
 428          if (ignored_msgs > 0) {
 429             Pmsg1(000, _("%d \"errors\" ignored before first Start of Session record.\n"),
 430                   ignored_msgs);
 431             ignored_msgs = 0;
 432          }
 433          unser_session_label(&label, rec);
 434          memset(&jr, 0, sizeof(jr));
 435          jr.JobId = label.JobId;
 436          if (db_get_job_record(bjcr, db, &jr)) {
 437             /* Job record already exists in DB */
 438             update_db = false;  /* don't change db in create_job_record */
 439             if (verbose) {
 440                Pmsg1(000, _("SOS_LABEL: Found Job record for JobId: %d\n"), jr.JobId);
 441             }
 442          } else {
 443             /* Must create a Job record in DB */
 444             if (!update_db) {
 445                Pmsg1(000, _("SOS_LABEL: Job record not found for JobId: %d\n"),
 446                   jr.JobId);
 447             }
 448          }
 449          /* Create Client record if not already there */
 450             bstrncpy(cr.Name, label.ClientName, sizeof(cr.Name));
 451             create_client_record(db, &cr);
 452             jr.ClientId = cr.ClientId;
 453
 454          /* process label, if Job record exists don't update db */
 455          mjcr = create_job_record(db, &jr, &label, rec);
 456          dcr = mjcr->dcr;
 457          update_db = save_update_db;
 458
 459          jr.PoolId = pr.PoolId;
 460          /* Set start positions into JCR */
 461          if (dev->state & ST_TAPE) {
 462             /*
 463              * Note, we have already advanced past current block,
 464              *  so the correct number is block_num - 1
 465              */
 466             dcr->StartBlock = dev->block_num - 1;
 467             dcr->StartFile = dev->file;
 468          } else {
 469             dcr->StartBlock = (uint32_t)dev->file_addr;
 470             dcr->StartFile = (uint32_t)(dev->file_addr >> 32);
 471          }
 472          mjcr->start_time = jr.StartTime;
 473          mjcr->JobLevel = jr.JobLevel;
 474
 475          mjcr->client_name = get_pool_memory(PM_FNAME);
 476          pm_strcpy(&mjcr->client_name, label.ClientName);
 477          mjcr->pool_type = get_pool_memory(PM_FNAME);
 478          pm_strcpy(&mjcr->pool_type, label.PoolType);
 479          mjcr->fileset_name = get_pool_memory(PM_FNAME);
 480          pm_strcpy(&mjcr->fileset_name, label.FileSetName);
 481          mjcr->pool_name = get_pool_memory(PM_FNAME);
 482          pm_strcpy(&mjcr->pool_name, label.PoolName);
 483
 484          if (rec->VolSessionId != jr.VolSessionId) {
 485             Pmsg3(000, _("SOS_LABEL: VolSessId mismatch for JobId=%u. DB=%d Vol=%d\n"),
 486                jr.JobId,
 487                jr.VolSessionId, rec->VolSessionId);
 488             return true;              /* ignore error */
 489          }
 490          if (rec->VolSessionTime != jr.VolSessionTime) {
 491             Pmsg3(000, _("SOS_LABEL: VolSessTime mismatch for JobId=%u. DB=%d Vol=%d\n"),
 492                jr.JobId,
 493                jr.VolSessionTime, rec->VolSessionTime);
 494             return true;              /* ignore error */
 495          }
 496          if (jr.PoolId != pr.PoolId) {
 497             Pmsg3(000, _("SOS_LABEL: PoolId mismatch for JobId=%u. DB=%d Vol=%d\n"),
 498                jr.JobId,
 499                jr.PoolId, pr.PoolId);
 500             return true;              /* ignore error */
 501          }
 502          break;
 503
 504       case EOS_LABEL:
 505          unser_session_label(&elabel, rec);
 506
 507          /* Create FileSet record */
 508          bstrncpy(fsr.FileSet, label.FileSetName, sizeof(fsr.FileSet));
 509          bstrncpy(fsr.MD5, label.FileSetMD5, sizeof(fsr.MD5));
 510          create_fileset_record(db, &fsr);
 511          jr.FileSetId = fsr.FileSetId;
 512
 513          mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
 514          if (!mjcr) {
 515             Pmsg2(000, _("Could not find SessId=%d SessTime=%d for EOS record.\n"),
 516                   rec->VolSessionId, rec->VolSessionTime);
 517             break;
 518          }
 519
 520          /* Do the final update to the Job record */
 521          update_job_record(db, &jr, &elabel, rec);
 522
 523          mjcr->end_time = jr.EndTime;
 524          mjcr->JobStatus = JS_Terminated;
 525
 526          /* Create JobMedia record */
 527          create_jobmedia_record(db, mjcr);
 528          detach_jcr_from_device(dev, mjcr);
 529          free_jcr(mjcr);
 530
 531          break;
 532
 533       case EOM_LABEL:
 534          break;
 535
 536       case EOT_LABEL:              /* end of all tapes */
 537          /*
 538           * Wiffle through all jobs still open and close
 539           *   them.
 540           */
 541          if (update_db) {
 542             mjcr=next_attached_jcr(dev, NULL);
 543             for ( ; mjcr; ) {
 544                JCR *njcr;
 545                jr.JobId = mjcr->JobId;
 546                jr.JobStatus = JS_ErrorTerminated;
 547                jr.JobFiles = mjcr->JobFiles;
 548                jr.JobBytes = mjcr->JobBytes;
 549                jr.VolSessionId = mjcr->VolSessionId;
 550                jr.VolSessionTime = mjcr->VolSessionTime;
 551                jr.JobTDate = (utime_t)mjcr->start_time;
 552                jr.ClientId = mjcr->ClientId;
 553                if (!db_update_job_end_record(bjcr, db, &jr)) {
 554                   Pmsg1(0, _("Could not update job record. ERR=%s\n"), db_strerror(db));
 555                }
 556                njcr = mjcr->next_dev;
 557                free_jcr(mjcr);
 558                mjcr = njcr;
 559             }
 560          }
 561          mr.VolFiles = rec->File;
 562          mr.VolBlocks = rec->Block;
 563          mr.VolBytes += mr.VolBlocks * WRITE_BLKHDR_LENGTH; /* approx. */
 564          mr.VolMounts++;
 565          update_media_record(db, &mr);
 566          Pmsg3(0, _("End of all Volumes. VolFiles=%u VolBlocks=%u VolBytes=%s\n"), mr.VolFiles,
 567                     mr.VolBlocks, edit_uint64_with_commas(mr.VolBytes, ec1));
 568          break;
 569       default:
 570          break;
 571       } /* end switch */
 572       return true;
 573    }
 574
 575    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
 576    if (!mjcr) {
 577       if (mr.VolJobs > 0) {
 578          Pmsg2(000, _("Could not find Job for SessId=%d SessTime=%d record.\n"),
 579                       rec->VolSessionId, rec->VolSessionTime);
 580       } else {
 581          ignored_msgs++;
 582       }
 583       return true;
 584    }
 585    dcr = mjcr->dcr;
 586    if (dcr->VolFirstIndex == 0) {
 587       dcr->VolFirstIndex = block->FirstIndex;
 588    }
 589
 590    /* File Attributes stream */
 591    switch (rec->Stream) {
 592    case STREAM_UNIX_ATTRIBUTES:
 593    case STREAM_UNIX_ATTRIBUTES_EX:
 594
 595       if (!unpack_attributes_record(bjcr, rec->Stream, rec->data, attr)) {
 596          Emsg0(M_ERROR_TERM, 0, _("Cannot continue.\n"));
 597       }
 598
 599       if (attr->file_index != rec->FileIndex) {
 600          Emsg2(M_ERROR_TERM, 0, _("Record header file index %ld not equal record index %ld\n"),
 601             rec->FileIndex, attr->file_index);
 602       }
 603
 604       if (verbose > 1) {
 605          decode_stat(attr->attr, &attr->statp, &attr->LinkFI);
 606          build_attr_output_fnames(bjcr, attr);
 607          print_ls_output(bjcr, attr);
 608       }
 609       fr.JobId = mjcr->JobId;
 610       fr.FileId = 0;
 611       num_files++;
 612       if (verbose && (num_files & 0x7FFF) == 0) {
 613          char ed1[30], ed2[30], ed3[30], ed4[30];
 614          Pmsg4(000, _("%s file records. At file:blk=%s:%s bytes=%s\n"),
 615                      edit_uint64_with_commas(num_files, ed1),
 616                      edit_uint64_with_commas(rec->File, ed2),
 617                      edit_uint64_with_commas(rec->Block, ed3),
 618                      edit_uint64_with_commas(mr.VolBytes, ed4));
 619       }
 620       if (db_get_file_attributes_record(bjcr, db, attr->fname, NULL, &fr)) {
 621          if (verbose > 1) {
 622             Pmsg1(000, _("File record already exists for: %s\n"), attr->fname);
 623          }
 624       } else {
 625          create_file_attributes_record(db, mjcr, attr->fname, attr->lname,
 626             attr->type, attr->attr, rec);
 627       }
 628       free_jcr(mjcr);
 629       break;
 630
 631    /* Data stream */
 632    case STREAM_WIN32_DATA:
 633    case STREAM_FILE_DATA:
 634    case STREAM_SPARSE_DATA:
 635       mjcr->JobBytes += rec->data_len;
 636       if (rec->Stream == STREAM_SPARSE_DATA) {
 637          mjcr->JobBytes -= sizeof(uint64_t);
 638       }
 639
 640       free_jcr(mjcr);                 /* done using JCR */
 641       break;
 642
 643    case STREAM_GZIP_DATA:
 644       mjcr->JobBytes += rec->data_len; /* No correct, we should expand it */
 645       free_jcr(mjcr);                 /* done using JCR */
 646       break;
 647
 648    case STREAM_SPARSE_GZIP_DATA:
 649       mjcr->JobBytes += rec->data_len - sizeof(uint64_t); /* No correct, we should expand it */
 650       free_jcr(mjcr);                 /* done using JCR */
 651       break;
 652
 653    /* Win32 GZIP stream */
 654    case STREAM_WIN32_GZIP_DATA:
 655       mjcr->JobBytes += rec->data_len;
 656       free_jcr(mjcr);                 /* done using JCR */
 657       break;
 658
 659    case STREAM_MD5_SIGNATURE:
 660       char MD5buf[50];
 661       bin_to_base64(MD5buf, (char *)rec->data, 16); /* encode 16 bytes */
 662       if (verbose > 1) {
 663          Pmsg1(000, _("Got MD5 record: %s\n"), MD5buf);
 664       }
 665       update_SIG_record(db, MD5buf, rec, MD5_SIG);
 666       break;
 667
 668    case STREAM_SHA1_SIGNATURE:
 669       char SIGbuf[50];
 670       bin_to_base64(SIGbuf, (char *)rec->data, 20); /* encode 20 bytes */
 671       if (verbose > 1) {
 672          Pmsg1(000, _("Got SHA1 record: %s\n"), SIGbuf);
 673       }
 674       update_SIG_record(db, SIGbuf, rec, SHA1_SIG);
 675       break;
 676
 677
 678    case STREAM_PROGRAM_NAMES:
 679       if (verbose) {
 680          Pmsg1(000, _("Got Prog Names Stream: %s\n"), rec->data);
 681       }
 682       break;
 683
 684    case STREAM_PROGRAM_DATA:
 685       if (verbose > 1) {
 686          Pmsg0(000, _("Got Prog Data Stream record.\n"));
 687       }
 688       break;
 689    default:
 690       Pmsg2(0, _("Unknown stream type!!! stream=%d data=%s\n"), rec->Stream, rec->data);
 691       break;
 692    }
 693    return true;
 694 }
 695
 696 /*
 697  * Free the Job Control Record if no one is still using it.
 698  *  Called from main free_jcr() routine in src/lib/jcr.c so
 699  *  that we can do our Director specific cleanup of the jcr.
 700  */
 701 static void bscan_free_jcr(JCR *jcr)
 702 {
 703    Dmsg0(200, "Start dird free_jcr\n");
 704
 705    if (jcr->file_bsock) {
 706       Dmsg0(200, "Close File bsock\n");
 707       bnet_close(jcr->file_bsock);
 708    }
 709    if (jcr->store_bsock) {
 710       Dmsg0(200, "Close Store bsock\n");
 711       bnet_close(jcr->store_bsock);
 712    }
 713    if (jcr->RestoreBootstrap) {
 714       free(jcr->RestoreBootstrap);
 715    }
 716    if (jcr->dcr) {
 717       free_dcr(jcr->dcr);
 718       jcr->dcr = NULL;
 719    }
 720    Dmsg0(200, "End dird free_jcr\n");
 721 }
 722
 723 /*
 724  * We got a File Attributes record on the tape.  Now, lookup the Job
 725  *   record, and then create the attributes record.
 726  */
 727 static int create_file_attributes_record(B_DB *db, JCR *mjcr,
 728                                char *fname, char *lname, int type,
 729                                char *ap, DEV_RECORD *rec)
 730 {
 731    DCR *dcr = mjcr->dcr;
 732    ar.fname = fname;
 733    ar.link = lname;
 734    ar.ClientId = mjcr->ClientId;
 735    ar.JobId = mjcr->JobId;
 736    ar.Stream = rec->Stream;
 737    ar.FileIndex = rec->FileIndex;
 738    ar.attr = ap;
 739    if (dcr->VolFirstIndex == 0) {
 740       dcr->VolFirstIndex = rec->FileIndex;
 741    }
 742    dcr->FileIndex = rec->FileIndex;
 743    mjcr->JobFiles++;
 744
 745    if (!update_db) {
 746       return 1;
 747    }
 748
 749    if (!db_create_file_attributes_record(bjcr, db, &ar)) {
 750       Pmsg1(0, _("Could not create File Attributes record. ERR=%s\n"), db_strerror(db));
 751       return 0;
 752    }
 753    mjcr->FileId = ar.FileId;
 754
 755    if (verbose > 1) {
 756       Pmsg1(000, _("Created File record: %s\n"), fname);
 757    }
 758    return 1;
 759 }
 760
 761 /*
 762  * For each Volume we see, we create a Medium record
 763  */
 764 static int create_media_record(B_DB *db, MEDIA_DBR *mr, VOLUME_LABEL *vl)
 765 {
 766    struct date_time dt;
 767    struct tm tm;
 768
 769    /* We mark Vols as Archive to keep them from being re-written */
 770    bstrncpy(mr->VolStatus, "Archive", sizeof(mr->VolStatus));
 771    mr->VolRetention = 365 * 3600 * 24; /* 1 year */
 772    if (vl->VerNum >= 11) {
 773       mr->FirstWritten = btime_to_utime(vl->write_btime);
 774       mr->LabelDate    = btime_to_utime(vl->label_btime);
 775    } else {
 776       /* DEPRECATED DO NOT USE */
 777       dt.julian_day_number = vl->write_date;
 778       dt.julian_day_fraction = vl->write_time;
 779       tm_decode(&dt, &tm);
 780       mr->FirstWritten = mktime(&tm);
 781       dt.julian_day_number = vl->label_date;
 782       dt.julian_day_fraction = vl->label_time;
 783       tm_decode(&dt, &tm);
 784       mr->LabelDate = mktime(&tm);
 785    }
 786    lasttime = mr->LabelDate;
 787
 788    if (!update_db) {
 789       return 1;
 790    }
 791
 792    if (!db_create_media_record(bjcr, db, mr)) {
 793       Pmsg1(0, _("Could not create media record. ERR=%s\n"), db_strerror(db));
 794       return 0;
 795    }
 796    if (!db_update_media_record(bjcr, db, mr)) {
 797       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
 798       return 0;
 799    }
 800    if (verbose) {
 801       Pmsg1(000, _("Created Media record for Volume: %s\n"), mr->VolumeName);
 802    }
 803    return 1;
 804
 805 }
 806
 807 /*
 808  * Called at end of media to update it
 809  */
 810 static bool update_media_record(B_DB *db, MEDIA_DBR *mr)
 811 {
 812    if (!update_db && !update_vol_info) {
 813       return true;
 814    }
 815
 816    mr->LastWritten = lasttime;
 817    if (!db_update_media_record(bjcr, db, mr)) {
 818       Pmsg1(0, _("Could not update media record. ERR=%s\n"), db_strerror(db));
 819       return false;;
 820    }
 821    if (verbose) {
 822       Pmsg1(000, _("Updated Media record at end of Volume: %s\n"), mr->VolumeName);
 823    }
 824    return true;
 825
 826 }
 827
 828
 829 static int create_pool_record(B_DB *db, POOL_DBR *pr)
 830 {
 831    pr->NumVols++;
 832    pr->UseCatalog = 1;
 833    pr->VolRetention = 355 * 3600 * 24; /* 1 year */
 834
 835    if (!update_db) {
 836       return 1;
 837    }
 838    if (!db_create_pool_record(bjcr, db, pr)) {
 839       Pmsg1(0, _("Could not create pool record. ERR=%s\n"), db_strerror(db));
 840       return 0;
 841    }
 842    if (verbose) {
 843       Pmsg1(000, _("Created Pool record for Pool: %s\n"), pr->Name);
 844    }
 845    return 1;
 846
 847 }
 848
 849
 850 /*
 851  * Called from SOS to create a client for the current Job
 852  */
 853 static int create_client_record(B_DB *db, CLIENT_DBR *cr)
 854 {
 855    if (!update_db) {
 856       return 1;
 857    }
 858    if (!db_create_client_record(bjcr, db, cr)) {
 859       Pmsg1(0, _("Could not create Client record. ERR=%s\n"), db_strerror(db));
 860       return 0;
 861    }
 862    if (verbose) {
 863       Pmsg1(000, _("Created Client record for Client: %s\n"), cr->Name);
 864    }
 865    return 1;
 866 }
 867
 868 static int create_fileset_record(B_DB *db, FILESET_DBR *fsr)
 869 {
 870    if (!update_db) {
 871       return 1;
 872    }
 873    fsr->FileSetId = 0;
 874    if (fsr->MD5[0] == 0) {
 875       fsr->MD5[0] = ' ';              /* Equivalent to nothing */
 876       fsr->MD5[1] = 0;
 877    }
 878    if (db_get_fileset_record(bjcr, db, fsr)) {
 879       if (verbose) {
 880          Pmsg1(000, _("Fileset \"%s\" already exists.\n"), fsr->FileSet);
 881       }
 882    } else {
 883       if (!db_create_fileset_record(bjcr, db, fsr)) {
 884          Pmsg2(0, _("Could not create FileSet record \"%s\". ERR=%s\n"),
 885             fsr->FileSet, db_strerror(db));
 886          return 0;
 887       }
 888       if (verbose) {
 889          Pmsg1(000, _("Created FileSet record \"%s\"\n"), fsr->FileSet);
 890       }
 891    }
 892    return 1;
 893 }
 894
 895 /*
 896  * Simulate the two calls on the database to create
 897  *  the Job record and to update it when the Job actually
 898  *  begins running.
 899  */
 900 static JCR *create_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *label,
 901                              DEV_RECORD *rec)
 902 {
 903    JCR *mjcr;
 904    struct date_time dt;
 905    struct tm tm;
 906
 907    jr->JobId = label->JobId;
 908    jr->JobType = label->JobType;
 909    jr->JobLevel = label->JobLevel;
 910    jr->JobStatus = JS_Created;
 911    bstrncpy(jr->Name, label->JobName, sizeof(jr->Name));
 912    bstrncpy(jr->Job, label->Job, sizeof(jr->Job));
 913    if (label->VerNum >= 11) {
 914       jr->SchedTime = btime_to_unix(label->write_btime);
 915    } else {
 916       dt.julian_day_number = label->write_date;
 917       dt.julian_day_fraction = label->write_time;
 918       tm_decode(&dt, &tm);
 919       jr->SchedTime = mktime(&tm);
 920    }
 921
 922    jr->StartTime = jr->SchedTime;
 923    jr->JobTDate = (utime_t)jr->SchedTime;
 924    jr->VolSessionId = rec->VolSessionId;
 925    jr->VolSessionTime = rec->VolSessionTime;
 926
 927    /* Now create a JCR as if starting the Job */
 928    mjcr = create_jcr(jr, rec, label->JobId);
 929
 930    if (!update_db) {
 931       return mjcr;
 932    }
 933
 934    /* This creates the bare essentials */
 935    if (!db_create_job_record(bjcr, db, jr)) {
 936       Pmsg1(0, _("Could not create JobId record. ERR=%s\n"), db_strerror(db));
 937       return mjcr;
 938    }
 939
 940    /* This adds the client, StartTime, JobTDate, ... */
 941    if (!db_update_job_start_record(bjcr, db, jr)) {
 942       Pmsg1(0, _("Could not update job start record. ERR=%s\n"), db_strerror(db));
 943       return mjcr;
 944    }
 945    Pmsg2(000, _("Created new JobId=%u record for original JobId=%u\n"), jr->JobId,
 946          label->JobId);
 947    mjcr->JobId = jr->JobId;           /* set new JobId */
 948    return mjcr;
 949 }
 950
 951 /*
 952  * Simulate the database call that updates the Job
 953  *  at Job termination time.
 954  */
 955 static int update_job_record(B_DB *db, JOB_DBR *jr, SESSION_LABEL *elabel,
 956                               DEV_RECORD *rec)
 957 {
 958    struct date_time dt;
 959    struct tm tm;
 960    JCR *mjcr;
 961
 962    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
 963    if (!mjcr) {
 964       Pmsg2(000, _("Could not find SessId=%d SessTime=%d for EOS record.\n"),
 965                    rec->VolSessionId, rec->VolSessionTime);
 966       return 0;
 967    }
 968    if (elabel->VerNum >= 11) {
 969       jr->EndTime = btime_to_unix(elabel->write_btime);
 970    } else {
 971       dt.julian_day_number = elabel->write_date;
 972       dt.julian_day_fraction = elabel->write_time;
 973       tm_decode(&dt, &tm);
 974       jr->EndTime = mktime(&tm);
 975    }
 976    lasttime = jr->EndTime;
 977    mjcr->end_time = jr->EndTime;
 978
 979    jr->JobId = mjcr->JobId;
 980    jr->JobStatus = elabel->JobStatus;
 981    mjcr->JobStatus = elabel->JobStatus;
 982    jr->JobFiles = elabel->JobFiles;
 983    jr->JobBytes = elabel->JobBytes;
 984    jr->VolSessionId = rec->VolSessionId;
 985    jr->VolSessionTime = rec->VolSessionTime;
 986    jr->JobTDate = (utime_t)mjcr->start_time;
 987    jr->ClientId = mjcr->ClientId;
 988
 989    if (!update_db) {
 990       free_jcr(mjcr);
 991       return 1;
 992    }
 993
 994    if (!db_update_job_end_record(bjcr, db, jr)) {
 995       Pmsg2(0, _("Could not update JobId=%u record. ERR=%s\n"), jr->JobId,  db_strerror(db));
 996       free_jcr(mjcr);
 997       return 0;
 998    }
 999    if (verbose) {
1000       Pmsg1(000, _("Updated Job termination record for new JobId=%u\n"), jr->JobId);
1001    }
1002    if (verbose > 1) {
1003       const char *term_msg;
1004       static char term_code[70];
1005       char sdt[50], edt[50];
1006       char ec1[30], ec2[30], ec3[30];
1007
1008       switch (mjcr->JobStatus) {
1009       case JS_Terminated:
1010          term_msg = _("Backup OK");
1011          break;
1012       case JS_FatalError:
1013       case JS_ErrorTerminated:
1014          term_msg = _("*** Backup Error ***");
1015          break;
1016       case JS_Canceled:
1017          term_msg = _("Backup Canceled");
1018          break;
1019       default:
1020          term_msg = term_code;
1021          sprintf(term_code, _("Job Termination code: %d"), mjcr->JobStatus);
1022          break;
1023       }
1024       bstrftime(sdt, sizeof(sdt), mjcr->start_time);
1025       bstrftime(edt, sizeof(edt), mjcr->end_time);
1026       Pmsg14(000,  _("%s\n\
1027 JobId:                  %d\n\
1028 Job:                    %s\n\
1029 FileSet:                %s\n\
1030 Backup Level:           %s\n\
1031 Client:                 %s\n\
1032 Start time:             %s\n\
1033 End time:               %s\n\
1034 Files Written:          %s\n\
1035 Bytes Written:          %s\n\
1036 Volume Session Id:      %d\n\
1037 Volume Session Time:    %d\n\
1038 Last Volume Bytes:      %s\n\
1039 Termination:            %s\n\n"),
1040         edt,
1041         mjcr->JobId,
1042         mjcr->Job,
1043         mjcr->fileset_name,
1044         job_level_to_str(mjcr->JobLevel),
1045         mjcr->client_name,
1046         sdt,
1047         edt,
1048         edit_uint64_with_commas(mjcr->JobFiles, ec1),
1049         edit_uint64_with_commas(mjcr->JobBytes, ec2),
1050         mjcr->VolSessionId,
1051         mjcr->VolSessionTime,
1052         edit_uint64_with_commas(mr.VolBytes, ec3),
1053         term_msg);
1054    }
1055    free_jcr(mjcr);
1056    return 1;
1057 }
1058
1059 static int create_jobmedia_record(B_DB *db, JCR *mjcr)
1060 {
1061    JOBMEDIA_DBR jmr;
1062    DCR *dcr = mjcr->dcr;
1063
1064    if (dev->state & ST_TAPE) {
1065       dcr->EndBlock = dev->EndBlock;
1066       dcr->EndFile  = dev->EndFile;
1067    } else {
1068       dcr->EndBlock = (uint32_t)dev->file_addr;
1069       dcr->EndFile = (uint32_t)(dev->file_addr >> 32);
1070    }
1071
1072    memset(&jmr, 0, sizeof(jmr));
1073    jmr.JobId = mjcr->JobId;
1074    jmr.MediaId = mr.MediaId;
1075    jmr.FirstIndex = dcr->VolFirstIndex;
1076    jmr.LastIndex = dcr->FileIndex;
1077    jmr.StartFile = dcr->StartFile;
1078    jmr.EndFile = dcr->EndFile;
1079    jmr.StartBlock = dcr->StartBlock;
1080    jmr.EndBlock = dcr->EndBlock;
1081
1082
1083    if (!update_db) {
1084       return 1;
1085    }
1086
1087    if (!db_create_jobmedia_record(bjcr, db, &jmr)) {
1088       Pmsg1(0, _("Could not create JobMedia record. ERR=%s\n"), db_strerror(db));
1089       return 0;
1090    }
1091    if (verbose) {
1092       Pmsg2(000, _("Created JobMedia record JobId %d, MediaId %d\n"),
1093                 jmr.JobId, jmr.MediaId);
1094    }
1095    return 1;
1096 }
1097
1098 /*
1099  * Simulate the database call that updates the MD5/SHA1 record
1100  */
1101 static int update_SIG_record(B_DB *db, char *SIGbuf, DEV_RECORD *rec, int type)
1102 {
1103    JCR *mjcr;
1104
1105    mjcr = get_jcr_by_session(rec->VolSessionId, rec->VolSessionTime);
1106    if (!mjcr) {
1107       if (mr.VolJobs > 0) {
1108          Pmsg2(000, _("Could not find SessId=%d SessTime=%d for MD5/SHA1 record.\n"),
1109                       rec->VolSessionId, rec->VolSessionTime);
1110       } else {
1111          ignored_msgs++;
1112       }
1113       return 0;
1114    }
1115
1116    if (!update_db) {
1117       free_jcr(mjcr);
1118       return 1;
1119    }
1120
1121    if (!db_add_SIG_to_file_record(bjcr, db, mjcr->FileId, SIGbuf, type)) {
1122       Pmsg1(0, _("Could not add MD5/SHA1 to File record. ERR=%s\n"), db_strerror(db));
1123       free_jcr(mjcr);
1124       return 0;
1125    }
1126    if (verbose > 1) {
1127       Pmsg0(000, _("Updated MD5/SHA1 record\n"));
1128    }
1129    free_jcr(mjcr);
1130    return 1;
1131 }
1132
1133
1134 /*
1135  * Create a JCR as if we are really starting the job
1136  */
1137 static JCR *create_jcr(JOB_DBR *jr, DEV_RECORD *rec, uint32_t JobId)
1138 {
1139    JCR *jobjcr;
1140    /*
1141     * Transfer as much as possible to the Job JCR. Most important is
1142     *   the JobId and the ClientId.
1143     */
1144    jobjcr = new_jcr(sizeof(JCR), bscan_free_jcr);
1145    jobjcr->JobType = jr->JobType;
1146    jobjcr->JobLevel = jr->JobLevel;
1147    jobjcr->JobStatus = jr->JobStatus;
1148    bstrncpy(jobjcr->Job, jr->Job, sizeof(jobjcr->Job));
1149    jobjcr->JobId = JobId;      /* this is JobId on tape */
1150    jobjcr->sched_time = jr->SchedTime;
1151    jobjcr->start_time = jr->StartTime;
1152    jobjcr->VolSessionId = rec->VolSessionId;
1153    jobjcr->VolSessionTime = rec->VolSessionTime;
1154    jobjcr->ClientId = jr->ClientId;
1155    attach_jcr_to_device(dev, jobjcr);
1156    new_dcr(jobjcr, dev);
1157    return jobjcr;
1158 }
1159
1160 /* Dummies to replace askdir.c */
1161 bool    dir_get_volume_info(DCR *dcr, enum get_vol_info_rw  writing) { return 1;}
1162 bool    dir_find_next_appendable_volume(DCR *dcr) { return 1;}
1163 bool    dir_update_volume_info(DCR *dcr, bool relabel) { return 1; }
1164 bool    dir_create_jobmedia_record(DCR *dcr) { return 1; }
1165 bool    dir_ask_sysop_to_create_appendable_volume(DCR *dcr) { return 1; }
1166 bool    dir_update_file_attributes(DCR *dcr, DEV_RECORD *rec) { return 1;}
1167 bool    dir_send_job_status(JCR *jcr) {return 1;}
1168
1169
1170 bool dir_ask_sysop_to_mount_volume(DCR *dcr)
1171 {
1172    DEVICE *dev = dcr->dev;
1173    JCR *jcr = dcr->jcr;
1174    fprintf(stderr, _("Mount Volume \"%s\" on device \"%s\" and press return when ready: "),
1175       jcr->VolumeName, dev_name(dev));
1176    getchar();
1177    return 1;
1178 }