git.sur5r.net Git - bacula/bacula/blob - bacula/src/filed/job.c

   1 /*
   2  *  Bacula File Daemon Job processing
   3  *
   4  *    Kern Sibbald, October MM
   5  *
   6  *   Version $Id$
   7  *
   8  */
   9 /*
  10    Copyright (C) 2000-2005 Kern Sibbald
  11
  12    This program is free software; you can redistribute it and/or
  13    modify it under the terms of the GNU General Public License
  14    version 2 as amended with additional clauses defined in the
  15    file LICENSE in the main source directory.
  16
  17    This program is distributed in the hope that it will be useful,
  18    but WITHOUT ANY WARRANTY; without even the implied warranty of
  19    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
  20    the file LICENSE for additional details.
  21
  22  */
  23
  24 #include "bacula.h"
  25 #include "filed.h"
  26 #ifdef WIN32_VSS
  27 #include "vss.h"
  28 #endif
  29
  30 extern char my_name[];
  31 extern CLIENT *me;                    /* our client resource */
  32
  33 int enable_vss = 0;                   /* set to use vss */
  34
  35 /* Imported functions */
  36 extern int status_cmd(JCR *jcr);
  37 extern int qstatus_cmd(JCR *jcr);
  38
  39 /* Forward referenced functions */
  40 static int backup_cmd(JCR *jcr);
  41 static int bootstrap_cmd(JCR *jcr);
  42 static int cancel_cmd(JCR *jcr);
  43 static int setdebug_cmd(JCR *jcr);
  44 static int estimate_cmd(JCR *jcr);
  45 static int hello_cmd(JCR *jcr);
  46 static int job_cmd(JCR *jcr);
  47 static int fileset_cmd(JCR *jcr);
  48 static int level_cmd(JCR *jcr);
  49 static int verify_cmd(JCR *jcr);
  50 static int restore_cmd(JCR *jcr);
  51 static int storage_cmd(JCR *jcr);
  52 static int session_cmd(JCR *jcr);
  53 static int response(JCR *jcr, BSOCK *sd, char *resp, const char *cmd);
  54 static void filed_free_jcr(JCR *jcr);
  55 static int open_sd_read_session(JCR *jcr);
  56 static int send_bootstrap_file(JCR *jcr);
  57 static int runbefore_cmd(JCR *jcr);
  58 static int runafter_cmd(JCR *jcr);
  59 static bool run_cmd(JCR *jcr, char *cmd, const char *name);
  60 static void set_options(findFOPTS *fo, const char *opts);
  61
  62
  63 /* Exported functions */
  64
  65 struct s_cmds {
  66    const char *cmd;
  67    int (*func)(JCR *);
  68    int monitoraccess; /* specify if monitors have access to this function */
  69 };
  70
  71 /*
  72  * The following are the recognized commands from the Director.
  73  */
  74 static struct s_cmds cmds[] = {
  75    {"backup",       backup_cmd,    0},
  76    {"cancel",       cancel_cmd,    0},
  77    {"setdebug=",    setdebug_cmd,  0},
  78    {"estimate",     estimate_cmd,  0},
  79    {"Hello",        hello_cmd,     1},
  80    {"fileset",      fileset_cmd,   0},
  81    {"JobId=",       job_cmd,       0},
  82    {"level = ",     level_cmd,     0},
  83    {"restore",      restore_cmd,   0},
  84    {"session",      session_cmd,   0},
  85    {"status",       status_cmd,    1},
  86    {".status",      qstatus_cmd,   1},
  87    {"storage ",     storage_cmd,   0},
  88    {"verify",       verify_cmd,    0},
  89    {"bootstrap",    bootstrap_cmd, 0},
  90    {"RunBeforeJob", runbefore_cmd, 0},
  91    {"RunAfterJob",  runafter_cmd,  0},
  92    {NULL,       NULL}                  /* list terminator */
  93 };
  94
  95 /* Commands received from director that need scanning */
  96 static char jobcmd[]      = "JobId=%d Job=%127s SDid=%d SDtime=%d Authorization=%100s";
  97 static char storaddr[]    = "storage address=%s port=%d ssl=%d\n";
  98 static char sessioncmd[]  = "session %127s %ld %ld %ld %ld %ld %ld\n";
  99 static char restorecmd[]  = "restore replace=%c prelinks=%d where=%s\n";
 100 static char restorecmd1[] = "restore replace=%c prelinks=%d where=\n";
 101 static char verifycmd[]   = "verify level=%30s\n";
 102 static char estimatecmd[] = "estimate listing=%d\n";
 103 static char runbefore[]   = "RunBeforeJob %s\n";
 104 static char runafter[]    = "RunAfterJob %s\n";
 105
 106 /* Responses sent to Director */
 107 static char errmsg[]      = "2999 Invalid command\n";
 108 static char no_auth[]     = "2998 No Authorization\n";
 109 static char illegal_cmd[] = "2997 Illegal command for a Director with Monitor directive enabled\n";
 110 static char OKinc[]       = "2000 OK include\n";
 111 static char OKest[]       = "2000 OK estimate files=%u bytes=%s\n";
 112 static char OKlevel[]     = "2000 OK level\n";
 113 static char OKbackup[]    = "2000 OK backup\n";
 114 static char OKbootstrap[] = "2000 OK bootstrap\n";
 115 static char OKverify[]    = "2000 OK verify\n";
 116 static char OKrestore[]   = "2000 OK restore\n";
 117 static char OKsession[]   = "2000 OK session\n";
 118 static char OKstore[]     = "2000 OK storage\n";
 119 static char OKjob[]       = "2000 OK Job %s,%s,%s";
 120 static char OKsetdebug[]  = "2000 OK setdebug=%d\n";
 121 static char BADjob[]      = "2901 Bad Job\n";
 122 static char EndJob[]      = "2800 End Job TermCode=%d JobFiles=%u ReadBytes=%s JobBytes=%s Errors=%u\n";
 123 static char OKRunBefore[] = "2000 OK RunBefore\n";
 124 static char OKRunAfter[]  = "2000 OK RunAfter\n";
 125
 126 /* Responses received from Storage Daemon */
 127 static char OK_end[]       = "3000 OK end\n";
 128 static char OK_close[]     = "3000 OK close Status = %d\n";
 129 static char OK_open[]      = "3000 OK open ticket = %d\n";
 130 static char OK_data[]      = "3000 OK data\n";
 131 static char OK_append[]    = "3000 OK append data\n";
 132 static char OKSDbootstrap[] = "3000 OK bootstrap\n";
 133
 134
 135 /* Commands sent to Storage Daemon */
 136 static char append_open[]  = "append open session\n";
 137 static char append_data[]  = "append data %d\n";
 138 static char append_end[]   = "append end session %d\n";
 139 static char append_close[] = "append close session %d\n";
 140 static char read_open[]    = "read open session = %s %ld %ld %ld %ld %ld %ld\n";
 141 static char read_data[]    = "read data %d\n";
 142 static char read_close[]   = "read close session %d\n";
 143
 144 /*
 145  * Accept requests from a Director
 146  *
 147  * NOTE! We are running as a separate thread
 148  *
 149  * Send output one line
 150  * at a time followed by a zero length transmission.
 151  *
 152  * Return when the connection is terminated or there
 153  * is an error.
 154  *
 155  * Basic task here is:
 156  *   Authenticate Director (during Hello command).
 157  *   Accept commands one at a time from the Director
 158  *     and execute them.
 159  *
 160  */
 161 void *handle_client_request(void *dirp)
 162 {
 163    int i;
 164    bool found, quit;
 165    JCR *jcr;
 166    BSOCK *dir = (BSOCK *)dirp;
 167
 168    jcr = new_jcr(sizeof(JCR), filed_free_jcr); /* create JCR */
 169    jcr->dir_bsock = dir;
 170    jcr->ff = init_find_files();
 171    jcr->start_time = time(NULL);
 172    jcr->last_fname = get_pool_memory(PM_FNAME);
 173    jcr->last_fname[0] = 0;
 174    jcr->client_name = get_memory(strlen(my_name) + 1);
 175    pm_strcpy(jcr->client_name, my_name);
 176    jcr->pki_sign = me->pki_sign;
 177    jcr->pki_encrypt = me->pki_encrypt;
 178    jcr->pki_keypair = me->pki_keypair;
 179    jcr->pki_signers = me->pki_signers;
 180    jcr->pki_recipients = me->pki_recipients;
 181    dir->jcr = jcr;
 182    enable_backup_privileges(NULL, 1 /* ignore_errors */);
 183
 184    /**********FIXME******* add command handler error code */
 185
 186    for (quit=false; !quit;) {
 187
 188       /* Read command */
 189       if (bnet_recv(dir) < 0) {
 190          break;               /* connection terminated */
 191       }
 192       dir->msg[dir->msglen] = 0;
 193       Dmsg1(100, "<dird: %s", dir->msg);
 194       found = false;
 195       for (i=0; cmds[i].cmd; i++) {
 196          if (strncmp(cmds[i].cmd, dir->msg, strlen(cmds[i].cmd)) == 0) {
 197             found = true;         /* indicate command found */
 198             if (!jcr->authenticated && cmds[i].func != hello_cmd) {
 199                bnet_fsend(dir, no_auth);
 200                bnet_sig(dir, BNET_EOD);
 201                break;
 202             }
 203             if ((jcr->authenticated) && (!cmds[i].monitoraccess) && (jcr->director->monitor)) {
 204                Dmsg1(100, "Command %s illegal.\n", cmds[i].cmd);
 205                bnet_fsend(dir, illegal_cmd);
 206                bnet_sig(dir, BNET_EOD);
 207                break;
 208             }
 209             Dmsg1(100, "Executing %s command.\n", cmds[i].cmd);
 210             if (!cmds[i].func(jcr)) {         /* do command */
 211                quit = true;         /* error or fully terminated, get out */
 212                Dmsg1(20, "Quit command loop. Canceled=%d\n", job_canceled(jcr));
 213             }
 214             break;
 215          }
 216       }
 217       if (!found) {              /* command not found */
 218          bnet_fsend(dir, errmsg);
 219          quit = true;
 220          break;
 221       }
 222    }
 223
 224    /* Inform Storage daemon that we are done */
 225    if (jcr->store_bsock) {
 226       bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 227    }
 228
 229    if (jcr->RunAfterJob && !job_canceled(jcr)) {
 230       run_cmd(jcr, jcr->RunAfterJob, "ClientRunAfterJob");
 231    }
 232    generate_daemon_event(jcr, "JobEnd");
 233
 234    dequeue_messages(jcr);             /* send any queued messages */
 235
 236    /* Inform Director that we are done */
 237    bnet_sig(dir, BNET_TERMINATE);
 238
 239    /* Clean up fileset */
 240    FF_PKT *ff = jcr->ff;
 241    findFILESET *fileset = ff->fileset;
 242    if (fileset) {
 243       int i, j, k;
 244       /* Delete FileSet Include lists */
 245       for (i=0; i<fileset->include_list.size(); i++) {
 246          findINCEXE *incexe = (findINCEXE *)fileset->include_list.get(i);
 247          for (j=0; j<incexe->opts_list.size(); j++) {
 248             findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 249             for (k=0; k<fo->regex.size(); k++) {
 250                regfree((regex_t *)fo->regex.get(k));
 251             }
 252             fo->regex.destroy();
 253             fo->regexdir.destroy();
 254             fo->regexfile.destroy();
 255             fo->wild.destroy();
 256             fo->wilddir.destroy();
 257             fo->wildfile.destroy();
 258             fo->base.destroy();
 259             fo->fstype.destroy();
 260             if (fo->reader) {
 261                free(fo->reader);
 262             }
 263             if (fo->writer) {
 264                free(fo->writer);
 265             }
 266          }
 267          incexe->opts_list.destroy();
 268          incexe->name_list.destroy();
 269       }
 270       fileset->include_list.destroy();
 271
 272       /* Delete FileSet Exclude lists */
 273       for (i=0; i<fileset->exclude_list.size(); i++) {
 274          findINCEXE *incexe = (findINCEXE *)fileset->exclude_list.get(i);
 275          for (j=0; j<incexe->opts_list.size(); j++) {
 276             findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 277             fo->regex.destroy();
 278             fo->regexdir.destroy();
 279             fo->regexfile.destroy();
 280             fo->wild.destroy();
 281             fo->wilddir.destroy();
 282             fo->wildfile.destroy();
 283             fo->base.destroy();
 284             fo->fstype.destroy();
 285          }
 286          incexe->opts_list.destroy();
 287          incexe->name_list.destroy();
 288       }
 289       fileset->exclude_list.destroy();
 290       free(fileset);
 291    }
 292    ff->fileset = NULL;
 293    Dmsg0(100, "Calling term_find_files\n");
 294    term_find_files(jcr->ff);
 295    jcr->ff = NULL;
 296    Dmsg0(100, "Done with term_find_files\n");
 297    free_jcr(jcr);                     /* destroy JCR record */
 298    Dmsg0(100, "Done with free_jcr\n");
 299    return NULL;
 300 }
 301
 302 /*
 303  * Hello from Director he must identify himself and provide his
 304  *  password.
 305  */
 306 static int hello_cmd(JCR *jcr)
 307 {
 308    Dmsg0(120, "Calling Authenticate\n");
 309    if (!authenticate_director(jcr)) {
 310       return 0;
 311    }
 312    Dmsg0(120, "OK Authenticate\n");
 313    jcr->authenticated = true;
 314    return 1;
 315 }
 316
 317 /*
 318  * Cancel a Job
 319  */
 320 static int cancel_cmd(JCR *jcr)
 321 {
 322    BSOCK *dir = jcr->dir_bsock;
 323    char Job[MAX_NAME_LENGTH];
 324    JCR *cjcr;
 325
 326    if (sscanf(dir->msg, "cancel Job=%127s", Job) == 1) {
 327       if (!(cjcr=get_jcr_by_full_name(Job))) {
 328          bnet_fsend(dir, _("2901 Job %s not found.\n"), Job);
 329       } else {
 330          if (cjcr->store_bsock) {
 331             P(cjcr->mutex);
 332             cjcr->store_bsock->timed_out = 1;
 333             cjcr->store_bsock->terminated = 1;
 334 /*
 335  * #if !defined(HAVE_CYGWIN) && !defined(HAVE_WIN32)
 336  */
 337 #if !defined(HAVE_CYGWIN)
 338             pthread_kill(cjcr->my_thread_id, TIMEOUT_SIGNAL);
 339 #endif
 340             V(cjcr->mutex);
 341          }
 342          set_jcr_job_status(cjcr, JS_Canceled);
 343          free_jcr(cjcr);
 344          bnet_fsend(dir, _("2001 Job %s marked to be canceled.\n"), Job);
 345       }
 346    } else {
 347       bnet_fsend(dir, _("2902 Error scanning cancel command.\n"));
 348    }
 349    bnet_sig(dir, BNET_EOD);
 350    return 1;
 351 }
 352
 353
 354 /*
 355  * Set debug level as requested by the Director
 356  *
 357  */
 358 static int setdebug_cmd(JCR *jcr)
 359 {
 360    BSOCK *dir = jcr->dir_bsock;
 361    int level, trace_flag;
 362
 363    Dmsg1(110, "setdebug_cmd: %s", dir->msg);
 364    if (sscanf(dir->msg, "setdebug=%d trace=%d", &level, &trace_flag) != 2 || level < 0) {
 365       pm_strcpy(jcr->errmsg, dir->msg);
 366       bnet_fsend(dir, _("2991 Bad setdebug command: %s\n"), jcr->errmsg);
 367       return 0;
 368    }
 369    debug_level = level;
 370    set_trace(trace_flag);
 371    return bnet_fsend(dir, OKsetdebug, level);
 372 }
 373
 374
 375 static int estimate_cmd(JCR *jcr)
 376 {
 377    BSOCK *dir = jcr->dir_bsock;
 378    char ed2[50];
 379
 380    if (sscanf(dir->msg, estimatecmd, &jcr->listing) != 1) {
 381       pm_strcpy(jcr->errmsg, dir->msg);
 382       Jmsg(jcr, M_FATAL, 0, _("Bad estimate command: %s"), jcr->errmsg);
 383       bnet_fsend(dir, _("2992 Bad estimate command.\n"));
 384       return 0;
 385    }
 386    make_estimate(jcr);
 387    bnet_fsend(dir, OKest, jcr->num_files_examined,
 388       edit_uint64_with_commas(jcr->JobBytes, ed2));
 389    bnet_sig(dir, BNET_EOD);
 390    return 1;
 391 }
 392
 393 /*
 394  * Get JobId and Storage Daemon Authorization key from Director
 395  */
 396 static int job_cmd(JCR *jcr)
 397 {
 398    BSOCK *dir = jcr->dir_bsock;
 399    POOLMEM *sd_auth_key;
 400
 401    sd_auth_key = get_memory(dir->msglen);
 402    if (sscanf(dir->msg, jobcmd,  &jcr->JobId, jcr->Job,
 403               &jcr->VolSessionId, &jcr->VolSessionTime,
 404               sd_auth_key) != 5) {
 405       pm_strcpy(jcr->errmsg, dir->msg);
 406       Jmsg(jcr, M_FATAL, 0, _("Bad Job Command: %s"), jcr->errmsg);
 407       bnet_fsend(dir, BADjob);
 408       free_pool_memory(sd_auth_key);
 409       return 0;
 410    }
 411    jcr->sd_auth_key = bstrdup(sd_auth_key);
 412    free_pool_memory(sd_auth_key);
 413    Dmsg2(120, "JobId=%d Auth=%s\n", jcr->JobId, jcr->sd_auth_key);
 414    return bnet_fsend(dir, OKjob, HOST_OS, DISTNAME, DISTVER);
 415 }
 416
 417 static int runbefore_cmd(JCR *jcr)
 418 {
 419    bool ok;
 420    BSOCK *dir = jcr->dir_bsock;
 421    POOLMEM *cmd = get_memory(dir->msglen+1);
 422
 423    Dmsg1(100, "runbefore_cmd: %s", dir->msg);
 424    if (sscanf(dir->msg, runbefore, cmd) != 1) {
 425       pm_strcpy(jcr->errmsg, dir->msg);
 426       Jmsg1(jcr, M_FATAL, 0, _("Bad RunBeforeJob command: %s\n"), jcr->errmsg);
 427       bnet_fsend(dir, _("2905 Bad RunBeforeJob command.\n"));
 428       free_memory(cmd);
 429       return 0;
 430    }
 431    unbash_spaces(cmd);
 432
 433    /* Run the command now */
 434    ok = run_cmd(jcr, cmd, "ClientRunBeforeJob");
 435    free_memory(cmd);
 436    if (ok) {
 437       bnet_fsend(dir, OKRunBefore);
 438       return 1;
 439    } else {
 440       bnet_fsend(dir, _("2905 Bad RunBeforeJob command.\n"));
 441       return 0;
 442    }
 443 }
 444
 445 static int runafter_cmd(JCR *jcr)
 446 {
 447    BSOCK *dir = jcr->dir_bsock;
 448    POOLMEM *msg = get_memory(dir->msglen+1);
 449
 450    Dmsg1(100, "runafter_cmd: %s", dir->msg);
 451    if (sscanf(dir->msg, runafter, msg) != 1) {
 452       pm_strcpy(jcr->errmsg, dir->msg);
 453       Jmsg1(jcr, M_FATAL, 0, _("Bad RunAfter command: %s\n"), jcr->errmsg);
 454       bnet_fsend(dir, _("2905 Bad RunAfterJob command.\n"));
 455       free_memory(msg);
 456       return 0;
 457    }
 458    unbash_spaces(msg);
 459    if (jcr->RunAfterJob) {
 460       free_pool_memory(jcr->RunAfterJob);
 461    }
 462    jcr->RunAfterJob = get_pool_memory(PM_FNAME);
 463    pm_strcpy(jcr->RunAfterJob, msg);
 464    free_pool_memory(msg);
 465    return bnet_fsend(dir, OKRunAfter);
 466 }
 467
 468 static bool run_cmd(JCR *jcr, char *cmd, const char *name)
 469 {
 470    POOLMEM *ecmd = get_pool_memory(PM_FNAME);
 471    int status;
 472    BPIPE *bpipe;
 473    char line[MAXSTRING];
 474
 475    ecmd = edit_job_codes(jcr, ecmd, cmd, "");
 476    bpipe = open_bpipe(ecmd, 0, "r");
 477    free_pool_memory(ecmd);
 478    if (bpipe == NULL) {
 479       berrno be;
 480       Jmsg(jcr, M_FATAL, 0, _("%s could not execute. ERR=%s\n"), name,
 481          be.strerror());
 482       return false;
 483    }
 484    while (fgets(line, sizeof(line), bpipe->rfd)) {
 485       int len = strlen(line);
 486       if (len > 0 && line[len-1] == '\n') {
 487          line[len-1] = 0;
 488       }
 489       Jmsg(jcr, M_INFO, 0, _("%s: %s\n"), name, line);
 490    }
 491    status = close_bpipe(bpipe);
 492    if (status != 0) {
 493       berrno be;
 494       Jmsg(jcr, M_FATAL, 0, _("%s returned non-zero status=%d. ERR=%s\n"), name,
 495          status, be.strerror(status));
 496       return false;
 497    }
 498    return true;
 499 }
 500
 501 static bool init_fileset(JCR *jcr)
 502 {
 503    FF_PKT *ff;
 504    findFILESET *fileset;
 505
 506    if (!jcr->ff) {
 507       return false;
 508    }
 509    ff = jcr->ff;
 510    if (ff->fileset) {
 511       return false;
 512    }
 513    fileset = (findFILESET *)malloc(sizeof(findFILESET));
 514    memset(fileset, 0, sizeof(findFILESET));
 515    ff->fileset = fileset;
 516    fileset->state = state_none;
 517    fileset->include_list.init(1, true);
 518    fileset->exclude_list.init(1, true);
 519    return true;
 520 }
 521
 522 static findFOPTS *start_options(FF_PKT *ff)
 523 {
 524    int state = ff->fileset->state;
 525    findINCEXE *incexe = ff->fileset->incexe;
 526
 527    if (state != state_options) {
 528       ff->fileset->state = state_options;
 529       findFOPTS *fo = (findFOPTS *)malloc(sizeof(findFOPTS));
 530       memset(fo, 0, sizeof(findFOPTS));
 531       fo->regex.init(1, true);
 532       fo->regexdir.init(1, true);
 533       fo->regexfile.init(1, true);
 534       fo->wild.init(1, true);
 535       fo->wilddir.init(1, true);
 536       fo->wildfile.init(1, true);
 537       fo->base.init(1, true);
 538       fo->fstype.init(1, true);
 539       incexe->current_opts = fo;
 540       incexe->opts_list.append(fo);
 541    }
 542    return incexe->current_opts;
 543
 544 }
 545
 546 /*
 547  * Add fname to include/exclude fileset list. First check for
 548  * | and < and if necessary perform command.
 549  */
 550 static void add_file_to_fileset(JCR *jcr, const char *fname, findFILESET *fileset)
 551 {
 552    char *p;
 553    BPIPE *bpipe;
 554    POOLMEM *fn;
 555    FILE *ffd;
 556    char buf[1000];
 557    int ch;
 558    int stat;
 559
 560    p = (char *)fname;
 561    ch = (uint8_t)*p;
 562    switch (ch) {
 563    case '|':
 564       p++;                            /* skip over | */
 565       fn = get_pool_memory(PM_FNAME);
 566       fn = edit_job_codes(jcr, fn, p, "");
 567       bpipe = open_bpipe(fn, 0, "r");
 568       free_pool_memory(fn);
 569       if (!bpipe) {
 570          Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
 571             p, strerror(errno));
 572          return;
 573       }
 574       while (fgets(buf, sizeof(buf), bpipe->rfd)) {
 575          strip_trailing_junk(buf);
 576          fileset->incexe->name_list.append(bstrdup(buf));
 577       }
 578       if ((stat=close_bpipe(bpipe)) != 0) {
 579          Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
 580             p, stat, strerror(errno));
 581          return;
 582       }
 583       break;
 584    case '<':
 585       Dmsg0(100, "Doing < include on client.\n");
 586       p++;                      /* skip over < */
 587       if ((ffd = fopen(p, "r")) == NULL) {
 588          berrno be;
 589          Jmsg(jcr, M_FATAL, 0, _("Cannot open FileSet input file: %s. ERR=%s\n"),
 590             p, be.strerror());
 591          return;
 592       }
 593       while (fgets(buf, sizeof(buf), ffd)) {
 594          strip_trailing_junk(buf);
 595          Dmsg1(100, "%s\n", buf);
 596          fileset->incexe->name_list.append(bstrdup(buf));
 597       }
 598       fclose(ffd);
 599       break;
 600    default:
 601       fileset->incexe->name_list.append(bstrdup(fname));
 602       break;
 603    }
 604 }
 605
 606
 607 static void add_fileset(JCR *jcr, const char *item)
 608 {
 609    FF_PKT *ff = jcr->ff;
 610    findFILESET *fileset = ff->fileset;
 611    int state = fileset->state;
 612    findFOPTS *current_opts;
 613
 614    /* Get code, optional subcode, and position item past the dividing space */
 615    Dmsg1(100, "%s\n", item);
 616    int code = item[0];
 617    if (code != '\0') {
 618       ++item;
 619    }
 620    int subcode = ' ';               /* A space is always a valid subcode */
 621    if (item[0] != '\0' && item[0] != ' ') {
 622       subcode = item[0];
 623       ++item;
 624    }
 625    if (*item == ' ') {
 626       ++item;
 627    }
 628
 629    /* Skip all lines we receive after an error */
 630    if (state == state_error) {
 631       return;
 632    }
 633
 634    /*
 635     * The switch tests the code for validity.
 636     * The subcode is always good if it is a space, otherwise we must confirm.
 637     * We set state to state_error first assuming the subcode is invalid,
 638     * requiring state to be set in cases below that handle subcodes.
 639     */
 640    if (subcode != ' ') {
 641       state = state_error;
 642    }
 643    switch (code) {
 644    case 'I':
 645       /* New include */
 646       fileset->incexe = (findINCEXE *)malloc(sizeof(findINCEXE));
 647       memset(fileset->incexe, 0, sizeof(findINCEXE));
 648       fileset->incexe->opts_list.init(1, true);
 649       fileset->incexe->name_list.init(1, true);
 650       fileset->include_list.append(fileset->incexe);
 651       break;
 652    case 'E':
 653       /* New exclude */
 654       fileset->incexe = (findINCEXE *)malloc(sizeof(findINCEXE));
 655       memset(fileset->incexe, 0, sizeof(findINCEXE));
 656       fileset->incexe->opts_list.init(1, true);
 657       fileset->incexe->name_list.init(1, true);
 658       fileset->exclude_list.append(fileset->incexe);
 659       break;
 660    case 'N':
 661       state = state_none;
 662       break;
 663    case 'F':
 664       /* File item to either include/include list */
 665       state = state_include;
 666       add_file_to_fileset(jcr, item, fileset);
 667       break;
 668    case 'R':
 669       current_opts = start_options(ff);
 670       regex_t *preg;
 671       int rc;
 672       char prbuf[500];
 673       preg = (regex_t *)malloc(sizeof(regex_t));
 674       if (current_opts->flags & FO_IGNORECASE) {
 675          rc = regcomp(preg, item, REG_EXTENDED|REG_ICASE);
 676       } else {
 677          rc = regcomp(preg, item, REG_EXTENDED);
 678       }
 679       if (rc != 0) {
 680          regerror(rc, preg, prbuf, sizeof(prbuf));
 681          regfree(preg);
 682          free(preg);
 683          Jmsg(jcr, M_FATAL, 0, _("REGEX %s compile error. ERR=%s\n"), item, prbuf);
 684          state = state_error;
 685          break;
 686       }
 687       state = state_options;
 688       if (subcode == ' ') {
 689          current_opts->regex.append(preg);
 690       } else if (subcode == 'D') {
 691          current_opts->regexdir.append(preg);
 692       } else if (subcode == 'F') {
 693          current_opts->regexfile.append(preg);
 694       } else {
 695          state = state_error;
 696       }
 697       break;
 698    case 'B':
 699       current_opts = start_options(ff);
 700       current_opts->base.append(bstrdup(item));
 701       state = state_options;
 702       break;
 703    case 'X':
 704       current_opts = start_options(ff);
 705       current_opts->fstype.append(bstrdup(item));
 706       state = state_options;
 707       break;
 708    case 'W':
 709       current_opts = start_options(ff);
 710       state = state_options;
 711       if (subcode == ' ') {
 712          current_opts->wild.append(bstrdup(item));
 713       } else if (subcode == 'D') {
 714          current_opts->wilddir.append(bstrdup(item));
 715       } else if (subcode == 'F') {
 716          current_opts->wildfile.append(bstrdup(item));
 717       } else {
 718          state = state_error;
 719       }
 720       break;
 721    case 'O':
 722       current_opts = start_options(ff);
 723       set_options(current_opts, item);
 724       state = state_options;
 725       break;
 726    case 'D':
 727       current_opts = start_options(ff);
 728       current_opts->reader = bstrdup(item);
 729       state = state_options;
 730       break;
 731    case 'T':
 732       current_opts = start_options(ff);
 733       current_opts->writer = bstrdup(item);
 734       state = state_options;
 735       break;
 736    default:
 737       Jmsg(jcr, M_FATAL, 0, _("Invalid FileSet command: %s\n"), item);
 738       state = state_error;
 739       break;
 740    }
 741    ff->fileset->state = state;
 742 }
 743
 744 static bool term_fileset(JCR *jcr)
 745 {
 746    FF_PKT *ff = jcr->ff;
 747    findFILESET *fileset = ff->fileset;
 748    int i, j, k;
 749
 750    for (i=0; i<fileset->include_list.size(); i++) {
 751       findINCEXE *incexe = (findINCEXE *)fileset->include_list.get(i);
 752       Dmsg0(400, "I\n");
 753       for (j=0; j<incexe->opts_list.size(); j++) {
 754          findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 755          for (k=0; k<fo->regex.size(); k++) {
 756             Dmsg1(400, "R %s\n", (char *)fo->regex.get(k));
 757          }
 758          for (k=0; k<fo->regexdir.size(); k++) {
 759             Dmsg1(400, "RD %s\n", (char *)fo->regexdir.get(k));
 760          }
 761          for (k=0; k<fo->regexfile.size(); k++) {
 762             Dmsg1(400, "RF %s\n", (char *)fo->regexfile.get(k));
 763          }
 764          for (k=0; k<fo->wild.size(); k++) {
 765             Dmsg1(400, "W %s\n", (char *)fo->wild.get(k));
 766          }
 767          for (k=0; k<fo->wilddir.size(); k++) {
 768             Dmsg1(400, "WD %s\n", (char *)fo->wilddir.get(k));
 769          }
 770          for (k=0; k<fo->wildfile.size(); k++) {
 771             Dmsg1(400, "WF %s\n", (char *)fo->wildfile.get(k));
 772          }
 773          for (k=0; k<fo->base.size(); k++) {
 774             Dmsg1(400, "B %s\n", (char *)fo->base.get(k));
 775          }
 776          for (k=0; k<fo->fstype.size(); k++) {
 777             Dmsg1(400, "X %s\n", (char *)fo->fstype.get(k));
 778          }
 779          if (fo->reader) {
 780             Dmsg1(400, "D %s\n", fo->reader);
 781          }
 782          if (fo->writer) {
 783             Dmsg1(400, "T %s\n", fo->writer);
 784          }
 785       }
 786       for (j=0; j<incexe->name_list.size(); j++) {
 787          Dmsg1(400, "F %s\n", (char *)incexe->name_list.get(j));
 788       }
 789    }
 790    for (i=0; i<fileset->exclude_list.size(); i++) {
 791       findINCEXE *incexe = (findINCEXE *)fileset->exclude_list.get(i);
 792       Dmsg0(400, "E\n");
 793       for (j=0; j<incexe->opts_list.size(); j++) {
 794          findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 795          for (k=0; k<fo->regex.size(); k++) {
 796             Dmsg1(400, "R %s\n", (char *)fo->regex.get(k));
 797          }
 798          for (k=0; k<fo->regexdir.size(); k++) {
 799             Dmsg1(400, "RD %s\n", (char *)fo->regexdir.get(k));
 800          }
 801          for (k=0; k<fo->regexfile.size(); k++) {
 802             Dmsg1(400, "RF %s\n", (char *)fo->regexfile.get(k));
 803          }
 804          for (k=0; k<fo->wild.size(); k++) {
 805             Dmsg1(400, "W %s\n", (char *)fo->wild.get(k));
 806          }
 807          for (k=0; k<fo->wilddir.size(); k++) {
 808             Dmsg1(400, "WD %s\n", (char *)fo->wilddir.get(k));
 809          }
 810          for (k=0; k<fo->wildfile.size(); k++) {
 811             Dmsg1(400, "WF %s\n", (char *)fo->wildfile.get(k));
 812          }
 813          for (k=0; k<fo->base.size(); k++) {
 814             Dmsg1(400, "B %s\n", (char *)fo->base.get(k));
 815          }
 816          for (k=0; k<fo->fstype.size(); k++) {
 817             Dmsg1(400, "X %s\n", (char *)fo->fstype.get(k));
 818          }
 819       }
 820       for (j=0; j<incexe->name_list.size(); j++) {
 821          Dmsg1(400, "F %s\n", (char *)incexe->name_list.get(j));
 822       }
 823    }
 824    return ff->fileset->state != state_error;
 825 }
 826
 827
 828 /*
 829  * As an optimization, we should do this during
 830  *  "compile" time in filed/job.c, and keep only a bit mask
 831  *  and the Verify options.
 832  */
 833 static void set_options(findFOPTS *fo, const char *opts)
 834 {
 835    int j;
 836    const char *p;
 837
 838    for (p=opts; *p; p++) {
 839       switch (*p) {
 840       case 'a':                 /* alway replace */
 841       case '0':                 /* no option */
 842          break;
 843       case 'e':
 844          fo->flags |= FO_EXCLUDE;
 845          break;
 846       case 'f':
 847          fo->flags |= FO_MULTIFS;
 848          break;
 849       case 'h':                 /* no recursion */
 850          fo->flags |= FO_NO_RECURSION;
 851          break;
 852       case 'H':                 /* no hard link handling */
 853          fo->flags |= FO_NO_HARDLINK;
 854          break;
 855       case 'i':
 856          fo->flags |= FO_IGNORECASE;
 857          break;
 858       case 'M':                 /* MD5 */
 859          fo->flags |= FO_MD5;
 860          break;
 861       case 'n':
 862          fo->flags |= FO_NOREPLACE;
 863          break;
 864       case 'p':                 /* use portable data format */
 865          fo->flags |= FO_PORTABLE;
 866          break;
 867       case 'R':                 /* Resource forks and Finder Info */
 868          fo->flags |= FO_HFSPLUS;
 869       case 'r':                 /* read fifo */
 870          fo->flags |= FO_READFIFO;
 871          break;
 872       case 'S':
 873          switch(*(p + 1)) {
 874          case ' ':
 875             /* Old director did not specify SHA variant */
 876             fo->flags |= FO_SHA1;
 877             break;
 878          case '1':
 879             fo->flags |= FO_SHA1;
 880             p++;
 881             break;
 882 #ifdef HAVE_SHA2
 883          case '2':
 884             fo->flags |= FO_SHA256;
 885             p++;
 886             break;
 887          case '3':
 888             fo->flags |= FO_SHA512;
 889             p++;
 890             break;
 891 #endif
 892          default:
 893             /* Automatically downgrade to SHA-1 if an unsupported
 894              * SHA variant is specified */
 895             fo->flags |= FO_SHA1;
 896             p++;
 897             break;
 898          }
 899          break;
 900       case 's':
 901          fo->flags |= FO_SPARSE;
 902          break;
 903       case 'm':
 904          fo->flags |= FO_MTIMEONLY;
 905          break;
 906       case 'k':
 907          fo->flags |= FO_KEEPATIME;
 908          break;
 909       case 'A':
 910          fo->flags |= FO_ACL;
 911          break;
 912       case 'V':                  /* verify options */
 913          /* Copy Verify Options */
 914          for (j=0; *p && *p != ':'; p++) {
 915             fo->VerifyOpts[j] = *p;
 916             if (j < (int)sizeof(fo->VerifyOpts) - 1) {
 917                j++;
 918             }
 919          }
 920          fo->VerifyOpts[j] = 0;
 921          break;
 922       case 'w':
 923          fo->flags |= FO_IF_NEWER;
 924          break;
 925       case 'Z':                 /* gzip compression */
 926          fo->flags |= FO_GZIP;
 927          fo->GZIP_level = *++p - '0';
 928          Dmsg1(200, "Compression level=%d\n", fo->GZIP_level);
 929          break;
 930       default:
 931          Emsg1(M_ERROR, 0, _("Unknown include/exclude option: %c\n"), *p);
 932          break;
 933       }
 934    }
 935 }
 936
 937
 938 /*
 939  * Director is passing his Fileset
 940  */
 941 static int fileset_cmd(JCR *jcr)
 942 {
 943    BSOCK *dir = jcr->dir_bsock;
 944    int vss = 0;
 945
 946    sscanf(dir->msg, "fileset vss=%d", &vss);
 947    enable_vss = vss;
 948
 949    if (!init_fileset(jcr)) {
 950       return 0;
 951    }
 952    while (bnet_recv(dir) >= 0) {
 953       strip_trailing_junk(dir->msg);
 954       Dmsg1(400, "Fileset: %s\n", dir->msg);
 955       add_fileset(jcr, dir->msg);
 956    }
 957    if (!term_fileset(jcr)) {
 958       return 0;
 959    }
 960    return bnet_fsend(dir, OKinc);
 961 }
 962
 963 static void free_bootstrap(JCR *jcr)
 964 {
 965    if (jcr->RestoreBootstrap) {
 966       unlink(jcr->RestoreBootstrap);
 967       free_pool_memory(jcr->RestoreBootstrap);
 968       jcr->RestoreBootstrap = NULL;
 969    }
 970 }
 971
 972
 973 /*
 974  * The Director sends us the bootstrap file, which
 975  *   we will in turn pass to the SD.
 976  */
 977 static int bootstrap_cmd(JCR *jcr)
 978 {
 979    BSOCK *dir = jcr->dir_bsock;
 980    POOLMEM *fname = get_pool_memory(PM_FNAME);
 981    FILE *bs;
 982
 983    free_bootstrap(jcr);
 984    Mmsg(fname, "%s/%s.%s.bootstrap", me->working_directory, me->hdr.name,
 985       jcr->Job);
 986    Dmsg1(400, "bootstrap=%s\n", fname);
 987    jcr->RestoreBootstrap = fname;
 988    bs = fopen(fname, "a+");           /* create file */
 989    if (!bs) {
 990       berrno be;
 991       Jmsg(jcr, M_FATAL, 0, _("Could not create bootstrap file %s: ERR=%s\n"),
 992          jcr->RestoreBootstrap, be.strerror());
 993       /*
 994        * Suck up what he is sending to us so that he will then
 995        *   read our error message.
 996        */
 997       while (bnet_recv(dir) >= 0)
 998         {  }
 999       free_bootstrap(jcr);
1000       set_jcr_job_status(jcr, JS_ErrorTerminated);
1001       return 0;
1002    }
1003
1004    while (bnet_recv(dir) >= 0) {
1005        Dmsg1(200, "filed<dird: bootstrap file %s\n", dir->msg);
1006        fputs(dir->msg, bs);
1007    }
1008    fclose(bs);
1009    /*
1010     * Note, do not free the bootstrap yet -- it needs to be
1011     *  sent to the SD
1012     */
1013    return bnet_fsend(dir, OKbootstrap);
1014 }
1015
1016
1017 /*
1018  * Get backup level from Director
1019  *
1020  */
1021 static int level_cmd(JCR *jcr)
1022 {
1023    BSOCK *dir = jcr->dir_bsock;
1024    POOLMEM *level, *buf = NULL;
1025    int mtime_only;
1026
1027    level = get_memory(dir->msglen+1);
1028    Dmsg1(110, "level_cmd: %s", dir->msg);
1029    if (sscanf(dir->msg, "level = %s ", level) != 1) {
1030       goto bail_out;
1031    }
1032    /* Base backup requested? */
1033    if (strcmp(level, "base") == 0) {
1034       jcr->JobLevel = L_BASE;
1035    /* Full backup requested? */
1036    } else if (strcmp(level, "full") == 0) {
1037       jcr->JobLevel = L_FULL;
1038    } else if (strcmp(level, "differential") == 0) {
1039       jcr->JobLevel = L_DIFFERENTIAL;
1040       free_memory(level);
1041       return 1;
1042    } else if (strcmp(level, "incremental") == 0) {
1043       jcr->JobLevel = L_INCREMENTAL;
1044       free_memory(level);
1045       return 1;
1046    /*
1047     * We get his UTC since time, then sync the clocks and correct it
1048     *   to agree with our clock.
1049     */
1050    } else if (strcmp(level, "since_utime") == 0) {
1051       buf = get_memory(dir->msglen+1);
1052       utime_t since_time, adj;
1053       btime_t his_time, bt_start, rt=0, bt_adj=0;
1054       if (jcr->JobLevel == L_NONE) {
1055          jcr->JobLevel = L_SINCE;     /* if no other job level set, do it now */
1056       }
1057       if (sscanf(dir->msg, "level = since_utime %s mtime_only=%d",
1058                  buf, &mtime_only) != 2) {
1059          goto bail_out;
1060       }
1061       since_time = str_to_uint64(buf);  /* this is the since time */
1062       char ed1[50], ed2[50];
1063       /*
1064        * Sync clocks by polling him for the time. We take
1065        *   10 samples of his time throwing out the first two.
1066        */
1067       for (int i=0; i<10; i++) {
1068          bt_start = get_current_btime();
1069          bnet_sig(dir, BNET_BTIME);   /* poll for time */
1070          if (bnet_recv(dir) <= 0) {   /* get response */
1071             goto bail_out;
1072          }
1073          if (sscanf(dir->msg, "btime %s", buf) != 1) {
1074             goto bail_out;
1075          }
1076          if (i < 2) {                 /* toss first two results */
1077             continue;
1078          }
1079          his_time = str_to_uint64(buf);
1080          rt = get_current_btime() - bt_start; /* compute round trip time */
1081          bt_adj -= his_time - bt_start - rt/2;
1082          Dmsg2(200, "rt=%s adj=%s\n", edit_uint64(rt, ed1), edit_uint64(bt_adj, ed2));
1083       }
1084
1085       bt_adj = bt_adj / 8;            /* compute average time */
1086       Dmsg2(100, "rt=%s adj=%s\n", edit_uint64(rt, ed1), edit_uint64(bt_adj, ed2));
1087       adj = btime_to_utime(bt_adj);
1088       since_time += adj;              /* adjust for clock difference */
1089       if (adj != 0) {
1090          Jmsg(jcr, M_INFO, 0, _("DIR and FD clocks differ by %d seconds, FD automatically adjusting.\n"), adj);
1091       }
1092       bnet_sig(dir, BNET_EOD);
1093
1094       Dmsg2(100, "adj = %d since_time=%d\n", (int)adj, (int)since_time);
1095       jcr->incremental = 1;           /* set incremental or decremental backup */
1096       jcr->mtime = (time_t)since_time; /* set since time */
1097    } else {
1098       Jmsg1(jcr, M_FATAL, 0, _("Unknown backup level: %s\n"), level);
1099       free_memory(level);
1100       return 0;
1101    }
1102    free_memory(level);
1103    if (buf) {
1104       free_memory(buf);
1105    }
1106    return bnet_fsend(dir, OKlevel);
1107
1108 bail_out:
1109    pm_strcpy(jcr->errmsg, dir->msg);
1110    Jmsg1(jcr, M_FATAL, 0, _("Bad level command: %s\n"), jcr->errmsg);
1111    free_memory(level);
1112    if (buf) {
1113       free_memory(buf);
1114    }
1115    return 0;
1116 }
1117
1118 /*
1119  * Get session parameters from Director -- this is for a Restore command
1120  */
1121 static int session_cmd(JCR *jcr)
1122 {
1123    BSOCK *dir = jcr->dir_bsock;
1124
1125    Dmsg1(100, "SessionCmd: %s", dir->msg);
1126    if (sscanf(dir->msg, sessioncmd, jcr->VolumeName,
1127               &jcr->VolSessionId, &jcr->VolSessionTime,
1128               &jcr->StartFile, &jcr->EndFile,
1129               &jcr->StartBlock, &jcr->EndBlock) != 7) {
1130       pm_strcpy(jcr->errmsg, dir->msg);
1131       Jmsg(jcr, M_FATAL, 0, _("Bad session command: %s"), jcr->errmsg);
1132       return 0;
1133    }
1134
1135    return bnet_fsend(dir, OKsession);
1136 }
1137
1138 /*
1139  * Get address of storage daemon from Director
1140  *
1141  */
1142 static int storage_cmd(JCR *jcr)
1143 {
1144    int stored_port;                /* storage daemon port */
1145    int enable_ssl;                 /* enable ssl to sd */
1146    BSOCK *dir = jcr->dir_bsock;
1147    BSOCK *sd;                         /* storage daemon bsock */
1148
1149    Dmsg1(100, "StorageCmd: %s", dir->msg);
1150    if (sscanf(dir->msg, storaddr, &jcr->stored_addr, &stored_port, &enable_ssl) != 3) {
1151       pm_strcpy(jcr->errmsg, dir->msg);
1152       Jmsg(jcr, M_FATAL, 0, _("Bad storage command: %s"), jcr->errmsg);
1153       return 0;
1154    }
1155    Dmsg3(110, "Open storage: %s:%d ssl=%d\n", jcr->stored_addr, stored_port, enable_ssl);
1156    /* Open command communications with Storage daemon */
1157    /* Try to connect for 1 hour at 10 second intervals */
1158    sd = bnet_connect(jcr, 10, (int)me->SDConnectTimeout, _("Storage daemon"),
1159                      jcr->stored_addr, NULL, stored_port, 1);
1160    if (sd == NULL) {
1161       Jmsg(jcr, M_FATAL, 0, _("Failed to connect to Storage daemon: %s:%d\n"),
1162           jcr->stored_addr, stored_port);
1163       Dmsg2(100, "Failed to connect to Storage daemon: %s:%d\n",
1164           jcr->stored_addr, stored_port);
1165       return 0;
1166    }
1167    Dmsg0(110, "Connection OK to SD.\n");
1168
1169    jcr->store_bsock = sd;
1170
1171    bnet_fsend(sd, "Hello Start Job %s\n", jcr->Job);
1172    if (!authenticate_storagedaemon(jcr)) {
1173       Jmsg(jcr, M_FATAL, 0, _("Failed to authenticate Storage daemon.\n"));
1174       return 0;
1175    }
1176    Dmsg0(110, "Authenticated with SD.\n");
1177
1178    /* Send OK to Director */
1179    return bnet_fsend(dir, OKstore);
1180 }
1181
1182
1183 /*
1184  * Do a backup. For now, we handle only Full and Incremental.
1185  */
1186 static int backup_cmd(JCR *jcr)
1187 {
1188    BSOCK *dir = jcr->dir_bsock;
1189    BSOCK *sd = jcr->store_bsock;
1190    int ok = 0;
1191    int SDJobStatus;
1192    char ed1[50], ed2[50];
1193
1194    set_jcr_job_status(jcr, JS_Blocked);
1195    jcr->JobType = JT_BACKUP;
1196    Dmsg1(100, "begin backup ff=%p\n", jcr->ff);
1197
1198    if (sd == NULL) {
1199       Jmsg(jcr, M_FATAL, 0, _("Cannot contact Storage daemon\n"));
1200       goto cleanup;
1201    }
1202
1203    bnet_fsend(dir, OKbackup);
1204    Dmsg1(110, "bfiled>dird: %s", dir->msg);
1205
1206    /*
1207     * Send Append Open Session to Storage daemon
1208     */
1209    bnet_fsend(sd, append_open);
1210    Dmsg1(110, ">stored: %s", sd->msg);
1211    /*
1212     * Expect to receive back the Ticket number
1213     */
1214    if (bget_msg(sd) >= 0) {
1215       Dmsg1(110, "<stored: %s", sd->msg);
1216       if (sscanf(sd->msg, OK_open, &jcr->Ticket) != 1) {
1217          Jmsg(jcr, M_FATAL, 0, _("Bad response to append open: %s\n"), sd->msg);
1218          goto cleanup;
1219       }
1220       Dmsg1(110, "Got Ticket=%d\n", jcr->Ticket);
1221    } else {
1222       Jmsg(jcr, M_FATAL, 0, _("Bad response from stored to open command\n"));
1223       goto cleanup;
1224    }
1225
1226    /*
1227     * Send Append data command to Storage daemon
1228     */
1229    bnet_fsend(sd, append_data, jcr->Ticket);
1230    Dmsg1(110, ">stored: %s", sd->msg);
1231
1232    /*
1233     * Expect to get OK data
1234     */
1235    Dmsg1(110, "<stored: %s", sd->msg);
1236    if (!response(jcr, sd, OK_data, "Append Data")) {
1237       goto cleanup;
1238    }
1239
1240    generate_daemon_event(jcr, "JobStart");
1241
1242 #ifdef WIN32_VSS
1243    /* START VSS ON WIN 32 */
1244    if (g_pVSSClient && enable_vss) {
1245       if (g_pVSSClient->InitializeForBackup()) {
1246          /* tell vss which drives to snapshot */
1247          char szWinDriveLetters[27];
1248          if (get_win32_driveletters(jcr->ff, szWinDriveLetters)) {
1249             Jmsg(jcr, M_INFO, 0, _("Generate VSS snapshots. Driver=\"%s\", Drive(s)=\"%s\"\n"), g_pVSSClient->GetDriverName(), szWinDriveLetters);
1250             if (!g_pVSSClient->CreateSnapshots(szWinDriveLetters)) {
1251                berrno be;
1252                Jmsg(jcr, M_WARNING, 0, _("Generate VSS snapshots failed. ERR=%s\n"),
1253                   be.strerror());
1254             } else {
1255                /* tell user if snapshot creation of a specific drive failed */
1256                size_t i;
1257                for (i=0; i<strlen (szWinDriveLetters); i++) {
1258                   if (islower(szWinDriveLetters[i])) {
1259                      Jmsg(jcr, M_WARNING, 0, _("Generate VSS snapshot of drive \"%c:\\\" failed\n"), szWinDriveLetters[i]);
1260                   }
1261                }
1262                /* inform user about writer states */
1263                for (i=0; i<g_pVSSClient->GetWriterCount(); i++) {
1264                   int msg_type = M_INFO;
1265                   if (g_pVSSClient->GetWriterState(i) < 0) {
1266                      msg_type = M_WARNING;
1267                   }
1268                   Jmsg(jcr, msg_type, 0, _("VSS Writer: %s\n"), g_pVSSClient->GetWriterInfo(i));
1269                }
1270             }
1271          } else {
1272             Jmsg(jcr, M_INFO, 0, _("No drive letters found for generating VSS snapshots.\n"));
1273          }
1274       } else {
1275          Jmsg(jcr, M_WARNING, 0, _("VSS was not initialized properly. VSS support is disabled.\n"));
1276       }
1277    }
1278 #endif
1279
1280    /*
1281     * Send Files to Storage daemon
1282     */
1283    Dmsg1(110, "begin blast ff=%p\n", (FF_PKT *)jcr->ff);
1284    if (!blast_data_to_storage_daemon(jcr, NULL)) {
1285       set_jcr_job_status(jcr, JS_ErrorTerminated);
1286       bnet_suppress_error_messages(sd, 1);
1287       bget_msg(sd);                   /* Read final response from append_data */
1288       Dmsg0(110, "Error in blast_data.\n");
1289    } else {
1290       set_jcr_job_status(jcr, JS_Terminated);
1291       if (jcr->JobStatus != JS_Terminated) {
1292          bnet_suppress_error_messages(sd, 1);
1293          goto cleanup;                /* bail out now */
1294       }
1295       /*
1296        * Expect to get response to append_data from Storage daemon
1297        */
1298       if (!response(jcr, sd, OK_append, "Append Data")) {
1299          set_jcr_job_status(jcr, JS_ErrorTerminated);
1300          goto cleanup;
1301       }
1302
1303       /*
1304        * Send Append End Data to Storage daemon
1305        */
1306       bnet_fsend(sd, append_end, jcr->Ticket);
1307       /* Get end OK */
1308       if (!response(jcr, sd, OK_end, "Append End")) {
1309          set_jcr_job_status(jcr, JS_ErrorTerminated);
1310          goto cleanup;
1311       }
1312
1313       /*
1314        * Send Append Close to Storage daemon
1315        */
1316       bnet_fsend(sd, append_close, jcr->Ticket);
1317       while (bget_msg(sd) >= 0) {    /* stop on signal or error */
1318          if (sscanf(sd->msg, OK_close, &SDJobStatus) == 1) {
1319             ok = 1;
1320             Dmsg2(200, "SDJobStatus = %d %c\n", SDJobStatus, (char)SDJobStatus);
1321          }
1322       }
1323       if (!ok) {
1324          Jmsg(jcr, M_FATAL, 0, _("Append Close with SD failed.\n"));
1325          goto cleanup;
1326       }
1327       if (SDJobStatus != JS_Terminated) {
1328          Jmsg(jcr, M_FATAL, 0, _("Bad status %d returned from Storage Daemon.\n"),
1329             SDJobStatus);
1330       }
1331    }
1332
1333 cleanup:
1334 #ifdef WIN32_VSS
1335    /* STOP VSS ON WIN 32 */
1336    /* tell vss to close the backup session */
1337    if (g_pVSSClient && enable_vss == 1)
1338       g_pVSSClient->CloseBackup();
1339 #endif
1340
1341    bnet_fsend(dir, EndJob, jcr->JobStatus, jcr->JobFiles,
1342       edit_uint64(jcr->ReadBytes, ed1),
1343       edit_uint64(jcr->JobBytes, ed2), jcr->Errors);
1344    Dmsg1(110, "End FD msg: %s\n", dir->msg);
1345
1346    return 0;                          /* return and stop command loop */
1347 }
1348
1349 /*
1350  * Do a Verify for Director
1351  *
1352  */
1353 static int verify_cmd(JCR *jcr)
1354 {
1355    BSOCK *dir = jcr->dir_bsock;
1356    BSOCK *sd  = jcr->store_bsock;
1357    char level[100], ed1[50], ed2[50];
1358
1359    jcr->JobType = JT_VERIFY;
1360    if (sscanf(dir->msg, verifycmd, level) != 1) {
1361       bnet_fsend(dir, _("2994 Bad verify command: %s\n"), dir->msg);
1362       return 0;
1363    }
1364
1365    if (strcasecmp(level, "init") == 0) {
1366       jcr->JobLevel = L_VERIFY_INIT;
1367    } else if (strcasecmp(level, "catalog") == 0){
1368       jcr->JobLevel = L_VERIFY_CATALOG;
1369    } else if (strcasecmp(level, "volume") == 0){
1370       jcr->JobLevel = L_VERIFY_VOLUME_TO_CATALOG;
1371    } else if (strcasecmp(level, "data") == 0){
1372       jcr->JobLevel = L_VERIFY_DATA;
1373    } else if (strcasecmp(level, "disk_to_catalog") == 0) {
1374       jcr->JobLevel = L_VERIFY_DISK_TO_CATALOG;
1375    } else {
1376       bnet_fsend(dir, _("2994 Bad verify level: %s\n"), dir->msg);
1377       return 0;
1378    }
1379
1380    bnet_fsend(dir, OKverify);
1381
1382    generate_daemon_event(jcr, "JobStart");
1383
1384    Dmsg1(110, "bfiled>dird: %s", dir->msg);
1385
1386    switch (jcr->JobLevel) {
1387    case L_VERIFY_INIT:
1388    case L_VERIFY_CATALOG:
1389       do_verify(jcr);
1390       break;
1391    case L_VERIFY_VOLUME_TO_CATALOG:
1392       if (!open_sd_read_session(jcr)) {
1393          return 0;
1394       }
1395       start_dir_heartbeat(jcr);
1396       do_verify_volume(jcr);
1397       stop_dir_heartbeat(jcr);
1398       /*
1399        * Send Close session command to Storage daemon
1400        */
1401       bnet_fsend(sd, read_close, jcr->Ticket);
1402       Dmsg1(130, "bfiled>stored: %s", sd->msg);
1403
1404       /* ****FIXME**** check response */
1405       bget_msg(sd);                      /* get OK */
1406
1407       /* Inform Storage daemon that we are done */
1408       bnet_sig(sd, BNET_TERMINATE);
1409
1410       break;
1411    case L_VERIFY_DISK_TO_CATALOG:
1412       do_verify(jcr);
1413       break;
1414    default:
1415       bnet_fsend(dir, _("2994 Bad verify level: %s\n"), dir->msg);
1416       return 0;
1417    }
1418
1419    bnet_sig(dir, BNET_EOD);
1420
1421    /* Send termination status back to Dir */
1422    bnet_fsend(dir, EndJob, jcr->JobStatus, jcr->JobFiles,
1423       edit_uint64(jcr->ReadBytes, ed1),
1424       edit_uint64(jcr->JobBytes, ed2), jcr->Errors);
1425
1426    /* Inform Director that we are done */
1427    bnet_sig(dir, BNET_TERMINATE);
1428    return 0;                          /* return and terminate command loop */
1429 }
1430
1431 /*
1432  * Do a Restore for Director
1433  *
1434  */
1435 static int restore_cmd(JCR *jcr)
1436 {
1437    BSOCK *dir = jcr->dir_bsock;
1438    BSOCK *sd = jcr->store_bsock;
1439    POOLMEM *where;
1440    int prefix_links;
1441    char replace;
1442    char ed1[50], ed2[50];
1443
1444    /*
1445     * Scan WHERE (base directory for restore) from command
1446     */
1447    Dmsg0(150, "restore command\n");
1448    /* Pickup where string */
1449    where = get_memory(dir->msglen+1);
1450    *where = 0;
1451
1452    if (sscanf(dir->msg, restorecmd, &replace, &prefix_links, where) != 3) {
1453       if (sscanf(dir->msg, restorecmd1, &replace, &prefix_links) != 2) {
1454          pm_strcpy(jcr->errmsg, dir->msg);
1455          Jmsg(jcr, M_FATAL, 0, _("Bad replace command. CMD=%s\n"), jcr->errmsg);
1456          return 0;
1457       }
1458       *where = 0;
1459    }
1460    /* Turn / into nothing */
1461    if (where[0] == '/' && where[1] == 0) {
1462       where[0] = 0;
1463    }
1464
1465    Dmsg2(150, "Got replace %c, where=%s\n", replace, where);
1466    unbash_spaces(where);
1467    jcr->where = bstrdup(where);
1468    free_pool_memory(where);
1469    jcr->replace = replace;
1470    jcr->prefix_links = prefix_links;
1471
1472    bnet_fsend(dir, OKrestore);
1473    Dmsg1(110, "bfiled>dird: %s", dir->msg);
1474
1475    jcr->JobType = JT_RESTORE;
1476
1477    set_jcr_job_status(jcr, JS_Blocked);
1478
1479    if (!open_sd_read_session(jcr)) {
1480       set_jcr_job_status(jcr, JS_ErrorTerminated);
1481       goto bail_out;
1482    }
1483
1484    set_jcr_job_status(jcr, JS_Running);
1485
1486    /*
1487     * Do restore of files and data
1488     */
1489    start_dir_heartbeat(jcr);
1490    generate_daemon_event(jcr, "JobStart");
1491    do_restore(jcr);
1492    stop_dir_heartbeat(jcr);
1493
1494    set_jcr_job_status(jcr, JS_Terminated);
1495    if (jcr->JobStatus != JS_Terminated) {
1496       bnet_suppress_error_messages(sd, 1);
1497    }
1498
1499    /*
1500     * Send Close session command to Storage daemon
1501     */
1502    bnet_fsend(sd, read_close, jcr->Ticket);
1503    Dmsg1(130, "bfiled>stored: %s", sd->msg);
1504
1505    bget_msg(sd);                      /* get OK */
1506
1507    /* Inform Storage daemon that we are done */
1508    bnet_sig(sd, BNET_TERMINATE);
1509
1510 bail_out:
1511
1512    if (jcr->Errors) {
1513       set_jcr_job_status(jcr, JS_ErrorTerminated);
1514    }
1515    /* Send termination status back to Dir */
1516    bnet_fsend(dir, EndJob, jcr->JobStatus, jcr->JobFiles,
1517       edit_uint64(jcr->ReadBytes, ed1),
1518       edit_uint64(jcr->JobBytes, ed2), jcr->Errors);
1519
1520    /* Inform Director that we are done */
1521    bnet_sig(dir, BNET_TERMINATE);
1522
1523    Dmsg0(130, "Done in job.c\n");
1524    return 0;                          /* return and terminate command loop */
1525 }
1526
1527 static int open_sd_read_session(JCR *jcr)
1528 {
1529    BSOCK *sd = jcr->store_bsock;
1530
1531    if (!sd) {
1532       Jmsg(jcr, M_FATAL, 0, _("Improper calling sequence.\n"));
1533       return 0;
1534    }
1535    Dmsg4(120, "VolSessId=%ld VolsessT=%ld SF=%ld EF=%ld\n",
1536       jcr->VolSessionId, jcr->VolSessionTime, jcr->StartFile, jcr->EndFile);
1537    Dmsg2(120, "JobId=%d vol=%s\n", jcr->JobId, "DummyVolume");
1538    /*
1539     * Open Read Session with Storage daemon
1540     */
1541    bnet_fsend(sd, read_open, "DummyVolume",
1542       jcr->VolSessionId, jcr->VolSessionTime, jcr->StartFile, jcr->EndFile,
1543       jcr->StartBlock, jcr->EndBlock);
1544    Dmsg1(110, ">stored: %s", sd->msg);
1545
1546    /*
1547     * Get ticket number
1548     */
1549    if (bget_msg(sd) >= 0) {
1550       Dmsg1(110, "bfiled<stored: %s", sd->msg);
1551       if (sscanf(sd->msg, OK_open, &jcr->Ticket) != 1) {
1552          Jmsg(jcr, M_FATAL, 0, _("Bad response to SD read open: %s\n"), sd->msg);
1553          return 0;
1554       }
1555       Dmsg1(110, "bfiled: got Ticket=%d\n", jcr->Ticket);
1556    } else {
1557       Jmsg(jcr, M_FATAL, 0, _("Bad response from stored to read open command\n"));
1558       return 0;
1559    }
1560
1561    if (!send_bootstrap_file(jcr)) {
1562       return 0;
1563    }
1564
1565    /*
1566     * Start read of data with Storage daemon
1567     */
1568    bnet_fsend(sd, read_data, jcr->Ticket);
1569    Dmsg1(110, ">stored: %s", sd->msg);
1570
1571    /*
1572     * Get OK data
1573     */
1574    if (!response(jcr, sd, OK_data, "Read Data")) {
1575       return 0;
1576    }
1577    return 1;
1578 }
1579
1580 /*
1581  * Destroy the Job Control Record and associated
1582  * resources (sockets).
1583  */
1584 static void filed_free_jcr(JCR *jcr)
1585 {
1586    if (jcr->store_bsock) {
1587       bnet_close(jcr->store_bsock);
1588    }
1589    free_bootstrap(jcr);
1590    if (jcr->last_fname) {
1591       free_pool_memory(jcr->last_fname);
1592    }
1593    if (jcr->RunAfterJob) {
1594       free_pool_memory(jcr->RunAfterJob);
1595    }
1596
1597
1598    return;
1599 }
1600
1601 /*
1602  * Get response from Storage daemon to a command we
1603  * sent. Check that the response is OK.
1604  *
1605  *  Returns: 0 on failure
1606  *           1 on success
1607  */
1608 int response(JCR *jcr, BSOCK *sd, char *resp, const char *cmd)
1609 {
1610    if (sd->errors) {
1611       return 0;
1612    }
1613    if (bget_msg(sd) > 0) {
1614       Dmsg0(110, sd->msg);
1615       if (strcmp(sd->msg, resp) == 0) {
1616          return 1;
1617       }
1618    }
1619    if (job_canceled(jcr)) {
1620       return 0;                       /* if canceled avoid useless error messages */
1621    }
1622    if (is_bnet_error(sd)) {
1623       Jmsg2(jcr, M_FATAL, 0, _("Comm error with SD. bad response to %s. ERR=%s\n"),
1624          cmd, bnet_strerror(sd));
1625    } else {
1626       Jmsg3(jcr, M_FATAL, 0, _("Bad response to %s command. Wanted %s, got %s\n"),
1627          cmd, resp, sd->msg);
1628    }
1629    return 0;
1630 }
1631
1632 static int send_bootstrap_file(JCR *jcr)
1633 {
1634    FILE *bs;
1635    char buf[2000];
1636    BSOCK *sd = jcr->store_bsock;
1637    const char *bootstrap = "bootstrap\n";
1638    int stat = 0;
1639
1640    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
1641    if (!jcr->RestoreBootstrap) {
1642       return 1;
1643    }
1644    bs = fopen(jcr->RestoreBootstrap, "r");
1645    if (!bs) {
1646       berrno be;
1647       Jmsg(jcr, M_FATAL, 0, _("Could not open bootstrap file %s: ERR=%s\n"),
1648          jcr->RestoreBootstrap, be.strerror());
1649       set_jcr_job_status(jcr, JS_ErrorTerminated);
1650       goto bail_out;
1651    }
1652    sd->msglen = pm_strcpy(sd->msg, bootstrap);
1653    bnet_send(sd);
1654    while (fgets(buf, sizeof(buf), bs)) {
1655       sd->msglen = Mmsg(sd->msg, "%s", buf);
1656       bnet_send(sd);
1657    }
1658    bnet_sig(sd, BNET_EOD);
1659    fclose(bs);
1660    if (!response(jcr, sd, OKSDbootstrap, "Bootstrap")) {
1661       set_jcr_job_status(jcr, JS_ErrorTerminated);
1662       goto bail_out;
1663    }
1664    stat = 1;
1665
1666 bail_out:
1667    free_bootstrap(jcr);
1668    return stat;
1669 }