git.sur5r.net Git - bacula/bacula/blob - bacula/src/filed/job.c

   1 /*
   2  *  Bacula File Daemon Job processing
   3  *
   4  *    Kern Sibbald, October MM
   5  *
   6  *   Version $Id$
   7  *
   8  */
   9 /*
  10    Copyright (C) 2000-2005 Kern Sibbald
  11
  12    This program is free software; you can redistribute it and/or
  13    modify it under the terms of the GNU General Public License as
  14    published by the Free Software Foundation; either version 2 of
  15    the License, or (at your option) any later version.
  16
  17    This program is distributed in the hope that it will be useful,
  18    but WITHOUT ANY WARRANTY; without even the implied warranty of
  19    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  20    General Public License for more details.
  21
  22    You should have received a copy of the GNU General Public
  23    License along with this program; if not, write to the Free
  24    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  25    MA 02111-1307, USA.
  26
  27  */
  28
  29 #include "bacula.h"
  30 #include "filed.h"
  31
  32 #ifdef WIN32_VSS
  33 #include "vss.h"
  34 #endif
  35
  36 extern char my_name[];
  37 extern CLIENT *me;                    /* our client resource */
  38
  39 /* Imported functions */
  40 extern int status_cmd(JCR *jcr);
  41 extern int qstatus_cmd(JCR *jcr);
  42
  43 /* Forward referenced functions */
  44 static int backup_cmd(JCR *jcr);
  45 static int bootstrap_cmd(JCR *jcr);
  46 static int cancel_cmd(JCR *jcr);
  47 static int setdebug_cmd(JCR *jcr);
  48 static int estimate_cmd(JCR *jcr);
  49 static int hello_cmd(JCR *jcr);
  50 static int job_cmd(JCR *jcr);
  51 static int fileset_cmd(JCR *jcr);
  52 static int level_cmd(JCR *jcr);
  53 static int verify_cmd(JCR *jcr);
  54 static int restore_cmd(JCR *jcr);
  55 static int storage_cmd(JCR *jcr);
  56 static int session_cmd(JCR *jcr);
  57 static int response(JCR *jcr, BSOCK *sd, char *resp, const char *cmd);
  58 static void filed_free_jcr(JCR *jcr);
  59 static int open_sd_read_session(JCR *jcr);
  60 static int send_bootstrap_file(JCR *jcr);
  61 static int runbefore_cmd(JCR *jcr);
  62 static int runafter_cmd(JCR *jcr);
  63 static bool run_cmd(JCR *jcr, char *cmd, const char *name);
  64 static void set_options(findFOPTS *fo, const char *opts);
  65
  66
  67 /* Exported functions */
  68
  69 struct s_cmds {
  70    const char *cmd;
  71    int (*func)(JCR *);
  72    int monitoraccess; /* specify if monitors have access to this function */
  73 };
  74
  75 /*
  76  * The following are the recognized commands from the Director.
  77  */
  78 static struct s_cmds cmds[] = {
  79    {"backup",       backup_cmd,    0},
  80    {"cancel",       cancel_cmd,    0},
  81    {"setdebug=",    setdebug_cmd,  0},
  82    {"estimate",     estimate_cmd,  0},
  83    {"Hello",        hello_cmd,     1},
  84    {"fileset",      fileset_cmd,   0},
  85    {"JobId=",       job_cmd,       0},
  86    {"level = ",     level_cmd,     0},
  87    {"restore",      restore_cmd,   0},
  88    {"session",      session_cmd,   0},
  89    {"status",       status_cmd,    1},
  90    {".status",      qstatus_cmd,   1},
  91    {"storage ",     storage_cmd,   0},
  92    {"verify",       verify_cmd,    0},
  93    {"bootstrap",    bootstrap_cmd, 0},
  94    {"RunBeforeJob", runbefore_cmd, 0},
  95    {"RunAfterJob",  runafter_cmd,  0},
  96    {NULL,       NULL}                  /* list terminator */
  97 };
  98
  99 /* Commands received from director that need scanning */
 100 static char jobcmd[]      = "JobId=%d Job=%127s SDid=%d SDtime=%d Authorization=%100s";
 101 static char storaddr[]    = "storage address=%s port=%d ssl=%d\n";
 102 static char sessioncmd[]  = "session %127s %ld %ld %ld %ld %ld %ld\n";
 103 static char restorecmd[]  = "restore replace=%c prelinks=%d where=%s\n";
 104 static char restorecmd1[] = "restore replace=%c prelinks=%d where=\n";
 105 static char verifycmd[]   = "verify level=%30s\n";
 106 static char estimatecmd[] = "estimate listing=%d\n";
 107 static char runbefore[]   = "RunBeforeJob %s\n";
 108 static char runafter[]    = "RunAfterJob %s\n";
 109
 110 /* Responses sent to Director */
 111 static char errmsg[]      = "2999 Invalid command\n";
 112 static char no_auth[]     = "2998 No Authorization\n";
 113 static char illegal_cmd[] = "2997 Illegal command for a Director with Monitor directive enabled\n";
 114 static char OKinc[]       = "2000 OK include\n";
 115 static char OKest[]       = "2000 OK estimate files=%u bytes=%s\n";
 116 static char OKlevel[]     = "2000 OK level\n";
 117 static char OKbackup[]    = "2000 OK backup\n";
 118 static char OKbootstrap[] = "2000 OK bootstrap\n";
 119 static char OKverify[]    = "2000 OK verify\n";
 120 static char OKrestore[]   = "2000 OK restore\n";
 121 static char OKsession[]   = "2000 OK session\n";
 122 static char OKstore[]     = "2000 OK storage\n";
 123 static char OKjob[]       = "2000 OK Job %s,%s,%s";
 124 static char OKsetdebug[]  = "2000 OK setdebug=%d\n";
 125 static char BADjob[]      = "2901 Bad Job\n";
 126 static char EndJob[]      = "2800 End Job TermCode=%d JobFiles=%u ReadBytes=%s JobBytes=%s Errors=%u\n";
 127 static char OKRunBefore[] = "2000 OK RunBefore\n";
 128 static char OKRunAfter[]  = "2000 OK RunAfter\n";
 129
 130 /* Responses received from Storage Daemon */
 131 static char OK_end[]       = "3000 OK end\n";
 132 static char OK_close[]     = "3000 OK close Status = %d\n";
 133 static char OK_open[]      = "3000 OK open ticket = %d\n";
 134 static char OK_data[]      = "3000 OK data\n";
 135 static char OK_append[]    = "3000 OK append data\n";
 136 static char OKSDbootstrap[] = "3000 OK bootstrap\n";
 137
 138
 139 /* Commands sent to Storage Daemon */
 140 static char append_open[]  = "append open session\n";
 141 static char append_data[]  = "append data %d\n";
 142 static char append_end[]   = "append end session %d\n";
 143 static char append_close[] = "append close session %d\n";
 144 static char read_open[]    = "read open session = %s %ld %ld %ld %ld %ld %ld\n";
 145 static char read_data[]    = "read data %d\n";
 146 static char read_close[]   = "read close session %d\n";
 147
 148 /*
 149  * Accept requests from a Director
 150  *
 151  * NOTE! We are running as a separate thread
 152  *
 153  * Send output one line
 154  * at a time followed by a zero length transmission.
 155  *
 156  * Return when the connection is terminated or there
 157  * is an error.
 158  *
 159  * Basic task here is:
 160  *   Authenticate Director (during Hello command).
 161  *   Accept commands one at a time from the Director
 162  *     and execute them.
 163  *
 164  */
 165 void *handle_client_request(void *dirp)
 166 {
 167    int i;
 168    bool found, quit;
 169    JCR *jcr;
 170    BSOCK *dir = (BSOCK *)dirp;
 171
 172    jcr = new_jcr(sizeof(JCR), filed_free_jcr); /* create JCR */
 173    jcr->dir_bsock = dir;
 174    jcr->ff = init_find_files();
 175    jcr->start_time = time(NULL);
 176    jcr->last_fname = get_pool_memory(PM_FNAME);
 177    jcr->last_fname[0] = 0;
 178    jcr->client_name = get_memory(strlen(my_name) + 1);
 179    pm_strcpy(jcr->client_name, my_name);
 180    dir->jcr = jcr;
 181    enable_backup_privileges(NULL, 1 /* ignore_errors */);
 182
 183    /**********FIXME******* add command handler error code */
 184
 185    for (quit=false; !quit;) {
 186
 187       /* Read command */
 188       if (bnet_recv(dir) < 0) {
 189          break;               /* connection terminated */
 190       }
 191       dir->msg[dir->msglen] = 0;
 192       Dmsg1(100, "<dird: %s", dir->msg);
 193       found = false;
 194       for (i=0; cmds[i].cmd; i++) {
 195          if (strncmp(cmds[i].cmd, dir->msg, strlen(cmds[i].cmd)) == 0) {
 196             found = true;         /* indicate command found */
 197             if (!jcr->authenticated && cmds[i].func != hello_cmd) {
 198                bnet_fsend(dir, no_auth);
 199                bnet_sig(dir, BNET_EOD);
 200                break;
 201             }
 202             if ((jcr->authenticated) && (!cmds[i].monitoraccess) && (jcr->director->monitor)) {
 203                Dmsg1(100, "Command %s illegal.\n", cmds[i].cmd);
 204                bnet_fsend(dir, illegal_cmd);
 205                bnet_sig(dir, BNET_EOD);
 206                break;
 207             }
 208             Dmsg1(100, "Executing %s command.\n", cmds[i].cmd);
 209             if (!cmds[i].func(jcr)) {         /* do command */
 210                quit = true;         /* error or fully terminated, get out */
 211                Dmsg1(20, "Quit command loop. Canceled=%d\n", job_canceled(jcr));
 212             }
 213             break;
 214          }
 215       }
 216       if (!found) {              /* command not found */
 217          bnet_fsend(dir, errmsg);
 218          quit = true;
 219          break;
 220       }
 221    }
 222
 223    /* Inform Storage daemon that we are done */
 224    if (jcr->store_bsock) {
 225       bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 226    }
 227
 228    if (jcr->RunAfterJob && !job_canceled(jcr)) {
 229       run_cmd(jcr, jcr->RunAfterJob, "ClientRunAfterJob");
 230    }
 231    generate_daemon_event(jcr, "JobEnd");
 232
 233    dequeue_messages(jcr);             /* send any queued messages */
 234
 235    /* Inform Director that we are done */
 236    bnet_sig(dir, BNET_TERMINATE);
 237
 238    /* Clean up fileset */
 239    FF_PKT *ff = (FF_PKT *)jcr->ff;
 240    findFILESET *fileset = ff->fileset;
 241    if (fileset) {
 242       int i, j, k;
 243       /* Delete FileSet Include lists */
 244       for (i=0; i<fileset->include_list.size(); i++) {
 245          findINCEXE *incexe = (findINCEXE *)fileset->include_list.get(i);
 246          for (j=0; j<incexe->opts_list.size(); j++) {
 247             findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 248             for (k=0; k<fo->regex.size(); k++) {
 249                regfree((regex_t *)fo->regex.get(k));
 250             }
 251             fo->regex.destroy();
 252             fo->regexdir.destroy();
 253             fo->regexfile.destroy();
 254             fo->wild.destroy();
 255             fo->wilddir.destroy();
 256             fo->wildfile.destroy();
 257             fo->base.destroy();
 258             fo->fstype.destroy();
 259             if (fo->reader) {
 260                free(fo->reader);
 261             }
 262             if (fo->writer) {
 263                free(fo->writer);
 264             }
 265          }
 266          incexe->opts_list.destroy();
 267          incexe->name_list.destroy();
 268       }
 269       fileset->include_list.destroy();
 270
 271       /* Delete FileSet Exclude lists */
 272       for (i=0; i<fileset->exclude_list.size(); i++) {
 273          findINCEXE *incexe = (findINCEXE *)fileset->exclude_list.get(i);
 274          for (j=0; j<incexe->opts_list.size(); j++) {
 275             findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 276             fo->regex.destroy();
 277             fo->regexdir.destroy();
 278             fo->regexfile.destroy();
 279             fo->wild.destroy();
 280             fo->wilddir.destroy();
 281             fo->wildfile.destroy();
 282             fo->base.destroy();
 283             fo->fstype.destroy();
 284          }
 285          incexe->opts_list.destroy();
 286          incexe->name_list.destroy();
 287       }
 288       fileset->exclude_list.destroy();
 289       free(fileset);
 290    }
 291    ff->fileset = NULL;
 292    Dmsg0(100, "Calling term_find_files\n");
 293    term_find_files((FF_PKT *)jcr->ff);
 294    jcr->ff = NULL;
 295    Dmsg0(100, "Done with term_find_files\n");
 296    free_jcr(jcr);                     /* destroy JCR record */
 297    Dmsg0(100, "Done with free_jcr\n");
 298    return NULL;
 299 }
 300
 301 /*
 302  * Hello from Director he must identify himself and provide his
 303  *  password.
 304  */
 305 static int hello_cmd(JCR *jcr)
 306 {
 307    Dmsg0(120, "Calling Authenticate\n");
 308    if (!authenticate_director(jcr)) {
 309       return 0;
 310    }
 311    Dmsg0(120, "OK Authenticate\n");
 312    jcr->authenticated = true;
 313    return 1;
 314 }
 315
 316 /*
 317  * Cancel a Job
 318  */
 319 static int cancel_cmd(JCR *jcr)
 320 {
 321    BSOCK *dir = jcr->dir_bsock;
 322    char Job[MAX_NAME_LENGTH];
 323    JCR *cjcr;
 324
 325    if (sscanf(dir->msg, "cancel Job=%127s", Job) == 1) {
 326       if (!(cjcr=get_jcr_by_full_name(Job))) {
 327          bnet_fsend(dir, "2901 Job %s not found.\n", Job);
 328       } else {
 329          if (cjcr->store_bsock) {
 330             P(cjcr->mutex);
 331             cjcr->store_bsock->timed_out = 1;
 332             cjcr->store_bsock->terminated = 1;
 333 /*
 334  * #if !defined(HAVE_CYGWIN) && !defined(HAVE_WIN32)
 335  */
 336 #if !defined(HAVE_CYGWIN)
 337             pthread_kill(cjcr->my_thread_id, TIMEOUT_SIGNAL);
 338 #endif
 339             V(cjcr->mutex);
 340          }
 341          set_jcr_job_status(cjcr, JS_Canceled);
 342          free_jcr(cjcr);
 343          bnet_fsend(dir, _("2001 Job %s marked to be canceled.\n"), Job);
 344       }
 345    } else {
 346       bnet_fsend(dir, _("2902 Error scanning cancel command.\n"));
 347    }
 348    bnet_sig(dir, BNET_EOD);
 349    return 1;
 350 }
 351
 352
 353 /*
 354  * Set debug level as requested by the Director
 355  *
 356  */
 357 static int setdebug_cmd(JCR *jcr)
 358 {
 359    BSOCK *dir = jcr->dir_bsock;
 360    int level, trace_flag;
 361
 362    Dmsg1(110, "setdebug_cmd: %s", dir->msg);
 363    if (sscanf(dir->msg, "setdebug=%d trace=%d", &level, &trace_flag) != 2 || level < 0) {
 364       pm_strcpy(jcr->errmsg, dir->msg);
 365       bnet_fsend(dir, "2991 Bad setdebug command: %s\n", jcr->errmsg);
 366       return 0;
 367    }
 368    debug_level = level;
 369    set_trace(trace_flag);
 370    return bnet_fsend(dir, OKsetdebug, level);
 371 }
 372
 373
 374 static int estimate_cmd(JCR *jcr)
 375 {
 376    BSOCK *dir = jcr->dir_bsock;
 377    char ed2[50];
 378
 379    if (sscanf(dir->msg, estimatecmd, &jcr->listing) != 1) {
 380       pm_strcpy(jcr->errmsg, dir->msg);
 381       Jmsg(jcr, M_FATAL, 0, _("Bad estimate command: %s"), jcr->errmsg);
 382       bnet_fsend(dir, "2992 Bad estimate command.\n");
 383       return 0;
 384    }
 385    make_estimate(jcr);
 386    bnet_fsend(dir, OKest, jcr->num_files_examined,
 387       edit_uint64_with_commas(jcr->JobBytes, ed2));
 388    bnet_sig(dir, BNET_EOD);
 389    return 1;
 390 }
 391
 392 /*
 393  * Get JobId and Storage Daemon Authorization key from Director
 394  */
 395 static int job_cmd(JCR *jcr)
 396 {
 397    BSOCK *dir = jcr->dir_bsock;
 398    POOLMEM *sd_auth_key;
 399
 400    sd_auth_key = get_memory(dir->msglen);
 401    if (sscanf(dir->msg, jobcmd,  &jcr->JobId, jcr->Job,
 402               &jcr->VolSessionId, &jcr->VolSessionTime,
 403               sd_auth_key) != 5) {
 404       pm_strcpy(jcr->errmsg, dir->msg);
 405       Jmsg(jcr, M_FATAL, 0, _("Bad Job Command: %s"), jcr->errmsg);
 406       bnet_fsend(dir, BADjob);
 407       free_pool_memory(sd_auth_key);
 408       return 0;
 409    }
 410    jcr->sd_auth_key = bstrdup(sd_auth_key);
 411    free_pool_memory(sd_auth_key);
 412    Dmsg2(120, "JobId=%d Auth=%s\n", jcr->JobId, jcr->sd_auth_key);
 413    return bnet_fsend(dir, OKjob, HOST_OS, DISTNAME, DISTVER);
 414 }
 415
 416 static int runbefore_cmd(JCR *jcr)
 417 {
 418    bool ok;
 419    BSOCK *dir = jcr->dir_bsock;
 420    POOLMEM *cmd = get_memory(dir->msglen+1);
 421
 422    Dmsg1(100, "runbefore_cmd: %s", dir->msg);
 423    if (sscanf(dir->msg, runbefore, cmd) != 1) {
 424       pm_strcpy(jcr->errmsg, dir->msg);
 425       Jmsg1(jcr, M_FATAL, 0, _("Bad RunBeforeJob command: %s\n"), jcr->errmsg);
 426       bnet_fsend(dir, "2905 Bad RunBeforeJob command.\n");
 427       free_memory(cmd);
 428       return 0;
 429    }
 430    unbash_spaces(cmd);
 431
 432    /* Run the command now */
 433    ok = run_cmd(jcr, cmd, "ClientRunBeforeJob");
 434    free_memory(cmd);
 435    if (ok) {
 436       bnet_fsend(dir, OKRunBefore);
 437       return 1;
 438    } else {
 439       bnet_fsend(dir, "2905 Bad RunBeforeJob command.\n");
 440       return 0;
 441    }
 442 }
 443
 444 static int runafter_cmd(JCR *jcr)
 445 {
 446    BSOCK *dir = jcr->dir_bsock;
 447    POOLMEM *msg = get_memory(dir->msglen+1);
 448
 449    Dmsg1(100, "runafter_cmd: %s", dir->msg);
 450    if (sscanf(dir->msg, runafter, msg) != 1) {
 451       pm_strcpy(jcr->errmsg, dir->msg);
 452       Jmsg1(jcr, M_FATAL, 0, _("Bad RunAfter command: %s\n"), jcr->errmsg);
 453       bnet_fsend(dir, "2905 Bad RunAfterJob command.\n");
 454       free_memory(msg);
 455       return 0;
 456    }
 457    unbash_spaces(msg);
 458    if (jcr->RunAfterJob) {
 459       free_pool_memory(jcr->RunAfterJob);
 460    }
 461    jcr->RunAfterJob = get_pool_memory(PM_FNAME);
 462    pm_strcpy(jcr->RunAfterJob, msg);
 463    free_pool_memory(msg);
 464    return bnet_fsend(dir, OKRunAfter);
 465 }
 466
 467 static bool run_cmd(JCR *jcr, char *cmd, const char *name)
 468 {
 469    POOLMEM *ecmd = get_pool_memory(PM_FNAME);
 470    int status;
 471    BPIPE *bpipe;
 472    char line[MAXSTRING];
 473
 474    ecmd = edit_job_codes(jcr, ecmd, cmd, "");
 475    bpipe = open_bpipe(ecmd, 0, "r");
 476    free_pool_memory(ecmd);
 477    if (bpipe == NULL) {
 478       berrno be;
 479       Jmsg(jcr, M_FATAL, 0, _("%s could not execute. ERR=%s\n"), name,
 480          be.strerror());
 481       return false;
 482    }
 483    while (fgets(line, sizeof(line), bpipe->rfd)) {
 484       int len = strlen(line);
 485       if (len > 0 && line[len-1] == '\n') {
 486          line[len-1] = 0;
 487       }
 488       Jmsg(jcr, M_INFO, 0, _("%s: %s\n"), name, line);
 489    }
 490    status = close_bpipe(bpipe);
 491    if (status != 0) {
 492       berrno be;
 493       Jmsg(jcr, M_FATAL, 0, _("%s returned non-zero status=%d. ERR=%s\n"), name,
 494          status, be.strerror(status));
 495       return false;
 496    }
 497    return true;
 498 }
 499
 500 static bool init_fileset(JCR *jcr)
 501 {
 502    FF_PKT *ff;
 503    findFILESET *fileset;
 504
 505    if (!jcr->ff) {
 506       return false;
 507    }
 508    ff = (FF_PKT *)jcr->ff;
 509    if (ff->fileset) {
 510       return false;
 511    }
 512    fileset = (findFILESET *)malloc(sizeof(findFILESET));
 513    memset(fileset, 0, sizeof(findFILESET));
 514    ff->fileset = fileset;
 515    fileset->state = state_none;
 516    fileset->include_list.init(1, true);
 517    fileset->exclude_list.init(1, true);
 518    return true;
 519 }
 520
 521 static findFOPTS *start_options(FF_PKT *ff)
 522 {
 523    int state = ff->fileset->state;
 524    findINCEXE *incexe = ff->fileset->incexe;
 525
 526    if (state != state_options) {
 527       ff->fileset->state = state_options;
 528       findFOPTS *fo = (findFOPTS *)malloc(sizeof(findFOPTS));
 529       memset(fo, 0, sizeof(findFOPTS));
 530       fo->regex.init(1, true);
 531       fo->regexdir.init(1, true);
 532       fo->regexfile.init(1, true);
 533       fo->wild.init(1, true);
 534       fo->wilddir.init(1, true);
 535       fo->wildfile.init(1, true);
 536       fo->base.init(1, true);
 537       fo->fstype.init(1, true);
 538       incexe->current_opts = fo;
 539       incexe->opts_list.append(fo);
 540    }
 541    return incexe->current_opts;
 542
 543 }
 544
 545 /*
 546  * Add fname to include/exclude fileset list. First check for
 547  * | and < and if necessary perform command.
 548  */
 549 static void add_file_to_fileset(JCR *jcr, const char *fname, findFILESET *fileset)
 550 {
 551    char *p;
 552    BPIPE *bpipe;
 553    POOLMEM *fn;
 554    FILE *ffd;
 555    char buf[1000];
 556    int ch;
 557    int stat;
 558
 559    p = (char *)fname;
 560    ch = (uint8_t)*p;
 561    switch (ch) {
 562    case '|':
 563       p++;                            /* skip over | */
 564       fn = get_pool_memory(PM_FNAME);
 565       fn = edit_job_codes(jcr, fn, p, "");
 566       bpipe = open_bpipe(fn, 0, "r");
 567       free_pool_memory(fn);
 568       if (!bpipe) {
 569          Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
 570             p, strerror(errno));
 571          return;
 572       }
 573       while (fgets(buf, sizeof(buf), bpipe->rfd)) {
 574          strip_trailing_junk(buf);
 575          fileset->incexe->name_list.append(bstrdup(buf));
 576       }
 577       if ((stat=close_bpipe(bpipe)) != 0) {
 578          Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
 579             p, stat, strerror(errno));
 580          return;
 581       }
 582       break;
 583    case '<':
 584       Dmsg0(100, "Doing < include on client.\n");
 585       p++;                      /* skip over < */
 586       if ((ffd = fopen(p, "r")) == NULL) {
 587          berrno be;
 588          Jmsg(jcr, M_FATAL, 0, _("Cannot open FileSet input file: %s. ERR=%s\n"),
 589             p, be.strerror());
 590          return;
 591       }
 592       while (fgets(buf, sizeof(buf), ffd)) {
 593          strip_trailing_junk(buf);
 594          Dmsg1(100, "%s\n", buf);
 595          fileset->incexe->name_list.append(bstrdup(buf));
 596       }
 597       fclose(ffd);
 598       break;
 599    default:
 600       fileset->incexe->name_list.append(bstrdup(fname));
 601       break;
 602    }
 603 }
 604
 605
 606 static void add_fileset(JCR *jcr, const char *item)
 607 {
 608    FF_PKT *ff = (FF_PKT *)jcr->ff;
 609    findFILESET *fileset = ff->fileset;
 610    int state = fileset->state;
 611    findFOPTS *current_opts;
 612
 613    /* Get code, optional subcode, and position item past the dividing space */
 614    Dmsg1(100, "%s\n", item);
 615    int code = item[0];
 616    if (code != '\0') {
 617       ++item;
 618    }
 619    int subcode = ' ';               /* A space is always a valid subcode */
 620    if (item[0] != '\0' && item[0] != ' ') {
 621       subcode = item[0];
 622       ++item;
 623    }
 624    if (*item == ' ') {
 625       ++item;
 626    }
 627
 628    /* Skip all lines we receive after an error */
 629    if (state == state_error) {
 630       return;
 631    }
 632
 633    /*
 634     * The switch tests the code for validity.
 635     * The subcode is always good if it is a space, otherwise we must confirm.
 636     * We set state to state_error first assuming the subcode is invalid,
 637     * requiring state to be set in cases below that handle subcodes.
 638     */
 639    if (subcode != ' ') {
 640       state = state_error;
 641    }
 642    switch (code) {
 643    case 'I':
 644       /* New include */
 645       fileset->incexe = (findINCEXE *)malloc(sizeof(findINCEXE));
 646       memset(fileset->incexe, 0, sizeof(findINCEXE));
 647       fileset->incexe->opts_list.init(1, true);
 648       fileset->incexe->name_list.init(1, true);
 649       fileset->include_list.append(fileset->incexe);
 650       break;
 651    case 'E':
 652       /* New exclude */
 653       fileset->incexe = (findINCEXE *)malloc(sizeof(findINCEXE));
 654       memset(fileset->incexe, 0, sizeof(findINCEXE));
 655       fileset->incexe->opts_list.init(1, true);
 656       fileset->incexe->name_list.init(1, true);
 657       fileset->exclude_list.append(fileset->incexe);
 658       break;
 659    case 'N':
 660       state = state_none;
 661       break;
 662    case 'F':
 663       /* File item to either include/include list */
 664       state = state_include;
 665       add_file_to_fileset(jcr, item, fileset);
 666       break;
 667    case 'R':
 668       current_opts = start_options(ff);
 669       regex_t *preg;
 670       int rc;
 671       char prbuf[500];
 672       preg = (regex_t *)malloc(sizeof(regex_t));
 673       if (current_opts->flags & FO_IGNORECASE) {
 674          rc = regcomp(preg, item, REG_EXTENDED|REG_ICASE);
 675       } else {
 676          rc = regcomp(preg, item, REG_EXTENDED);
 677       }
 678       if (rc != 0) {
 679          regerror(rc, preg, prbuf, sizeof(prbuf));
 680          regfree(preg);
 681          free(preg);
 682          Jmsg(jcr, M_FATAL, 0, "REGEX %s compile error. ERR=%s\n", item, prbuf);
 683          state = state_error;
 684          break;
 685       }
 686       state = state_options;
 687       if (subcode == ' ') {
 688          current_opts->regex.append(preg);
 689       } else if (subcode == 'D') {
 690          current_opts->regexdir.append(preg);
 691       } else if (subcode == 'F') {
 692          current_opts->regexfile.append(preg);
 693       } else {
 694          state = state_error;
 695       }
 696       break;
 697    case 'B':
 698       current_opts = start_options(ff);
 699       current_opts->base.append(bstrdup(item));
 700       state = state_options;
 701       break;
 702    case 'X':
 703       current_opts = start_options(ff);
 704       current_opts->fstype.append(bstrdup(item));
 705       state = state_options;
 706       break;
 707    case 'W':
 708       current_opts = start_options(ff);
 709       state = state_options;
 710       if (subcode == ' ') {
 711          current_opts->wild.append(bstrdup(item));
 712       } else if (subcode == 'D') {
 713          current_opts->wilddir.append(bstrdup(item));
 714       } else if (subcode == 'F') {
 715          current_opts->wildfile.append(bstrdup(item));
 716       } else {
 717          state = state_error;
 718       }
 719       break;
 720    case 'O':
 721       current_opts = start_options(ff);
 722       set_options(current_opts, item);
 723       state = state_options;
 724       break;
 725    case 'D':
 726       current_opts = start_options(ff);
 727       current_opts->reader = bstrdup(item);
 728       state = state_options;
 729       break;
 730    case 'T':
 731       current_opts = start_options(ff);
 732       current_opts->writer = bstrdup(item);
 733       state = state_options;
 734       break;
 735    default:
 736       Jmsg(jcr, M_FATAL, 0, "Invalid FileSet command: %s\n", item);
 737       state = state_error;
 738       break;
 739    }
 740    ff->fileset->state = state;
 741 }
 742
 743 static bool term_fileset(JCR *jcr)
 744 {
 745    FF_PKT *ff = (FF_PKT *)jcr->ff;
 746    findFILESET *fileset = ff->fileset;
 747    int i, j, k;
 748
 749    for (i=0; i<fileset->include_list.size(); i++) {
 750       findINCEXE *incexe = (findINCEXE *)fileset->include_list.get(i);
 751       Dmsg0(400, "I\n");
 752       for (j=0; j<incexe->opts_list.size(); j++) {
 753          findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 754          for (k=0; k<fo->regex.size(); k++) {
 755             Dmsg1(400, "R %s\n", (char *)fo->regex.get(k));
 756          }
 757          for (k=0; k<fo->regexdir.size(); k++) {
 758             Dmsg1(400, "RD %s\n", (char *)fo->regexdir.get(k));
 759          }
 760          for (k=0; k<fo->regexfile.size(); k++) {
 761             Dmsg1(400, "RF %s\n", (char *)fo->regexfile.get(k));
 762          }
 763          for (k=0; k<fo->wild.size(); k++) {
 764             Dmsg1(400, "W %s\n", (char *)fo->wild.get(k));
 765          }
 766          for (k=0; k<fo->wilddir.size(); k++) {
 767             Dmsg1(400, "WD %s\n", (char *)fo->wilddir.get(k));
 768          }
 769          for (k=0; k<fo->wildfile.size(); k++) {
 770             Dmsg1(400, "WF %s\n", (char *)fo->wildfile.get(k));
 771          }
 772          for (k=0; k<fo->base.size(); k++) {
 773             Dmsg1(400, "B %s\n", (char *)fo->base.get(k));
 774          }
 775          for (k=0; k<fo->fstype.size(); k++) {
 776             Dmsg1(400, "X %s\n", (char *)fo->fstype.get(k));
 777          }
 778          if (fo->reader) {
 779             Dmsg1(400, "D %s\n", fo->reader);
 780          }
 781          if (fo->writer) {
 782             Dmsg1(400, "T %s\n", fo->writer);
 783          }
 784       }
 785       for (j=0; j<incexe->name_list.size(); j++) {
 786          Dmsg1(400, "F %s\n", (char *)incexe->name_list.get(j));
 787       }
 788    }
 789    for (i=0; i<fileset->exclude_list.size(); i++) {
 790       findINCEXE *incexe = (findINCEXE *)fileset->exclude_list.get(i);
 791       Dmsg0(400, "E\n");
 792       for (j=0; j<incexe->opts_list.size(); j++) {
 793          findFOPTS *fo = (findFOPTS *)incexe->opts_list.get(j);
 794          for (k=0; k<fo->regex.size(); k++) {
 795             Dmsg1(400, "R %s\n", (char *)fo->regex.get(k));
 796          }
 797          for (k=0; k<fo->regexdir.size(); k++) {
 798             Dmsg1(400, "RD %s\n", (char *)fo->regexdir.get(k));
 799          }
 800          for (k=0; k<fo->regexfile.size(); k++) {
 801             Dmsg1(400, "RF %s\n", (char *)fo->regexfile.get(k));
 802          }
 803          for (k=0; k<fo->wild.size(); k++) {
 804             Dmsg1(400, "W %s\n", (char *)fo->wild.get(k));
 805          }
 806          for (k=0; k<fo->wilddir.size(); k++) {
 807             Dmsg1(400, "WD %s\n", (char *)fo->wilddir.get(k));
 808          }
 809          for (k=0; k<fo->wildfile.size(); k++) {
 810             Dmsg1(400, "WF %s\n", (char *)fo->wildfile.get(k));
 811          }
 812          for (k=0; k<fo->base.size(); k++) {
 813             Dmsg1(400, "B %s\n", (char *)fo->base.get(k));
 814          }
 815          for (k=0; k<fo->fstype.size(); k++) {
 816             Dmsg1(400, "X %s\n", (char *)fo->fstype.get(k));
 817          }
 818       }
 819       for (j=0; j<incexe->name_list.size(); j++) {
 820          Dmsg1(400, "F %s\n", (char *)incexe->name_list.get(j));
 821       }
 822    }
 823    return ff->fileset->state != state_error;
 824 }
 825
 826
 827 /*
 828  * As an optimization, we should do this during
 829  *  "compile" time in filed/job.c, and keep only a bit mask
 830  *  and the Verify options.
 831  */
 832 static void set_options(findFOPTS *fo, const char *opts)
 833 {
 834    int j;
 835    const char *p;
 836
 837    for (p=opts; *p; p++) {
 838       switch (*p) {
 839       case 'a':                 /* alway replace */
 840       case '0':                 /* no option */
 841          break;
 842       case 'e':
 843          fo->flags |= FO_EXCLUDE;
 844          break;
 845       case 'f':
 846          fo->flags |= FO_MULTIFS;
 847          break;
 848       case 'h':                 /* no recursion */
 849          fo->flags |= FO_NO_RECURSION;
 850          break;
 851       case 'H':                 /* no hard link handling */
 852          fo->flags |= FO_NO_HARDLINK;
 853          break;
 854       case 'i':
 855          fo->flags |= FO_IGNORECASE;
 856          break;
 857       case 'M':                 /* MD5 */
 858          fo->flags |= FO_MD5;
 859          break;
 860       case 'n':
 861          fo->flags |= FO_NOREPLACE;
 862          break;
 863       case 'p':                 /* use portable data format */
 864          fo->flags |= FO_PORTABLE;
 865          break;
 866       case 'R':                 /* Resource forks and Finder Info */
 867          fo->flags |= FO_HFSPLUS;
 868       case 'r':                 /* read fifo */
 869          fo->flags |= FO_READFIFO;
 870          break;
 871       case 'S':
 872          fo->flags |= FO_SHA1;
 873          break;
 874       case 's':
 875          fo->flags |= FO_SPARSE;
 876          break;
 877       case 'm':
 878          fo->flags |= FO_MTIMEONLY;
 879          break;
 880       case 'k':
 881          fo->flags |= FO_KEEPATIME;
 882          break;
 883       case 'A':
 884          fo->flags |= FO_ACL;
 885          break;
 886       case 'V':                  /* verify options */
 887          /* Copy Verify Options */
 888          for (j=0; *p && *p != ':'; p++) {
 889             fo->VerifyOpts[j] = *p;
 890             if (j < (int)sizeof(fo->VerifyOpts) - 1) {
 891                j++;
 892             }
 893          }
 894          fo->VerifyOpts[j] = 0;
 895          break;
 896       case 'w':
 897          fo->flags |= FO_IF_NEWER;
 898          break;
 899       case 'Z':                 /* gzip compression */
 900          fo->flags |= FO_GZIP;
 901          fo->GZIP_level = *++p - '0';
 902          Dmsg1(200, "Compression level=%d\n", fo->GZIP_level);
 903          break;
 904       default:
 905          Emsg1(M_ERROR, 0, "Unknown include/exclude option: %c\n", *p);
 906          break;
 907       }
 908    }
 909 }
 910
 911
 912 /*
 913  * Director is passing his Fileset
 914  */
 915 static int fileset_cmd(JCR *jcr)
 916 {
 917    BSOCK *dir = jcr->dir_bsock;
 918
 919    if (!init_fileset(jcr)) {
 920       return 0;
 921    }
 922    while (bnet_recv(dir) >= 0) {
 923       strip_trailing_junk(dir->msg);
 924       Dmsg1(400, "Fileset: %s\n", dir->msg);
 925       add_fileset(jcr, dir->msg);
 926    }
 927    if (!term_fileset(jcr)) {
 928       return 0;
 929    }
 930    return bnet_fsend(dir, OKinc);
 931 }
 932
 933
 934 /*
 935  * The Director sends us the bootstrap file, which
 936  *   we will in turn pass to the SD.
 937  */
 938 static int bootstrap_cmd(JCR *jcr)
 939 {
 940    BSOCK *dir = jcr->dir_bsock;
 941    POOLMEM *fname = get_pool_memory(PM_FNAME);
 942    FILE *bs;
 943
 944    if (jcr->RestoreBootstrap) {
 945       unlink(jcr->RestoreBootstrap);
 946       free_pool_memory(jcr->RestoreBootstrap);
 947    }
 948    Mmsg(fname, "%s/%s.%s.bootstrap", me->working_directory, me->hdr.name,
 949       jcr->Job);
 950    Dmsg1(400, "bootstrap=%s\n", fname);
 951    jcr->RestoreBootstrap = fname;
 952    bs = fopen(fname, "a+");           /* create file */
 953    if (!bs) {
 954       berrno be;
 955       /*
 956        * Suck up what he is sending to us so that he will then
 957        *   read our error message.
 958        */
 959       while (bnet_recv(dir) >= 0)
 960         {  }
 961
 962       Jmsg(jcr, M_FATAL, 0, _("Could not create bootstrap file %s: ERR=%s\n"),
 963          jcr->RestoreBootstrap, be.strerror());
 964       free_pool_memory(jcr->RestoreBootstrap);
 965       jcr->RestoreBootstrap = NULL;
 966       set_jcr_job_status(jcr, JS_ErrorTerminated);
 967       return 0;
 968    }
 969
 970    while (bnet_recv(dir) >= 0) {
 971        Dmsg1(200, "filed<dird: bootstrap file %s\n", dir->msg);
 972        fputs(dir->msg, bs);
 973    }
 974    fclose(bs);
 975
 976    return bnet_fsend(dir, OKbootstrap);
 977 }
 978
 979
 980 /*
 981  * Get backup level from Director
 982  *
 983  */
 984 static int level_cmd(JCR *jcr)
 985 {
 986    BSOCK *dir = jcr->dir_bsock;
 987    POOLMEM *level, *buf = NULL;
 988    int mtime_only;
 989
 990    level = get_memory(dir->msglen+1);
 991    Dmsg1(110, "level_cmd: %s", dir->msg);
 992    if (sscanf(dir->msg, "level = %s ", level) != 1) {
 993       goto bail_out;
 994    }
 995    /* Base backup requested? */
 996    if (strcmp(level, "base") == 0) {
 997       jcr->JobLevel = L_BASE;
 998    /* Full backup requested? */
 999    } else if (strcmp(level, "full") == 0) {
1000       jcr->JobLevel = L_FULL;
1001    } else if (strcmp(level, "differential") == 0) {
1002       jcr->JobLevel = L_DIFFERENTIAL;
1003       free_memory(level);
1004       return 1;
1005    } else if (strcmp(level, "incremental") == 0) {
1006       jcr->JobLevel = L_INCREMENTAL;
1007       free_memory(level);
1008       return 1;
1009    /*
1010     * We get his UTC since time, then sync the clocks and correct it
1011     *   to agree with our clock.
1012     */
1013    } else if (strcmp(level, "since_utime") == 0) {
1014       buf = get_memory(dir->msglen+1);
1015       utime_t since_time, adj;
1016       btime_t his_time, bt_start, rt=0, bt_adj=0;
1017       if (jcr->JobLevel == L_NONE) {
1018          jcr->JobLevel = L_SINCE;     /* if no other job level set, do it now */
1019       }
1020       if (sscanf(dir->msg, "level = since_utime %s mtime_only=%d",
1021                  buf, &mtime_only) != 2) {
1022          goto bail_out;
1023       }
1024       since_time = str_to_uint64(buf);  /* this is the since time */
1025       char ed1[50], ed2[50];
1026       /*
1027        * Sync clocks by polling him for the time. We take
1028        *   10 samples of his time throwing out the first two.
1029        */
1030       for (int i=0; i<10; i++) {
1031          bt_start = get_current_btime();
1032          bnet_sig(dir, BNET_BTIME);   /* poll for time */
1033          if (bnet_recv(dir) <= 0) {   /* get response */
1034             goto bail_out;
1035          }
1036          if (sscanf(dir->msg, "btime %s", buf) != 1) {
1037             goto bail_out;
1038          }
1039          if (i < 2) {                 /* toss first two results */
1040             continue;
1041          }
1042          his_time = str_to_uint64(buf);
1043          rt = get_current_btime() - bt_start; /* compute round trip time */
1044          bt_adj -= his_time - bt_start - rt/2;
1045          Dmsg2(200, "rt=%s adj=%s\n", edit_uint64(rt, ed1), edit_uint64(bt_adj, ed2));
1046       }
1047
1048       bt_adj = bt_adj / 8;            /* compute average time */
1049       Dmsg2(100, "rt=%s adj=%s\n", edit_uint64(rt, ed1), edit_uint64(bt_adj, ed2));
1050       adj = btime_to_utime(bt_adj);
1051       since_time += adj;              /* adjust for clock difference */
1052       if (adj != 0) {
1053          Jmsg(jcr, M_INFO, 0, _("DIR and FD clocks differ by %d seconds, FD automatically adjusting.\n"), adj);
1054       }
1055       bnet_sig(dir, BNET_EOD);
1056
1057       Dmsg2(100, "adj = %d since_time=%d\n", (int)adj, (int)since_time);
1058       jcr->incremental = 1;           /* set incremental or decremental backup */
1059       jcr->mtime = (time_t)since_time; /* set since time */
1060    } else {
1061       Jmsg1(jcr, M_FATAL, 0, "Unknown backup level: %s\n", level);
1062       free_memory(level);
1063       return 0;
1064    }
1065    free_memory(level);
1066    if (buf) {
1067       free_memory(buf);
1068    }
1069    return bnet_fsend(dir, OKlevel);
1070
1071 bail_out:
1072    pm_strcpy(jcr->errmsg, dir->msg);
1073    Jmsg1(jcr, M_FATAL, 0, _("Bad level command: %s\n"), jcr->errmsg);
1074    free_memory(level);
1075    if (buf) {
1076       free_memory(buf);
1077    }
1078    return 0;
1079 }
1080
1081 /*
1082  * Get session parameters from Director -- this is for a Restore command
1083  */
1084 static int session_cmd(JCR *jcr)
1085 {
1086    BSOCK *dir = jcr->dir_bsock;
1087
1088    Dmsg1(100, "SessionCmd: %s", dir->msg);
1089    if (sscanf(dir->msg, sessioncmd, jcr->VolumeName,
1090               &jcr->VolSessionId, &jcr->VolSessionTime,
1091               &jcr->StartFile, &jcr->EndFile,
1092               &jcr->StartBlock, &jcr->EndBlock) != 7) {
1093       pm_strcpy(jcr->errmsg, dir->msg);
1094       Jmsg(jcr, M_FATAL, 0, "Bad session command: %s", jcr->errmsg);
1095       return 0;
1096    }
1097
1098    return bnet_fsend(dir, OKsession);
1099 }
1100
1101 /*
1102  * Get address of storage daemon from Director
1103  *
1104  */
1105 static int storage_cmd(JCR *jcr)
1106 {
1107    int stored_port;                /* storage daemon port */
1108    int enable_ssl;                 /* enable ssl to sd */
1109    BSOCK *dir = jcr->dir_bsock;
1110    BSOCK *sd;                         /* storage daemon bsock */
1111
1112    Dmsg1(100, "StorageCmd: %s", dir->msg);
1113    if (sscanf(dir->msg, storaddr, &jcr->stored_addr, &stored_port, &enable_ssl) != 3) {
1114       pm_strcpy(jcr->errmsg, dir->msg);
1115       Jmsg(jcr, M_FATAL, 0, _("Bad storage command: %s"), jcr->errmsg);
1116       return 0;
1117    }
1118    Dmsg3(110, "Open storage: %s:%d ssl=%d\n", jcr->stored_addr, stored_port, enable_ssl);
1119    /* Open command communications with Storage daemon */
1120    /* Try to connect for 1 hour at 10 second intervals */
1121    sd = bnet_connect(jcr, 10, (int)me->SDConnectTimeout, _("Storage daemon"),
1122                      jcr->stored_addr, NULL, stored_port, 1);
1123    if (sd == NULL) {
1124       Jmsg(jcr, M_FATAL, 0, _("Failed to connect to Storage daemon: %s:%d\n"),
1125           jcr->stored_addr, stored_port);
1126       Dmsg2(100, "Failed to connect to Storage daemon: %s:%d\n",
1127           jcr->stored_addr, stored_port);
1128       return 0;
1129    }
1130    Dmsg0(110, "Connection OK to SD.\n");
1131
1132    jcr->store_bsock = sd;
1133
1134    bnet_fsend(sd, "Hello Start Job %s\n", jcr->Job);
1135    if (!authenticate_storagedaemon(jcr)) {
1136       Jmsg(jcr, M_FATAL, 0, _("Failed to authenticate Storage daemon.\n"));
1137       return 0;
1138    }
1139    Dmsg0(110, "Authenticated with SD.\n");
1140
1141    /* Send OK to Director */
1142    return bnet_fsend(dir, OKstore);
1143 }
1144
1145
1146 /*
1147  * Do a backup. For now, we handle only Full and Incremental.
1148  */
1149 static int backup_cmd(JCR *jcr)
1150 {
1151    BSOCK *dir = jcr->dir_bsock;
1152    BSOCK *sd = jcr->store_bsock;
1153    int ok = 0;
1154    int SDJobStatus;
1155    char ed1[50], ed2[50];
1156
1157    set_jcr_job_status(jcr, JS_Blocked);
1158    jcr->JobType = JT_BACKUP;
1159    Dmsg1(100, "begin backup ff=%p\n", (FF_PKT *)jcr->ff);
1160
1161    if (sd == NULL) {
1162       Jmsg(jcr, M_FATAL, 0, _("Cannot contact Storage daemon\n"));
1163       goto cleanup;
1164    }
1165
1166    bnet_fsend(dir, OKbackup);
1167    Dmsg1(110, "bfiled>dird: %s", dir->msg);
1168
1169    /*
1170     * Send Append Open Session to Storage daemon
1171     */
1172    bnet_fsend(sd, append_open);
1173    Dmsg1(110, ">stored: %s", sd->msg);
1174    /*
1175     * Expect to receive back the Ticket number
1176     */
1177    if (bget_msg(sd) >= 0) {
1178       Dmsg1(110, "<stored: %s", sd->msg);
1179       if (sscanf(sd->msg, OK_open, &jcr->Ticket) != 1) {
1180          Jmsg(jcr, M_FATAL, 0, _("Bad response to append open: %s\n"), sd->msg);
1181          goto cleanup;
1182       }
1183       Dmsg1(110, "Got Ticket=%d\n", jcr->Ticket);
1184    } else {
1185       Jmsg(jcr, M_FATAL, 0, _("Bad response from stored to open command\n"));
1186       goto cleanup;
1187    }
1188
1189    /*
1190     * Send Append data command to Storage daemon
1191     */
1192    bnet_fsend(sd, append_data, jcr->Ticket);
1193    Dmsg1(110, ">stored: %s", sd->msg);
1194
1195    /*
1196     * Expect to get OK data
1197     */
1198    Dmsg1(110, "<stored: %s", sd->msg);
1199    if (!response(jcr, sd, OK_data, "Append Data")) {
1200       goto cleanup;
1201    }
1202
1203    generate_daemon_event(jcr, "JobStart");
1204
1205 #ifdef WIN32_VSS
1206    /* START VSS ON WIN 32 */
1207    if (g_pVSSClient) {
1208       if (g_pVSSClient->InitializeForBackup()) {
1209          /* tell vss which drives to snapshot */
1210          char szWinDriveLetters[27];
1211          if (get_win32_driveletters((FF_PKT *)jcr->ff, szWinDriveLetters)) {
1212             Jmsg(jcr, M_INFO, 0, _("Generate VSS snapshots. Driver=%s, Drive(s)=%s\n"), g_pVSSClient->GetDriverName(), szWinDriveLetters);
1213
1214             if (!g_pVSSClient->CreateSnapshots(szWinDriveLetters)) {
1215                   Jmsg(jcr, M_WARNING, 0, _("Generate VSS snapshots failed\n"));
1216             }
1217             else {
1218                for (int i=0; i<strlen (szWinDriveLetters); i++) {
1219                   if (islower(szWinDriveLetters[i]))
1220                      Jmsg(jcr, M_WARNING, 0, _("Generate VSS snapshot of drive %c: failed\n"), szWinDriveLetters[i]);
1221                }
1222             }
1223          }
1224       } else {
1225          Jmsg(jcr, M_WARNING, 0, _("VSS was not initialized properly. VSS support is disabled."));
1226       }
1227
1228    }
1229 #endif
1230
1231    /*
1232     * Send Files to Storage daemon
1233     */
1234    Dmsg1(110, "begin blast ff=%p\n", (FF_PKT *)jcr->ff);
1235    if (!blast_data_to_storage_daemon(jcr, NULL)) {
1236       set_jcr_job_status(jcr, JS_ErrorTerminated);
1237       bnet_suppress_error_messages(sd, 1);
1238       bget_msg(sd);                   /* Read final response from append_data */
1239       Dmsg0(110, "Error in blast_data.\n");
1240    } else {
1241       set_jcr_job_status(jcr, JS_Terminated);
1242       if (jcr->JobStatus != JS_Terminated) {
1243          bnet_suppress_error_messages(sd, 1);
1244          goto cleanup;                /* bail out now */
1245       }
1246       /*
1247        * Expect to get response to append_data from Storage daemon
1248        */
1249       if (!response(jcr, sd, OK_append, "Append Data")) {
1250          set_jcr_job_status(jcr, JS_ErrorTerminated);
1251          goto cleanup;
1252       }
1253
1254       /*
1255        * Send Append End Data to Storage daemon
1256        */
1257       bnet_fsend(sd, append_end, jcr->Ticket);
1258       /* Get end OK */
1259       if (!response(jcr, sd, OK_end, "Append End")) {
1260          set_jcr_job_status(jcr, JS_ErrorTerminated);
1261          goto cleanup;
1262       }
1263
1264       /*
1265        * Send Append Close to Storage daemon
1266        */
1267       bnet_fsend(sd, append_close, jcr->Ticket);
1268       while (bget_msg(sd) >= 0) {    /* stop on signal or error */
1269          if (sscanf(sd->msg, OK_close, &SDJobStatus) == 1) {
1270             ok = 1;
1271             Dmsg2(200, "SDJobStatus = %d %c\n", SDJobStatus, (char)SDJobStatus);
1272          }
1273       }
1274       if (!ok) {
1275          Jmsg(jcr, M_FATAL, 0, _("Append Close with SD failed.\n"));
1276          goto cleanup;
1277       }
1278       if (SDJobStatus != JS_Terminated) {
1279          Jmsg(jcr, M_FATAL, 0, _("Bad status %d returned from Storage Daemon.\n"),
1280             SDJobStatus);
1281       }
1282    }
1283
1284 cleanup:
1285 #ifdef WIN32_VSS
1286    /* tell vss to close the backup session */
1287    if (g_pVSSClient)
1288       g_pVSSClient->CloseBackup();
1289 #endif
1290
1291    bnet_fsend(dir, EndJob, jcr->JobStatus, jcr->JobFiles,
1292       edit_uint64(jcr->ReadBytes, ed1),
1293       edit_uint64(jcr->JobBytes, ed2), jcr->Errors);
1294    Dmsg1(110, "End FD msg: %s\n", dir->msg);
1295
1296    /* STOP VSS ON WIN 32 */
1297    return 0;                          /* return and stop command loop */
1298 }
1299
1300 /*
1301  * Do a Verify for Director
1302  *
1303  */
1304 static int verify_cmd(JCR *jcr)
1305 {
1306    BSOCK *dir = jcr->dir_bsock;
1307    BSOCK *sd  = jcr->store_bsock;
1308    char level[100], ed1[50], ed2[50];
1309
1310    jcr->JobType = JT_VERIFY;
1311    if (sscanf(dir->msg, verifycmd, level) != 1) {
1312       bnet_fsend(dir, "2994 Bad verify command: %s\n", dir->msg);
1313       return 0;
1314    }
1315
1316    if (strcasecmp(level, "init") == 0) {
1317       jcr->JobLevel = L_VERIFY_INIT;
1318    } else if (strcasecmp(level, "catalog") == 0){
1319       jcr->JobLevel = L_VERIFY_CATALOG;
1320    } else if (strcasecmp(level, "volume") == 0){
1321       jcr->JobLevel = L_VERIFY_VOLUME_TO_CATALOG;
1322    } else if (strcasecmp(level, "data") == 0){
1323       jcr->JobLevel = L_VERIFY_DATA;
1324    } else if (strcasecmp(level, "disk_to_catalog") == 0) {
1325       jcr->JobLevel = L_VERIFY_DISK_TO_CATALOG;
1326    } else {
1327       bnet_fsend(dir, "2994 Bad verify level: %s\n", dir->msg);
1328       return 0;
1329    }
1330
1331    bnet_fsend(dir, OKverify);
1332
1333    generate_daemon_event(jcr, "JobStart");
1334
1335    Dmsg1(110, "bfiled>dird: %s", dir->msg);
1336
1337    switch (jcr->JobLevel) {
1338    case L_VERIFY_INIT:
1339    case L_VERIFY_CATALOG:
1340       do_verify(jcr);
1341       break;
1342    case L_VERIFY_VOLUME_TO_CATALOG:
1343       if (!open_sd_read_session(jcr)) {
1344          return 0;
1345       }
1346       start_dir_heartbeat(jcr);
1347       do_verify_volume(jcr);
1348       stop_dir_heartbeat(jcr);
1349       /*
1350        * Send Close session command to Storage daemon
1351        */
1352       bnet_fsend(sd, read_close, jcr->Ticket);
1353       Dmsg1(130, "bfiled>stored: %s", sd->msg);
1354
1355       /* ****FIXME**** check response */
1356       bget_msg(sd);                      /* get OK */
1357
1358       /* Inform Storage daemon that we are done */
1359       bnet_sig(sd, BNET_TERMINATE);
1360
1361       break;
1362    case L_VERIFY_DISK_TO_CATALOG:
1363       do_verify(jcr);
1364       break;
1365    default:
1366       bnet_fsend(dir, "2994 Bad verify level: %s\n", dir->msg);
1367       return 0;
1368    }
1369
1370    bnet_sig(dir, BNET_EOD);
1371
1372    /* Send termination status back to Dir */
1373    bnet_fsend(dir, EndJob, jcr->JobStatus, jcr->JobFiles,
1374       edit_uint64(jcr->ReadBytes, ed1),
1375       edit_uint64(jcr->JobBytes, ed2), jcr->Errors);
1376
1377    /* Inform Director that we are done */
1378    bnet_sig(dir, BNET_TERMINATE);
1379    return 0;                          /* return and terminate command loop */
1380 }
1381
1382 /*
1383  * Do a Restore for Director
1384  *
1385  */
1386 static int restore_cmd(JCR *jcr)
1387 {
1388    BSOCK *dir = jcr->dir_bsock;
1389    BSOCK *sd = jcr->store_bsock;
1390    POOLMEM *where;
1391    int prefix_links;
1392    char replace;
1393    char ed1[50], ed2[50];
1394
1395    /*
1396     * Scan WHERE (base directory for restore) from command
1397     */
1398    Dmsg0(150, "restore command\n");
1399    /* Pickup where string */
1400    where = get_memory(dir->msglen+1);
1401    *where = 0;
1402
1403    if (sscanf(dir->msg, restorecmd, &replace, &prefix_links, where) != 3) {
1404       if (sscanf(dir->msg, restorecmd1, &replace, &prefix_links) != 2) {
1405          pm_strcpy(jcr->errmsg, dir->msg);
1406          Jmsg(jcr, M_FATAL, 0, _("Bad replace command. CMD=%s\n"), jcr->errmsg);
1407          return 0;
1408       }
1409       *where = 0;
1410    }
1411    /* Turn / into nothing */
1412    if (where[0] == '/' && where[1] == 0) {
1413       where[0] = 0;
1414    }
1415
1416    Dmsg2(150, "Got replace %c, where=%s\n", replace, where);
1417    unbash_spaces(where);
1418    jcr->where = bstrdup(where);
1419    free_pool_memory(where);
1420    jcr->replace = replace;
1421    jcr->prefix_links = prefix_links;
1422
1423    bnet_fsend(dir, OKrestore);
1424    Dmsg1(110, "bfiled>dird: %s", dir->msg);
1425
1426    jcr->JobType = JT_RESTORE;
1427
1428    set_jcr_job_status(jcr, JS_Blocked);
1429
1430    if (!open_sd_read_session(jcr)) {
1431       set_jcr_job_status(jcr, JS_ErrorTerminated);
1432       goto bail_out;
1433    }
1434
1435    set_jcr_job_status(jcr, JS_Running);
1436
1437    /*
1438     * Do restore of files and data
1439     */
1440    start_dir_heartbeat(jcr);
1441    generate_daemon_event(jcr, "JobStart");
1442    do_restore(jcr);
1443    stop_dir_heartbeat(jcr);
1444
1445    set_jcr_job_status(jcr, JS_Terminated);
1446    if (jcr->JobStatus != JS_Terminated) {
1447       bnet_suppress_error_messages(sd, 1);
1448    }
1449
1450    /*
1451     * Send Close session command to Storage daemon
1452     */
1453    bnet_fsend(sd, read_close, jcr->Ticket);
1454    Dmsg1(130, "bfiled>stored: %s", sd->msg);
1455
1456    bget_msg(sd);                      /* get OK */
1457
1458    /* Inform Storage daemon that we are done */
1459    bnet_sig(sd, BNET_TERMINATE);
1460
1461 bail_out:
1462
1463    if (jcr->Errors) {
1464       set_jcr_job_status(jcr, JS_ErrorTerminated);
1465    }
1466    /* Send termination status back to Dir */
1467    bnet_fsend(dir, EndJob, jcr->JobStatus, jcr->JobFiles,
1468       edit_uint64(jcr->ReadBytes, ed1),
1469       edit_uint64(jcr->JobBytes, ed2), jcr->Errors);
1470
1471    /* Inform Director that we are done */
1472    bnet_sig(dir, BNET_TERMINATE);
1473
1474    Dmsg0(130, "Done in job.c\n");
1475    return 0;                          /* return and terminate command loop */
1476 }
1477
1478 static int open_sd_read_session(JCR *jcr)
1479 {
1480    BSOCK *sd = jcr->store_bsock;
1481
1482    if (!sd) {
1483       Jmsg(jcr, M_FATAL, 0, _("Improper calling sequence.\n"));
1484       return 0;
1485    }
1486    Dmsg4(120, "VolSessId=%ld VolsessT=%ld SF=%ld EF=%ld\n",
1487       jcr->VolSessionId, jcr->VolSessionTime, jcr->StartFile, jcr->EndFile);
1488    Dmsg2(120, "JobId=%d vol=%s\n", jcr->JobId, "DummyVolume");
1489    /*
1490     * Open Read Session with Storage daemon
1491     */
1492    bnet_fsend(sd, read_open, jcr->VolumeName,
1493       jcr->VolSessionId, jcr->VolSessionTime, jcr->StartFile, jcr->EndFile,
1494       jcr->StartBlock, jcr->EndBlock);
1495    Dmsg1(110, ">stored: %s", sd->msg);
1496
1497    /*
1498     * Get ticket number
1499     */
1500    if (bget_msg(sd) >= 0) {
1501       Dmsg1(110, "bfiled<stored: %s", sd->msg);
1502       if (sscanf(sd->msg, OK_open, &jcr->Ticket) != 1) {
1503          Jmsg(jcr, M_FATAL, 0, _("Bad response to SD read open: %s\n"), sd->msg);
1504          return 0;
1505       }
1506       Dmsg1(110, "bfiled: got Ticket=%d\n", jcr->Ticket);
1507    } else {
1508       Jmsg(jcr, M_FATAL, 0, _("Bad response from stored to read open command\n"));
1509       return 0;
1510    }
1511
1512    if (!send_bootstrap_file(jcr)) {
1513       return 0;
1514    }
1515
1516    /*
1517     * Start read of data with Storage daemon
1518     */
1519    bnet_fsend(sd, read_data, jcr->Ticket);
1520    Dmsg1(110, ">stored: %s", sd->msg);
1521
1522    /*
1523     * Get OK data
1524     */
1525    if (!response(jcr, sd, OK_data, "Read Data")) {
1526       return 0;
1527    }
1528    return 1;
1529 }
1530
1531 /*
1532  * Destroy the Job Control Record and associated
1533  * resources (sockets).
1534  */
1535 static void filed_free_jcr(JCR *jcr)
1536 {
1537    if (jcr->store_bsock) {
1538       bnet_close(jcr->store_bsock);
1539    }
1540    if (jcr->RestoreBootstrap) {
1541       unlink(jcr->RestoreBootstrap);
1542       free_pool_memory(jcr->RestoreBootstrap);
1543       jcr->RestoreBootstrap = NULL;
1544    }
1545    if (jcr->last_fname) {
1546       free_pool_memory(jcr->last_fname);
1547    }
1548    if (jcr->RunAfterJob) {
1549       free_pool_memory(jcr->RunAfterJob);
1550    }
1551
1552
1553    return;
1554 }
1555
1556 /*
1557  * Get response from Storage daemon to a command we
1558  * sent. Check that the response is OK.
1559  *
1560  *  Returns: 0 on failure
1561  *           1 on success
1562  */
1563 int response(JCR *jcr, BSOCK *sd, char *resp, const char *cmd)
1564 {
1565    if (sd->errors) {
1566       return 0;
1567    }
1568    if (bget_msg(sd) > 0) {
1569       Dmsg0(110, sd->msg);
1570       if (strcmp(sd->msg, resp) == 0) {
1571          return 1;
1572       }
1573    }
1574    if (job_canceled(jcr)) {
1575       return 0;                       /* if canceled avoid useless error messages */
1576    }
1577    if (is_bnet_error(sd)) {
1578       Jmsg2(jcr, M_FATAL, 0, _("Comm error with SD. bad response to %s. ERR=%s\n"),
1579          cmd, bnet_strerror(sd));
1580    } else {
1581       Jmsg3(jcr, M_FATAL, 0, _("Bad response to %s command. Wanted %s, got %s\n"),
1582          cmd, resp, sd->msg);
1583    }
1584    return 0;
1585 }
1586
1587 static int send_bootstrap_file(JCR *jcr)
1588 {
1589    FILE *bs;
1590    char buf[2000];
1591    BSOCK *sd = jcr->store_bsock;
1592    const char *bootstrap = "bootstrap\n";
1593    int stat = 0;
1594
1595    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
1596    if (!jcr->RestoreBootstrap) {
1597       return 1;
1598    }
1599    bs = fopen(jcr->RestoreBootstrap, "r");
1600    if (!bs) {
1601       berrno be;
1602       Jmsg(jcr, M_FATAL, 0, _("Could not open bootstrap file %s: ERR=%s\n"),
1603          jcr->RestoreBootstrap, be.strerror());
1604       set_jcr_job_status(jcr, JS_ErrorTerminated);
1605       goto bail_out;
1606    }
1607    sd->msglen = pm_strcpy(sd->msg, bootstrap);
1608    bnet_send(sd);
1609    while (fgets(buf, sizeof(buf), bs)) {
1610       sd->msglen = Mmsg(sd->msg, "%s", buf);
1611       bnet_send(sd);
1612    }
1613    bnet_sig(sd, BNET_EOD);
1614    fclose(bs);
1615    if (!response(jcr, sd, OKSDbootstrap, "Bootstrap")) {
1616       set_jcr_job_status(jcr, JS_ErrorTerminated);
1617       goto bail_out;
1618    }
1619    stat = 1;
1620
1621 bail_out:
1622    if (jcr->RestoreBootstrap) {
1623       unlink(jcr->RestoreBootstrap);
1624       free_pool_memory(jcr->RestoreBootstrap);
1625       jcr->RestoreBootstrap = NULL;
1626    }
1627
1628    return stat;
1629 }