git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/fd_cmds.c

   1 /*
   2  *
   3  *   Bacula Director -- fd_cmds.c -- send commands to File daemon
   4  *
   5  *     Kern Sibbald, October MM
   6  *
   7  *    This routine is run as a separate thread.  There may be more
   8  *    work to be done to make it totally reentrant!!!!
   9  *
  10  *  Utility functions for sending info to File Daemon.
  11  *   These functions are used by both backup and verify.
  12  *
  13  *   Version $Id$
  14  */
  15 /*
  16    Copyright (C) 2000-2004 Kern Sibbald and John Walker
  17
  18    This program is free software; you can redistribute it and/or
  19    modify it under the terms of the GNU General Public License as
  20    published by the Free Software Foundation; either version 2 of
  21    the License, or (at your option) any later version.
  22
  23    This program is distributed in the hope that it will be useful,
  24    but WITHOUT ANY WARRANTY; without even the implied warranty of
  25    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  26    General Public License for more details.
  27
  28    You should have received a copy of the GNU General Public
  29    License along with this program; if not, write to the Free
  30    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  31    MA 02111-1307, USA.
  32
  33  */
  34
  35 #include "bacula.h"
  36 #include "dird.h"
  37
  38 /* Commands sent to File daemon */
  39 static char inc[]         = "include\n";
  40 static char exc[]         = "exclude\n";
  41 static char incopts[]     = "incopts\n"; /* new include with options */
  42 static char jobcmd[]      = "JobId=%d Job=%s SDid=%u SDtime=%u Authorization=%s\n";
  43 static char levelcmd[]    = "level = %s%s mtime_only=%d\n";
  44 static char runbefore[]   = "RunBeforeJob %s\n";
  45 static char runafter[]    = "RunAfterJob %s\n";
  46
  47
  48 /* Responses received from File daemon */
  49 static char OKinc[]       = "2000 OK include\n";
  50 static char OKexc[]       = "2000 OK exclude\n";
  51 static char OKjob[]       = "2000 OK Job";
  52 static char OKbootstrap[] = "2000 OK bootstrap\n";
  53 static char OKlevel[]     = "2000 OK level\n";
  54 static char OKRunBefore[] = "2000 OK RunBefore\n";
  55 static char OKRunAfter[]  = "2000 OK RunAfter\n";
  56
  57 /* Forward referenced functions */
  58
  59 /* External functions */
  60 extern int debug_level;
  61 extern DIRRES *director;
  62 extern int FDConnectTimeout;
  63
  64 #define INC_LIST 0
  65 #define EXC_LIST 1
  66
  67 /*
  68  * Open connection with File daemon.
  69  * Try connecting every retry_interval (default 10 sec), and
  70  *   give up after max_retry_time (default 30 mins).
  71  */
  72
  73 int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
  74                            int verbose)
  75 {
  76    BSOCK   *fd;
  77
  78    fd = bnet_connect(jcr, retry_interval, max_retry_time,
  79         _("File daemon"), jcr->client->address,
  80         NULL, jcr->client->FDport, verbose);
  81    if (fd == NULL) {
  82       set_jcr_job_status(jcr, JS_ErrorTerminated);
  83       return 0;
  84    }
  85    Dmsg0(10, "Opened connection with File daemon\n");
  86    fd->res = (RES *)jcr->client;      /* save resource in BSOCK */
  87    jcr->file_bsock = fd;
  88    set_jcr_job_status(jcr, JS_Running);
  89
  90    if (!authenticate_file_daemon(jcr)) {
  91       set_jcr_job_status(jcr, JS_ErrorTerminated);
  92       return 0;
  93    }
  94
  95    /*
  96     * Now send JobId and authorization key
  97     */
  98    bnet_fsend(fd, jobcmd, jcr->JobId, jcr->Job, jcr->VolSessionId,
  99       jcr->VolSessionTime, jcr->sd_auth_key);
 100    if (strcmp(jcr->sd_auth_key, "dummy") != 0) {
 101       memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
 102    }
 103    Dmsg1(100, ">filed: %s", fd->msg);
 104    if (bget_dirmsg(fd) > 0) {
 105        Dmsg1(110, "<filed: %s", fd->msg);
 106        if (strncmp(fd->msg, OKjob, strlen(OKjob)) != 0) {
 107           Jmsg(jcr, M_FATAL, 0, _("File daemon \"%s\" rejected Job command: %s\n"),
 108              jcr->client->hdr.name, fd->msg);
 109           set_jcr_job_status(jcr, JS_ErrorTerminated);
 110           return 0;
 111        } else if (jcr->db) {
 112           CLIENT_DBR cr;
 113           memset(&cr, 0, sizeof(cr));
 114           bstrncpy(cr.Name, jcr->client->hdr.name, sizeof(cr.Name));
 115           cr.AutoPrune = jcr->client->AutoPrune;
 116           cr.FileRetention = jcr->client->FileRetention;
 117           cr.JobRetention = jcr->client->JobRetention;
 118           bstrncpy(cr.Uname, fd->msg+strlen(OKjob)+1, sizeof(cr.Uname));
 119           if (!db_update_client_record(jcr, jcr->db, &cr)) {
 120              Jmsg(jcr, M_WARNING, 0, _("Error updating Client record. ERR=%s\n"),
 121                 db_strerror(jcr->db));
 122           }
 123        }
 124    } else {
 125       Jmsg(jcr, M_FATAL, 0, _("FD gave bad response to JobId command: %s\n"),
 126          bnet_strerror(fd));
 127       set_jcr_job_status(jcr, JS_ErrorTerminated);
 128       return 0;
 129    }
 130    return 1;
 131 }
 132
 133 /*
 134  * This subroutine edits the last job start time into a
 135  *   "since=date/time" buffer that is returned in the
 136  *   variable since.  This is used for display purposes in
 137  *   the job report.  The time in jcr->stime is later
 138  *   passed to tell the File daemon what to do.
 139  */
 140 void get_level_since_time(JCR *jcr, char *since, int since_len)
 141 {
 142    /* Lookup the last
 143     * FULL backup job to get the time/date for a
 144     * differential or incremental save.
 145     */
 146    if (!jcr->stime) {
 147       jcr->stime = get_pool_memory(PM_MESSAGE);
 148    }
 149    jcr->stime[0] = 0;
 150    since[0] = 0;
 151    switch (jcr->JobLevel) {
 152    case L_DIFFERENTIAL:
 153    case L_INCREMENTAL:
 154       /* Look up start time of last job */
 155       jcr->jr.JobId = 0;
 156       if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
 157          Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
 158          Jmsg(jcr, M_INFO, 0, _("No prior or suitable Full backup found. Doing FULL backup.\n"));
 159          bsnprintf(since, since_len, " (upgraded from %s)",
 160             level_to_str(jcr->JobLevel));
 161          jcr->JobLevel = jcr->jr.Level = L_FULL;
 162       } else {
 163          bstrncpy(since, ", since=", since_len);
 164          bstrncat(since, jcr->stime, since_len);
 165       }
 166       Dmsg1(100, "Last start time = %s\n", jcr->stime);
 167       break;
 168    }
 169 }
 170
 171
 172 /*
 173  * Send level command to FD.
 174  * Used for backup jobs and estimate command.
 175  */
 176 int send_level_command(JCR *jcr)
 177 {
 178    BSOCK   *fd = jcr->file_bsock;
 179    utime_t stime;
 180    char ed1[50];
 181    /*
 182     * Send Level command to File daemon
 183     */
 184    switch (jcr->JobLevel) {
 185    case L_BASE:
 186       bnet_fsend(fd, levelcmd, "base", " ", 0);
 187       break;
 188    /* L_NONE is the console, sending something off to the FD */
 189    case L_NONE:
 190    case L_FULL:
 191       bnet_fsend(fd, levelcmd, "full", " ", 0);
 192       break;
 193    case L_DIFFERENTIAL:
 194    case L_INCREMENTAL:
 195 //    bnet_fsend(fd, levelcmd, "since ", jcr->stime, 0); /* old code, deprecated */
 196       stime = str_to_utime(jcr->stime);
 197       bnet_fsend(fd, levelcmd, "since_utime ", edit_uint64(stime, ed1), 0);
 198       while (bget_dirmsg(fd) >= 0) {  /* allow him to poll us to sync clocks */
 199          Jmsg(jcr, M_INFO, 0, "%s\n", fd->msg);
 200       }
 201       break;
 202    case L_SINCE:
 203    default:
 204       Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"),
 205          jcr->JobLevel, jcr->JobLevel);
 206       return 0;
 207    }
 208    Dmsg1(120, ">filed: %s", fd->msg);
 209    if (!response(jcr, fd, OKlevel, "Level", DISPLAY_ERROR)) {
 210       return 0;
 211    }
 212    return 1;
 213 }
 214
 215
 216 /*
 217  * Send either an Included or an Excluded list to FD
 218  */
 219 static int send_list(JCR *jcr, int list)
 220 {
 221    FILESET *fileset;
 222    BSOCK   *fd;
 223    int num;
 224
 225    fd = jcr->file_bsock;
 226    fileset = jcr->fileset;
 227
 228    if (list == INC_LIST) {
 229       num = fileset->num_includes;
 230    } else {
 231       num = fileset->num_excludes;
 232    }
 233
 234    for (int i=0; i < num; i++) {
 235       BPIPE *bpipe;
 236       FILE *ffd;
 237       char buf[1000];
 238       char *p;
 239       int optlen, stat;
 240       INCEXE *ie;
 241       FOPTS  *fo;
 242
 243
 244       if (list == INC_LIST) {
 245          ie = fileset->include_items[i];
 246       } else {
 247          ie = fileset->exclude_items[i];
 248       }
 249       if (ie->num_opts) {
 250          fo = ie->opts_list[0];
 251          for (int j=0; j<fo->regex.size(); j++) {
 252             Dmsg1(100, "Regex=%s\n", fo->regex.get(j));
 253          }
 254       }
 255       for (int j=0; j<ie->name_list.size(); j++) {
 256          p = (char *)ie->name_list.get(j);
 257          switch (*p) {
 258          case '|':
 259             p++;                      /* skip over the | */
 260             fd->msg = edit_job_codes(jcr, fd->msg, p, "");
 261             bpipe = open_bpipe(fd->msg, 0, "r");
 262             if (!bpipe) {
 263                Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
 264                   p, strerror(errno));
 265                goto bail_out;
 266             }
 267             /* Copy File options */
 268             if (ie->num_opts) {
 269                bstrncpy(buf, ie->opts_list[0]->opts, sizeof(buf));
 270                bstrncat(buf, " ", sizeof(buf));
 271             } else {
 272                bstrncpy(buf, "0 ", sizeof(buf));
 273             }
 274             Dmsg1(100, "Opts=%s\n", buf);
 275             optlen = strlen(buf);
 276             while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
 277                fd->msglen = Mmsg(&fd->msg, "%s", buf);
 278                Dmsg2(200, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
 279                if (!bnet_send(fd)) {
 280                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 281                   goto bail_out;
 282                }
 283             }
 284             if ((stat=close_bpipe(bpipe)) != 0) {
 285                Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
 286                   p, stat, strerror(errno));
 287                goto bail_out;
 288             }
 289             break;
 290          case '<':
 291             p++;                      /* skip over < */
 292             if ((ffd = fopen(p, "r")) == NULL) {
 293                Jmsg(jcr, M_FATAL, 0, _("Cannot open %s file: %s. ERR=%s\n"),
 294                   list==INC_LIST?"included":"excluded", p, strerror(errno));
 295                goto bail_out;
 296             }
 297             /* Copy File options */
 298             if (ie->num_opts) {
 299                bstrncpy(buf, ie->opts_list[0]->opts, sizeof(buf));
 300                bstrncat(buf, " ", sizeof(buf));
 301             } else {
 302                bstrncpy(buf, "0 ", sizeof(buf));
 303             }
 304             Dmsg1(100, "Opts=%s\n", buf);
 305             optlen = strlen(buf);
 306             while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
 307                fd->msglen = Mmsg(&fd->msg, "%s", buf);
 308                if (!bnet_send(fd)) {
 309                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 310                   goto bail_out;
 311                }
 312             }
 313             fclose(ffd);
 314             break;
 315          case '\\':
 316             p++;                      /* skip over \ */
 317             /* Note, fall through wanted */
 318          default:
 319             if (ie->num_opts) {
 320                Dmsg2(100, "numopts=%d opts=%s\n", ie->num_opts, NPRT(ie->opts_list[0]->opts));
 321                pm_strcpy(&fd->msg, ie->opts_list[0]->opts);
 322                pm_strcat(&fd->msg, " ");
 323             } else {
 324                pm_strcpy(&fd->msg, "0 ");
 325             }
 326             fd->msglen = pm_strcat(&fd->msg, p);
 327             Dmsg1(100, "Inc/Exc name=%s\n", fd->msg);
 328             if (!bnet_send(fd)) {
 329                Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 330                goto bail_out;
 331             }
 332             break;
 333          }
 334       }
 335    }
 336    bnet_sig(fd, BNET_EOD);            /* end of data */
 337    if (list == INC_LIST) {
 338       if (!response(jcr, fd, OKinc, "Include", DISPLAY_ERROR)) {
 339          goto bail_out;
 340       }
 341    } else if (!response(jcr, fd, OKexc, "Exclude", DISPLAY_ERROR)) {
 342         goto bail_out;
 343    }
 344    return 1;
 345
 346 bail_out:
 347    set_jcr_job_status(jcr, JS_ErrorTerminated);
 348    return 0;
 349
 350 }
 351
 352 /*
 353  * Send include list to File daemon
 354  */
 355 int send_include_list(JCR *jcr)
 356 {
 357    BSOCK *fd = jcr->file_bsock;
 358    fd->msglen = pm_strcpy(&fd->msg, inc);
 359    bnet_send(fd);
 360    return send_list(jcr, INC_LIST);
 361 }
 362
 363
 364 /*
 365  * Send exclude list to File daemon
 366  */
 367 int send_exclude_list(JCR *jcr)
 368 {
 369    BSOCK *fd = jcr->file_bsock;
 370    fd->msglen = pm_strcpy(&fd->msg, exc);
 371    bnet_send(fd);
 372    return send_list(jcr, EXC_LIST);
 373 }
 374
 375
 376 /*
 377  * Send bootstrap file if any to the File daemon.
 378  *  This is used for restore and verify VolumeToCatalog
 379  */
 380 int send_bootstrap_file(JCR *jcr)
 381 {
 382    FILE *bs;
 383    char buf[1000];
 384    BSOCK *fd = jcr->file_bsock;
 385    char *bootstrap = "bootstrap\n";
 386
 387    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
 388    if (!jcr->RestoreBootstrap) {
 389       return 1;
 390    }
 391    bs = fopen(jcr->RestoreBootstrap, "r");
 392    if (!bs) {
 393       Jmsg(jcr, M_FATAL, 0, _("Could not open bootstrap file %s: ERR=%s\n"),
 394          jcr->RestoreBootstrap, strerror(errno));
 395       set_jcr_job_status(jcr, JS_ErrorTerminated);
 396       return 0;
 397    }
 398    bnet_fsend(fd, bootstrap);
 399    while (fgets(buf, sizeof(buf), bs)) {
 400       bnet_fsend(fd, "%s", buf);
 401    }
 402    bnet_sig(fd, BNET_EOD);
 403    fclose(bs);
 404    if (!response(jcr, fd, OKbootstrap, "Bootstrap", DISPLAY_ERROR)) {
 405       set_jcr_job_status(jcr, JS_ErrorTerminated);
 406       return 0;
 407    }
 408    return 1;
 409 }
 410
 411 /*
 412  * Send ClientRunBeforeJob and ClientRunAfterJob to File daemon
 413  */
 414 int send_run_before_and_after_commands(JCR *jcr)
 415 {
 416    POOLMEM *msg = get_pool_memory(PM_FNAME);
 417    BSOCK *fd = jcr->file_bsock;
 418    if (jcr->job->ClientRunBeforeJob) {
 419       pm_strcpy(&msg, jcr->job->ClientRunBeforeJob);
 420       bash_spaces(msg);
 421       bnet_fsend(fd, runbefore, msg);
 422       if (!response(jcr, fd, OKRunBefore, "ClientRunBeforeJob", DISPLAY_ERROR)) {
 423          set_jcr_job_status(jcr, JS_ErrorTerminated);
 424          free_pool_memory(msg);
 425          return 0;
 426       }
 427    }
 428    if (jcr->job->ClientRunAfterJob) {
 429       fd->msglen = pm_strcpy(&msg, jcr->job->ClientRunAfterJob);
 430       bash_spaces(msg);
 431       bnet_fsend(fd, runafter, msg);
 432       if (!response(jcr, fd, OKRunAfter, "ClientRunAfterJob", DISPLAY_ERROR)) {
 433          set_jcr_job_status(jcr, JS_ErrorTerminated);
 434          free_pool_memory(msg);
 435          return 0;
 436       }
 437    }
 438    free_pool_memory(msg);
 439    return 1;
 440 }
 441
 442
 443 /*
 444  * Read the attributes from the File daemon for
 445  * a Verify job and store them in the catalog.
 446  */
 447 int get_attributes_and_put_in_catalog(JCR *jcr)
 448 {
 449    BSOCK   *fd;
 450    int n = 0;
 451    ATTR_DBR ar;
 452
 453    fd = jcr->file_bsock;
 454    jcr->jr.FirstIndex = 1;
 455    memset(&ar, 0, sizeof(ar));
 456    jcr->FileIndex = 0;
 457
 458    Dmsg0(120, "bdird: waiting to receive file attributes\n");
 459    /* Pickup file attributes and signature */
 460    while (!fd->errors && (n = bget_dirmsg(fd)) > 0) {
 461
 462    /*****FIXME****** improve error handling to stop only on
 463     * really fatal problems, or the number of errors is too
 464     * large.
 465     */
 466       long file_index;
 467       int stream, len;
 468       char *attr, *p, *fn;
 469       char Opts_SIG[MAXSTRING];      /* either Verify opts or MD5/SHA1 signature */
 470       char SIG[MAXSTRING];
 471
 472       jcr->fname = check_pool_memory_size(jcr->fname, fd->msglen);
 473       if ((len = sscanf(fd->msg, "%ld %d %s", &file_index, &stream, Opts_SIG)) != 3) {
 474          Jmsg(jcr, M_FATAL, 0, _("<filed: bad attributes, expected 3 fields got %d\n\
 475 msglen=%d msg=%s\n"), len, fd->msglen, fd->msg);
 476          set_jcr_job_status(jcr, JS_ErrorTerminated);
 477          return 0;
 478       }
 479       p = fd->msg;
 480       skip_nonspaces(&p);             /* skip FileIndex */
 481       skip_spaces(&p);
 482       skip_nonspaces(&p);             /* skip Stream */
 483       skip_spaces(&p);
 484       skip_nonspaces(&p);             /* skip Opts_SHA1 */
 485       p++;                            /* skip space */
 486       fn = jcr->fname;
 487       while (*p != 0) {
 488          *fn++ = *p++;                /* copy filename */
 489       }
 490       *fn = *p++;                     /* term filename and point to attribs */
 491       attr = p;
 492
 493       if (stream == STREAM_UNIX_ATTRIBUTES || stream == STREAM_UNIX_ATTRIBUTES_EX) {
 494          jcr->JobFiles++;
 495          jcr->FileIndex = file_index;
 496          ar.attr = attr;
 497          ar.fname = jcr->fname;
 498          ar.FileIndex = file_index;
 499          ar.Stream = stream;
 500          ar.link = NULL;
 501          ar.JobId = jcr->JobId;
 502          ar.ClientId = jcr->ClientId;
 503          ar.PathId = 0;
 504          ar.FilenameId = 0;
 505
 506          Dmsg2(111, "dird<filed: stream=%d %s\n", stream, jcr->fname);
 507          Dmsg1(120, "dird<filed: attr=%s\n", attr);
 508
 509          if (!db_create_file_attributes_record(jcr, jcr->db, &ar)) {
 510             Jmsg1(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 511             set_jcr_job_status(jcr, JS_Error);
 512             continue;
 513          }
 514          jcr->FileId = ar.FileId;
 515       } else if (stream == STREAM_MD5_SIGNATURE || stream == STREAM_SHA1_SIGNATURE) {
 516          if (jcr->FileIndex != (uint32_t)file_index) {
 517             Jmsg2(jcr, M_ERROR, 0, _("MD5/SHA1 index %d not same as attributes %d\n"),
 518                file_index, jcr->FileIndex);
 519             set_jcr_job_status(jcr, JS_Error);
 520             continue;
 521          }
 522          db_escape_string(SIG, Opts_SIG, strlen(Opts_SIG));
 523          Dmsg2(120, "SIGlen=%d SIG=%s\n", strlen(SIG), SIG);
 524          if (!db_add_SIG_to_file_record(jcr, jcr->db, jcr->FileId, SIG,
 525                    stream==STREAM_MD5_SIGNATURE?MD5_SIG:SHA1_SIG)) {
 526             Jmsg1(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 527             set_jcr_job_status(jcr, JS_Error);
 528          }
 529       }
 530       jcr->jr.JobFiles = jcr->JobFiles = file_index;
 531       jcr->jr.LastIndex = file_index;
 532    }
 533    if (is_bnet_error(fd)) {
 534       Jmsg1(jcr, M_FATAL, 0, _("<filed: Network error getting attributes. ERR=%s\n"),
 535                         bnet_strerror(fd));
 536       set_jcr_job_status(jcr, JS_ErrorTerminated);
 537       return 0;
 538    }
 539
 540    set_jcr_job_status(jcr, JS_Terminated);
 541    return 1;
 542 }