git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/fd_cmds.c

   1 /*
   2  *
   3  *   Bacula Director -- fd_cmds.c -- send commands to File daemon
   4  *
   5  *     Kern Sibbald, October MM
   6  *
   7  *    This routine is run as a separate thread.  There may be more
   8  *    work to be done to make it totally reentrant!!!!
   9  *
  10  *  Utility functions for sending info to File Daemon.
  11  *   These functions are used by both backup and verify.
  12  *
  13  *   Version $Id$
  14  */
  15 /*
  16    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  17
  18    This program is free software; you can redistribute it and/or
  19    modify it under the terms of the GNU General Public License as
  20    published by the Free Software Foundation; either version 2 of
  21    the License, or (at your option) any later version.
  22
  23    This program is distributed in the hope that it will be useful,
  24    but WITHOUT ANY WARRANTY; without even the implied warranty of
  25    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  26    General Public License for more details.
  27
  28    You should have received a copy of the GNU General Public
  29    License along with this program; if not, write to the Free
  30    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  31    MA 02111-1307, USA.
  32
  33  */
  34
  35 #include "bacula.h"
  36 #include "dird.h"
  37
  38 /* Commands sent to File daemon */
  39 static char inc[]         = "include\n";
  40 static char exc[]         = "exclude\n";
  41 static char jobcmd[]      = "JobId=%d Job=%s SDid=%u SDtime=%u Authorization=%s\n";
  42 static char levelcmd[]    = "level = %s%s mtime_only=%d\n";
  43 static char runbefore[]   = "RunBeforeJob %s\n";
  44 static char runafter[]    = "RunAfterJob %s\n";
  45
  46
  47 /* Responses received from File daemon */
  48 static char OKinc[]       = "2000 OK include\n";
  49 static char OKexc[]       = "2000 OK exclude\n";
  50 static char OKjob[]       = "2000 OK Job";
  51 static char OKbootstrap[] = "2000 OK bootstrap\n";
  52 static char OKlevel[]     = "2000 OK level\n";
  53 static char OKRunBefore[] = "2000 OK RunBefore\n";
  54 static char OKRunAfter[]  = "2000 OK RunAfter\n";
  55
  56 /* Forward referenced functions */
  57
  58 /* External functions */
  59 extern int debug_level;
  60 extern DIRRES *director;
  61 extern int FDConnectTimeout;
  62
  63 #define INC_LIST 0
  64 #define EXC_LIST 1
  65
  66 /*
  67  * Open connection with File daemon.
  68  * Try connecting every retry_interval (default 10 sec), and
  69  *   give up after max_retry_time (default 30 mins).
  70  */
  71
  72 int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
  73                            int verbose)
  74 {
  75    BSOCK   *fd;
  76
  77    fd = bnet_connect(jcr, retry_interval, max_retry_time,
  78         _("File daemon"), jcr->client->address,
  79         NULL, jcr->client->FDport, verbose);
  80    if (fd == NULL) {
  81       set_jcr_job_status(jcr, JS_ErrorTerminated);
  82       return 0;
  83    }
  84    Dmsg0(10, "Opened connection with File daemon\n");
  85    fd->res = (RES *)jcr->client;      /* save resource in BSOCK */
  86    jcr->file_bsock = fd;
  87    set_jcr_job_status(jcr, JS_Running);
  88
  89    if (!authenticate_file_daemon(jcr)) {
  90       set_jcr_job_status(jcr, JS_ErrorTerminated);
  91       return 0;
  92    }
  93
  94    /*
  95     * Now send JobId and authorization key
  96     */
  97    bnet_fsend(fd, jobcmd, jcr->JobId, jcr->Job, jcr->VolSessionId,
  98       jcr->VolSessionTime, jcr->sd_auth_key);
  99    if (strcmp(jcr->sd_auth_key, "dummy") != 0) {
 100       memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
 101    }
 102    Dmsg1(100, ">filed: %s", fd->msg);
 103    if (bget_dirmsg(fd) > 0) {
 104        Dmsg1(110, "<filed: %s", fd->msg);
 105        if (strncmp(fd->msg, OKjob, strlen(OKjob)) != 0) {
 106           Jmsg(jcr, M_FATAL, 0, _("File daemon \"%s\" rejected Job command: %s\n"),
 107              jcr->client->hdr.name, fd->msg);
 108           set_jcr_job_status(jcr, JS_ErrorTerminated);
 109           return 0;
 110        } else if (jcr->db) {
 111           CLIENT_DBR cr;
 112           memset(&cr, 0, sizeof(cr));
 113           bstrncpy(cr.Name, jcr->client->hdr.name, sizeof(cr.Name));
 114           cr.AutoPrune = jcr->client->AutoPrune;
 115           cr.FileRetention = jcr->client->FileRetention;
 116           cr.JobRetention = jcr->client->JobRetention;
 117           bstrncpy(cr.Uname, fd->msg+strlen(OKjob)+1, sizeof(cr.Uname));
 118           if (!db_update_client_record(jcr, jcr->db, &cr)) {
 119              Jmsg(jcr, M_WARNING, 0, _("Error updating Client record. ERR=%s\n"),
 120                 db_strerror(jcr->db));
 121           }
 122        }
 123    } else {
 124       Jmsg(jcr, M_FATAL, 0, _("FD gave bad response to JobId command: %s\n"),
 125          bnet_strerror(fd));
 126       set_jcr_job_status(jcr, JS_ErrorTerminated);
 127       return 0;
 128    }
 129    return 1;
 130 }
 131
 132 /*
 133  * This subroutine edits the last job start time into a
 134  *   "since=date/time" buffer that is returned in the
 135  *   variable since.  This is used for display purposes in
 136  *   the job report.  The time in jcr->stime is later
 137  *   passed to tell the File daemon what to do.
 138  */
 139 void get_level_since_time(JCR *jcr, char *since, int since_len)
 140 {
 141    /* Lookup the last
 142     * FULL backup job to get the time/date for a
 143     * differential or incremental save.
 144     */
 145    if (!jcr->stime) {
 146       jcr->stime = get_pool_memory(PM_MESSAGE);
 147    }
 148    jcr->stime[0] = 0;
 149    since[0] = 0;
 150    switch (jcr->JobLevel) {
 151    case L_DIFFERENTIAL:
 152    case L_INCREMENTAL:
 153       /* Look up start time of last job */
 154       jcr->jr.JobId = 0;
 155       if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
 156          Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
 157          Jmsg(jcr, M_INFO, 0, _("No prior or suitable Full backup found. Doing FULL backup.\n"));
 158          bsnprintf(since, since_len, " (upgraded from %s)",
 159             level_to_str(jcr->JobLevel));
 160          jcr->JobLevel = jcr->jr.Level = L_FULL;
 161       } else {
 162          bstrncpy(since, ", since=", since_len);
 163          bstrncat(since, jcr->stime, since_len);
 164       }
 165       Dmsg1(100, "Last start time = %s\n", jcr->stime);
 166       break;
 167    }
 168 }
 169
 170
 171 /*
 172  * Send level command to FD.
 173  * Used for backup jobs and estimate command.
 174  */
 175 int send_level_command(JCR *jcr)
 176 {
 177    BSOCK   *fd = jcr->file_bsock;
 178    utime_t stime;
 179    char ed1[50];
 180    /*
 181     * Send Level command to File daemon
 182     */
 183    switch (jcr->JobLevel) {
 184    case L_BASE:
 185       bnet_fsend(fd, levelcmd, "base", " ", 0);
 186       break;
 187    case L_FULL:
 188       bnet_fsend(fd, levelcmd, "full", " ", 0);
 189       break;
 190    case L_DIFFERENTIAL:
 191    case L_INCREMENTAL:
 192 //    bnet_fsend(fd, levelcmd, "since ", jcr->stime, 0); /* old code, deprecated */
 193       stime = str_to_utime(jcr->stime);
 194       bnet_fsend(fd, levelcmd, "since_utime ", edit_uint64(stime, ed1), 0);
 195       while (bget_dirmsg(fd) >= 0) {  /* allow him to poll us to sync clocks */
 196          Jmsg(jcr, M_INFO, 0, "%s\n", fd->msg);
 197       }
 198       break;
 199    case L_SINCE:
 200    default:
 201       Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"),
 202          jcr->JobLevel, jcr->JobLevel);
 203       return 0;
 204    }
 205    Dmsg1(120, ">filed: %s", fd->msg);
 206    if (!response(jcr, fd, OKlevel, "Level", DISPLAY_ERROR)) {
 207       return 0;
 208    }
 209    return 1;
 210 }
 211
 212
 213 /*
 214  * Send either an Included or an Excluded list to FD
 215  */
 216 static int send_list(JCR *jcr, int list)
 217 {
 218    FILESET *fileset;
 219    BSOCK   *fd;
 220    int num;
 221
 222    fd = jcr->file_bsock;
 223    fileset = jcr->fileset;
 224
 225    if (list == INC_LIST) {
 226       num = fileset->num_includes;
 227    } else {
 228       num = fileset->num_excludes;
 229    }
 230
 231    for (int i=0; i < num; i++) {
 232       BPIPE *bpipe;
 233       FILE *ffd;
 234       char buf[1000];
 235       char *p;
 236       int optlen, stat;
 237       INCEXE *ie;
 238       FOPTS  *fo;
 239
 240
 241       if (list == INC_LIST) {
 242          ie = fileset->include_items[i];
 243       } else {
 244          ie = fileset->exclude_items[i];
 245       }
 246       fo = ie->opts_list[0];
 247       for (int j=0; j<fo->match.size(); j++) {
 248          Dmsg1(100, "Match=%s\n", fo->match.get(j));
 249       }
 250       for (int j=0; j<ie->name_list.size(); j++) {
 251          p = (char *)ie->name_list.get(j);
 252          switch (*p) {
 253          case '|':
 254             p++;                      /* skip over the | */
 255             fd->msg = edit_job_codes(jcr, fd->msg, p, "");
 256             bpipe = open_bpipe(fd->msg, 0, "r");
 257             if (!bpipe) {
 258                Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
 259                   p, strerror(errno));
 260                goto bail_out;
 261             }
 262             /* Copy File options */
 263             if (ie->num_opts) {
 264                bstrncpy(buf, ie->opts_list[0]->opts, sizeof(buf));
 265                bstrncat(buf, " ", sizeof(buf));
 266             } else {
 267                bstrncpy(buf, "0 ", sizeof(buf));
 268             }
 269             Dmsg1(100, "Opts=%s\n", buf);
 270             optlen = strlen(buf);
 271             while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
 272                fd->msglen = Mmsg(&fd->msg, "%s", buf);
 273                Dmsg2(200, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
 274                if (!bnet_send(fd)) {
 275                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 276                   goto bail_out;
 277                }
 278             }
 279             if ((stat=close_bpipe(bpipe)) != 0) {
 280                Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
 281                   p, stat, strerror(errno));
 282                goto bail_out;
 283             }
 284             break;
 285          case '<':
 286             p++;                      /* skip over < */
 287             if ((ffd = fopen(p, "r")) == NULL) {
 288                Jmsg(jcr, M_FATAL, 0, _("Cannot open %s file: %s. ERR=%s\n"),
 289                   list==INC_LIST?"included":"excluded", p, strerror(errno));
 290                goto bail_out;
 291             }
 292             /* Copy File options */
 293             if (ie->num_opts) {
 294                bstrncpy(buf, ie->opts_list[0]->opts, sizeof(buf));
 295                bstrncat(buf, " ", sizeof(buf));
 296             } else {
 297                bstrncpy(buf, "0 ", sizeof(buf));
 298             }
 299             Dmsg1(100, "Opts=%s\n", buf);
 300             optlen = strlen(buf);
 301             while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
 302                fd->msglen = Mmsg(&fd->msg, "%s", buf);
 303                if (!bnet_send(fd)) {
 304                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 305                   goto bail_out;
 306                }
 307             }
 308             fclose(ffd);
 309             break;
 310          case '\\':
 311             p++;                      /* skip over \ */
 312             /* Note, fall through wanted */
 313          default:
 314             Dmsg2(100, "numopts=%d opts=%s\n", ie->num_opts, NPRT(ie->opts_list[0]->opts));
 315             if (ie->num_opts) {
 316                pm_strcpy(&fd->msg, ie->opts_list[0]->opts);
 317                pm_strcat(&fd->msg, " ");
 318             } else {
 319                pm_strcpy(&fd->msg, "0 ");
 320             }
 321             fd->msglen = pm_strcat(&fd->msg, p);
 322             Dmsg1(100, "Inc/Exc name=%s\n", fd->msg);
 323             if (!bnet_send(fd)) {
 324                Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 325                goto bail_out;
 326             }
 327             break;
 328          }
 329       }
 330    }
 331    bnet_sig(fd, BNET_EOD);            /* end of data */
 332    if (list == INC_LIST) {
 333       if (!response(jcr, fd, OKinc, "Include", DISPLAY_ERROR)) {
 334          goto bail_out;
 335       }
 336    } else if (!response(jcr, fd, OKexc, "Exclude", DISPLAY_ERROR)) {
 337         goto bail_out;
 338    }
 339    return 1;
 340
 341 bail_out:
 342    set_jcr_job_status(jcr, JS_ErrorTerminated);
 343    return 0;
 344
 345 }
 346
 347 /*
 348  * Send include list to File daemon
 349  */
 350 int send_include_list(JCR *jcr)
 351 {
 352    BSOCK *fd = jcr->file_bsock;
 353    fd->msglen = pm_strcpy(&fd->msg, inc);
 354    bnet_send(fd);
 355    return send_list(jcr, INC_LIST);
 356 }
 357
 358
 359 /*
 360  * Send exclude list to File daemon
 361  */
 362 int send_exclude_list(JCR *jcr)
 363 {
 364    BSOCK *fd = jcr->file_bsock;
 365    fd->msglen = pm_strcpy(&fd->msg, exc);
 366    bnet_send(fd);
 367    return send_list(jcr, EXC_LIST);
 368 }
 369
 370
 371 /*
 372  * Send bootstrap file if any to the File daemon.
 373  *  This is used for restore and verify VolumeToCatalog
 374  */
 375 int send_bootstrap_file(JCR *jcr)
 376 {
 377    FILE *bs;
 378    char buf[1000];
 379    BSOCK *fd = jcr->file_bsock;
 380    char *bootstrap = "bootstrap\n";
 381
 382    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
 383    if (!jcr->RestoreBootstrap) {
 384       return 1;
 385    }
 386    bs = fopen(jcr->RestoreBootstrap, "r");
 387    if (!bs) {
 388       Jmsg(jcr, M_FATAL, 0, _("Could not open bootstrap file %s: ERR=%s\n"),
 389          jcr->RestoreBootstrap, strerror(errno));
 390       set_jcr_job_status(jcr, JS_ErrorTerminated);
 391       return 0;
 392    }
 393    bnet_fsend(fd, bootstrap);
 394    while (fgets(buf, sizeof(buf), bs)) {
 395       bnet_fsend(fd, "%s", buf);
 396    }
 397    bnet_sig(fd, BNET_EOD);
 398    fclose(bs);
 399    if (!response(jcr, fd, OKbootstrap, "Bootstrap", DISPLAY_ERROR)) {
 400       set_jcr_job_status(jcr, JS_ErrorTerminated);
 401       return 0;
 402    }
 403    return 1;
 404 }
 405
 406 /*
 407  * Send ClientRunBeforeJob and ClientRunAfterJob to File daemon
 408  */
 409 int send_run_before_and_after_commands(JCR *jcr)
 410 {
 411    POOLMEM *msg = get_pool_memory(PM_FNAME);
 412    BSOCK *fd = jcr->file_bsock;
 413    if (jcr->job->ClientRunBeforeJob) {
 414       pm_strcpy(&msg, jcr->job->ClientRunBeforeJob);
 415       bash_spaces(msg);
 416       bnet_fsend(fd, runbefore, msg);
 417       if (!response(jcr, fd, OKRunBefore, "ClientRunBeforeJob", DISPLAY_ERROR)) {
 418          set_jcr_job_status(jcr, JS_ErrorTerminated);
 419          free_pool_memory(msg);
 420          return 0;
 421       }
 422    }
 423    if (jcr->job->ClientRunAfterJob) {
 424       fd->msglen = pm_strcpy(&msg, jcr->job->ClientRunAfterJob);
 425       bash_spaces(msg);
 426       bnet_fsend(fd, runafter, msg);
 427       if (!response(jcr, fd, OKRunAfter, "ClientRunAfterJob", DISPLAY_ERROR)) {
 428          set_jcr_job_status(jcr, JS_ErrorTerminated);
 429          free_pool_memory(msg);
 430          return 0;
 431       }
 432    }
 433    free_pool_memory(msg);
 434    return 1;
 435 }
 436
 437
 438 /*
 439  * Read the attributes from the File daemon for
 440  * a Verify job and store them in the catalog.
 441  */
 442 int get_attributes_and_put_in_catalog(JCR *jcr)
 443 {
 444    BSOCK   *fd;
 445    int n = 0;
 446    ATTR_DBR ar;
 447
 448    fd = jcr->file_bsock;
 449    jcr->jr.FirstIndex = 1;
 450    memset(&ar, 0, sizeof(ar));
 451    jcr->FileIndex = 0;
 452
 453    Dmsg0(120, "bdird: waiting to receive file attributes\n");
 454    /* Pickup file attributes and signature */
 455    while (!fd->errors && (n = bget_dirmsg(fd)) > 0) {
 456
 457    /*****FIXME****** improve error handling to stop only on
 458     * really fatal problems, or the number of errors is too
 459     * large.
 460     */
 461       long file_index;
 462       int stream, len;
 463       char *attr, *p, *fn;
 464       char Opts_SIG[MAXSTRING];      /* either Verify opts or MD5/SHA1 signature */
 465       char SIG[MAXSTRING];
 466
 467       jcr->fname = check_pool_memory_size(jcr->fname, fd->msglen);
 468       if ((len = sscanf(fd->msg, "%ld %d %s", &file_index, &stream, Opts_SIG)) != 3) {
 469          Jmsg(jcr, M_FATAL, 0, _("<filed: bad attributes, expected 3 fields got %d\n\
 470 msglen=%d msg=%s\n"), len, fd->msglen, fd->msg);
 471          set_jcr_job_status(jcr, JS_ErrorTerminated);
 472          return 0;
 473       }
 474       p = fd->msg;
 475       skip_nonspaces(&p);             /* skip FileIndex */
 476       skip_spaces(&p);
 477       skip_nonspaces(&p);             /* skip Stream */
 478       skip_spaces(&p);
 479       skip_nonspaces(&p);             /* skip Opts_SHA1 */
 480       p++;                            /* skip space */
 481       fn = jcr->fname;
 482       while (*p != 0) {
 483          *fn++ = *p++;                /* copy filename */
 484       }
 485       *fn = *p++;                     /* term filename and point to attribs */
 486       attr = p;
 487
 488       if (stream == STREAM_UNIX_ATTRIBUTES || stream == STREAM_UNIX_ATTRIBUTES_EX) {
 489          jcr->JobFiles++;
 490          jcr->FileIndex = file_index;
 491          ar.attr = attr;
 492          ar.fname = jcr->fname;
 493          ar.FileIndex = file_index;
 494          ar.Stream = stream;
 495          ar.link = NULL;
 496          ar.JobId = jcr->JobId;
 497          ar.ClientId = jcr->ClientId;
 498          ar.PathId = 0;
 499          ar.FilenameId = 0;
 500
 501          Dmsg2(111, "dird<filed: stream=%d %s\n", stream, jcr->fname);
 502          Dmsg1(120, "dird<filed: attr=%s\n", attr);
 503
 504          if (!db_create_file_attributes_record(jcr, jcr->db, &ar)) {
 505             Jmsg1(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 506             set_jcr_job_status(jcr, JS_Error);
 507             continue;
 508          }
 509          jcr->FileId = ar.FileId;
 510       } else if (stream == STREAM_MD5_SIGNATURE || stream == STREAM_SHA1_SIGNATURE) {
 511          if (jcr->FileIndex != (uint32_t)file_index) {
 512             Jmsg2(jcr, M_ERROR, 0, _("MD5/SHA1 index %d not same as attributes %d\n"),
 513                file_index, jcr->FileIndex);
 514             set_jcr_job_status(jcr, JS_Error);
 515             continue;
 516          }
 517          db_escape_string(SIG, Opts_SIG, strlen(Opts_SIG));
 518          Dmsg2(120, "SIGlen=%d SIG=%s\n", strlen(SIG), SIG);
 519          if (!db_add_SIG_to_file_record(jcr, jcr->db, jcr->FileId, SIG,
 520                    stream==STREAM_MD5_SIGNATURE?MD5_SIG:SHA1_SIG)) {
 521             Jmsg1(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 522             set_jcr_job_status(jcr, JS_Error);
 523          }
 524       }
 525       jcr->jr.JobFiles = jcr->JobFiles = file_index;
 526       jcr->jr.LastIndex = file_index;
 527    }
 528    if (is_bnet_error(fd)) {
 529       Jmsg1(jcr, M_FATAL, 0, _("<filed: Network error getting attributes. ERR=%s\n"),
 530                         bnet_strerror(fd));
 531       set_jcr_job_status(jcr, JS_ErrorTerminated);
 532       return 0;
 533    }
 534
 535    set_jcr_job_status(jcr, JS_Terminated);
 536    return 1;
 537 }