git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/fd_cmds.c

   1 /*
   2  *
   3  *   Bacula Director -- fd_cmds.c -- send commands to File daemon
   4  *
   5  *     Kern Sibbald, October MM
   6  *
   7  *    This routine is run as a separate thread.  There may be more
   8  *    work to be done to make it totally reentrant!!!!
   9  *
  10  *  Utility functions for sending info to File Daemon.
  11  *   These functions are used by both backup and verify.
  12  *
  13  *   Version $Id$
  14  */
  15 /*
  16    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  17
  18    This program is free software; you can redistribute it and/or
  19    modify it under the terms of the GNU General Public License as
  20    published by the Free Software Foundation; either version 2 of
  21    the License, or (at your option) any later version.
  22
  23    This program is distributed in the hope that it will be useful,
  24    but WITHOUT ANY WARRANTY; without even the implied warranty of
  25    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  26    General Public License for more details.
  27
  28    You should have received a copy of the GNU General Public
  29    License along with this program; if not, write to the Free
  30    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  31    MA 02111-1307, USA.
  32
  33  */
  34
  35 #include "bacula.h"
  36 #include "dird.h"
  37
  38 /* Commands sent to File daemon */
  39 static char inc[]         = "include\n";
  40 static char exc[]         = "exclude\n";
  41 static char jobcmd[]      = "JobId=%d Job=%s SDid=%u SDtime=%u Authorization=%s\n";
  42 static char levelcmd[]    = "level = %s%s mtime_only=%d\n";
  43
  44
  45 /* Responses received from File daemon */
  46 static char OKinc[]       = "2000 OK include\n";
  47 static char OKexc[]       = "2000 OK exclude\n";
  48 static char OKjob[]       = "2000 OK Job";
  49 static char OKbootstrap[] = "2000 OK bootstrap\n";
  50 static char OKlevel[]     = "2000 OK level\n";
  51
  52 /* Forward referenced functions */
  53
  54 /* External functions */
  55 extern int debug_level;
  56 extern DIRRES *director;
  57 extern int FDConnectTimeout;
  58
  59 #define INC_LIST 0
  60 #define EXC_LIST 1
  61
  62 /*
  63  * Open connection with File daemon.
  64  * Try connecting every 10 seconds, give up after 1 hour.
  65  */
  66
  67 int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
  68                            int verbose)
  69 {
  70    BSOCK   *fd;
  71
  72    fd = bnet_connect(jcr, retry_interval, max_retry_time,
  73         _("File daemon"), jcr->client->address,
  74         NULL, jcr->client->FDport, verbose);
  75    if (fd == NULL) {
  76       set_jcr_job_status(jcr, JS_ErrorTerminated);
  77       return 0;
  78    }
  79    Dmsg0(10, "Opened connection with File daemon\n");
  80    fd->res = (RES *)jcr->client;      /* save resource in BSOCK */
  81    jcr->file_bsock = fd;
  82    set_jcr_job_status(jcr, JS_Running);
  83
  84    if (!authenticate_file_daemon(jcr)) {
  85       set_jcr_job_status(jcr, JS_ErrorTerminated);
  86       return 0;
  87    }
  88
  89    /*
  90     * Now send JobId and authorization key
  91     */
  92    bnet_fsend(fd, jobcmd, jcr->JobId, jcr->Job, jcr->VolSessionId,
  93       jcr->VolSessionTime, jcr->sd_auth_key);
  94    if (strcmp(jcr->sd_auth_key, "dummy") != 0) {
  95       memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
  96    }
  97    Dmsg1(100, ">filed: %s", fd->msg);
  98    if (bget_dirmsg(fd) > 0) {
  99        Dmsg1(110, "<filed: %s", fd->msg);
 100        if (strncmp(fd->msg, OKjob, strlen(OKjob)) != 0) {
 101           Jmsg(jcr, M_FATAL, 0, _("File daemon \"%s\" rejected Job command: %s\n"),
 102              jcr->client->hdr.name, fd->msg);
 103           set_jcr_job_status(jcr, JS_ErrorTerminated);
 104           return 0;
 105        } else if (jcr->db) {
 106           CLIENT_DBR cr;
 107           memset(&cr, 0, sizeof(cr));
 108           bstrncpy(cr.Name, jcr->client->hdr.name, sizeof(cr.Name));
 109           cr.AutoPrune = jcr->client->AutoPrune;
 110           cr.FileRetention = jcr->client->FileRetention;
 111           cr.JobRetention = jcr->client->JobRetention;
 112           bstrncpy(cr.Uname, fd->msg+strlen(OKjob)+1, sizeof(cr.Uname));
 113           if (!db_update_client_record(jcr, jcr->db, &cr)) {
 114              Jmsg(jcr, M_WARNING, 0, _("Error updating Client record. ERR=%s\n"),
 115                 db_strerror(jcr->db));
 116           }
 117        }
 118    } else {
 119       Jmsg(jcr, M_FATAL, 0, _("FD gave bad response to JobId command: %s\n"),
 120          bnet_strerror(fd));
 121       set_jcr_job_status(jcr, JS_ErrorTerminated);
 122       return 0;
 123    }
 124    return 1;
 125 }
 126
 127
 128 void get_level_since_time(JCR *jcr, char *since, int since_len)
 129 {
 130    /* Lookup the last
 131     * FULL backup job to get the time/date for a
 132     * differential or incremental save.
 133     */
 134    if (!jcr->stime) {
 135       jcr->stime = get_pool_memory(PM_MESSAGE);
 136    }
 137    jcr->stime[0] = 0;
 138    since[0] = 0;
 139    switch (jcr->JobLevel) {
 140    case L_DIFFERENTIAL:
 141    case L_INCREMENTAL:
 142       /* Look up start time of last job */
 143       jcr->jr.JobId = 0;
 144       if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
 145          Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
 146          Jmsg(jcr, M_INFO, 0, _("No prior or suitable Full backup found. Doing FULL backup.\n"));
 147          bsnprintf(since, since_len, " (upgraded from %s)",
 148             level_to_str(jcr->JobLevel));
 149          jcr->JobLevel = jcr->jr.Level = L_FULL;
 150       } else {
 151          bstrncpy(since, ", since=", since_len);
 152          bstrncat(since, jcr->stime, since_len);
 153       }
 154       Dmsg1(115, "Last start time = %s\n", jcr->stime);
 155       break;
 156    }
 157 }
 158
 159
 160 /*
 161  * Send level command for backup and estimate
 162  */
 163 int send_level_command(JCR *jcr)
 164 {
 165    BSOCK   *fd = jcr->file_bsock;
 166    /*
 167     * Send Level command to File daemon
 168     */
 169    switch (jcr->JobLevel) {
 170    case L_BASE:
 171       bnet_fsend(fd, levelcmd, "base", " ", 0);
 172       break;
 173    case L_FULL:
 174       bnet_fsend(fd, levelcmd, "full", " ", 0);
 175       break;
 176    case L_DIFFERENTIAL:
 177    case L_INCREMENTAL:
 178       bnet_fsend(fd, levelcmd, "since ", jcr->stime, 0);
 179       break;
 180    case L_SINCE:
 181    default:
 182       Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"),
 183          jcr->JobLevel, jcr->JobLevel);
 184       return 0;
 185    }
 186    Dmsg1(120, ">filed: %s", fd->msg);
 187    if (!response(jcr, fd, OKlevel, "Level", DISPLAY_ERROR)) {
 188       return 0;
 189    }
 190    return 1;
 191 }
 192
 193
 194 /*
 195  * Send either an Included or an Excluded list to FD
 196  */
 197 static int send_list(JCR *jcr, int list)
 198 {
 199    FILESET *fileset;
 200    BSOCK   *fd;
 201    int num;
 202
 203    fd = jcr->file_bsock;
 204    fileset = jcr->fileset;
 205
 206    if (list == INC_LIST) {
 207       num = fileset->num_includes;
 208    } else {
 209       num = fileset->num_excludes;
 210    }
 211
 212    for (int i=0; i < num; i++) {
 213       BPIPE *bpipe;
 214       FILE *ffd;
 215       char buf[1000];
 216       char *p;
 217       int optlen, stat;
 218       INCEXE *ie;
 219       FOPTS  *fo;
 220
 221
 222       if (list == INC_LIST) {
 223          ie = fileset->include_items[i];
 224       } else {
 225          ie = fileset->exclude_items[i];
 226       }
 227       fo = ie->opts_list[0];
 228       for (int j=0; j<fo->match.size(); j++) {
 229          Dmsg1(100, "Match=%s\n", fo->match.get(j));
 230       }
 231       for (int j=0; j<ie->name_list.size(); j++) {
 232          p = (char *)ie->name_list.get(j);
 233          switch (*p) {
 234          case '|':
 235             fd->msg = edit_job_codes(jcr, fd->msg, p, "");
 236             bpipe = open_bpipe(fd->msg, 0, "r");
 237             if (!bpipe) {
 238                Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
 239                   p, strerror(errno));
 240                goto bail_out;
 241             }
 242             /* Copy File options */
 243             if (ie->num_opts) {
 244                strcpy(buf, ie->opts_list[0]->opts);
 245                strcat(buf, " ");
 246             } else {
 247                strcpy(buf, "0 ");
 248             }
 249             optlen = strlen(buf);
 250             while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
 251                fd->msglen = Mmsg(&fd->msg, "%s", buf);
 252                Dmsg2(200, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
 253                if (!bnet_send(fd)) {
 254                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 255                   goto bail_out;
 256                }
 257             }
 258             if ((stat=close_bpipe(bpipe)) != 0) {
 259                Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
 260                   p, stat, strerror(errno));
 261                goto bail_out;
 262             }
 263             break;
 264          case '<':
 265             p++;                      /* skip over < */
 266             if ((ffd = fopen(p, "r")) == NULL) {
 267                Jmsg(jcr, M_FATAL, 0, _("Cannot open %s file: %s. ERR=%s\n"),
 268                   list==INC_LIST?"included":"excluded", p, strerror(errno));
 269                goto bail_out;
 270             }
 271             /* Copy File options */
 272             if (ie->num_opts) {
 273                strcpy(buf, ie->opts_list[0]->opts);
 274                strcat(buf, " ");
 275             } else {
 276                strcpy(buf, "0 ");
 277             }
 278             optlen = strlen(buf);
 279             while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
 280                fd->msglen = Mmsg(&fd->msg, "%s", buf);
 281                if (!bnet_send(fd)) {
 282                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 283                   goto bail_out;
 284                }
 285             }
 286             fclose(ffd);
 287             break;
 288          case '\\':
 289             p++;                      /* skip over \ */
 290             /* Note, fall through wanted */
 291          default:
 292             if (ie->num_opts) {
 293                pm_strcpy(&fd->msg, ie->opts_list[0]->opts);
 294                pm_strcat(&fd->msg, " ");
 295             } else {
 296                pm_strcpy(&fd->msg, "0 ");
 297             }
 298             pm_strcat(&fd->msg, p);
 299             Dmsg1(100, "Inc/Exc name=%s\n", fd->msg);
 300             fd->msglen = strlen(fd->msg);
 301             if (!bnet_send(fd)) {
 302                Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
 303                goto bail_out;
 304             }
 305             break;
 306          }
 307       }
 308    }
 309    bnet_sig(fd, BNET_EOD);            /* end of data */
 310    if (list == INC_LIST) {
 311       if (!response(jcr, fd, OKinc, "Include", DISPLAY_ERROR)) {
 312          goto bail_out;
 313       }
 314    } else if (!response(jcr, fd, OKexc, "Exclude", DISPLAY_ERROR)) {
 315         goto bail_out;
 316    }
 317    return 1;
 318
 319 bail_out:
 320    set_jcr_job_status(jcr, JS_ErrorTerminated);
 321    return 0;
 322
 323 }
 324
 325 /*
 326  * Send include list to File daemon
 327  */
 328 int send_include_list(JCR *jcr)
 329 {
 330    BSOCK *fd = jcr->file_bsock;
 331    fd->msglen = sprintf(fd->msg, inc);
 332    bnet_send(fd);
 333    return send_list(jcr, INC_LIST);
 334 }
 335
 336
 337 /*
 338  * Send exclude list to File daemon
 339  */
 340 int send_exclude_list(JCR *jcr)
 341 {
 342    BSOCK *fd = jcr->file_bsock;
 343    fd->msglen = sprintf(fd->msg, exc);
 344    bnet_send(fd);
 345    return send_list(jcr, EXC_LIST);
 346 }
 347
 348
 349 /*
 350  * Send bootstrap file if any to the File daemon.
 351  *  This is used for restore and verify VolumeToCatalog
 352  */
 353 int send_bootstrap_file(JCR *jcr)
 354 {
 355    FILE *bs;
 356    char buf[1000];
 357    BSOCK *fd = jcr->file_bsock;
 358    char *bootstrap = "bootstrap\n";
 359
 360    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
 361    if (!jcr->RestoreBootstrap) {
 362       return 1;
 363    }
 364    bs = fopen(jcr->RestoreBootstrap, "r");
 365    if (!bs) {
 366       Jmsg(jcr, M_FATAL, 0, _("Could not open bootstrap file %s: ERR=%s\n"),
 367          jcr->RestoreBootstrap, strerror(errno));
 368       set_jcr_job_status(jcr, JS_ErrorTerminated);
 369       return 0;
 370    }
 371    strcpy(fd->msg, bootstrap);
 372    fd->msglen = strlen(fd->msg);
 373    bnet_send(fd);
 374    while (fgets(buf, sizeof(buf), bs)) {
 375       fd->msglen = Mmsg(&fd->msg, "%s", buf);
 376       bnet_send(fd);
 377    }
 378    bnet_sig(fd, BNET_EOD);
 379    fclose(bs);
 380    if (!response(jcr, fd, OKbootstrap, "Bootstrap", DISPLAY_ERROR)) {
 381       set_jcr_job_status(jcr, JS_ErrorTerminated);
 382       return 0;
 383    }
 384    return 1;
 385 }
 386
 387
 388 /*
 389  * Read the attributes from the File daemon for
 390  * a Verify job and store them in the catalog.
 391  */
 392 int get_attributes_and_put_in_catalog(JCR *jcr)
 393 {
 394    BSOCK   *fd;
 395    int n = 0;
 396    ATTR_DBR ar;
 397
 398    fd = jcr->file_bsock;
 399    jcr->jr.FirstIndex = 1;
 400    memset(&ar, 0, sizeof(ar));
 401    jcr->FileIndex = 0;
 402
 403    Dmsg0(120, "bdird: waiting to receive file attributes\n");
 404    /* Pickup file attributes and signature */
 405    while (!fd->errors && (n = bget_dirmsg(fd)) > 0) {
 406
 407    /*****FIXME****** improve error handling to stop only on
 408     * really fatal problems, or the number of errors is too
 409     * large.
 410     */
 411       long file_index;
 412       int stream, len;
 413       char *attr, *p, *fn;
 414       char Opts_SIG[MAXSTRING];      /* either Verify opts or MD5/SHA1 signature */
 415       char SIG[MAXSTRING];
 416
 417       jcr->fname = check_pool_memory_size(jcr->fname, fd->msglen);
 418       if ((len = sscanf(fd->msg, "%ld %d %s", &file_index, &stream, Opts_SIG)) != 3) {
 419          Jmsg(jcr, M_FATAL, 0, _("<filed: bad attributes, expected 3 fields got %d\n\
 420 msglen=%d msg=%s\n"), len, fd->msglen, fd->msg);
 421          set_jcr_job_status(jcr, JS_ErrorTerminated);
 422          return 0;
 423       }
 424       p = fd->msg;
 425       skip_nonspaces(&p);             /* skip FileIndex */
 426       skip_spaces(&p);
 427       skip_nonspaces(&p);             /* skip Stream */
 428       skip_spaces(&p);
 429       skip_nonspaces(&p);             /* skip Opts_SHA1 */
 430       p++;                            /* skip space */
 431       fn = jcr->fname;
 432       while (*p != 0) {
 433          *fn++ = *p++;                /* copy filename */
 434       }
 435       *fn = *p++;                     /* term filename and point to attribs */
 436       attr = p;
 437
 438       if (stream == STREAM_UNIX_ATTRIBUTES || stream == STREAM_UNIX_ATTRIBUTES_EX) {
 439          jcr->JobFiles++;
 440          jcr->FileIndex = file_index;
 441          ar.attr = attr;
 442          ar.fname = jcr->fname;
 443          ar.FileIndex = file_index;
 444          ar.Stream = stream;
 445          ar.link = NULL;
 446          ar.JobId = jcr->JobId;
 447          ar.ClientId = jcr->ClientId;
 448          ar.PathId = 0;
 449          ar.FilenameId = 0;
 450
 451          Dmsg2(111, "dird<filed: stream=%d %s\n", stream, jcr->fname);
 452          Dmsg1(120, "dird<filed: attr=%s\n", attr);
 453
 454          if (!db_create_file_attributes_record(jcr, jcr->db, &ar)) {
 455             Jmsg1(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 456             set_jcr_job_status(jcr, JS_Error);
 457             continue;
 458          }
 459          jcr->FileId = ar.FileId;
 460       } else if (stream == STREAM_MD5_SIGNATURE || stream == STREAM_SHA1_SIGNATURE) {
 461          if (jcr->FileIndex != (uint32_t)file_index) {
 462             Jmsg2(jcr, M_ERROR, 0, _("MD5/SHA1 index %d not same as attributes %d\n"),
 463                file_index, jcr->FileIndex);
 464             set_jcr_job_status(jcr, JS_Error);
 465             continue;
 466          }
 467          db_escape_string(SIG, Opts_SIG, strlen(Opts_SIG));
 468          Dmsg2(120, "SIGlen=%d SIG=%s\n", strlen(SIG), SIG);
 469          if (!db_add_SIG_to_file_record(jcr, jcr->db, jcr->FileId, SIG,
 470                    stream==STREAM_MD5_SIGNATURE?MD5_SIG:SHA1_SIG)) {
 471             Jmsg1(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 472             set_jcr_job_status(jcr, JS_Error);
 473          }
 474       }
 475       jcr->jr.JobFiles = jcr->JobFiles = file_index;
 476       jcr->jr.LastIndex = file_index;
 477    }
 478    if (is_bnet_error(fd)) {
 479       Jmsg1(jcr, M_FATAL, 0, _("<filed: Network error getting attributes. ERR=%s\n"),
 480                         bnet_strerror(fd));
 481       set_jcr_job_status(jcr, JS_ErrorTerminated);
 482       return 0;
 483    }
 484
 485    set_jcr_job_status(jcr, JS_Terminated);
 486    return 1;
 487 }