git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/backup.c

   1 /*
   2  *
   3  *   Bacula Director -- backup.c -- responsible for doing backup jobs
   4  *
   5  *     Kern Sibbald, March MM
   6  *
   7  *  Basic tasks done here:
   8  *     Open DB and create records for this job.
   9  *     Open Message Channel with Storage daemon to tell him a job will be starting.
  10  *     Open connection with File daemon and pass him commands
  11  *       to do the backup.
  12  *     When the File daemon finishes the job, update the DB.
  13  *
  14  *   Version $Id$
  15  */
  16
  17 /*
  18    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  19
  20    This program is free software; you can redistribute it and/or
  21    modify it under the terms of the GNU General Public License as
  22    published by the Free Software Foundation; either version 2 of
  23    the License, or (at your option) any later version.
  24
  25    This program is distributed in the hope that it will be useful,
  26    but WITHOUT ANY WARRANTY; without even the implied warranty of
  27    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  28    General Public License for more details.
  29
  30    You should have received a copy of the GNU General Public
  31    License along with this program; if not, write to the Free
  32    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  33    MA 02111-1307, USA.
  34
  35  */
  36
  37 #include "bacula.h"
  38 #include "dird.h"
  39 #include "ua.h"
  40
  41 /* Commands sent to File daemon */
  42 static char backupcmd[] = "backup\n";
  43 static char storaddr[]  = "storage address=%s port=%d ssl=%d\n";
  44 static char levelcmd[]  = "level = %s%s\n";
  45
  46 /* Responses received from File daemon */
  47 static char OKbackup[]  = "2000 OK backup\n";
  48 static char OKstore[]   = "2000 OK storage\n";
  49 static char OKlevel[]   = "2000 OK level\n";
  50 static char EndBackup[] = "2801 End Backup Job TermCode=%d JobFiles=%u "
  51                           "ReadBytes=%" lld " JobBytes=%" lld " Errors=%u\n";
  52
  53
  54 /* Forward referenced functions */
  55 static void backup_cleanup(JCR *jcr, int TermCode, char *since);
  56 static int wait_for_job_termination(JCR *jcr);
  57
  58 /* External functions */
  59
  60 /*
  61  * Do a backup of the specified FileSet
  62  *
  63  *  Returns:  0 on failure
  64  *            1 on success
  65  */
  66 int do_backup(JCR *jcr)
  67 {
  68    char since[MAXSTRING];
  69    int stat;
  70    BSOCK   *fd;
  71    POOL_DBR pr;
  72    FILESET_DBR fsr;
  73
  74    since[0] = 0;
  75
  76    if (!get_or_create_client_record(jcr)) {
  77       Jmsg(jcr, M_ERROR, 0, _("Could not get/create Client record. ERR=%s\n"),
  78          db_strerror(jcr->db));
  79       goto bail_out;
  80    }
  81
  82    /*
  83     * Get or Create FileSet record
  84     */
  85    memset(&fsr, 0, sizeof(fsr));
  86    strcpy(fsr.FileSet, jcr->fileset->hdr.name);
  87    if (jcr->fileset->have_MD5) {
  88       struct MD5Context md5c;
  89       unsigned char signature[16];
  90       memcpy(&md5c, &jcr->fileset->md5c, sizeof(md5c));
  91       MD5Final(signature, &md5c);
  92       bin_to_base64(fsr.MD5, (char *)signature, 16); /* encode 16 bytes */
  93       strcpy(jcr->fileset->MD5, fsr.MD5);
  94    } else {
  95       Jmsg(jcr, M_WARNING, 0, _("FileSet MD5 signature not found.\n"));
  96    }
  97    if (!db_create_fileset_record(jcr, jcr->db, &fsr)) {
  98       Jmsg(jcr, M_ERROR, 0, _("Could not create FileSet record. ERR=%s\n"),
  99          db_strerror(jcr->db));
 100       goto bail_out;
 101    }
 102    jcr->jr.FileSetId = fsr.FileSetId;
 103    Dmsg2(119, "Created FileSet %s record %d\n", jcr->fileset->hdr.name,
 104       jcr->jr.FileSetId);
 105
 106    /* Look up the last
 107     * FULL backup job to get the time/date for a
 108     * differential or incremental save.
 109     */
 110    jcr->stime = get_pool_memory(PM_MESSAGE);
 111    jcr->stime[0] = 0;
 112    since[0] = 0;
 113    switch (jcr->JobLevel) {
 114       case L_DIFFERENTIAL:
 115       case L_INCREMENTAL:
 116          /* Look up start time of last job */
 117          jcr->jr.JobId = 0;
 118          if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
 119             Jmsg(jcr, M_INFO, 0, _("No prior or suitable FULL backup found. Doing FULL backup.\n"));
 120             jcr->JobLevel = jcr->jr.Level = L_FULL;
 121          } else {
 122             strcpy(since, ", since=");
 123             bstrncat(since, jcr->stime, sizeof(since));
 124          }
 125          Dmsg1(115, "Last start time = %s\n", jcr->stime);
 126          break;
 127    }
 128
 129    jcr->jr.JobId = jcr->JobId;
 130    jcr->jr.StartTime = jcr->start_time;
 131    if (!db_update_job_start_record(jcr, jcr->db, &jcr->jr)) {
 132       Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 133       goto bail_out;
 134    }
 135
 136    jcr->fname = (char *) get_pool_memory(PM_FNAME);
 137
 138    /* Print Job Start message */
 139    Jmsg(jcr, M_INFO, 0, _("Start Backup JobId %d, Job=%s\n"),
 140         jcr->JobId, jcr->Job);
 141
 142    /*
 143     * Get the Pool record
 144     */
 145    memset(&pr, 0, sizeof(pr));
 146    strcpy(pr.Name, jcr->pool->hdr.name);
 147    while (!db_get_pool_record(jcr, jcr->db, &pr)) { /* get by Name */
 148       /* Try to create the pool */
 149       if (create_pool(jcr, jcr->db, jcr->pool, 1) < 0) {
 150          Jmsg(jcr, M_FATAL, 0, _("Pool %s not in database. %s"), pr.Name,
 151             db_strerror(jcr->db));
 152          goto bail_out;
 153       } else {
 154          Jmsg(jcr, M_INFO, 0, _("Pool %s created in database.\n"), pr.Name);
 155       }
 156    }
 157    jcr->PoolId = pr.PoolId;               /****FIXME**** this can go away */
 158    jcr->jr.PoolId = pr.PoolId;
 159
 160    /*
 161     * Open a message channel connection with the Storage
 162     * daemon. This is to let him know that our client
 163     * will be contacting him for a backup  session.
 164     *
 165     */
 166    Dmsg0(110, "Open connection with storage daemon\n");
 167    set_jcr_job_status(jcr, JS_WaitSD);
 168    /*
 169     * Start conversation with Storage daemon
 170     */
 171    if (!connect_to_storage_daemon(jcr, 10, SDConnectTimeout, 1)) {
 172       goto bail_out;
 173    }
 174    /*
 175     * Now start a job with the Storage daemon
 176     */
 177    if (!start_storage_daemon_job(jcr)) {
 178       goto bail_out;
 179    }
 180    /*
 181     * Now start a Storage daemon message thread
 182     */
 183    if (!start_storage_daemon_message_thread(jcr)) {
 184       goto bail_out;
 185    }
 186    Dmsg0(150, "Storage daemon connection OK\n");
 187
 188    set_jcr_job_status(jcr, JS_WaitFD);
 189    if (!connect_to_file_daemon(jcr, 10, FDConnectTimeout, 1)) {
 190       goto bail_out;
 191    }
 192
 193    set_jcr_job_status(jcr, JS_Running);
 194    fd = jcr->file_bsock;
 195
 196    if (!send_include_list(jcr)) {
 197       goto bail_out;
 198    }
 199
 200    if (!send_exclude_list(jcr)) {
 201       goto bail_out;
 202    }
 203
 204    /*
 205     * send Storage daemon address to the File daemon
 206     */
 207    if (jcr->store->SDDport == 0) {
 208       jcr->store->SDDport = jcr->store->SDport;
 209    }
 210    bnet_fsend(fd, storaddr, jcr->store->address, jcr->store->SDDport,
 211               jcr->store->enable_ssl);
 212    if (!response(fd, OKstore, "Storage", 1)) {
 213       goto bail_out;
 214    }
 215
 216    /*
 217     * Send Level command to File daemon
 218     */
 219    switch (jcr->JobLevel) {
 220       case L_BASE:
 221          bnet_fsend(fd, levelcmd, "base", " ");
 222          break;
 223       case L_FULL:
 224          bnet_fsend(fd, levelcmd, "full", " ");
 225          break;
 226       case L_DIFFERENTIAL:
 227       case L_INCREMENTAL:
 228          bnet_fsend(fd, levelcmd, "since ", jcr->stime);
 229          free_pool_memory(jcr->stime);
 230          jcr->stime = NULL;
 231          break;
 232       case L_SINCE:
 233       default:
 234          Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"),
 235             jcr->JobLevel, jcr->JobLevel);
 236          goto bail_out;
 237    }
 238    Dmsg1(120, ">filed: %s", fd->msg);
 239    if (!response(fd, OKlevel, "Level", 1)) {
 240       goto bail_out;
 241    }
 242
 243    /* Send backup command */
 244    bnet_fsend(fd, backupcmd);
 245    if (!response(fd, OKbackup, "backup", 1)) {
 246       goto bail_out;
 247    }
 248
 249    /* Pickup Job termination data */
 250    stat = wait_for_job_termination(jcr);
 251    backup_cleanup(jcr, stat, since);
 252    return 1;
 253
 254 bail_out:
 255    if (jcr->stime) {
 256       free_pool_memory(jcr->stime);
 257       jcr->stime = NULL;
 258    }
 259    backup_cleanup(jcr, JS_ErrorTerminated, since);
 260    return 0;
 261
 262 }
 263
 264 /*
 265  * Here we wait for the File daemon to signal termination,
 266  *   then we wait for the Storage daemon.  When both
 267  *   are done, we return the job status.
 268  */
 269 static int wait_for_job_termination(JCR *jcr)
 270 {
 271    int32_t n = 0;
 272    BSOCK *fd = jcr->file_bsock;
 273    int fd_ok = FALSE;
 274
 275    set_jcr_job_status(jcr, JS_Running);
 276    /* Wait for Client to terminate */
 277    while ((n = bget_dirmsg(fd)) >= 0) {
 278       if (sscanf(fd->msg, EndBackup, &jcr->FDJobStatus, &jcr->JobFiles,
 279           &jcr->ReadBytes, &jcr->JobBytes, &jcr->Errors) == 5) {
 280          fd_ok = TRUE;
 281          set_jcr_job_status(jcr, jcr->FDJobStatus);
 282          Dmsg1(100, "FDStatus=%c\n", (char)jcr->JobStatus);
 283       } else {
 284          Jmsg(jcr, M_WARNING, 0, _("Unexpected Client Job message: %s\n"),
 285             fd->msg);
 286       }
 287       if (job_canceled(jcr)) {
 288          break;
 289       }
 290    }
 291    if (is_bnet_error(fd)) {
 292       Jmsg(jcr, M_FATAL, 0, _("Network error with FD during BACKUP: ERR=%s\n"),
 293           bnet_strerror(fd));
 294    }
 295    bnet_sig(fd, BNET_TERMINATE);   /* tell Client we are terminating */
 296
 297    wait_for_storage_daemon_termination(jcr);
 298
 299    /* Return the first error status we find FD or SD */
 300    if (fd_ok && jcr->JobStatus != JS_Terminated) {
 301       return jcr->JobStatus;
 302    }
 303    if (!fd_ok || is_bnet_error(fd)) {
 304       return JS_ErrorTerminated;
 305    }
 306    return jcr->SDJobStatus;
 307 }
 308
 309 /*
 310  * Release resources allocated during backup.
 311  */
 312 static void backup_cleanup(JCR *jcr, int TermCode, char *since)
 313 {
 314    char sdt[50], edt[50];
 315    char ec1[30], ec2[30], ec3[30], compress[50];
 316    char term_code[100], fd_term_msg[100], sd_term_msg[100];
 317    char *term_msg;
 318    int msg_type;
 319    MEDIA_DBR mr;
 320    double kbps, compression;
 321    utime_t RunTime;
 322
 323    Dmsg0(100, "Enter backup_cleanup()\n");
 324    memset(&mr, 0, sizeof(mr));
 325    set_jcr_job_status(jcr, TermCode);
 326
 327    update_job_end_record(jcr);        /* update database */
 328
 329    if (!db_get_job_record(jcr, jcr->db, &jcr->jr)) {
 330       Jmsg(jcr, M_WARNING, 0, _("Error getting job record for stats: %s"),
 331          db_strerror(jcr->db));
 332       set_jcr_job_status(jcr, JS_ErrorTerminated);
 333    }
 334
 335    strcpy(mr.VolumeName, jcr->VolumeName);
 336    if (!db_get_media_record(jcr, jcr->db, &mr)) {
 337       Jmsg(jcr, M_WARNING, 0, _("Error getting Media record for Volume \"%s\": ERR=%s"),
 338          mr.VolumeName, db_strerror(jcr->db));
 339       set_jcr_job_status(jcr, JS_ErrorTerminated);
 340    }
 341
 342    /* Now update the bootstrap file if any */
 343    if (jcr->JobStatus == JS_Terminated && jcr->jr.JobBytes &&
 344        jcr->job->WriteBootstrap) {
 345       FILE *fd;
 346       BPIPE *bpipe = NULL;
 347       int got_pipe = 0;
 348       char *fname = jcr->job->WriteBootstrap;
 349       VOL_PARAMS *VolParams = NULL;
 350       int VolCount;
 351
 352       if (*fname == '|') {
 353          fname++;
 354          got_pipe = 1;
 355          bpipe = open_bpipe(fname, 0, "w");
 356          fd = bpipe ? bpipe->wfd : NULL;
 357       } else {
 358          /* ***FIXME*** handle BASE */
 359          fd = fopen(fname, jcr->JobLevel==L_FULL?"w+":"a+");
 360       }
 361       if (fd) {
 362          VolCount = db_get_job_volume_parameters(jcr, jcr->db, jcr->JobId,
 363                     &VolParams);
 364          if (VolCount == 0) {
 365             Jmsg(jcr, M_ERROR, 0, _("Could not get Job Volume Parameters. ERR=%s\n"),
 366                  db_strerror(jcr->db));
 367          }
 368          for (int i=0; i < VolCount; i++) {
 369             /* Write the record */
 370             fprintf(fd, "Volume=\"%s\"\n", VolParams[i].VolumeName);
 371             fprintf(fd, "VolSessionId=%u\n", jcr->VolSessionId);
 372             fprintf(fd, "VolSessionTime=%u\n", jcr->VolSessionTime);
 373             fprintf(fd, "VolFile=%u-%u\n", VolParams[i].StartFile,
 374                          VolParams[i].EndFile);
 375             fprintf(fd, "VolBlock=%u-%u\n", VolParams[i].StartBlock,
 376                          VolParams[i].EndBlock);
 377             fprintf(fd, "FileIndex=%d-%d\n", VolParams[i].FirstIndex,
 378                          VolParams[i].LastIndex);
 379          }
 380          if (VolParams) {
 381             free(VolParams);
 382          }
 383          if (got_pipe) {
 384             close_bpipe(bpipe);
 385          } else {
 386             fclose(fd);
 387          }
 388       } else {
 389          Jmsg(jcr, M_ERROR, 0, _("Could not open WriteBootstrap file:\n"
 390               "%s: ERR=%s\n"), fname, strerror(errno));
 391          set_jcr_job_status(jcr, JS_ErrorTerminated);
 392       }
 393    }
 394
 395    msg_type = M_INFO;                 /* by default INFO message */
 396    switch (jcr->JobStatus) {
 397       case JS_Terminated:
 398          term_msg = _("Backup OK");
 399          break;
 400       case JS_FatalError:
 401       case JS_ErrorTerminated:
 402          term_msg = _("*** Backup Error ***");
 403          msg_type = M_ERROR;          /* Generate error message */
 404          if (jcr->store_bsock) {
 405             bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 406             pthread_cancel(jcr->SD_msg_chan);
 407          }
 408          break;
 409       case JS_Canceled:
 410          term_msg = _("Backup Canceled");
 411          if (jcr->store_bsock) {
 412             bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 413             pthread_cancel(jcr->SD_msg_chan);
 414          }
 415          break;
 416       default:
 417          term_msg = term_code;
 418          sprintf(term_code, _("Inappropriate term code: %c\n"), jcr->JobStatus);
 419          break;
 420    }
 421    bstrftime(sdt, sizeof(sdt), jcr->jr.StartTime);
 422    bstrftime(edt, sizeof(edt), jcr->jr.EndTime);
 423    RunTime = jcr->jr.EndTime - jcr->jr.StartTime;
 424    if (RunTime <= 0) {
 425       kbps = 0;
 426    } else {
 427       kbps = (double)jcr->jr.JobBytes / (1000 * RunTime);
 428    }
 429    if (!db_get_job_volume_names(jcr, jcr->db, jcr->jr.JobId, &jcr->VolumeName)) {
 430       /*
 431        * Note, if the job has erred, most likely it did not write any
 432        *  tape, so suppress this "error" message since in that case
 433        *  it is normal.  Or look at it the other way, only for a
 434        *  normal exit should we complain about this error.
 435        */
 436       if (jcr->JobStatus == JS_Terminated && jcr->jr.JobBytes) {
 437          Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 438       }
 439       jcr->VolumeName[0] = 0;         /* none */
 440    }
 441
 442    if (jcr->ReadBytes == 0) {
 443       strcpy(compress, "None");
 444    } else {
 445       compression = (double)100 - 100.0 * ((double)jcr->JobBytes / (double)jcr->ReadBytes);
 446       if (compression < 0.5) {
 447          strcpy(compress, "None");
 448       } else {
 449          sprintf(compress, "%.1f %%", (float)compression);
 450       }
 451    }
 452    jobstatus_to_ascii(jcr->FDJobStatus, fd_term_msg, sizeof(fd_term_msg));
 453    jobstatus_to_ascii(jcr->SDJobStatus, sd_term_msg, sizeof(sd_term_msg));
 454
 455    Jmsg(jcr, msg_type, 0, _("Bacula " VERSION " (" LSMDATE "): %s\n\
 456 JobId:                  %d\n\
 457 Job:                    %s\n\
 458 FileSet:                %s\n\
 459 Backup Level:           %s%s\n\
 460 Client:                 %s\n\
 461 Start time:             %s\n\
 462 End time:               %s\n\
 463 Files Written:          %s\n\
 464 Bytes Written:          %s\n\
 465 Rate:                   %.1f KB/s\n\
 466 Software Compression:   %s\n\
 467 Volume names(s):        %s\n\
 468 Volume Session Id:      %d\n\
 469 Volume Session Time:    %d\n\
 470 Last Volume Bytes:      %s\n\
 471 Non-fatal FD errors:    %d\n\
 472 FD termination status:  %s\n\
 473 SD termination status:  %s\n\
 474 Termination:            %s\n\n"),
 475         edt,
 476         jcr->jr.JobId,
 477         jcr->jr.Job,
 478         jcr->fileset->hdr.name,
 479         level_to_str(jcr->JobLevel), since,
 480         jcr->client->hdr.name,
 481         sdt,
 482         edt,
 483         edit_uint64_with_commas(jcr->jr.JobFiles, ec1),
 484         edit_uint64_with_commas(jcr->jr.JobBytes, ec2),
 485         (float)kbps,
 486         compress,
 487         jcr->VolumeName,
 488         jcr->VolSessionId,
 489         jcr->VolSessionTime,
 490         edit_uint64_with_commas(mr.VolBytes, ec3),
 491         jcr->Errors,
 492         fd_term_msg,
 493         sd_term_msg,
 494         term_msg);
 495
 496    Dmsg0(100, "Leave backup_cleanup()\n");
 497 }