git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/backup.c

   1 /*
   2  *
   3  *   Bacula Director -- backup.c -- responsible for doing backup jobs
   4  *
   5  *     Kern Sibbald, March MM
   6  *
   7  *    This routine is called as a thread. It may not yet be totally
   8  *      thread reentrant!!!
   9  *
  10  *  Basic tasks done here:
  11  *     Open DB and create records for this job.
  12  *     Open Message Channel with Storage daemon to tell him a job will be starting.
  13  *     Open connection with File daemon and pass him commands
  14  *       to do the backup.
  15  *     When the File daemon finishes the job, update the DB.
  16  *
  17  *   Version $Id$
  18  */
  19
  20 /*
  21    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  22
  23    This program is free software; you can redistribute it and/or
  24    modify it under the terms of the GNU General Public License as
  25    published by the Free Software Foundation; either version 2 of
  26    the License, or (at your option) any later version.
  27
  28    This program is distributed in the hope that it will be useful,
  29    but WITHOUT ANY WARRANTY; without even the implied warranty of
  30    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  31    General Public License for more details.
  32
  33    You should have received a copy of the GNU General Public
  34    License along with this program; if not, write to the Free
  35    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  36    MA 02111-1307, USA.
  37
  38  */
  39
  40 #include "bacula.h"
  41 #include "dird.h"
  42 #include "ua.h"
  43
  44 /* Commands sent to File daemon */
  45 static char backupcmd[] = "backup\n";
  46 static char storaddr[]  = "storage address=%s port=%d\n";
  47 static char levelcmd[]  = "level = %s%s\n";
  48
  49 /* Responses received from File daemon */
  50 static char OKbackup[]  = "2000 OK backup\n";
  51 static char OKstore[]   = "2000 OK storage\n";
  52 static char OKlevel[]   = "2000 OK level\n";
  53 static char EndBackup[] = "2801 End Backup Job TermCode=%d JobFiles=%u ReadBytes=%" lld " JobBytes=%" lld "\n";
  54
  55
  56 /* Forward referenced functions */
  57 static void backup_cleanup(JCR *jcr, int TermCode, char *since);
  58 static int wait_for_job_termination(JCR *jcr);
  59
  60 /* External functions */
  61
  62 /*
  63  * Do a backup of the specified FileSet
  64  *
  65  *  Returns:  0 on failure
  66  *            1 on success
  67  */
  68 int do_backup(JCR *jcr)
  69 {
  70    char since[MAXSTRING];
  71    int stat;
  72    BSOCK   *fd;
  73    POOL_DBR pr;
  74    FILESET_DBR fsr;
  75
  76    since[0] = 0;
  77
  78    if (!get_or_create_client_record(jcr)) {
  79       Jmsg(jcr, M_ERROR, 0, _("Could not get/create Client record. ERR=%s\n"),
  80          db_strerror(jcr->db));
  81       goto bail_out;
  82    }
  83
  84    /*
  85     * Get or Create FileSet record
  86     */
  87    memset(&fsr, 0, sizeof(fsr));
  88    strcpy(fsr.FileSet, jcr->fileset->hdr.name);
  89    if (jcr->fileset->have_MD5) {
  90       struct MD5Context md5c;
  91       unsigned char signature[16];
  92       memcpy(&md5c, &jcr->fileset->md5c, sizeof(md5c));
  93       MD5Final(signature, &md5c);
  94       bin_to_base64(fsr.MD5, (char *)signature, 16); /* encode 16 bytes */
  95       strcpy(jcr->fileset->MD5, fsr.MD5);
  96    } else {
  97       Jmsg(jcr, M_WARNING, 0, _("FileSet MD5 signature not found.\n"));
  98    }
  99    if (!db_create_fileset_record(jcr, jcr->db, &fsr)) {
 100       Jmsg(jcr, M_ERROR, 0, _("Could not create FileSet record. ERR=%s\n"),
 101          db_strerror(jcr->db));
 102       goto bail_out;
 103    }
 104    jcr->jr.FileSetId = fsr.FileSetId;
 105    Dmsg2(119, "Created FileSet %s record %d\n", jcr->fileset->hdr.name,
 106       jcr->jr.FileSetId);
 107
 108    /* Look up the last
 109     * FULL backup job to get the time/date for a
 110     * differential or incremental save.
 111     */
 112    jcr->stime = get_pool_memory(PM_MESSAGE);
 113    jcr->stime[0] = 0;
 114    since[0] = 0;
 115    switch (jcr->JobLevel) {
 116       case L_DIFFERENTIAL:
 117       case L_INCREMENTAL:
 118          /* Look up start time of last job */
 119          jcr->jr.JobId = 0;
 120          if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
 121             Jmsg(jcr, M_INFO, 0, _("Last FULL backup time not found. Doing FULL backup.\n"));
 122             jcr->JobLevel = jcr->jr.Level = L_FULL;
 123          } else {
 124             strcpy(since, ", since=");
 125             bstrncat(since, jcr->stime, sizeof(since));
 126          }
 127          Dmsg1(115, "Last start time = %s\n", jcr->stime);
 128          break;
 129    }
 130
 131    jcr->jr.JobId = jcr->JobId;
 132    jcr->jr.StartTime = jcr->start_time;
 133    if (!db_update_job_start_record(jcr, jcr->db, &jcr->jr)) {
 134       Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 135       goto bail_out;
 136    }
 137
 138    jcr->fname = (char *) get_pool_memory(PM_FNAME);
 139
 140    /* Print Job Start message */
 141    Jmsg(jcr, M_INFO, 0, _("Start Backup JobId %d, Job=%s\n"),
 142         jcr->JobId, jcr->Job);
 143
 144    /*
 145     * Get the Pool record
 146     */
 147    memset(&pr, 0, sizeof(pr));
 148    strcpy(pr.Name, jcr->pool->hdr.name);
 149    while (!db_get_pool_record(jcr, jcr->db, &pr)) { /* get by Name */
 150       /* Try to create the pool */
 151       if (create_pool(jcr, jcr->db, jcr->pool, 1) < 0) {
 152          Jmsg(jcr, M_FATAL, 0, _("Pool %s not in database. %s"), pr.Name,
 153             db_strerror(jcr->db));
 154          goto bail_out;
 155       } else {
 156          Jmsg(jcr, M_INFO, 0, _("Pool %s created in database.\n"), pr.Name);
 157       }
 158    }
 159    jcr->PoolId = pr.PoolId;               /****FIXME**** this can go away */
 160    jcr->jr.PoolId = pr.PoolId;
 161
 162    /*
 163     * Open a message channel connection with the Storage
 164     * daemon. This is to let him know that our client
 165     * will be contacting him for a backup  session.
 166     *
 167     */
 168    Dmsg0(110, "Open connection with storage daemon\n");
 169    set_jcr_job_status(jcr, JS_WaitSD);
 170    /*
 171     * Start conversation with Storage daemon
 172     */
 173    if (!connect_to_storage_daemon(jcr, 10, SDConnectTimeout, 1)) {
 174       goto bail_out;
 175    }
 176    /*
 177     * Now start a job with the Storage daemon
 178     */
 179    if (!start_storage_daemon_job(jcr)) {
 180       goto bail_out;
 181    }
 182    /*
 183     * Now start a Storage daemon message thread
 184     */
 185    if (!start_storage_daemon_message_thread(jcr)) {
 186       goto bail_out;
 187    }
 188    Dmsg0(150, "Storage daemon connection OK\n");
 189
 190    set_jcr_job_status(jcr, JS_WaitFD);
 191    if (!connect_to_file_daemon(jcr, 10, FDConnectTimeout, 1)) {
 192       goto bail_out;
 193    }
 194
 195    set_jcr_job_status(jcr, JS_Running);
 196    fd = jcr->file_bsock;
 197
 198    if (!send_include_list(jcr)) {
 199       goto bail_out;
 200    }
 201
 202    if (!send_exclude_list(jcr)) {
 203       goto bail_out;
 204    }
 205
 206    /*
 207     * send Storage daemon address to the File daemon
 208     */
 209    if (jcr->store->SDDport == 0) {
 210       jcr->store->SDDport = jcr->store->SDport;
 211    }
 212    bnet_fsend(fd, storaddr, jcr->store->address, jcr->store->SDDport);
 213    if (!response(fd, OKstore, "Storage", 1)) {
 214       goto bail_out;
 215    }
 216
 217    /*
 218     * Send Level command to File daemon
 219     */
 220    switch (jcr->JobLevel) {
 221       case L_FULL:
 222          bnet_fsend(fd, levelcmd, "full", " ");
 223          break;
 224       case L_DIFFERENTIAL:
 225       case L_INCREMENTAL:
 226          bnet_fsend(fd, levelcmd, "since ", jcr->stime);
 227          free_pool_memory(jcr->stime);
 228          jcr->stime = NULL;
 229          break;
 230       case L_SINCE:
 231       default:
 232          Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"),
 233             jcr->JobLevel, jcr->JobLevel);
 234          goto bail_out;
 235    }
 236    Dmsg1(120, ">filed: %s", fd->msg);
 237    if (!response(fd, OKlevel, "Level", 1)) {
 238       goto bail_out;
 239    }
 240
 241    /* Send backup command */
 242    bnet_fsend(fd, backupcmd);
 243    if (!response(fd, OKbackup, "backup", 1)) {
 244       goto bail_out;
 245    }
 246
 247    /* Pickup Job termination data */
 248    stat = wait_for_job_termination(jcr);
 249    backup_cleanup(jcr, stat, since);
 250    return 1;
 251
 252 bail_out:
 253    if (jcr->stime) {
 254       free_pool_memory(jcr->stime);
 255       jcr->stime = NULL;
 256    }
 257    backup_cleanup(jcr, JS_ErrorTerminated, since);
 258    return 0;
 259
 260 }
 261
 262 /*
 263  * Here we wait for the File daemon to signal termination,
 264  *   then we wait for the Storage daemon.  When both
 265  *   are done, we return the job status.
 266  */
 267 static int wait_for_job_termination(JCR *jcr)
 268 {
 269    int32_t n = 0;
 270    BSOCK *fd = jcr->file_bsock;
 271    int fd_ok = FALSE;
 272
 273    set_jcr_job_status(jcr, JS_Running);
 274    /* Wait for Client to terminate */
 275    while ((n = bget_msg(fd, 0)) >= 0) {
 276       if (sscanf(fd->msg, EndBackup, &jcr->FDJobStatus, &jcr->JobFiles,
 277           &jcr->ReadBytes, &jcr->JobBytes) == 4) {
 278          fd_ok = TRUE;
 279          set_jcr_job_status(jcr, jcr->FDJobStatus);
 280          Dmsg1(100, "FDStatus=%c\n", (char)jcr->JobStatus);
 281       }
 282       if (job_canceled(jcr)) {
 283          break;
 284       }
 285    }
 286    if (is_bnet_error(fd)) {
 287       Jmsg(jcr, M_FATAL, 0, _("<filed: network error during BACKUP command. ERR=%s\n"),
 288           bnet_strerror(fd));
 289    }
 290    bnet_sig(fd, BNET_TERMINATE);   /* tell Client we are terminating */
 291
 292    wait_for_storage_daemon_termination(jcr);
 293
 294    /* Return the first error status we find FD or SD */
 295    if (fd_ok && jcr->JobStatus != JS_Terminated) {
 296       return jcr->JobStatus;
 297    }
 298    if (!fd_ok || is_bnet_error(fd)) {
 299       return JS_ErrorTerminated;
 300    }
 301    return jcr->SDJobStatus;
 302 }
 303
 304 /*
 305  * Release resources allocated during backup.
 306  */
 307 static void backup_cleanup(JCR *jcr, int TermCode, char *since)
 308 {
 309    char sdt[50], edt[50];
 310    char ec1[30], ec2[30], ec3[30], compress[50];
 311    char term_code[100], fd_term_msg[100], sd_term_msg[100];
 312    char *term_msg;
 313    int msg_type;
 314    MEDIA_DBR mr;
 315    double kbps, compression;
 316    utime_t RunTime;
 317
 318    Dmsg0(100, "Enter backup_cleanup()\n");
 319    memset(&mr, 0, sizeof(mr));
 320    set_jcr_job_status(jcr, TermCode);
 321
 322    update_job_end_record(jcr);        /* update database */
 323
 324    if (!db_get_job_record(jcr, jcr->db, &jcr->jr)) {
 325       Jmsg(jcr, M_WARNING, 0, _("Error getting job record for stats: %s"),
 326          db_strerror(jcr->db));
 327       set_jcr_job_status(jcr, JS_ErrorTerminated);
 328    }
 329
 330    strcpy(mr.VolumeName, jcr->VolumeName);
 331    if (!db_get_media_record(jcr, jcr->db, &mr)) {
 332       Jmsg(jcr, M_WARNING, 0, _("Error getting Media record for Volume \"%s\": ERR=%s"),
 333          mr.VolumeName, db_strerror(jcr->db));
 334       set_jcr_job_status(jcr, JS_ErrorTerminated);
 335    }
 336
 337    /* Now update the bootstrap file if any */
 338    if (jcr->JobStatus == JS_Terminated && jcr->job->WriteBootstrap) {
 339       FILE *fd;
 340       BPIPE *bpipe = NULL;
 341       int got_pipe = 0;
 342       char *fname = jcr->job->WriteBootstrap;
 343       VOL_PARAMS *VolParams = NULL;
 344       int VolCount;
 345
 346       if (*fname == '|') {
 347          fname++;
 348          got_pipe = 1;
 349          bpipe = open_bpipe(fname, 0, "w");
 350          fd = bpipe ? bpipe->wfd : NULL;
 351       } else {
 352          fd = fopen(fname, jcr->JobLevel==L_FULL?"w+":"a+");
 353       }
 354       if (fd) {
 355          VolCount = db_get_job_volume_parameters(jcr, jcr->db, jcr->JobId,
 356                     &VolParams);
 357          if (VolCount == 0) {
 358             Jmsg(jcr, M_ERROR, 0, _("Could not get Job Volume Parameters. ERR=%s\n"),
 359                  db_strerror(jcr->db));
 360          }
 361          for (int i=0; i < VolCount; i++) {
 362             /* Write the record */
 363             fprintf(fd, "Volume=\"%s\"\n", VolParams[i].VolumeName);
 364             fprintf(fd, "VolSessionId=%u\n", jcr->VolSessionId);
 365             fprintf(fd, "VolSessionTime=%u\n", jcr->VolSessionTime);
 366             fprintf(fd, "VolFile=%u-%u\n", VolParams[i].StartFile,
 367                          VolParams[i].EndFile);
 368             fprintf(fd, "VolBlock=%u-%u\n", VolParams[i].StartBlock,
 369                          VolParams[i].EndBlock);
 370             fprintf(fd, "FileIndex=%d-%d\n", VolParams[i].FirstIndex,
 371                          VolParams[i].LastIndex);
 372          }
 373          if (VolParams) {
 374             free(VolParams);
 375          }
 376          if (got_pipe) {
 377             close_bpipe(bpipe);
 378          } else {
 379             fclose(fd);
 380          }
 381       } else {
 382          Jmsg(jcr, M_ERROR, 0, _("Could not open WriteBootstrap file:\n"
 383               "%s: ERR=%s\n"), fname, strerror(errno));
 384          set_jcr_job_status(jcr, JS_ErrorTerminated);
 385       }
 386    }
 387
 388    msg_type = M_INFO;                 /* by default INFO message */
 389    switch (jcr->JobStatus) {
 390       case JS_Terminated:
 391          term_msg = _("Backup OK");
 392          break;
 393       case JS_FatalError:
 394       case JS_ErrorTerminated:
 395          term_msg = _("*** Backup Error ***");
 396          msg_type = M_ERROR;          /* Generate error message */
 397          if (jcr->store_bsock) {
 398             bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 399             pthread_cancel(jcr->SD_msg_chan);
 400          }
 401          break;
 402       case JS_Canceled:
 403          term_msg = _("Backup Canceled");
 404          if (jcr->store_bsock) {
 405             bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 406             pthread_cancel(jcr->SD_msg_chan);
 407          }
 408          break;
 409       default:
 410          term_msg = term_code;
 411          sprintf(term_code, _("Inappropriate term code: %c\n"), jcr->JobStatus);
 412          break;
 413    }
 414    bstrftime(sdt, sizeof(sdt), jcr->jr.StartTime);
 415    bstrftime(edt, sizeof(edt), jcr->jr.EndTime);
 416    RunTime = jcr->jr.EndTime - jcr->jr.StartTime;
 417    if (RunTime <= 0) {
 418       kbps = 0;
 419    } else {
 420       kbps = (double)jcr->jr.JobBytes / (1000 * RunTime);
 421    }
 422    if (!db_get_job_volume_names(jcr, jcr->db, jcr->jr.JobId, &jcr->VolumeName)) {
 423       /*
 424        * Note, if the job has erred, most likely it did not write any
 425        *  tape, so suppress this "error" message since in that case
 426        *  it is normal.  Or look at it the other way, only for a
 427        *  normal exit should we complain about this error.
 428        */
 429       if (jcr->JobStatus == JS_Terminated) {
 430          Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 431       }
 432       jcr->VolumeName[0] = 0;         /* none */
 433    }
 434
 435    if (jcr->ReadBytes == 0) {
 436       strcpy(compress, "None");
 437    } else {
 438       compression = (double)100 - 100.0 * ((double)jcr->JobBytes / (double)jcr->ReadBytes);
 439       if (compression < 0.5) {
 440          strcpy(compress, "None");
 441       } else {
 442          sprintf(compress, "%.1f %%", (float)compression);
 443       }
 444    }
 445    jobstatus_to_ascii(jcr->FDJobStatus, fd_term_msg, sizeof(fd_term_msg));
 446    jobstatus_to_ascii(jcr->SDJobStatus, sd_term_msg, sizeof(sd_term_msg));
 447
 448    Jmsg(jcr, msg_type, 0, _("Bacula " VERSION " (" LSMDATE "): %s\n\
 449 JobId:                  %d\n\
 450 Job:                    %s\n\
 451 FileSet:                %s\n\
 452 Backup Level:           %s%s\n\
 453 Client:                 %s\n\
 454 Start time:             %s\n\
 455 End time:               %s\n\
 456 Files Written:          %s\n\
 457 Bytes Written:          %s\n\
 458 Rate:                   %.1f KB/s\n\
 459 Software Compression:   %s\n\
 460 Volume names(s):        %s\n\
 461 Volume Session Id:      %d\n\
 462 Volume Session Time:    %d\n\
 463 Last Volume Bytes:      %s\n\
 464 FD termination status:  %s\n\
 465 SD termination status:  %s\n\
 466 Termination:            %s\n\n"),
 467         edt,
 468         jcr->jr.JobId,
 469         jcr->jr.Job,
 470         jcr->fileset->hdr.name,
 471         level_to_str(jcr->JobLevel), since,
 472         jcr->client->hdr.name,
 473         sdt,
 474         edt,
 475         edit_uint64_with_commas(jcr->jr.JobFiles, ec1),
 476         edit_uint64_with_commas(jcr->jr.JobBytes, ec2),
 477         (float)kbps,
 478         compress,
 479         jcr->VolumeName,
 480         jcr->VolSessionId,
 481         jcr->VolSessionTime,
 482         edit_uint64_with_commas(mr.VolBytes, ec3),
 483         fd_term_msg,
 484         sd_term_msg,
 485         term_msg);
 486
 487
 488    Dmsg0(100, "Leave backup_cleanup()\n");
 489 }