git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/backup.c

   1 /*
   2  *
   3  *   Bacula Director -- backup.c -- responsible for doing backup jobs
   4  *
   5  *     Kern Sibbald, March MM
   6  *
   7  *  Basic tasks done here:
   8  *     Open DB and create records for this job.
   9  *     Open Message Channel with Storage daemon to tell him a job will be starting.
  10  *     Open connection with File daemon and pass him commands
  11  *       to do the backup.
  12  *     When the File daemon finishes the job, update the DB.
  13  *
  14  *   Version $Id$
  15  */
  16
  17 /*
  18    Copyright (C) 2000-2005 Kern Sibbald
  19
  20    This program is free software; you can redistribute it and/or
  21    modify it under the terms of the GNU General Public License as
  22    published by the Free Software Foundation; either version 2 of
  23    the License, or (at your option) any later version.
  24
  25    This program is distributed in the hope that it will be useful,
  26    but WITHOUT ANY WARRANTY; without even the implied warranty of
  27    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  28    General Public License for more details.
  29
  30    You should have received a copy of the GNU General Public
  31    License along with this program; if not, write to the Free
  32    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  33    MA 02111-1307, USA.
  34
  35  */
  36
  37 #include "bacula.h"
  38 #include "dird.h"
  39 #include "ua.h"
  40
  41 /* Commands sent to File daemon */
  42 static char backupcmd[] = "backup\n";
  43 static char storaddr[]  = "storage address=%s port=%d ssl=%d\n";
  44
  45 /* Responses received from File daemon */
  46 static char OKbackup[]   = "2000 OK backup\n";
  47 static char OKstore[]    = "2000 OK storage\n";
  48 static char EndJob[]     = "2800 End Job TermCode=%d JobFiles=%u "
  49                            "ReadBytes=%lld JobBytes=%lld Errors=%u\n";
  50
  51 /*
  52  * Called here before the job is run to do the job
  53  *   specific setup.
  54  */
  55 bool do_backup_init(JCR *jcr)
  56 {
  57    FILESET_DBR fsr;
  58    POOL_DBR pr;
  59    /*
  60     * Get the Pool record -- first apply any level defined pools
  61     */
  62    switch (jcr->JobLevel) {
  63    case L_FULL:
  64       if (jcr->full_pool) {
  65          jcr->pool = jcr->full_pool;
  66       }
  67       break;
  68    case L_INCREMENTAL:
  69       if (jcr->inc_pool) {
  70          jcr->pool = jcr->inc_pool;
  71       }
  72       break;
  73    case L_DIFFERENTIAL:
  74       if (jcr->dif_pool) {
  75          jcr->pool = jcr->dif_pool;
  76       }
  77       break;
  78    }
  79    memset(&pr, 0, sizeof(pr));
  80    bstrncpy(pr.Name, jcr->pool->hdr.name, sizeof(pr.Name));
  81
  82    if (!db_get_pool_record(jcr, jcr->db, &pr)) { /* get by Name */
  83       /* Try to create the pool */
  84       if (create_pool(jcr, jcr->db, jcr->pool, POOL_OP_CREATE) < 0) {
  85          Jmsg(jcr, M_FATAL, 0, _("Pool %s not in database. %s"), pr.Name,
  86             db_strerror(jcr->db));
  87          return false;
  88       } else {
  89          Jmsg(jcr, M_INFO, 0, _("Pool %s created in database.\n"), pr.Name);
  90          if (!db_get_pool_record(jcr, jcr->db, &pr)) { /* get by Name */
  91             Jmsg(jcr, M_FATAL, 0, _("Pool %s not in database. %s"), pr.Name,
  92                db_strerror(jcr->db));
  93             return false;
  94          }
  95       }
  96    }
  97    jcr->PoolId = pr.PoolId;               /****FIXME**** this can go away */
  98    jcr->jr.PoolId = pr.PoolId;
  99
 100    if (!get_or_create_fileset_record(jcr, &fsr)) {
 101       return false;
 102    }
 103    bstrncpy(jcr->FSCreateTime, fsr.cCreateTime, sizeof(jcr->FSCreateTime));
 104
 105    get_level_since_time(jcr, jcr->since, sizeof(jcr->since));
 106
 107    Dmsg2(900, "cloned=%d run_cmds=%p\n", jcr->cloned, jcr->job->run_cmds);
 108    if (!jcr->cloned && jcr->job->run_cmds) {
 109       char *runcmd;
 110       JOB *job = jcr->job;
 111       POOLMEM *cmd = get_pool_memory(PM_FNAME);
 112       UAContext *ua = new_ua_context(jcr);
 113       ua->batch = true;
 114       foreach_alist(runcmd, job->run_cmds) {
 115          cmd = edit_job_codes(jcr, cmd, runcmd, "");
 116          Mmsg(ua->cmd, "run %s cloned=yes", cmd);
 117          Dmsg1(900, "=============== Clone cmd=%s\n", ua->cmd);
 118          parse_ua_args(ua);                 /* parse command */
 119          int stat = run_cmd(ua, ua->cmd);
 120          if (stat == 0) {
 121             Jmsg(jcr, M_ERROR, 0, _("Could not start clone job.\n"));
 122          } else {
 123             Jmsg(jcr, M_INFO, 0, _("Clone JobId %d started.\n"), stat);
 124          }
 125       }
 126       free_ua_context(ua);
 127       free_pool_memory(cmd);
 128    }
 129
 130    return true;
 131 }
 132
 133 /*
 134  * Do a backup of the specified FileSet
 135  *
 136  *  Returns:  false on failure
 137  *            true  on success
 138  */
 139 bool do_backup(JCR *jcr)
 140 {
 141    int stat;
 142    int tls_need = BNET_TLS_NONE;
 143    BSOCK   *fd;
 144    STORE *store;
 145
 146
 147    /* Print Job Start message */
 148    Jmsg(jcr, M_INFO, 0, _("Start Backup JobId %u, Job=%s\n"),
 149         jcr->JobId, jcr->Job);
 150
 151    set_jcr_job_status(jcr, JS_Running);
 152    Dmsg2(100, "JobId=%d JobLevel=%c\n", jcr->jr.JobId, jcr->jr.JobLevel);
 153    if (!db_update_job_start_record(jcr, jcr->db, &jcr->jr)) {
 154       Jmsg(jcr, M_FATAL, 0, "%s", db_strerror(jcr->db));
 155       return false;
 156    }
 157
 158    /*
 159     * Open a message channel connection with the Storage
 160     * daemon. This is to let him know that our client
 161     * will be contacting him for a backup  session.
 162     *
 163     */
 164    Dmsg0(110, "Open connection with storage daemon\n");
 165    set_jcr_job_status(jcr, JS_WaitSD);
 166    /*
 167     * Start conversation with Storage daemon
 168     */
 169    if (!connect_to_storage_daemon(jcr, 10, SDConnectTimeout, 1)) {
 170       return false;
 171    }
 172    /*
 173     * Now start a job with the Storage daemon
 174     */
 175    if (!start_storage_daemon_job(jcr, jcr->storage, SD_APPEND)) {
 176       return false;
 177    }
 178    /*
 179     * Now start a Storage daemon message thread
 180     */
 181    if (!start_storage_daemon_message_thread(jcr)) {
 182       return false;
 183    }
 184    Dmsg0(150, "Storage daemon connection OK\n");
 185
 186    set_jcr_job_status(jcr, JS_WaitFD);
 187    if (!connect_to_file_daemon(jcr, 10, FDConnectTimeout, 1)) {
 188       return false;
 189    }
 190
 191    set_jcr_job_status(jcr, JS_Running);
 192    fd = jcr->file_bsock;
 193
 194    if (!send_include_list(jcr)) {
 195       return false;
 196    }
 197
 198    if (!send_exclude_list(jcr)) {
 199       return false;
 200    }
 201
 202    if (!send_level_command(jcr)) {
 203       return false;
 204    }
 205
 206    /*
 207     * send Storage daemon address to the File daemon
 208     */
 209    store = jcr->store;
 210    if (store->SDDport == 0) {
 211       store->SDDport = store->SDport;
 212    }
 213
 214 #ifdef HAVE_TLS
 215    /* TLS Requirement */
 216    if (store->tls_enable) {
 217       if (store->tls_require) {
 218          tls_need = BNET_TLS_REQUIRED;
 219       } else {
 220          tls_need = BNET_TLS_OK;
 221       }
 222    }
 223 #endif
 224
 225    bnet_fsend(fd, storaddr, store->address, store->SDDport,
 226               tls_need);
 227    if (!response(jcr, fd, OKstore, "Storage", DISPLAY_ERROR)) {
 228       return false;
 229    }
 230
 231
 232    if (!send_run_before_and_after_commands(jcr)) {
 233       return false;
 234    }
 235
 236    /* Send backup command */
 237    bnet_fsend(fd, backupcmd);
 238    if (!response(jcr, fd, OKbackup, "backup", DISPLAY_ERROR)) {
 239       return false;
 240    }
 241
 242    /* Pickup Job termination data */
 243    stat = wait_for_job_termination(jcr);
 244    if (stat == JS_Terminated) {
 245       backup_cleanup(jcr, stat);
 246       return true;
 247    }
 248    return false;
 249 }
 250
 251
 252 /*
 253  * Here we wait for the File daemon to signal termination,
 254  *   then we wait for the Storage daemon.  When both
 255  *   are done, we return the job status.
 256  * Also used by restore.c
 257  */
 258 int wait_for_job_termination(JCR *jcr)
 259 {
 260    int32_t n = 0;
 261    BSOCK *fd = jcr->file_bsock;
 262    bool fd_ok = false;
 263    uint32_t JobFiles, Errors;
 264    uint64_t ReadBytes, JobBytes;
 265
 266    set_jcr_job_status(jcr, JS_Running);
 267    /* Wait for Client to terminate */
 268    while ((n = bget_dirmsg(fd)) >= 0) {
 269       if (!fd_ok && sscanf(fd->msg, EndJob, &jcr->FDJobStatus, &JobFiles,
 270           &ReadBytes, &JobBytes, &Errors) == 5) {
 271          fd_ok = true;
 272          set_jcr_job_status(jcr, jcr->FDJobStatus);
 273          Dmsg1(100, "FDStatus=%c\n", (char)jcr->JobStatus);
 274       } else {
 275          Jmsg(jcr, M_WARNING, 0, _("Unexpected Client Job message: %s\n"),
 276             fd->msg);
 277       }
 278       if (job_canceled(jcr)) {
 279          break;
 280       }
 281    }
 282    if (is_bnet_error(fd)) {
 283       Jmsg(jcr, M_FATAL, 0, _("Network error with FD during %s: ERR=%s\n"),
 284           job_type_to_str(jcr->JobType), bnet_strerror(fd));
 285    }
 286    bnet_sig(fd, BNET_TERMINATE);   /* tell Client we are terminating */
 287
 288    /* Note, the SD stores in jcr->JobFiles/ReadBytes/JobBytes/Errors */
 289    wait_for_storage_daemon_termination(jcr);
 290
 291
 292    /* Return values from FD */
 293    if (fd_ok) {
 294       jcr->JobFiles = JobFiles;
 295       jcr->Errors = Errors;
 296       jcr->ReadBytes = ReadBytes;
 297       jcr->JobBytes = JobBytes;
 298    } else {
 299       Jmsg(jcr, M_FATAL, 0, _("No Job status returned from FD.\n"));
 300    }
 301
 302 // Dmsg4(100, "fd_ok=%d FDJS=%d JS=%d SDJS=%d\n", fd_ok, jcr->FDJobStatus,
 303 //   jcr->JobStatus, jcr->SDJobStatus);
 304
 305    /* Return the first error status we find Dir, FD, or SD */
 306    if (!fd_ok || is_bnet_error(fd)) {
 307       jcr->FDJobStatus = JS_ErrorTerminated;
 308    }
 309    if (jcr->JobStatus != JS_Terminated) {
 310       return jcr->JobStatus;
 311    }
 312    if (jcr->FDJobStatus != JS_Terminated) {
 313       return jcr->FDJobStatus;
 314    }
 315    return jcr->SDJobStatus;
 316 }
 317
 318 /*
 319  * Release resources allocated during backup.
 320  */
 321 void backup_cleanup(JCR *jcr, int TermCode)
 322 {
 323    char sdt[50], edt[50], schedt[50];
 324    char ec1[30], ec2[30], ec3[30], ec4[30], ec5[30], compress[50];
 325    char term_code[100], fd_term_msg[100], sd_term_msg[100];
 326    const char *term_msg;
 327    int msg_type;
 328    MEDIA_DBR mr;
 329    double kbps, compression;
 330    utime_t RunTime;
 331
 332    Dmsg2(100, "Enter backup_cleanup %d %c\n", TermCode, TermCode);
 333    dequeue_messages(jcr);             /* display any queued messages */
 334    memset(&mr, 0, sizeof(mr));
 335    set_jcr_job_status(jcr, TermCode);
 336
 337    update_job_end_record(jcr);        /* update database */
 338
 339    if (!db_get_job_record(jcr, jcr->db, &jcr->jr)) {
 340       Jmsg(jcr, M_WARNING, 0, _("Error getting job record for stats: %s"),
 341          db_strerror(jcr->db));
 342       set_jcr_job_status(jcr, JS_ErrorTerminated);
 343    }
 344
 345    bstrncpy(mr.VolumeName, jcr->VolumeName, sizeof(mr.VolumeName));
 346    if (!db_get_media_record(jcr, jcr->db, &mr)) {
 347       Jmsg(jcr, M_WARNING, 0, _("Error getting Media record for Volume \"%s\": ERR=%s"),
 348          mr.VolumeName, db_strerror(jcr->db));
 349       set_jcr_job_status(jcr, JS_ErrorTerminated);
 350    }
 351
 352    /* Now update the bootstrap file if any */
 353    if (jcr->JobStatus == JS_Terminated && jcr->jr.JobBytes &&
 354        jcr->job->WriteBootstrap) {
 355       FILE *fd;
 356       BPIPE *bpipe = NULL;
 357       int got_pipe = 0;
 358       char *fname = jcr->job->WriteBootstrap;
 359       VOL_PARAMS *VolParams = NULL;
 360       int VolCount;
 361
 362       if (*fname == '|') {
 363          fname++;
 364          got_pipe = 1;
 365          bpipe = open_bpipe(fname, 0, "w");
 366          fd = bpipe ? bpipe->wfd : NULL;
 367       } else {
 368          /* ***FIXME*** handle BASE */
 369          fd = fopen(fname, jcr->JobLevel==L_FULL?"w+":"a+");
 370       }
 371       if (fd) {
 372          VolCount = db_get_job_volume_parameters(jcr, jcr->db, jcr->JobId,
 373                     &VolParams);
 374          if (VolCount == 0) {
 375             Jmsg(jcr, M_ERROR, 0, _("Could not get Job Volume Parameters to "
 376                  "update Bootstrap file. ERR=%s\n"), db_strerror(jcr->db));
 377              if (jcr->SDJobFiles != 0) {
 378                 set_jcr_job_status(jcr, JS_ErrorTerminated);
 379              }
 380
 381          }
 382          for (int i=0; i < VolCount; i++) {
 383             /* Write the record */
 384             fprintf(fd, "Volume=\"%s\"\n", VolParams[i].VolumeName);
 385             fprintf(fd, "MediaType=\"%s\"\n", VolParams[i].MediaType);
 386             fprintf(fd, "VolSessionId=%u\n", jcr->VolSessionId);
 387             fprintf(fd, "VolSessionTime=%u\n", jcr->VolSessionTime);
 388             fprintf(fd, "VolFile=%u-%u\n", VolParams[i].StartFile,
 389                          VolParams[i].EndFile);
 390             fprintf(fd, "VolBlock=%u-%u\n", VolParams[i].StartBlock,
 391                          VolParams[i].EndBlock);
 392             fprintf(fd, "FileIndex=%d-%d\n", VolParams[i].FirstIndex,
 393                          VolParams[i].LastIndex);
 394          }
 395          if (VolParams) {
 396             free(VolParams);
 397          }
 398          if (got_pipe) {
 399             close_bpipe(bpipe);
 400          } else {
 401             fclose(fd);
 402          }
 403       } else {
 404          berrno be;
 405          Jmsg(jcr, M_ERROR, 0, _("Could not open WriteBootstrap file:\n"
 406               "%s: ERR=%s\n"), fname, be.strerror());
 407          set_jcr_job_status(jcr, JS_ErrorTerminated);
 408       }
 409    }
 410
 411    msg_type = M_INFO;                 /* by default INFO message */
 412    switch (jcr->JobStatus) {
 413       case JS_Terminated:
 414          if (jcr->Errors || jcr->SDErrors) {
 415             term_msg = _("Backup OK -- with warnings");
 416          } else {
 417             term_msg = _("Backup OK");
 418          }
 419          break;
 420       case JS_FatalError:
 421       case JS_ErrorTerminated:
 422          term_msg = _("*** Backup Error ***");
 423          msg_type = M_ERROR;          /* Generate error message */
 424          if (jcr->store_bsock) {
 425             bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 426             if (jcr->SD_msg_chan) {
 427                pthread_cancel(jcr->SD_msg_chan);
 428             }
 429          }
 430          break;
 431       case JS_Canceled:
 432          term_msg = _("Backup Canceled");
 433          if (jcr->store_bsock) {
 434             bnet_sig(jcr->store_bsock, BNET_TERMINATE);
 435             if (jcr->SD_msg_chan) {
 436                pthread_cancel(jcr->SD_msg_chan);
 437             }
 438          }
 439          break;
 440       default:
 441          term_msg = term_code;
 442          sprintf(term_code, _("Inappropriate term code: %c\n"), jcr->JobStatus);
 443          break;
 444    }
 445    bstrftimes(schedt, sizeof(schedt), jcr->jr.SchedTime);
 446    bstrftimes(sdt, sizeof(sdt), jcr->jr.StartTime);
 447    bstrftimes(edt, sizeof(edt), jcr->jr.EndTime);
 448    RunTime = jcr->jr.EndTime - jcr->jr.StartTime;
 449    if (RunTime <= 0) {
 450       kbps = 0;
 451    } else {
 452       kbps = (double)jcr->jr.JobBytes / (1000 * RunTime);
 453    }
 454    if (!db_get_job_volume_names(jcr, jcr->db, jcr->jr.JobId, &jcr->VolumeName)) {
 455       /*
 456        * Note, if the job has erred, most likely it did not write any
 457        *  tape, so suppress this "error" message since in that case
 458        *  it is normal.  Or look at it the other way, only for a
 459        *  normal exit should we complain about this error.
 460        */
 461       if (jcr->JobStatus == JS_Terminated && jcr->jr.JobBytes) {
 462          Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 463       }
 464       jcr->VolumeName[0] = 0;         /* none */
 465    }
 466
 467    if (jcr->ReadBytes == 0) {
 468       bstrncpy(compress, "None", sizeof(compress));
 469    } else {
 470       compression = (double)100 - 100.0 * ((double)jcr->JobBytes / (double)jcr->ReadBytes);
 471       if (compression < 0.5) {
 472          bstrncpy(compress, "None", sizeof(compress));
 473       } else {
 474          bsnprintf(compress, sizeof(compress), "%.1f %%", (float)compression);
 475       }
 476    }
 477    jobstatus_to_ascii(jcr->FDJobStatus, fd_term_msg, sizeof(fd_term_msg));
 478    jobstatus_to_ascii(jcr->SDJobStatus, sd_term_msg, sizeof(sd_term_msg));
 479
 480 // bmicrosleep(15, 0);                /* for debugging SIGHUP */
 481
 482    Jmsg(jcr, msg_type, 0, _("Bacula " VERSION " (" LSMDATE "): %s\n"
 483 "  JobId:                  %d\n"
 484 "  Job:                    %s\n"
 485 "  Backup Level:           %s%s\n"
 486 "  Client:                 %s\n"
 487 "  FileSet:                \"%s\" %s\n"
 488 "  Pool:                   \"%s\"\n"
 489 "  Storage:                \"%s\"\n"
 490 "  Scheduled time:         %s\n"
 491 "  Start time:             %s\n"
 492 "  End time:               %s\n"
 493 "  Priority:               %d\n"
 494 "  FD Files Written:       %s\n"
 495 "  SD Files Written:       %s\n"
 496 "  FD Bytes Written:       %s\n"
 497 "  SD Bytes Written:       %s\n"
 498 "  Rate:                   %.1f KB/s\n"
 499 "  Software Compression:   %s\n"
 500 "  Volume name(s):         %s\n"
 501 "  Volume Session Id:      %d\n"
 502 "  Volume Session Time:    %d\n"
 503 "  Last Volume Bytes:      %s\n"
 504 "  Non-fatal FD errors:    %d\n"
 505 "  SD Errors:              %d\n"
 506 "  FD termination status:  %s\n"
 507 "  SD termination status:  %s\n"
 508 "  Termination:            %s\n\n"),
 509         edt,
 510         jcr->jr.JobId,
 511         jcr->jr.Job,
 512         level_to_str(jcr->JobLevel), jcr->since,
 513         jcr->client->hdr.name,
 514         jcr->fileset->hdr.name, jcr->FSCreateTime,
 515         jcr->pool->hdr.name,
 516         jcr->store->hdr.name,
 517         schedt,
 518         sdt,
 519         edt,
 520         jcr->JobPriority,
 521         edit_uint64_with_commas(jcr->jr.JobFiles, ec1),
 522         edit_uint64_with_commas(jcr->SDJobFiles, ec4),
 523         edit_uint64_with_commas(jcr->jr.JobBytes, ec2),
 524         edit_uint64_with_commas(jcr->SDJobBytes, ec5),
 525         (float)kbps,
 526         compress,
 527         jcr->VolumeName,
 528         jcr->VolSessionId,
 529         jcr->VolSessionTime,
 530         edit_uint64_with_commas(mr.VolBytes, ec3),
 531         jcr->Errors,
 532         jcr->SDErrors,
 533         fd_term_msg,
 534         sd_term_msg,
 535         term_msg);
 536
 537    Dmsg0(100, "Leave backup_cleanup()\n");
 538 }