]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/dird/backup.c
Massive SD calling sequence reorganization
[bacula/bacula] / bacula / src / dird / backup.c
index 6afcd799507746939900af984f08582a5a139f73..9f7d07c7a90dc9bd8842c92638546229742dc19c 100644 (file)
@@ -15,7 +15,7 @@
  */
 
 /*
-   Copyright (C) 2000-2003 Kern Sibbald and John Walker
+   Copyright (C) 2000-2004 Kern Sibbald and John Walker
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
 /* Commands sent to File daemon */
 static char backupcmd[] = "backup\n";
 static char storaddr[]  = "storage address=%s port=%d ssl=%d\n";
-static char levelcmd[]  = "level = %s%s\n";
 
 /* Responses received from File daemon */
 static char OKbackup[]   = "2000 OK backup\n";
 static char OKstore[]    = "2000 OK storage\n";
-static char OKlevel[]    = "2000 OK level\n";
 static char EndJob[]     = "2800 End Job TermCode=%d JobFiles=%u "
                            "ReadBytes=%" lld " JobBytes=%" lld " Errors=%u\n";
 
@@ -69,87 +67,45 @@ int do_backup(JCR *jcr)
    BSOCK   *fd;
    POOL_DBR pr;
    FILESET_DBR fsr;
+   STORE *store;
 
    since[0] = 0;
 
    if (!get_or_create_client_record(jcr)) {
-      Jmsg(jcr, M_ERROR, 0, _("Could not get/create Client record. ERR=%s\n"), 
-        db_strerror(jcr->db));
       goto bail_out;
    }
 
-   /*
-    * Get or Create FileSet record
-    */
-   memset(&fsr, 0, sizeof(fsr));
-   bstrncpy(fsr.FileSet, jcr->fileset->hdr.name, sizeof(fsr.FileSet));
-   if (jcr->fileset->have_MD5) {
-      struct MD5Context md5c;
-      unsigned char signature[16];
-      memcpy(&md5c, &jcr->fileset->md5c, sizeof(md5c));
-      MD5Final(signature, &md5c);
-      bin_to_base64(fsr.MD5, (char *)signature, 16); /* encode 16 bytes */
-      bstrncpy(jcr->fileset->MD5, fsr.MD5, sizeof(jcr->fileset->MD5));
-   } else {
-      Jmsg(jcr, M_WARNING, 0, _("FileSet MD5 signature not found.\n"));
-   }
-   if (!db_create_fileset_record(jcr, jcr->db, &fsr)) {
-      Jmsg(jcr, M_ERROR, 0, _("Could not create FileSet \"%s\" record. ERR=%s\n"), 
-        fsr.FileSet, db_strerror(jcr->db));
+   if (!get_or_create_fileset_record(jcr, &fsr)) {
       goto bail_out;
-   }   
-   jcr->jr.FileSetId = fsr.FileSetId;
-   if (fsr.created) {
-      Jmsg(jcr, M_INFO, 0, _("Created new FileSet record \"%s\" %s\n"), 
-        fsr.FileSet, fsr.cCreateTime);
    }
-   Dmsg2(119, "Created FileSet %s record %u\n", jcr->fileset->hdr.name, 
-      jcr->jr.FileSetId);
 
-   /* Look up the last
-    * FULL backup job to get the time/date for a 
-    * differential or incremental save.
-    */
-   jcr->stime = get_pool_memory(PM_MESSAGE);
-   jcr->stime[0] = 0;
-   since[0] = 0;
-   switch (jcr->JobLevel) {
-      case L_DIFFERENTIAL:
-      case L_INCREMENTAL:
-        /* Look up start time of last job */
-        jcr->jr.JobId = 0;
-        if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
-            Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
-            Jmsg(jcr, M_INFO, 0, _("No prior or suitable FULL backup found. Doing FULL backup.\n"));
-            bsnprintf(since, sizeof(since), " (upgraded from %s)", 
-              level_to_str(jcr->jr.Level));
-           jcr->JobLevel = jcr->jr.Level = L_FULL;
-        } else {
-            bstrncpy(since, ", since=", sizeof(since));
-           bstrncat(since, jcr->stime, sizeof(since));
-        }
-         Dmsg1(115, "Last start time = %s\n", jcr->stime);
-        break;
-   }
-
-   jcr->jr.JobId = jcr->JobId;
-   jcr->jr.StartTime = jcr->start_time;
-   if (!db_update_job_start_record(jcr, jcr->db, &jcr->jr)) {
-      Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
-      goto bail_out;
-   }
+   get_level_since_time(jcr, since, sizeof(since));
 
-   jcr->fname = (char *) get_pool_memory(PM_FNAME);
-
-   /* Print Job Start message */
-   Jmsg(jcr, M_INFO, 0, _("Start Backup JobId %u, Job=%s\n"),
-       jcr->JobId, jcr->Job);
+   jcr->fname = get_pool_memory(PM_FNAME);
 
    /* 
-    * Get the Pool record  
+    * Get the Pool record -- first apply any level defined pools  
     */
+   switch (jcr->JobLevel) {
+   case L_FULL:
+      if (jcr->full_pool) {
+        jcr->pool = jcr->full_pool;   
+      }
+      break;
+   case L_INCREMENTAL:
+      if (jcr->inc_pool) {
+        jcr->pool = jcr->inc_pool;   
+      }
+      break;
+   case L_DIFFERENTIAL:
+      if (jcr->dif_pool) {
+        jcr->pool = jcr->dif_pool;   
+      }
+      break;
+   }
    memset(&pr, 0, sizeof(pr));
    bstrncpy(pr.Name, jcr->pool->hdr.name, sizeof(pr.Name));
+
    while (!db_get_pool_record(jcr, jcr->db, &pr)) { /* get by Name */
       /* Try to create the pool */
       if (create_pool(jcr, jcr->db, jcr->pool, POOL_OP_CREATE) < 0) {
@@ -163,6 +119,19 @@ int do_backup(JCR *jcr)
    jcr->PoolId = pr.PoolId;              /****FIXME**** this can go away */
    jcr->jr.PoolId = pr.PoolId;
 
+
+   /* Print Job Start message */
+   Jmsg(jcr, M_INFO, 0, _("Start Backup JobId %u, Job=%s\n"),
+       jcr->JobId, jcr->Job);
+
+   set_jcr_job_status(jcr, JS_Running);
+   Dmsg2(100, "JobId=%d JobLevel=%c\n", jcr->jr.JobId, jcr->jr.JobLevel);
+   if (!db_update_job_start_record(jcr, jcr->db, &jcr->jr)) {
+      Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
+      goto bail_out;
+   }
+
+
    /*
     * Open a message channel connection with the Storage
     * daemon. This is to let him know that our client
@@ -207,42 +176,25 @@ int do_backup(JCR *jcr)
       goto bail_out;
    }
 
+   if (!send_level_command(jcr)) {
+      goto bail_out;
+   }
+
    /* 
     * send Storage daemon address to the File daemon
     */
-   if (jcr->store->SDDport == 0) {
-      jcr->store->SDDport = jcr->store->SDport;
+   store = (STORE *)jcr->storage[0]->first();
+   if (store->SDDport == 0) {
+      store->SDDport = store->SDport;
    }
-   bnet_fsend(fd, storaddr, jcr->store->address, jcr->store->SDDport,
-             jcr->store->enable_ssl);
+   bnet_fsend(fd, storaddr, store->address, store->SDDport,
+             store->enable_ssl);
    if (!response(jcr, fd, OKstore, "Storage", DISPLAY_ERROR)) {
       goto bail_out;
    }
 
-   /* 
-    * Send Level command to File daemon
-    */
-   switch (jcr->JobLevel) {
-      case L_BASE:
-         bnet_fsend(fd, levelcmd, "base", " ");
-        break;
-      case L_FULL:
-         bnet_fsend(fd, levelcmd, "full", " ");
-        break;
-      case L_DIFFERENTIAL:
-      case L_INCREMENTAL:
-         bnet_fsend(fd, levelcmd, "since ", jcr->stime);
-        free_pool_memory(jcr->stime);
-        jcr->stime = NULL;
-        break;
-      case L_SINCE:
-      default:
-         Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"), 
-           jcr->JobLevel, jcr->JobLevel);
-        goto bail_out;
-   }
-   Dmsg1(120, ">filed: %s", fd->msg);
-   if (!response(jcr, fd, OKlevel, "Level", DISPLAY_ERROR)) {
+
+   if (!send_run_before_and_after_commands(jcr)) {
       goto bail_out;
    }
 
@@ -258,13 +210,8 @@ int do_backup(JCR *jcr)
    return 1;
 
 bail_out:
-   if (jcr->stime) {
-      free_pool_memory(jcr->stime);
-      jcr->stime = NULL;
-   }
    backup_cleanup(jcr, JS_ErrorTerminated, since, &fsr);
    return 0;
-
 }
 
 /*
@@ -277,14 +224,16 @@ int wait_for_job_termination(JCR *jcr)
 {
    int32_t n = 0;
    BSOCK *fd = jcr->file_bsock;
-   int fd_ok = FALSE;
+   bool fd_ok = false;
+   uint32_t JobFiles, Errors;
+   uint64_t ReadBytes, JobBytes;
 
    set_jcr_job_status(jcr, JS_Running);
    /* Wait for Client to terminate */
    while ((n = bget_dirmsg(fd)) >= 0) {
-      if (sscanf(fd->msg, EndJob, &jcr->FDJobStatus, &jcr->JobFiles,
-         &jcr->ReadBytes, &jcr->JobBytes, &jcr->Errors) == 5) {
-        fd_ok = TRUE;
+      if (!fd_ok && sscanf(fd->msg, EndJob, &jcr->FDJobStatus, &JobFiles,
+         &ReadBytes, &JobBytes, &Errors) == 5) {
+        fd_ok = true;
         set_jcr_job_status(jcr, jcr->FDJobStatus);
          Dmsg1(100, "FDStatus=%c\n", (char)jcr->JobStatus);
       } else {
@@ -301,14 +250,32 @@ int wait_for_job_termination(JCR *jcr)
    }
    bnet_sig(fd, BNET_TERMINATE);   /* tell Client we are terminating */
 
+   /* Note, the SD stores in jcr->JobFiles/ReadBytes/JobBytes/Errors */
    wait_for_storage_daemon_termination(jcr);
 
-   /* Return the first error status we find FD or SD */
-   if (fd_ok && jcr->JobStatus != JS_Terminated) {
-      return jcr->JobStatus;
+
+   /* Return values from FD */
+   if (fd_ok) {
+      jcr->JobFiles = JobFiles;
+      jcr->Errors = Errors;
+      jcr->ReadBytes = ReadBytes;
+      jcr->JobBytes = JobBytes;
+   } else {
+      Jmsg(jcr, M_FATAL, 0, _("No Job status returned from FD.\n"));
    }
+
+// Dmsg4(100, "fd_ok=%d FDJS=%d JS=%d SDJS=%d\n", fd_ok, jcr->FDJobStatus,
+//   jcr->JobStatus, jcr->SDJobStatus);
+
+   /* Return the first error status we find Dir, FD, or SD */
    if (!fd_ok || is_bnet_error(fd)) {                         
-      return JS_ErrorTerminated;
+      jcr->FDJobStatus = JS_ErrorTerminated;
+   }
+   if (jcr->JobStatus != JS_Terminated) {
+      return jcr->JobStatus;
+   }
+   if (jcr->FDJobStatus != JS_Terminated) {
+      return jcr->FDJobStatus;
    }
    return jcr->SDJobStatus;
 }
@@ -319,15 +286,16 @@ int wait_for_job_termination(JCR *jcr)
 static void backup_cleanup(JCR *jcr, int TermCode, char *since, FILESET_DBR *fsr) 
 {
    char sdt[50], edt[50];
-   char ec1[30], ec2[30], ec3[30], compress[50];
+   char ec1[30], ec2[30], ec3[30], ec4[30], ec5[30], compress[50];
    char term_code[100], fd_term_msg[100], sd_term_msg[100];
-   char *term_msg;
+   const char *term_msg;
    int msg_type;
    MEDIA_DBR mr;
    double kbps, compression;
    utime_t RunTime;
 
-   Dmsg0(100, "Enter backup_cleanup()\n");
+   Dmsg2(100, "Enter backup_cleanup %d %c\n", TermCode, TermCode);
+   dequeue_messages(jcr);            /* display any queued messages */
    memset(&mr, 0, sizeof(mr));
    set_jcr_job_status(jcr, TermCode);
 
@@ -369,8 +337,12 @@ static void backup_cleanup(JCR *jcr, int TermCode, char *since, FILESET_DBR *fsr
         VolCount = db_get_job_volume_parameters(jcr, jcr->db, jcr->JobId,
                    &VolParams);
         if (VolCount == 0) {
-            Jmsg(jcr, M_ERROR, 0, _("Could not get Job Volume Parameters. ERR=%s\n"),
-                db_strerror(jcr->db));
+            Jmsg(jcr, M_ERROR, 0, _("Could not get Job Volume Parameters to "      
+                 "update Bootstrap file. ERR=%s\n"), db_strerror(jcr->db));
+            if (jcr->SDJobFiles != 0) {
+               set_jcr_job_status(jcr, JS_ErrorTerminated);
+            }
+
         }
         for (int i=0; i < VolCount; i++) {
            /* Write the record */
@@ -393,8 +365,9 @@ static void backup_cleanup(JCR *jcr, int TermCode, char *since, FILESET_DBR *fsr
            fclose(fd);
         }
       } else {
+        berrno be;
          Jmsg(jcr, M_ERROR, 0, _("Could not open WriteBootstrap file:\n"
-              "%s: ERR=%s\n"), fname, strerror(errno));
+              "%s: ERR=%s\n"), fname, be.strerror());
         set_jcr_job_status(jcr, JS_ErrorTerminated);
       }
    }
@@ -402,7 +375,11 @@ static void backup_cleanup(JCR *jcr, int TermCode, char *since, FILESET_DBR *fsr
    msg_type = M_INFO;                /* by default INFO message */
    switch (jcr->JobStatus) {
       case JS_Terminated:
-         term_msg = _("Backup OK");
+        if (jcr->Errors || jcr->SDErrors) {
+            term_msg = _("Backup OK -- with warnings");
+        } else {
+            term_msg = _("Backup OK");
+        }
         break;
       case JS_FatalError:
       case JS_ErrorTerminated:
@@ -410,14 +387,18 @@ static void backup_cleanup(JCR *jcr, int TermCode, char *since, FILESET_DBR *fsr
         msg_type = M_ERROR;          /* Generate error message */
         if (jcr->store_bsock) {
            bnet_sig(jcr->store_bsock, BNET_TERMINATE);
-           pthread_cancel(jcr->SD_msg_chan);
+           if (jcr->SD_msg_chan) {
+              pthread_cancel(jcr->SD_msg_chan);
+           }
         }
         break;
       case JS_Canceled:
          term_msg = _("Backup Canceled");
         if (jcr->store_bsock) {
            bnet_sig(jcr->store_bsock, BNET_TERMINATE);
-           pthread_cancel(jcr->SD_msg_chan);
+           if (jcr->SD_msg_chan) {
+              pthread_cancel(jcr->SD_msg_chan);
+           }
         }
         break;
       default:
@@ -459,23 +440,29 @@ static void backup_cleanup(JCR *jcr, int TermCode, char *since, FILESET_DBR *fsr
    jobstatus_to_ascii(jcr->FDJobStatus, fd_term_msg, sizeof(fd_term_msg));
    jobstatus_to_ascii(jcr->SDJobStatus, sd_term_msg, sizeof(sd_term_msg));
 
+// bmicrosleep(15, 0);               /* for debugging SIGHUP */
+
    Jmsg(jcr, msg_type, 0, _("Bacula " VERSION " (" LSMDATE "): %s\n\
 JobId:                  %d\n\
 Job:                    %s\n\
 Backup Level:           %s%s\n\
 Client:                 %s\n\
 FileSet:                \"%s\" %s\n\
+Pool:                   \"%s\"\n\
 Start time:             %s\n\
 End time:               %s\n\
-Files Written:          %s\n\
-Bytes Written:          %s\n\
+FD Files Written:       %s\n\
+SD Files Written:       %s\n\
+FD Bytes Written:       %s\n\
+SD Bytes Written:       %s\n\
 Rate:                   %.1f KB/s\n\
 Software Compression:   %s\n\
-Volume names(s):        %s\n\
+Volume name(s):         %s\n\
 Volume Session Id:      %d\n\
 Volume Session Time:    %d\n\
 Last Volume Bytes:      %s\n\
 Non-fatal FD errors:    %d\n\
+SD Errors:              %d\n\
 FD termination status:  %s\n\
 SD termination status:  %s\n\
 Termination:            %s\n\n"),
@@ -485,10 +472,13 @@ Termination:            %s\n\n"),
        level_to_str(jcr->JobLevel), since,
        jcr->client->hdr.name,
        jcr->fileset->hdr.name, fsr->cCreateTime,
+       jcr->pool->hdr.name,
        sdt,
        edt,
        edit_uint64_with_commas(jcr->jr.JobFiles, ec1),
+       edit_uint64_with_commas(jcr->SDJobFiles, ec4),
        edit_uint64_with_commas(jcr->jr.JobBytes, ec2),
+       edit_uint64_with_commas(jcr->SDJobBytes, ec5),
        (float)kbps,
        compress,
        jcr->VolumeName,
@@ -496,6 +486,7 @@ Termination:            %s\n\n"),
        jcr->VolSessionTime,
        edit_uint64_with_commas(mr.VolBytes, ec3),
        jcr->Errors,
+       jcr->SDErrors,
        fd_term_msg,
        sd_term_msg,
        term_msg);