]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/dird/backup.c
Keep the same keywords as in previous version
[bacula/bacula] / bacula / src / dird / backup.c
index 0a4f14b7172c89fedfc0a1eba233302ea5127c9e..668d5c55caac201ab47b2338e550f6290b25e735 100644 (file)
@@ -6,7 +6,7 @@
    The main author of Bacula is Kern Sibbald, with contributions from
    many others, a complete list can be found in the file AUTHORS.
    This program is Free Software; you can redistribute it and/or
-   modify it under the terms of version two of the GNU General Public
+   modify it under the terms of version three of the GNU Affero General Public
    License as published by the Free Software Foundation and included
    in the file LICENSE.
 
@@ -15,7 +15,7 @@
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
    General Public License for more details.
 
-   You should have received a copy of the GNU General Public License
+   You should have received a copy of the GNU Affero General Public License
    along with this program; if not, write to the Free Software
    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
    02110-1301, USA.
@@ -65,7 +65,7 @@ static char OldEndJob[]  = "2800 End Job TermCode=%d JobFiles=%u "
 bool do_backup_init(JCR *jcr)
 {
 
-   if (jcr->get_JobLevel() == L_VIRTUAL_FULL) {
+   if (jcr->getJobLevel() == L_VIRTUAL_FULL) {
       return do_vbackup_init(jcr);
    }
    free_rstorage(jcr);                   /* we don't read so release */
@@ -137,7 +137,9 @@ static bool get_base_jobids(JCR *jcr, db_list_ctx *jobids)
 }
 
 /*
- * Foreach files in currrent list, send "/path/fname\0LStat\0MD5" to FD
+ * Foreach files in currrent list, send "/path/fname\0LStat\0MD5\0Delta" to FD
+ *      row[0]=Path, row[1]=Filename, row[2]=FileIndex
+ *      row[3]=JobId row[4]=LStat row[5]=MarkId row[6]=MD5
  */
 static int accurate_list_handler(void *ctx, int num_fields, char **row)
 {
@@ -147,27 +149,28 @@ static int accurate_list_handler(void *ctx, int num_fields, char **row)
       return 1;
    }
    
-   if (row[2] == 0) {           /* discard when file_index == 0 */
+   if (row[2][0] == '0') {           /* discard when file_index == 0 */
       return 0;
    }
 
    /* sending with checksum */
    if (jcr->use_accurate_chksum 
-       && num_fields == 6 
-       && row[5][0] /* skip checksum = '0' */
-       && row[5][1])
+       && num_fields == 7 
+       && row[6][0] /* skip checksum = '0' */
+       && row[6][1])
    { 
-      jcr->file_bsock->fsend("%s%s%c%s%c%s", 
-                             row[0], row[1], 0, row[4], 0, row[5]); 
+      jcr->file_bsock->fsend("%s%s%c%s%c%s%c%s", 
+                             row[0], row[1], 0, row[4], 0, row[6], 0, row[5]); 
    } else {
-      jcr->file_bsock->fsend("%s%s%c%s", 
-                             row[0], row[1], 0, row[4]); 
+      jcr->file_bsock->fsend("%s%s%c%s%c%c%s", 
+                             row[0], row[1], 0, row[4], 0, 0, row[5]); 
    }
    return 0;
 }
 
 /* In this procedure, we check if the current fileset is using checksum
  * FileSet-> Include-> Options-> Accurate/Verify/BaseJob=checksum
+ * This procedure uses jcr->HasBase, so it must be call after the initialization
  */
 static bool is_checksum_needed_by_fileset(JCR *jcr)
 {
@@ -175,6 +178,7 @@ static bool is_checksum_needed_by_fileset(JCR *jcr)
    INCEXE *inc;
    FOPTS *fopts;
    bool in_block=false;
+   bool have_basejob_option=false;
    if (!jcr->job || !jcr->job->fileset) {
       return false;
    }
@@ -190,13 +194,13 @@ static bool is_checksum_needed_by_fileset(JCR *jcr)
          for (char *k=fopts->opts; *k ; k++) { /* Try to find one request */
             switch (*k) {
             case 'V':           /* verify */
-               in_block = (jcr->get_JobType() == JT_VERIFY); /* not used now */
+               in_block = (jcr->getJobType() == JT_VERIFY); /* not used now */
                break;
             case 'J':           /* Basejob keyword */
-               in_block = (jcr->get_JobLevel() == L_FULL);
+               have_basejob_option = in_block = jcr->HasBase;
                break;
             case 'C':           /* Accurate keyword */
-               in_block = (jcr->get_JobLevel() != L_FULL);
+               in_block = (jcr->getJobLevel() != L_FULL);
                break;
             case ':':           /* End of keyword */
                in_block = false;
@@ -214,14 +218,21 @@ static bool is_checksum_needed_by_fileset(JCR *jcr)
          }
       }
    }
+
+   /* By default for BaseJobs, we send the checksum */
+   if (!have_basejob_option && jcr->HasBase) {
+      return true;
+   }
+   
+   Dmsg0(50, "Checksum will be sent to FD\n");
    return false;
 }
 
 /*
  * Send current file list to FD
  *    DIR -> FD : accurate files=xxxx
- *    DIR -> FD : /path/to/file\0Lstat\0MD5
- *    DIR -> FD : /path/to/dir/\0Lstat\0MD5
+ *    DIR -> FD : /path/to/file\0Lstat\0MD5\0Delta
+ *    DIR -> FD : /path/to/dir/\0Lstat\0MD5\0Delta
  *    ...
  *    DIR -> FD : EOD
  */
@@ -236,14 +247,11 @@ bool send_accurate_current_files(JCR *jcr)
       return true;
    }
    /* In base level, no previous job is used */
-   if (jcr->get_JobLevel() == L_BASE) {
+   if (jcr->getJobLevel() == L_BASE) {
       return true;
    }
    
-   /* Don't send and store the checksum if fileset doesn't require it */
-   jcr->use_accurate_chksum = is_checksum_needed_by_fileset(jcr);
-
-   if (jcr->get_JobLevel() == L_FULL) {
+   if (jcr->getJobLevel() == L_FULL) {
       /* On Full mode, if no previous base job, no accurate things */
       if (!get_base_jobids(jcr, &jobids)) {
          goto bail_out;
@@ -263,6 +271,9 @@ bool send_accurate_current_files(JCR *jcr)
       }
    }
 
+   /* Don't send and store the checksum if fileset doesn't require it */
+   jcr->use_accurate_chksum = is_checksum_needed_by_fileset(jcr);
+
    if (jcr->JobId) {            /* display the message only for real jobs */
       Jmsg(jcr, M_INFO, 0, _("Sending Accurate information.\n"));
    }
@@ -281,11 +292,12 @@ bool send_accurate_current_files(JCR *jcr)
    if (jcr->HasBase) {
       jcr->nb_base_files = str_to_int64(nb.list);
       db_create_base_file_list(jcr, jcr->db, jobids.list);
-      db_get_base_file_list(jcr, jcr->db, 
+      db_get_base_file_list(jcr, jcr->db, jcr->use_accurate_chksum,
                             accurate_list_handler, (void *)jcr);
 
    } else {
-      db_get_file_list(jcr, jcr->db_batch, jobids.list, 
+      db_get_file_list(jcr, jcr->db_batch,
+                       jobids.list, jcr->use_accurate_chksum, false /* no delta */,
                        accurate_list_handler, (void *)jcr);
    } 
 
@@ -311,7 +323,7 @@ bool do_backup(JCR *jcr)
    STORE *store;
    char ed1[100];
 
-   if (jcr->get_JobLevel() == L_VIRTUAL_FULL) {
+   if (jcr->getJobLevel() == L_VIRTUAL_FULL) {
       return do_vbackup(jcr);
    }
 
@@ -319,7 +331,7 @@ bool do_backup(JCR *jcr)
    Jmsg(jcr, M_INFO, 0, _("Start Backup JobId %s, Job=%s\n"),
         edit_uint64(jcr->JobId, ed1), jcr->Job);
 
-   set_jcr_job_status(jcr, JS_Running);
+   jcr->setJobStatus(JS_Running);
    Dmsg2(100, "JobId=%d JobLevel=%c\n", jcr->jr.JobId, jcr->jr.JobLevel);
    if (!db_update_job_start_record(jcr, jcr->db, &jcr->jr)) {
       Jmsg(jcr, M_FATAL, 0, "%s", db_strerror(jcr->db));
@@ -333,7 +345,7 @@ bool do_backup(JCR *jcr)
     *
     */
    Dmsg0(110, "Open connection with storage daemon\n");
-   set_jcr_job_status(jcr, JS_WaitSD);
+   jcr->setJobStatus(JS_WaitSD);
    /*
     * Start conversation with Storage daemon
     */
@@ -367,12 +379,12 @@ bool do_backup(JCR *jcr)
    }
    Dmsg0(150, "Storage daemon connection OK\n");
 
-   set_jcr_job_status(jcr, JS_WaitFD);
+   jcr->setJobStatus(JS_WaitFD);
    if (!connect_to_file_daemon(jcr, 10, FDConnectTimeout, 1)) {
       goto bail_out;
    }
 
-   set_jcr_job_status(jcr, JS_Running);
+   jcr->setJobStatus(JS_Running);
    fd = jcr->file_bsock;
 
    if (!send_include_list(jcr)) {
@@ -461,7 +473,7 @@ bool do_backup(JCR *jcr)
 
 /* Come here only after starting SD thread */
 bail_out:
-   set_jcr_job_status(jcr, JS_ErrorTerminated);
+   jcr->setJobStatus(JS_ErrorTerminated);
    Dmsg1(400, "wait for sd. use=%d\n", jcr->use_count());
    /* Cancel SD */
    wait_for_job_termination(jcr, FDConnectTimeout);
@@ -489,7 +501,7 @@ int wait_for_job_termination(JCR *jcr, int timeout)
    int Encrypt = 0;
    btimer_t *tid=NULL;
 
-   set_jcr_job_status(jcr, JS_Running);
+   jcr->setJobStatus(JS_Running);
 
    if (fd) {
       if (timeout) {
@@ -503,7 +515,7 @@ int wait_for_job_termination(JCR *jcr, int timeout)
               sscanf(fd->msg, OldEndJob, &jcr->FDJobStatus, &JobFiles,
                      &ReadBytes, &JobBytes, &JobErrors) == 5)) {
             fd_ok = true;
-            set_jcr_job_status(jcr, jcr->FDJobStatus);
+            jcr->setJobStatus(jcr->FDJobStatus);
             Dmsg1(100, "FDStatus=%c\n", (char)jcr->JobStatus);
          } else {
             Jmsg(jcr, M_WARNING, 0, _("Unexpected Client Job message: %s\n"),
@@ -519,7 +531,7 @@ int wait_for_job_termination(JCR *jcr, int timeout)
 
       if (is_bnet_error(fd)) {
          Jmsg(jcr, M_FATAL, 0, _("Network error with FD during %s: ERR=%s\n"),
-              job_type_to_str(jcr->get_JobType()), fd->bstrerror());
+              job_type_to_str(jcr->getJobType()), fd->bstrerror());
       }
       fd->signal(BNET_TERMINATE);   /* tell Client we are terminating */
    }
@@ -576,8 +588,9 @@ void backup_cleanup(JCR *jcr, int TermCode)
    CLIENT_DBR cr;
    double kbps, compression;
    utime_t RunTime;
+   POOL_MEM base_info;
 
-   if (jcr->get_JobLevel() == L_VIRTUAL_FULL) {
+   if (jcr->getJobLevel() == L_VIRTUAL_FULL) {
       vbackup_cleanup(jcr, TermCode);
       return;
    }
@@ -586,12 +599,19 @@ void backup_cleanup(JCR *jcr, int TermCode)
    memset(&mr, 0, sizeof(mr));
    memset(&cr, 0, sizeof(cr));
 
+#ifdef xxxx
+   if (jcr->getJobStatus() == JS_Terminated && 
+        (jcr->JobErrors || jcr->SDErrors || jcr->JobWarnings)) {
+      TermCode = JS_Warnings;
+   }
+#endif
+         
    update_job_end(jcr, TermCode);
 
    if (!db_get_job_record(jcr, jcr->db, &jcr->jr)) {
       Jmsg(jcr, M_WARNING, 0, _("Error getting Job record for Job report: ERR=%s"),
          db_strerror(jcr->db));
-      set_jcr_job_status(jcr, JS_ErrorTerminated);
+      jcr->setJobStatus(JS_ErrorTerminated);
    }
 
    bstrncpy(cr.Name, jcr->client->name(), sizeof(cr.Name));
@@ -604,7 +624,7 @@ void backup_cleanup(JCR *jcr, int TermCode)
    if (!db_get_media_record(jcr, jcr->db, &mr)) {
       Jmsg(jcr, M_WARNING, 0, _("Error getting Media record for Volume \"%s\": ERR=%s"),
          mr.VolumeName, db_strerror(jcr->db));
-      set_jcr_job_status(jcr, JS_ErrorTerminated);
+      jcr->setJobStatus(JS_ErrorTerminated);
    }
 
    update_bootstrap_file(jcr);
@@ -681,13 +701,14 @@ void backup_cleanup(JCR *jcr, int TermCode)
    jobstatus_to_ascii(jcr->SDJobStatus, sd_term_msg, sizeof(sd_term_msg));
 
    if (jcr->HasBase) {
-      Dmsg3(0, "Base files/Used files %lld/%lld=%.2f%%\n", jcr->nb_base_files, 
-            jcr->nb_base_files_used, 
-            jcr->nb_base_files_used*100.0/jcr->nb_base_files);
+      Mmsg(base_info, "  Base files/Used files:  %lld/%lld (%.2f%%)\n",
+           jcr->nb_base_files, 
+           jcr->nb_base_files_used, 
+           jcr->nb_base_files_used*100.0/jcr->nb_base_files);
    }
 // bmicrosleep(15, 0);                /* for debugging SIGHUP */
 
-   Jmsg(jcr, msg_type, 0, _("%s %s %s (%s): %s\n"
+   Jmsg(jcr, msg_type, 0, _("%s %s %s (%s):\n"
 "  Build OS:               %s %s %s\n"
 "  JobId:                  %d\n"
 "  Job:                    %s\n"
@@ -708,6 +729,7 @@ void backup_cleanup(JCR *jcr, int TermCode)
 "  SD Bytes Written:       %s (%sB)\n"
 "  Rate:                   %.1f KB/s\n"
 "  Software Compression:   %s\n"
+"%s"                                         /* Basefile info */
 "  VSS:                    %s\n"
 "  Encryption:             %s\n"
 "  Accurate:               %s\n"
@@ -720,11 +742,11 @@ void backup_cleanup(JCR *jcr, int TermCode)
 "  FD termination status:  %s\n"
 "  SD termination status:  %s\n"
 "  Termination:            %s\n\n"),
-        BACULA, my_name, VERSION, LSMDATE, edt,
+        BACULA, my_name, VERSION, LSMDATE,
         HOST_OS, DISTNAME, DISTVER,
         jcr->jr.JobId,
         jcr->jr.Job,
-        level_to_str(jcr->get_JobLevel()), jcr->since,
+        level_to_str(jcr->getJobLevel()), jcr->since,
         jcr->client->name(), cr.Uname,
         jcr->fileset->name(), jcr->FSCreateTime,
         jcr->pool->name(), jcr->pool_source,
@@ -743,6 +765,7 @@ void backup_cleanup(JCR *jcr, int TermCode)
         edit_uint64_with_suffix(jcr->SDJobBytes, ec6),
         kbps,
         compress,
+        base_info.c_str(),
         jcr->VSS?_("yes"):_("no"),
         jcr->Encrypt?_("yes"):_("no"),
         jcr->accurate?_("yes"):_("no"),
@@ -781,7 +804,7 @@ void update_bootstrap_file(JCR *jcr)
          fd = bpipe ? bpipe->wfd : NULL;
       } else {
          /* ***FIXME*** handle BASE */
-         fd = fopen(fname, jcr->get_JobLevel()==L_FULL?"w+b":"a+b");
+         fd = fopen(fname, jcr->getJobLevel()==L_FULL?"w+b":"a+b");
       }
       if (fd) {
          VolCount = db_get_job_volume_parameters(jcr, jcr->db, jcr->JobId,
@@ -790,14 +813,14 @@ void update_bootstrap_file(JCR *jcr)
             Jmsg(jcr, M_ERROR, 0, _("Could not get Job Volume Parameters to "
                  "update Bootstrap file. ERR=%s\n"), db_strerror(jcr->db));
              if (jcr->SDJobFiles != 0) {
-                set_jcr_job_status(jcr, JS_ErrorTerminated);
+                jcr->setJobStatus(JS_ErrorTerminated);
              }
 
          }
          /* Start output with when and who wrote it */
          bstrftimes(edt, sizeof(edt), time(NULL));
          fprintf(fd, "# %s - %s - %s%s\n", edt, jcr->jr.Job,
-                 level_to_str(jcr->get_JobLevel()), jcr->since);
+                 level_to_str(jcr->getJobLevel()), jcr->since);
          for (int i=0; i < VolCount; i++) {
             /* Write the record */
             fprintf(fd, "Volume=\"%s\"\n", VolParams[i].VolumeName);
@@ -825,7 +848,7 @@ void update_bootstrap_file(JCR *jcr)
          berrno be;
          Jmsg(jcr, M_ERROR, 0, _("Could not open WriteBootstrap file:\n"
               "%s: ERR=%s\n"), fname, be.bstrerror());
-         set_jcr_job_status(jcr, JS_ErrorTerminated);
+         jcr->setJobStatus(JS_ErrorTerminated);
       }
       free_pool_memory(fname);
    }