]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/append.c
Make bad Storage check in is_on_same_storage non-fatal
[bacula/bacula] / bacula / src / stored / append.c
index be75d4f367a0bb773d701af53c4d1746bd5eb3b0..1af03fb822624758c2b9028a27d7766300760fa1 100644 (file)
@@ -1,12 +1,12 @@
 /*
    Bacula® - The Network Backup Solution
 
-   Copyright (C) 2000-2009 Free Software Foundation Europe e.V.
+   Copyright (C) 2000-2011 Free Software Foundation Europe e.V.
 
    The main author of Bacula is Kern Sibbald, with contributions from
    many others, a complete list can be found in the file AUTHORS.
    This program is Free Software; you can redistribute it and/or
-   modify it under the terms of version two of the GNU General Public
+   modify it under the terms of version three of the GNU Affero General Public
    License as published by the Free Software Foundation and included
    in the file LICENSE.
 
@@ -15,7 +15,7 @@
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
    General Public License for more details.
 
-   You should have received a copy of the GNU General Public License
+   You should have received a copy of the GNU Affero General Public License
    along with this program; if not, write to the Free Software
    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
    02110-1301, USA.
@@ -29,7 +29,6 @@
  * Append code for Storage daemon
  *  Kern Sibbald, May MM
  *
- *  Version $Id$
  */
 
 #include "bacula.h"
@@ -42,6 +41,12 @@ static char OK_append[]  = "3000 OK append data\n";
 
 /* Forward referenced functions */
 
+
+/* 
+ */
+void possible_incomplete_job(JCR *jcr, int32_t last_file_index)
+{
+}
 /*
  *  Append Data sent from File daemon
  *
@@ -50,8 +55,7 @@ bool do_append_data(JCR *jcr)
 {
    int32_t n;
    int32_t file_index, stream, last_file_index;
-   BSOCK *ds;
-   BSOCK *fd_sock = jcr->file_bsock;
+   BSOCK *fd = jcr->file_bsock;
    bool ok = true;
    DEV_RECORD rec;
    char buf1[100], buf2[100];
@@ -74,20 +78,18 @@ bool do_append_data(JCR *jcr)
 
    memset(&rec, 0, sizeof(rec));
 
-   ds = fd_sock;
-
-   if (!ds->set_buffer_size(dcr->device->max_network_buffer_size, BNET_SETBUF_WRITE)) {
-      set_jcr_job_status(jcr, JS_ErrorTerminated);
+   if (!fd->set_buffer_size(dcr->device->max_network_buffer_size, BNET_SETBUF_WRITE)) {
+      jcr->setJobStatus(JS_ErrorTerminated);
       Jmsg0(jcr, M_FATAL, 0, _("Unable to set network buffer size.\n"));
       return false;
    }
 
    if (!acquire_device_for_append(dcr)) {
-      set_jcr_job_status(jcr, JS_ErrorTerminated);
+      jcr->setJobStatus(JS_ErrorTerminated);
       return false;
    }
 
-   set_jcr_job_status(jcr, JS_Running);
+   jcr->setJobStatus(JS_Running);
    dir_send_job_status(jcr);
 
    if (dev->VolCatInfo.VolCatName[0] == 0) {
@@ -108,7 +110,7 @@ bool do_append_data(JCR *jcr)
    if (!write_session_label(dcr, SOS_LABEL)) {
       Jmsg1(jcr, M_FATAL, 0, _("Write session label failed. ERR=%s\n"),
          dev->bstrerror());
-      set_jcr_job_status(jcr, JS_ErrorTerminated);
+      jcr->setJobStatus(JS_ErrorTerminated);
       ok = false;
    }
    if (dev->VolCatInfo.VolCatName[0] == 0) {
@@ -116,10 +118,10 @@ bool do_append_data(JCR *jcr)
    }
 
    /* Tell File daemon to send data */
-   if (!fd_sock->fsend(OK_data)) {
+   if (!fd->fsend(OK_data)) {
       berrno be;
       Jmsg1(jcr, M_FATAL, 0, _("Network send error to FD. ERR=%s\n"),
-            be.bstrerror(fd_sock->b_errno));
+            be.bstrerror(fd->b_errno));
       ok = false;
    }
 
@@ -142,7 +144,7 @@ bool do_append_data(JCR *jcr)
     */
    dcr->VolFirstIndex = dcr->VolLastIndex = 0;
    jcr->run_time = time(NULL);              /* start counting time for rates */
-   for (last_file_index = 0; ok && !job_canceled(jcr); ) {
+   for (last_file_index = 0; ok && !jcr->is_job_canceled(); ) {
 
       /* Read Stream header from the File daemon.
        *  The stream header consists of the following:
@@ -151,30 +153,45 @@ bool do_append_data(JCR *jcr)
        *    info       (Info for Storage daemon -- compressed, encrypted, ...)
        *       info is not currently used, so is read, but ignored!
        */
-     if ((n=bget_msg(ds)) <= 0) {
-         if (n == BNET_SIGNAL && ds->msglen == BNET_EOD) {
+     if ((n=bget_msg(fd)) <= 0) {
+         if (n == BNET_SIGNAL && fd->msglen == BNET_EOD) {
             break;                    /* end of data */
          }
          Jmsg1(jcr, M_FATAL, 0, _("Error reading data header from FD. ERR=%s\n"),
-               ds->bstrerror());
+               fd->bstrerror());
+         possible_incomplete_job(jcr, last_file_index);
          ok = false;
          break;
       }
 
-      if (sscanf(ds->msg, "%ld %ld", &file_index, &stream) != 2) {
-         Jmsg1(jcr, M_FATAL, 0, _("Malformed data header from FD: %s\n"), ds->msg);
+      if (sscanf(fd->msg, "%ld %ld", &file_index, &stream) != 2) {
+         Jmsg1(jcr, M_FATAL, 0, _("Malformed data header from FD: %s\n"), fd->msg);
          ok = false;
+         possible_incomplete_job(jcr, last_file_index);
          break;
       }
 
       Dmsg2(890, "<filed: Header FilInx=%d stream=%d\n", file_index, stream);
 
-      if (!(file_index > 0 && (file_index == last_file_index ||
-          file_index == last_file_index + 1))) {
-         Jmsg0(jcr, M_FATAL, 0, _("File index from FD not positive or sequential\n"));
-         ok = false;
-         break;
+      /*
+       * We make sure the file_index is advancing sequentially.
+       * An incomplete job can start the file_index at any number.
+       * otherwise, it must start at 1.
+       */
+      if (jcr->rerunning && file_index > 0 && last_file_index == 0) {
+         goto fi_checked;
       }
+      if (file_index > 0 && (file_index == last_file_index ||
+          file_index == last_file_index + 1)) {
+         goto fi_checked;
+      }
+      Jmsg2(jcr, M_FATAL, 0, _("FI=%d from FD not positive or sequential=%d\n"),
+            file_index, last_file_index);
+      possible_incomplete_job(jcr, last_file_index);
+      ok = false;
+      break;
+
+fi_checked:
       if (file_index != last_file_index) {
          jcr->JobFiles = file_index;
          last_file_index = file_index;
@@ -183,13 +200,14 @@ bool do_append_data(JCR *jcr)
       /* Read data stream from the File daemon.
        *  The data stream is just raw bytes
        */
-      while ((n=bget_msg(ds)) > 0 && !job_canceled(jcr)) {
+      while ((n=bget_msg(fd)) > 0 && !jcr->is_job_canceled()) {
          rec.VolSessionId = jcr->VolSessionId;
          rec.VolSessionTime = jcr->VolSessionTime;
          rec.FileIndex = file_index;
          rec.Stream = stream;
-         rec.data_len = ds->msglen;
-         rec.data = ds->msg;            /* use message buffer */
+         rec.maskedStream = stream & STREAMMASK_TYPE;   /* strip high bits */
+         rec.data_len = fd->msglen;
+         rec.data = fd->msg;            /* use message buffer */
 
          Dmsg4(850, "before writ_rec FI=%d SessId=%d Strm=%s len=%d\n",
             rec.FileIndex, rec.VolSessionId, 
@@ -215,34 +233,17 @@ bool do_append_data(JCR *jcr)
             FI_to_ascii(buf1, rec.FileIndex), rec.VolSessionId,
             stream_to_ascii(buf2, rec.Stream, rec.FileIndex), rec.data_len);
 
-         /* Send attributes and digest to Director for Catalog */
-         if (stream == STREAM_UNIX_ATTRIBUTES || stream == STREAM_UNIX_ATTRIBUTES_EX ||
-             crypto_digest_stream_type(stream) != CRYPTO_DIGEST_NONE) {
-            if (!jcr->no_attributes) {
-               BSOCK *dir = jcr->dir_bsock;
-               if (are_attributes_spooled(jcr)) {
-                  dir->set_spooling();
-               }
-               Dmsg0(850, "Send attributes to dir.\n");
-               if (!dir_update_file_attributes(dcr, &rec)) {
-                  dir->clear_spooling();
-                  Jmsg(jcr, M_FATAL, 0, _("Error updating file attributes. ERR=%s\n"),
-                     dir->bstrerror());
-                  ok = false;
-                  break;
-               }
-               dir->clear_spooling();
-            }
-         }
+         send_attrs_to_dir(jcr, &rec);
          Dmsg0(650, "Enter bnet_get\n");
       }
       Dmsg1(650, "End read loop with FD. Stat=%d\n", n);
 
-      if (ds->is_error()) {
-         if (!job_canceled(jcr)) {
-            Dmsg1(350, "Network read error from FD. ERR=%s\n", ds->bstrerror());
-            Jmsg1(jcr, M_FATAL, 0, _("Network error on data channel. ERR=%s\n"),
-                  ds->bstrerror());
+      if (fd->is_error()) {
+         if (!jcr->is_job_canceled()) {
+            Dmsg1(350, "Network read error from FD. ERR=%s\n", fd->bstrerror());
+            Jmsg1(jcr, M_FATAL, 0, _("Network error reading from FD. ERR=%s\n"),
+                  fd->bstrerror());
+            possible_incomplete_job(jcr, last_file_index);
          }
          ok = false;
          break;
@@ -250,11 +251,15 @@ bool do_append_data(JCR *jcr)
    }
 
    /* Create Job status for end of session label */
-   set_jcr_job_status(jcr, ok?JS_Terminated:JS_ErrorTerminated);
+   jcr->setJobStatus(ok?JS_Terminated:JS_ErrorTerminated);
 
-   /* Terminate connection with FD */
-   ds->fsend(OK_append);
-   do_fd_commands(jcr);               /* finish dialog with FD */
+   if (ok) {
+      /* Terminate connection with FD */
+      fd->fsend(OK_append);
+      do_fd_commands(jcr);               /* finish dialog with FD */
+   } else {
+      fd->fsend("3999 Failed append\n");
+   }
 
    /*
     * Don't use time_t for job_elapsed as time_t can be 32 or 64 bits,
@@ -279,9 +284,13 @@ bool do_append_data(JCR *jcr)
     */
    if (ok || dev->can_write()) {
       if (!write_session_label(dcr, EOS_LABEL)) {
-         Jmsg1(jcr, M_FATAL, 0, _("Error writing end session label. ERR=%s\n"),
-               dev->bstrerror());
-         set_jcr_job_status(jcr, JS_ErrorTerminated);
+         /* Print only if ok and not cancelled to avoid spurious messages */
+         if (ok && !jcr->is_job_canceled()) {
+            Jmsg1(jcr, M_FATAL, 0, _("Error writing end session label. ERR=%s\n"),
+                  dev->bstrerror());
+            possible_incomplete_job(jcr, last_file_index);
+         }
+         jcr->setJobStatus(JS_ErrorTerminated);
          ok = false;
       }
       if (dev->VolCatInfo.VolCatName[0] == 0) {
@@ -291,24 +300,23 @@ bool do_append_data(JCR *jcr)
       Dmsg0(90, "back from write_end_session_label()\n");
       /* Flush out final partial block of this session */
       if (!write_block_to_device(dcr)) {
-         if (!job_canceled(jcr)) {
+         /* Print only if ok and not cancelled to avoid spurious messages */
+         if (ok && !jcr->is_job_canceled()) {
             Jmsg2(jcr, M_FATAL, 0, _("Fatal append error on device %s: ERR=%s\n"),
                   dev->print_name(), dev->bstrerror());
             Dmsg0(100, _("Set ok=FALSE after write_block_to_device.\n"));
+            possible_incomplete_job(jcr, last_file_index);
          }
+         jcr->setJobStatus(JS_ErrorTerminated);
          ok = false;
       }
-      if (dev->VolCatInfo.VolCatName[0] == 0) {
-         Pmsg0(000, _("NULL Volume name. This shouldn't happen!!!\n"));
-         Dmsg0(000, _("NULL Volume name. This shouldn't happen!!!\n"));
-      }
    }
 
 
-   if (!ok) {
+   if (!ok && !jcr->is_JobStatus(JS_Incomplete)) {
       discard_data_spool(dcr);
    } else {
-      /* Note: if commit is OK, the device will remain locked */
+      /* Note: if commit is OK, the device will remain blocked */
       commit_data_spool(dcr);
    }
 
@@ -322,7 +330,7 @@ bool do_append_data(JCR *jcr)
     */
    release_device(dcr);
 
-   if (!ok || job_canceled(jcr)) {
+   if ((!ok || jcr->is_job_canceled()) && !jcr->is_JobStatus(JS_Incomplete)) {
       discard_attribute_spool(jcr);
    } else {
       commit_attribute_spool(jcr);
@@ -333,3 +341,29 @@ bool do_append_data(JCR *jcr)
    Dmsg1(100, "return from do_append_data() ok=%d\n", ok);
    return ok;
 }
+
+
+/* Send attributes and digest to Director for Catalog */
+bool send_attrs_to_dir(JCR *jcr, DEV_RECORD *rec)
+{
+   if (rec->maskedStream == STREAM_UNIX_ATTRIBUTES    || 
+       rec->maskedStream == STREAM_UNIX_ATTRIBUTES_EX ||
+       rec->maskedStream == STREAM_RESTORE_OBJECT     ||
+       crypto_digest_stream_type(rec->maskedStream) != CRYPTO_DIGEST_NONE) {
+      if (!jcr->no_attributes) {
+         BSOCK *dir = jcr->dir_bsock;
+         if (are_attributes_spooled(jcr)) {
+            dir->set_spooling();
+         }
+         Dmsg0(850, "Send attributes to dir.\n");
+         if (!dir_update_file_attributes(jcr->dcr, rec)) {
+            Jmsg(jcr, M_FATAL, 0, _("Error updating file attributes. ERR=%s\n"),
+               dir->bstrerror());
+            dir->clear_spooling();
+            return false;
+         }
+         dir->clear_spooling();
+      }
+   }
+   return true;
+}