]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/block.c
Clean up some SD message nos.
[bacula/bacula] / bacula / src / stored / block.c
index 6d1df90b4dcf141dfdda4247a7525a0e6b3d9251..7de8be29c7a311914f40b838a64f2091ac9629de 100644 (file)
@@ -9,7 +9,7 @@
  *
  */
 /*
-   Copyright (C) 2000, 2001, 2002 Kern Sibbald and John Walker
+   Copyright (C) 2000-2003 Kern Sibbald and John Walker
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
@@ -107,20 +107,13 @@ DEV_BLOCK *new_block(DEVICE *dev)
 
    memset(block, 0, sizeof(DEV_BLOCK));
 
+   /* If the user has specified a max_block_size, use it as the default */
    if (dev->max_block_size == 0) {
       block->buf_len = DEFAULT_BLOCK_SIZE;
    } else {
       block->buf_len = dev->max_block_size;
    }
-   /* ****FIXME***** move this up to init_dev() */
-   if (block->buf_len % TAPE_BSIZE != 0) {
-      uint32_t old_len = block->buf_len;
-      block->buf_len = ((old_len + TAPE_BSIZE - 1) / TAPE_BSIZE) * TAPE_BSIZE;
-      Mmsg3(&dev->errmsg, _("Block size %u forced to %u to be multiple of %d\n"), 
-        old_len, block->buf_len, TAPE_BSIZE);
-      Emsg0(M_WARNING, 0, dev->errmsg);
-      dev->max_block_size = block->buf_len;  /* force block size */
-   }
+   block->dev = dev;
    block->block_len = block->buf_len;  /* default block size */
    block->buf = get_memory(block->buf_len); 
    if (block->buf == NULL) {
@@ -197,7 +190,7 @@ static int unser_block_header(DEVICE *dev, DEV_BLOCK *block)
    char Id[BLKHDR_ID_LENGTH+1];
    uint32_t CheckSum, BlockCheckSum;
    uint32_t block_len;
-   uint32_t EndBlock;
+   uint32_t block_end;
    uint32_t BlockNumber;
    int bhl;
 
@@ -214,12 +207,12 @@ static int unser_block_header(DEVICE *dev, DEV_BLOCK *block)
       block->BlockVer = 1;
       block->bufp = block->buf + bhl;
       if (strncmp(Id, BLKHDR1_ID, BLKHDR_ID_LENGTH) != 0) {
-      Mmsg2(&dev->errmsg, _("Buffer ID error. Wanted: %s, got %s. Buffer discarded.\n"),
+         Mmsg2(&dev->errmsg, _("Buffer ID error. Wanted: %s, got %s. Buffer discarded.\n"),
            BLKHDR1_ID, Id);
-      Emsg0(M_ERROR, 0, dev->errmsg);
-      return 0;
-   }
-   } else {
+        Emsg0(M_ERROR, 0, dev->errmsg);
+        return 0;
+      }
+   } else if (Id[3] == '2') {
       unser_uint32(block->VolSessionId);
       unser_uint32(block->VolSessionTime);
       bhl = BLKHDR2_LENGTH;
@@ -231,36 +224,40 @@ static int unser_block_header(DEVICE *dev, DEV_BLOCK *block)
         Emsg0(M_ERROR, 0, dev->errmsg);
         return 0;
       }
+   } else {
+      Mmsg1(&dev->errmsg, _("Expected block-id BB01 or BB02, got %s. Buffer discarded.\n"), Id);
+      Emsg0(M_ERROR, 0, dev->errmsg);
+      return 0;
    }
 
-   ASSERT(block_len < MAX_BLOCK_LENGTH);    /* temp sanity check */
+   /* Sanity check */
+   if (block_len > MAX_BLOCK_LENGTH) {
+      Mmsg1(&dev->errmsg,  _("Block length %u is insane (too large), probably due to a bad archive.\n"),
+        block_len);
+      Emsg0(M_ERROR, 0, dev->errmsg);
+      return 0;
+   }
 
    Dmsg1(190, "unser_block_header block_len=%d\n", block_len);
    /* Find end of block or end of buffer whichever is smaller */
    if (block_len > block->read_len) {
-      EndBlock = block->read_len;
+      block_end = block->read_len;
    } else {
-      EndBlock = block_len;
+      block_end = block_len;
    }
-   block->binbuf = EndBlock - bhl;
+   block->binbuf = block_end - bhl;
    block->block_len = block_len;
    block->BlockNumber = BlockNumber;
    Dmsg3(190, "Read binbuf = %d %d block_len=%d\n", block->binbuf,
       bhl, block_len);
-   if (block_len > block->buf_len) {
-      Mmsg2(&dev->errmsg,  _("Block length %u is greater than buffer %u\n"),
-        block_len, block->buf_len);
-      Emsg0(M_ERROR, 0, dev->errmsg);
-      return 0;
-   }
    if (block_len <= block->read_len) {
       BlockCheckSum = bcrc32((uint8_t *)block->buf+BLKHDR_CS_LENGTH,
                         block_len-BLKHDR_CS_LENGTH);
       if (BlockCheckSum != CheckSum) {
          Dmsg2(00, "Block checksum mismatch: calc=%x blk=%x\n", BlockCheckSum,
            CheckSum);
-         Mmsg2(&dev->errmsg, _("Block checksum mismatch: calc=%x blk=%x\n"), BlockCheckSum,
-           CheckSum);
+         Mmsg3(&dev->errmsg, _("Block checksum mismatch in block %u: calc=%x blk=%x\n"), 
+           (unsigned)BlockNumber, BlockCheckSum, CheckSum);
         return 0;
       }
    }
@@ -278,7 +275,8 @@ int write_block_to_device(JCR *jcr, DEVICE *dev, DEV_BLOCK *block)
 {
    int stat = 1;
    lock_device(dev);
-   if (!write_block_to_dev(dev, block)) {
+   if (!write_block_to_dev(jcr, dev, block)) {
+       Jmsg(jcr, M_INFO, 0, "%s", dev->errmsg);
        stat = fixup_device_block_write_error(jcr, dev, block);
    }
    unlock_device(dev);
@@ -291,10 +289,12 @@ int write_block_to_device(JCR *jcr, DEVICE *dev, DEV_BLOCK *block)
  *  Returns: 1 on success or EOT
  *          0 on hard error
  */
-int write_block_to_dev(DEVICE *dev, DEV_BLOCK *block)
+int write_block_to_dev(JCR *jcr, DEVICE *dev, DEV_BLOCK *block)
 {
-   size_t stat = 0;
+   ssize_t stat = 0;
    uint32_t wlen;                    /* length to write */
+   int hit_max1, hit_max2;
+   int ok;
 
 #ifdef NO_TAPE_WRITE_TEST
    empty_block(block);
@@ -305,6 +305,7 @@ int write_block_to_dev(DEVICE *dev, DEV_BLOCK *block)
    /* dump_block(block, "before write"); */
    if (dev->state & ST_WEOT) {
       Dmsg0(100, "return write_block_to_dev with ST_WEOT\n");
+      Mmsg0(&dev->errmsg, _("Cannot write block. Device at EOF.\n"));
       return 0;
    }
    wlen = block->binbuf;
@@ -327,6 +328,7 @@ int write_block_to_dev(DEVICE *dev, DEV_BLOCK *block)
         if (wlen < dev->min_block_size) {
            wlen =  ((dev->min_block_size + TAPE_BSIZE - 1) / TAPE_BSIZE) * TAPE_BSIZE;
         }
+        /* check for fixed block size */
         if (dev->min_block_size == dev->max_block_size) {
            wlen = block->buf_len;    /* fixed block size already rounded */
         }
@@ -339,22 +341,43 @@ int write_block_to_dev(DEVICE *dev, DEV_BLOCK *block)
    ser_block_header(block);
 
    /* Limit maximum Volume size to value specified by user */
-   if ((dev->max_volume_size > 0) &&
-       ((dev->VolCatInfo.VolCatBytes + block->binbuf)) >= dev->max_volume_size) {
+   hit_max1 = (dev->max_volume_size > 0) &&
+       ((dev->VolCatInfo.VolCatBytes + block->binbuf)) >= dev->max_volume_size;
+   hit_max2 = (dev->VolCatInfo.VolCatMaxBytes > 0) &&
+       ((dev->VolCatInfo.VolCatBytes + block->binbuf)) >= dev->VolCatInfo.VolCatMaxBytes;
+   if (hit_max1 || hit_max2) {  
+      char ed1[50];
       dev->state |= ST_WEOT;
       Dmsg0(10, "==== Output bytes Triggered medium max capacity.\n");
-      Mmsg2(&dev->errmsg, _("Max. Volume capacity %" lld " exceeded on device %s.\n"),
-        dev->max_volume_size, dev->dev_name);
+      if (hit_max1) {
+         Mmsg(&dev->errmsg, _("Max. Volume capacity %s exceeded on device %s.\n"),
+           edit_uint64(dev->max_volume_size, ed1),  dev->dev_name);
+      } else {
+         Mmsg(&dev->errmsg, _("Max. Volume capacity %s exceeded on device %s.\n"),
+           edit_uint64(dev->VolCatInfo.VolCatMaxBytes, ed1),  dev->dev_name);
+      }
       block->failed_write = TRUE;
-/* ****FIXME**** write EOD record here */
+      dev->EndBlock = dev->block_num;
+      dev->EndFile  = dev->file;
       weof_dev(dev, 1);              /* end the tape */
       weof_dev(dev, 1);              /* write second eof */
       return 0;
    }
 
+   /* Limit maximum File size on volume to user specified value */
+   if (dev->state & ST_TAPE) {
+      if ((dev->max_file_size > 0) && 
+         (dev->file_addr+block->binbuf) >= dev->max_file_size) {
+        if (weof_dev(dev, 1) != 0) {            /* write eof */
+            Jmsg(jcr, M_ERROR, 0, "%s", dev->errmsg);
+           /* Plunge on anyway -- if tape is bad we will die on write */
+        }
+      }
+   }
+
    dev->VolCatInfo.VolCatWrites++;
    Dmsg1(500, "Write block of %u bytes\n", wlen);      
-   if ((uint32_t) (stat=write(dev->fd, block->buf, (size_t)wlen)) != wlen) {
+   if ((uint32_t)(stat=write(dev->fd, block->buf, (size_t)wlen)) != wlen) {
       /* We should check for errno == ENOSPC, BUT many 
        * devices simply report EIO when it is full.
        * with a little more thought we may be able to check
@@ -362,7 +385,6 @@ int write_block_to_dev(DEVICE *dev, DEV_BLOCK *block)
        * conditions.  In any case, we probably want to
        * simulate an End of Medium.
        */
-/***FIXME**** if we wrote a partial record, back up over it */
       dev->state |= ST_EOF | ST_EOT | ST_WEOT;
       clrerror_dev(dev, -1);
 
@@ -373,27 +395,69 @@ int write_block_to_dev(DEVICE *dev, DEV_BLOCK *block)
       Dmsg4(10, "=== Write error. size=%u rtn=%d  errno=%d: ERR=%s\n", 
         wlen, stat, dev->dev_errno, strerror(dev->dev_errno));
 
-      Mmsg4(&dev->errmsg, _("Write error on device %s. Write of %u bytes got %d. ERR=%s.\n"), 
-        dev->dev_name, wlen, stat, strerror(dev->dev_errno));
+      if (stat == -1) {
+         Mmsg2(&dev->errmsg, _("Write error on device %s. ERR=%s.\n"), 
+           dev->dev_name, strerror(dev->dev_errno));
+      } else {
+         Mmsg3(&dev->errmsg, _("End of media on device %s. Write of %u bytes got %d.\n"), 
+           dev->dev_name, wlen, stat);
+      }  
       block->failed_write = TRUE;
+      dev->EndBlock = dev->block_num;
+      dev->EndFile  = dev->file;
       weof_dev(dev, 1);              /* end the tape */
       weof_dev(dev, 1);              /* write second eof */
+       
+      ok = TRUE;
+#define CHECK_LAST_BLOCK
+#ifdef CHECK_LAST_BLOCK
+      /* 
+       * If the device is a tape and it supports backspace record,
+       *   we backspace over two eof marks and over the last record,
+       *   then re-read it and verify that the block number is
+       *   correct.
+       */
+      if (dev->state & ST_TAPE && dev_cap(dev, CAP_BSR)) {
+
+        /* Now back up over what we wrote and read the last block */
+        if (bsf_dev(dev, 1) != 0 || bsf_dev(dev, 1) != 0) {
+           ok = FALSE;
+            Jmsg(jcr, M_ERROR, 0, _("Back space file at EOT failed. ERR=%s\n"), strerror(dev->dev_errno));
+        }
+        /* Backspace over record */
+        if (ok && bsr_dev(dev, 1) != 0) {
+           ok = FALSE;
+            Jmsg(jcr, M_ERROR, 0, _("Back space record at EOT failed. ERR=%s\n"), strerror(dev->dev_errno));
+        }
+        if (ok) {
+           DEV_BLOCK *lblock = new_block(dev);
+           /* Note, this can destroy dev->errmsg */
+           if (!read_block_from_dev(dev, lblock)) {
+               Jmsg(jcr, M_ERROR, 0, _("Re-read last block at EOT failed. ERR=%s"), dev->errmsg);
+           } else {
+              if (lblock->BlockNumber+1 == block->BlockNumber) {
+                  Jmsg(jcr, M_INFO, 0, _("Re-read of last block succeeded.\n"));
+              } else {
+                 Jmsg(jcr, M_ERROR, 0, _(
+"Re-read of last block failed. Last block=%u Current block=%u.\n"),
+                      lblock->BlockNumber, block->BlockNumber);
+              }
+           }
+           free_block(lblock);
+        }
+      }
+#endif
       return 0;
    }
-// Dmsg1(000, "Pos after write=%lld\n", lseek(dev->fd, (off_t)0, SEEK_CUR));
    dev->VolCatInfo.VolCatBytes += block->binbuf;
    dev->VolCatInfo.VolCatBlocks++;   
    dev->file_addr += wlen;
-
-   /* Limit maximum File size on volume to user specified value */
-   if (dev->state & ST_TAPE) {
-      if ((dev->max_file_size > 0) && dev->file_addr >= dev->max_file_size) {
-        weof_dev(dev, 1);               /* write eof */
-      }
-   }
-
+   dev->EndBlock = dev->block_num;
+   dev->EndFile  = dev->file;
    dev->block_num++;
    block->BlockNumber++;
+
+
    Dmsg2(190, "write_block: wrote block %d bytes=%d\n", dev->block_num,
       wlen);
    empty_block(block);
@@ -422,18 +486,20 @@ int read_block_from_device(DEVICE *dev, DEV_BLOCK *block)
  */
 int read_block_from_dev(DEVICE *dev, DEV_BLOCK *block)
 {
-   size_t stat;
+   ssize_t stat;
+   int looping;
 
+   looping = 0;
    Dmsg1(100, "Full read() in read_block_from_device() len=%d\n",
         block->buf_len);
-// Dmsg1(000, "Pos before read=%lld\n", lseek(dev->fd, (off_t)0, SEEK_CUR));
+reread:
+   if (looping > 1) {
+      Mmsg1(&dev->errmsg, _("Block buffer size looping problem on device %s\n"),
+        dev->dev_name);
+      block->read_len = 0;
+      return 0;
+   }
    if ((stat=read(dev->fd, block->buf, (size_t)block->buf_len)) < 0) {
-
-/* ***FIXME****  add code to detect buffer too small, and
-   reallocate buffer, backspace, and reread.
-   ENOMEM
- */
-
       Dmsg1(90, "Read device got: ERR=%s\n", strerror(errno));
       clrerror_dev(dev, -1);
       block->read_len = 0;
@@ -441,17 +507,18 @@ int read_block_from_dev(DEVICE *dev, DEV_BLOCK *block)
         dev->dev_name, strerror(dev->dev_errno));
       return 0;
    }
-// Dmsg1(000, "Pos after read=%lld\n", lseek(dev->fd, (off_t)0, SEEK_CUR));
    Dmsg1(90, "Read device got %d bytes\n", stat);
    if (stat == 0) {            /* Got EOF ! */
       dev->block_num = block->read_len = 0;
       Mmsg1(&dev->errmsg, _("Read zero bytes on device %s.\n"), dev->dev_name);
       if (dev->state & ST_EOF) { /* EOF alread read? */
         dev->state |= ST_EOT;  /* yes, 2 EOFs => EOT */
+        block->read_len = 0;
         return 0;
       }
       dev->file++;             /* increment file */
       dev->state |= ST_EOF;    /* set EOF read */
+      block->read_len = 0;
       return 0;                /* return eof */
    }
    /* Continue here for successful read */
@@ -463,10 +530,49 @@ int read_block_from_dev(DEVICE *dev, DEV_BLOCK *block)
       block->read_len = block->binbuf = 0;
       return 0;                /* return error */
    }  
+
    if (!unser_block_header(dev, block)) {
+      block->read_len = 0;
       return 0;
    }
 
+   /*
+    * If the block is bigger than the buffer, we reposition for
+    *  re-reading the block, allocate a buffer of the correct size,
+    *  and go re-read.
+    */
+   if (block->block_len > block->buf_len) {
+      Mmsg2(&dev->errmsg,  _("Block length %u is greater than buffer %u. Attempting recovery.\n"),
+        block->block_len, block->buf_len);
+      Emsg0(M_WARNING, 0, dev->errmsg);
+      Dmsg1(000, "%s", dev->errmsg);
+      /* Attempt to reposition to re-read the block */
+      if (dev->state & ST_TAPE) {
+         Dmsg0(100, "Backspace record for reread.\n");
+        if (bsf_dev(dev, 1) != 0) {
+           Emsg0(M_ERROR, 0, dev->errmsg);
+           block->read_len = 0;
+           return 0;
+        }
+      } else {
+         Dmsg0(100, "Seek to beginning of block for reread.\n");
+        off_t pos = lseek(dev->fd, (off_t)0, SEEK_CUR); /* get curr pos */
+        pos -= block->read_len;
+        lseek(dev->fd, pos, SEEK_SET);   
+      }
+      Mmsg1(&dev->errmsg, _("Resetting buffer size to %u bytes.\n"), block->block_len);
+      Emsg0(M_WARNING, 0, dev->errmsg);
+      Dmsg1(000, "%s", dev->errmsg);
+      /* Set new block length */
+      dev->max_block_size = block->block_len;
+      block->buf_len = block->block_len;
+      free_memory(block->buf);
+      block->buf = get_memory(block->buf_len);
+      empty_block(block);
+      looping++;
+      goto reread;                   /* re-read block with correct block size */
+   }
+
    if (block->block_len > block->read_len) {
       Mmsg2(&dev->errmsg, _("Short block of %d bytes on device %s discarded.\n"), 
         block->read_len, dev->dev_name);
@@ -475,11 +581,6 @@ int read_block_from_dev(DEVICE *dev, DEV_BLOCK *block)
       return 0;                /* return error */
    }  
 
-   /* Make sure block size is not too big (temporary
-    * sanity check) and that we read the full block.
-    */
-   ASSERT(block->block_len < MAX_BLOCK_LENGTH);
-
    dev->state &= ~(ST_EOF|ST_SHORT); /* clear EOF and short block */
    dev->block_num++;