]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/device.c
Backport Enterprise code
[bacula/bacula] / bacula / src / stored / device.c
index ba90a76c37f563da7c6028ba209cc1308c0e9d3d..a748455f9f5b11c9249d443286fb318997049652 100644 (file)
@@ -1,29 +1,20 @@
 /*
-   Bacula® - The Network Backup Solution
-
-   Copyright (C) 2000-2007 Free Software Foundation Europe e.V.
-
-   The main author of Bacula is Kern Sibbald, with contributions from
-   many others, a complete list can be found in the file AUTHORS.
-   This program is Free Software; you can redistribute it and/or
-   modify it under the terms of version two of the GNU General Public
-   License as published by the Free Software Foundation plus additions
-   that are listed in the file LICENSE.
-
-   This program is distributed in the hope that it will be useful, but
-   WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
-   General Public License for more details.
-
-   You should have received a copy of the GNU General Public License
-   along with this program; if not, write to the Free Software
-   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
-   02110-1301, USA.
-
-   Bacula® is a registered trademark of John Walker.
-   The licensor of Bacula is the Free Software Foundation Europe
-   (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
-   Switzerland, email:ftf@fsfeurope.org.
+   Bacula(R) - The Network Backup Solution
+
+   Copyright (C) 2000-2017 Kern Sibbald
+
+   The original author of Bacula is Kern Sibbald, with contributions
+   from many others, a complete list can be found in the file AUTHORS.
+
+   You may use this file and others of this release according to the
+   license defined in the LICENSE file, which includes the Affero General
+   Public License, v3.0 ("AGPLv3") and some additional permissions and
+   terms pursuant to its AGPLv3 Section 7.
+
+   This notice must be preserved when any source code is
+   conveyed and/or propagated.
+
+   Bacula(R) is a registered trademark of Kern Sibbald.
 */
 /*
  *
@@ -39,7 +30,7 @@
  *        Obviously, no zzz_dev() is allowed to call
  *        a www_device() or everything falls apart.
  *
- * Concerning the routines dev->r_lock()() and block_device()
+ * Concerning the routines dev->rLock()() and block_device()
  *  see the end of this module for details.  In general,
  *  blocking a device leaves it in a state where all threads
  *  other than the current thread block when they attempt to
  *
  *   Kern Sibbald, MM, MMI
  *
- *   Version $Id$
  */
 
 #include "bacula.h"                   /* pull in global headers */
 #include "stored.h"                   /* pull in Storage Deamon headers */
 
-#ifdef SD_DEBUG_LOCK
-const int dbglvl = 0;
-#else
-const int dbglvl = 500;
-#endif
-
-
 /* Forward referenced functions */
 
 /*
@@ -83,36 +66,55 @@ const int dbglvl = 500;
  * We enter with device locked, and
  *     exit with device locked.
  *
- * Note, we are called only from one place in block.c for the daemons.  
+ * Note, we are called only from one place in block.c for the daemons.
  *     The btape utility calls it from btape.c.
  *
  *  Returns: true  on success
  *           false on failure
  */
-bool fixup_device_block_write_error(DCR *dcr)
+bool fixup_device_block_write_error(DCR *dcr, int retries)
 {
    char PrevVolName[MAX_NAME_LENGTH];
-   DEV_BLOCK *label_blk;
    DEV_BLOCK *block = dcr->block;
+   DEV_BLOCK *ameta_block = dcr->ameta_block;
+   DEV_BLOCK *adata_block = dcr->adata_block;
    char b1[30], b2[30];
    time_t wait_time;
    char dt[MAX_TIME_LENGTH];
    JCR *jcr = dcr->jcr;
-   DEVICE *dev = dcr->dev;
+   DEVICE *dev;
+   int blocked;              /* save any previous blocked status */
+   bool ok = false;
+   bool save_adata = dcr->dev->adata;
+
+   Enter(100);
+   if (save_adata) {
+      dcr->set_ameta();      /* switch to working with ameta */
+   }
+   dev = dcr->dev;
+   blocked = dev->blocked();
 
    wait_time = time(NULL);
 
-   Dmsg0(100, "Enter fixup_device_block_write_error\n");
-
+   /*
+    * If we are blocked at entry, unblock it, and set our own block status
+    */
+   if (blocked != BST_NOT_BLOCKED) {
+      unblock_device(dev);
+   }
    block_device(dev, BST_DOING_ACQUIRE);
-   /* Unlock, but leave BLOCKED */
-   dev->dunlock();
 
-   bstrncpy(PrevVolName, dev->VolCatInfo.VolCatName, sizeof(PrevVolName));
+   /* Continue unlocked, but leave BLOCKED */
+   dev->Unlock();
+
+   bstrncpy(PrevVolName, dev->getVolCatName(), sizeof(PrevVolName));
    bstrncpy(dev->VolHdr.PrevVolumeName, PrevVolName, sizeof(dev->VolHdr.PrevVolumeName));
 
-   label_blk = new_block(dev);
-   dcr->block = label_blk;
+   /* create temporary block, that will be released at the end, current blocks
+    * have been saved in local DEV_BLOCK above and will be restored before to
+    * leave the function
+    */
+   dev->new_dcr_blocks(dcr);
 
    /* Inform User about end of medium */
    Jmsg(jcr, M_INFO, 0, _("End of medium on Volume \"%s\" Bytes=%s Blocks=%s at %s.\n"),
@@ -120,17 +122,32 @@ bool fixup_device_block_write_error(DCR *dcr)
         edit_uint64_with_commas(dev->VolCatInfo.VolCatBlocks, b2),
         bstrftime(dt, sizeof(dt), time(NULL)));
 
-   if (!mount_next_write_volume(dcr, 1)) {
-      free_block(label_blk);
+   Dmsg1(150, "set_unload dev=%s\n", dev->print_name());
+   dev->set_unload();
+
+   /* Clear DCR Start/End Block/File positions */
+   dcr->VolFirstIndex = dcr->VolLastIndex = 0;
+   dcr->StartAddr = dcr->EndAddr = 0;
+   dcr->VolMediaId = 0;
+   dcr->WroteVol = false;
+
+   if (!dcr->mount_next_write_volume()) {
+      dev->free_dcr_blocks(dcr);
       dcr->block = block;
-      dev->dlock();  
-      unblock_device(dev);
-      return false;                /* device locked */
+      dcr->ameta_block = ameta_block;
+      dcr->adata_block = adata_block;
+      dev->Lock();
+      goto bail_out;
    }
-   dev->dlock();                    /* lock again */
+   Dmsg2(150, "must_unload=%d dev=%s\n", dev->must_unload(), dev->print_name());
+
+   dev->notify_newvol_in_attached_dcrs(dcr->VolumeName);
+   dev->Lock();                    /* lock again */
 
    dev->VolCatInfo.VolCatJobs++;              /* increment number of jobs on vol */
-   dir_update_volume_info(dcr, false);        /* send Volume info to Director */
+   if (!dir_update_volume_info(dcr, false, false)) { /* send Volume info to Director */
+      goto bail_out;
+   }
 
    Jmsg(jcr, M_INFO, 0, _("New volume \"%s\" mounted on device %s at %s.\n"),
       dcr->VolumeName, dev->print_name(), bstrftime(dt, sizeof(dt), time(NULL)));
@@ -142,33 +159,20 @@ bool fixup_device_block_write_error(DCR *dcr)
     *  empty label_blk, and nothing will be written.
     */
    Dmsg0(190, "write label block to dev\n");
-   if (!write_block_to_dev(dcr)) {
+   if (!dcr->write_block_to_dev()) {
       berrno be;
       Pmsg1(0, _("write_block_to_device Volume label failed. ERR=%s"),
-        be.strerror(dev->dev_errno));
-      free_block(label_blk);
+        be.bstrerror(dev->dev_errno));
+      dev->free_dcr_blocks(dcr);
       dcr->block = block;
-      unblock_device(dev);
-      return false;                /* device locked */
+      dcr->ameta_block = ameta_block;
+      dcr->adata_block = adata_block;
+      goto bail_out;
    }
-   free_block(label_blk);
+   dev->free_dcr_blocks(dcr);
    dcr->block = block;
-
-   /*
-    * Walk through all attached jcrs indicating the volume has changed
-    */
-   Dmsg1(100, "Walk attached dcrs. Volume=%s\n", dev->VolCatInfo.VolCatName);
-   DCR *mdcr;
-   foreach_dlist(mdcr, dev->attached_dcrs) {
-      JCR *mjcr = mdcr->jcr;
-      if (mjcr->JobId == 0) {
-         continue;                 /* ignore console */
-      }
-      mdcr->NewVol = true;
-      if (jcr != mjcr) {
-         bstrncpy(mdcr->VolumeName, dcr->VolumeName, sizeof(mdcr->VolumeName));
-      }
-   }
+   dcr->ameta_block = ameta_block;
+   dcr->adata_block = adata_block;
 
    /* Clear NewVol now because dir_get_volume_info() already done */
    jcr->dcr->NewVol = false;
@@ -178,16 +182,59 @@ bool fixup_device_block_write_error(DCR *dcr)
 
    /* Write overflow block to device */
    Dmsg0(190, "Write overflow block to dev\n");
-   if (!write_block_to_dev(dcr)) {
+   if (save_adata) {
+      dcr->set_adata();      /* try to write block we entered with */
+   }
+   if (!dcr->write_block_to_dev()) {
       berrno be;
-      Pmsg1(0, _("write_block_to_device overflow block failed. ERR=%s"),
-        be.strerror(dev->dev_errno));
-      unblock_device(dev);
-      return false;                /* device locked */
+      Dmsg1(0, _("write_block_to_device overflow block failed. ERR=%s"),
+        be.bstrerror(dev->dev_errno));
+      /* Note: recursive call */
+      if (retries-- <= 0 || !fixup_device_block_write_error(dcr, retries)) {
+         Jmsg2(jcr, M_FATAL, 0,
+              _("Catastrophic error. Cannot write overflow block to device %s. ERR=%s"),
+              dev->print_name(), be.bstrerror(dev->dev_errno));
+         goto bail_out;
+      }
    }
+   ok = true;
 
+bail_out:
+   if (save_adata) {
+      dcr->set_ameta();   /* Do unblock ... on ameta */
+   }
+   /*
+    * At this point, the device is locked and blocked.
+    * Unblock the device, restore any entry blocked condition, then
+    *   return leaving the device locked (as it was on entry).
+    */
    unblock_device(dev);
-   return true;                             /* device locked */
+   if (blocked != BST_NOT_BLOCKED) {
+      block_device(dev, blocked);
+   }
+   if (save_adata) {
+      dcr->set_adata();      /* switch back to what we entered with */
+   }
+   return ok;                               /* device locked */
+}
+
+void set_start_vol_position(DCR *dcr)
+{
+   DEVICE *dev = dcr->dev;
+   /* Set new start position */
+   if (dev->is_tape()) {
+      dcr->StartAddr = dcr->EndAddr = dev->get_full_addr();
+   } else {
+      if (dev->adata) {
+         dev = dcr->ameta_dev;
+      }
+      /*
+       * Note: we only update the DCR values for ameta blocks
+       *  because all the indexing (JobMedia) is done with
+       *  ameta blocks/records, which may point to adata.
+       */
+      dcr->StartAddr = dcr->EndAddr = dev->get_full_addr();
+   }
 }
 
 /*
@@ -198,24 +245,21 @@ bool fixup_device_block_write_error(DCR *dcr)
 void set_new_volume_parameters(DCR *dcr)
 {
    JCR *jcr = dcr->jcr;
-   DEVICE *dev = dcr->dev;
-   if (dcr->NewVol && !dir_get_volume_info(dcr, GET_VOL_INFO_FOR_WRITE)) {
-      Jmsg1(jcr, M_ERROR, 0, "%s", jcr->errmsg);
-   }
-   /* Set new start/end positions */
-   if (dev->is_tape()) {
-      dcr->StartBlock = dev->block_num;
-      dcr->StartFile = dev->file;
-   } else {
-      dcr->StartBlock = (uint32_t)dev->file_addr;
-      dcr->StartFile  = (uint32_t)(dev->file_addr >> 32);
+   Dmsg1(40, "set_new_volume_parameters dev=%s\n", dcr->dev->print_name());
+   if (dcr->NewVol) {
+      while (dcr->VolumeName[0] == 0) {
+         int retries = 5;
+         wait_for_device(dcr, retries);
+      }
+      if (dir_get_volume_info(dcr, dcr->VolumeName, GET_VOL_INFO_FOR_WRITE)) {
+         dcr->dev->clear_wait();
+      } else {
+         Dmsg1(40, "getvolinfo failed. No new Vol: %s", jcr->errmsg);
+      }
    }
-   /* Reset indicies */
-   dcr->VolFirstIndex = 0;
-   dcr->VolLastIndex = 0;
+   set_new_file_parameters(dcr);
    jcr->NumWriteVolumes++;
    dcr->NewVol = false;
-   dcr->WroteVol = false;
 }
 
 /*
@@ -225,17 +269,11 @@ void set_new_volume_parameters(DCR *dcr)
  */
 void set_new_file_parameters(DCR *dcr)
 {
-   DEVICE *dev = dcr->dev;
+   set_start_vol_position(dcr);
 
-   /* Set new start/end positions */
-   if (dev->is_tape()) {
-      dcr->StartBlock = dev->block_num;
-      dcr->StartFile = dev->file;
-   } else {
-      dcr->StartBlock = (uint32_t)dev->file_addr;
-      dcr->StartFile  = (uint32_t)(dev->file_addr >> 32);
-   }
    /* Reset indicies */
+   Dmsg3(1000, "Reset indices Vol=%s were: FI=%d LI=%d\n", dcr->VolumeName,
+      dcr->VolFirstIndex, dcr->VolLastIndex);
    dcr->VolFirstIndex = 0;
    dcr->VolLastIndex = 0;
    dcr->NewFile = false;
@@ -268,7 +306,7 @@ bool first_open_device(DCR *dcr)
       return false;
    }
 
-   dev->r_dlock();
+   dev->rLock(false);
 
    /* Defer opening files */
    if (!dev->is_tape()) {
@@ -276,220 +314,15 @@ bool first_open_device(DCR *dcr)
       goto bail_out;
    }
 
-    int mode;
-    if (dev->has_cap(CAP_STREAM)) {
-       mode = OPEN_WRITE_ONLY;
-    } else {
-       mode = OPEN_READ_ONLY;
-    }
    Dmsg0(129, "Opening device.\n");
-   if (dev->open(dcr, mode) < 0) {
-      Emsg1(M_FATAL, 0, _("dev open failed: %s\n"), dev->errmsg);
+   if (!dev->open_device(dcr, OPEN_READ_ONLY)) {
+      Jmsg1(NULL, M_FATAL, 0, _("dev open failed: %s\n"), dev->errmsg);
       ok = false;
       goto bail_out;
    }
    Dmsg1(129, "open dev %s OK\n", dev->print_name());
 
 bail_out:
-   dev->dunlock();
+   dev->rUnlock();
    return ok;
 }
-
-/*
- * Make sure device is open, if not do so
- */
-bool open_device(DCR *dcr)
-{
-   DEVICE *dev = dcr->dev;
-   /* Open device */
-   int mode;
-   if (dev->has_cap(CAP_STREAM)) {
-      mode = OPEN_WRITE_ONLY;
-   } else {
-      mode = OPEN_READ_WRITE;
-   }
-   if (dev->open(dcr, mode) < 0) {
-      /* If polling, ignore the error */
-      /* If DVD, also ignore the error, very often you cannot open the device
-       * (when there is no DVD, or when the one inserted is a wrong one) */
-      if (!dev->poll && !dev->is_dvd() && !dev->is_removable()) {
-         Jmsg2(dcr->jcr, M_FATAL, 0, _("Unable to open device %s: ERR=%s\n"),
-            dev->print_name(), dev->bstrerror());
-         Pmsg2(000, _("Unable to open archive %s: ERR=%s\n"), 
-            dev->print_name(), dev->bstrerror());
-      }
-      return false;
-   }
-   return true;
-}
-
-/*
- * Find which JobId corresponds to the current thread
- */
-uint32_t get_jobid_from_tid()
-{
-   JCR *jcr;
-   uint32_t JobId = 0;
-   foreach_jcr(jcr) {
-      if (pthread_equal(jcr->my_thread_id, pthread_self())) {
-         JobId = (uint32_t)jcr->JobId;
-         break;
-      }
-   }
-   endeach_jcr(jcr);
-   return JobId;
-}
-
-/*
- * Check if the device is blocked or not
- */
-bool is_device_unmounted(DEVICE *dev)
-{
-   bool stat;
-   int blocked = dev->blocked();
-   stat = (blocked == BST_UNMOUNTED) ||
-          (blocked == BST_UNMOUNTED_WAITING_FOR_SYSOP);
-   return stat;
-}
-
-void DEVICE::_dlock(const char *file, int line)
-{
-   Dmsg4(sd_dbglvl, "dlock from %s:%d precnt=%d JobId=%u\n", file, line,
-         m_count, get_jobid_from_tid()); 
-   /* Note, this *really* should be protected by a mutex, but
-    *  since it is only debug code we don't worry too much.  
-    */
-   if (m_count > 0 && pthread_equal(m_pid, pthread_self())) {
-      Dmsg2(sd_dbglvl, "DEADLOCK !!!!!!!!!! from %s:%d\n", file, line);
-   }
-   P(m_mutex);
-   m_pid = pthread_self();
-   m_count++; 
-}
-
-void DEVICE::_dunlock(const char *file, int line)
-{
-   m_count--; 
-   Dmsg4(sd_dbglvl, "dunlock from %s:%d postcnt=%d JobId=%u\n", file, line,
-         m_count, get_jobid_from_tid()); 
-   V(m_mutex);   
-}
-
-#ifdef SD_DEBUG_LOCK
-void DEVICE::_r_dunlock(const char *file, int line)
-{
-   this->_dunlock(file, line);
-}
-#else
-void DEVICE::r_dunlock()
-{
-   this->dunlock();
-}
-#endif
-
-
-/*
- * This is a recursive lock that checks if the device is blocked.
- *
- * When blocked is set, all threads EXCEPT thread with id no_wait_id
- * must wait. The no_wait_id thread is out obtaining a new volume
- * and preparing the label.
- */
-#ifdef SD_DEBUG_LOCK
-void DEVICE::_r_dlock(const char *file, int line)
-#else
-void DEVICE::r_dlock()
-#endif
-{
-   int stat;
-#ifdef SD_DEBUG_LOCK
-   Dmsg4(dbglvl, "r_dlock blked=%s from %s:%d JobId=%u\n", this->print_blocked(),
-         file, line, get_jobid_from_tid());
-#else
-   Dmsg1dbglvl, "reclock blked=%s\n", this->print_blocked());
-#endif
-   this->dlock();   
-   if (this->blocked() && !pthread_equal(this->no_wait_id, pthread_self())) {
-      this->num_waiting++;             /* indicate that I am waiting */
-      while (this->blocked()) {
-         Dmsg3(dbglvl, "r_dlock blked=%s no_wait=%p me=%p\n", this->print_blocked(),
-               this->no_wait_id, pthread_self());
-         if ((stat = pthread_cond_wait(&this->wait, &m_mutex)) != 0) {
-            berrno be;
-            this->dunlock();
-            Emsg1(M_ABORT, 0, _("pthread_cond_wait failure. ERR=%s\n"),
-               be.strerror(stat));
-         }
-      }
-      this->num_waiting--;             /* no longer waiting */
-   }
-}
-
-/*
- * Block all other threads from using the device
- *  Device must already be locked.  After this call,
- *  the device is blocked to any thread calling dev->r_lock(),
- *  but the device is not locked (i.e. no P on device).  Also,
- *  the current thread can do slip through the dev->r_lock()
- *  calls without blocking.
- */
-void _block_device(const char *file, int line, DEVICE *dev, int state)
-{
-   Dmsg3(dbglvl, "block set %d from %s:%d\n", state, file, line);
-
-   ASSERT(dev->blocked() == BST_NOT_BLOCKED);
-   dev->set_blocked(state);           /* make other threads wait */
-   dev->no_wait_id = pthread_self();  /* allow us to continue */
-}
-
-/*
- * Unblock the device, and wake up anyone who went to sleep.
- * Enter: device locked
- * Exit:  device locked
- */
-void _unblock_device(const char *file, int line, DEVICE *dev)
-{
-   Dmsg3(dbglvl, "unblock %s from %s:%d\n", dev->print_blocked(), file, line);
-   ASSERT(dev->blocked());
-   dev->set_blocked(BST_NOT_BLOCKED);
-   dev->no_wait_id = 0;
-   if (dev->num_waiting > 0) {
-      pthread_cond_broadcast(&dev->wait); /* wake them up */
-   }
-}
-
-/*
- * Enter with device locked and blocked
- * Exit with device unlocked and blocked by us.
- */
-void _steal_device_lock(const char *file, int line, DEVICE *dev, bsteal_lock_t *hold, int state)
-{
-
-   Dmsg3(dbglvl, "steal lock. old=%s from %s:%d\n", dev->print_blocked(),
-      file, line);
-   hold->dev_blocked = dev->blocked();
-   hold->dev_prev_blocked = dev->dev_prev_blocked;
-   hold->no_wait_id = dev->no_wait_id;
-   dev->set_blocked(state);
-   Dmsg1(dbglvl, "steal lock. new=%s\n", dev->print_blocked());
-   dev->no_wait_id = pthread_self();
-   dev->dunlock();
-}
-
-/*
- * Enter with device blocked by us but not locked
- * Exit with device locked, and blocked by previous owner
- */
-void _give_back_device_lock(const char *file, int line, DEVICE *dev, bsteal_lock_t *hold)
-{
-   Dmsg3(dbglvl, "return lock. old=%s from %s:%d\n",
-      dev->print_blocked(), file, line);
-   dev->dlock();
-   dev->set_blocked(hold->dev_blocked);
-   dev->dev_prev_blocked = hold->dev_prev_blocked;
-   dev->no_wait_id = hold->no_wait_id;
-   Dmsg1(dbglvl, "return lock. new=%s\n", dev->print_blocked());
-   if (dev->num_waiting > 0) {
-      pthread_cond_broadcast(&dev->wait); /* wake them up */
-   }
-}