]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/device.c
Add Environment arrays + Rescheduling of jobs + cancel FD when blocked on SD write
[bacula/bacula] / bacula / src / stored / device.c
1 /*
2  *
3  *  Higher Level Device routines. 
4  *  Knows about Bacula tape labels and such  
5  *
6  *  NOTE! In general, subroutines that have the word
7  *        "device" in the name do locking.  Subroutines
8  *        that have the word "dev" in the name do not
9  *        do locking.  Thus if xxx_device() calls
10  *        yyy_dev(), all is OK, but if xxx_device()
11  *        calls yyy_device(), everything will hang.
12  *        Obviously, no zzz_dev() is allowed to call
13  *        a www_device() or everything falls apart. 
14  *
15  * Concerning the routines lock_device() and block_device()
16  *  see the end of this module for details.  In general,
17  *  blocking a device leaves it in a state where all threads
18  *  other than the current thread block when they attempt to 
19  *  lock the device. They remain suspended (blocked) until the device
20  *  is unblocked. So, a device is blocked during an operation
21  *  that takes a long time (initialization, mounting a new
22  *  volume, ...) locking a device is done for an operation
23  *  that takes a short time such as writing data to the   
24  *  device.
25  *
26  *
27  *   Kern Sibbald, MM, MMI
28  *                            
29  *   Version $Id$
30  */
31 /*
32    Copyright (C) 2000-2003 Kern Sibbald and John Walker
33
34    This program is free software; you can redistribute it and/or
35    modify it under the terms of the GNU General Public License as
36    published by the Free Software Foundation; either version 2 of
37    the License, or (at your option) any later version.
38
39    This program is distributed in the hope that it will be useful,
40    but WITHOUT ANY WARRANTY; without even the implied warranty of
41    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
42    General Public License for more details.
43
44    You should have received a copy of the GNU General Public
45    License along with this program; if not, write to the Free
46    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
47    MA 02111-1307, USA.
48
49  */
50
51 #include "bacula.h"                   /* pull in global headers */
52 #include "stored.h"                   /* pull in Storage Deamon headers */
53
54 /* Forward referenced functions */
55
56 extern char my_name[];
57 extern int debug_level;
58
59 /*
60  * This is the dreaded moment. We either have an end of
61  * medium condition or worse, and error condition.
62  * Attempt to "recover" by obtaining a new Volume.
63  *
64  * We enter with device locked, and 
65  *     exit with device locked.
66  *
67  * Note, we are called only from one place in block.c
68  *
69  *  Returns: 1 on success
70  *           0 on failure
71  */
72 int fixup_device_block_write_error(JCR *jcr, DEVICE *dev, DEV_BLOCK *block)
73 {
74    uint32_t stat = 0;                   
75    char PrevVolName[MAX_NAME_LENGTH];
76    DEV_BLOCK *label_blk;
77    char b1[30], b2[30];
78    time_t wait_time;
79    char dt[MAX_TIME_LENGTH];
80
81    wait_time = time(NULL);
82    status_dev(dev, &stat);
83    if (!(stat & BMT_EOD)) {
84       return 0;                       /* this really shouldn't happen */
85    }
86
87    Dmsg0(100, "======= Got EOD ========\n");
88
89    block_device(dev, BST_DOING_ACQUIRE);
90    /* Unlock, but leave BLOCKED */
91    unlock_device(dev);
92
93    /* 
94     * Walk through all attached jcrs creating a jobmedia_record()
95     */
96    Dmsg1(100, "Walk attached jcrs. Volume=%s\n", dev->VolCatInfo.VolCatName);
97    for (JCR *mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
98       if (mjcr->JobId == 0) {
99          continue;                 /* ignore console */
100       }
101       Dmsg1(100, "create JobMedia for Job %s\n", mjcr->Job);
102       if (dev->state & ST_TAPE) {
103          mjcr->EndBlock = dev->EndBlock;
104          mjcr->EndFile  = dev->EndFile;
105          Dmsg2(200, "Fixup EndFile=%u EndBlock=%u\n", mjcr->EndFile, mjcr->EndBlock);
106       } else {
107          mjcr->EndBlock = (uint32_t)dev->file_addr;
108          mjcr->EndFile = (uint32_t)(dev->file_addr >> 32);
109       }
110       if (!dir_create_jobmedia_record(mjcr)) {
111          Jmsg(mjcr, M_ERROR, 0, _("Could not create JobMedia record for Volume=%s Job=%s\n"),
112             dev->VolCatInfo.VolCatName, mjcr->Job);
113          P(dev->mutex);
114          unblock_device(dev);
115          return 0;
116       }
117       mjcr->VolFirstIndex = 0;      /* prevent writing jobmedia second time */
118    }
119
120    strcpy(dev->VolCatInfo.VolCatStatus, "Full");
121    Dmsg2(200, "Call update_vol_info Stat=%s Vol=%s\n", 
122       dev->VolCatInfo.VolCatStatus, dev->VolCatInfo.VolCatName);
123    if (!dir_update_volume_info(jcr, &dev->VolCatInfo, 0)) {    /* send Volume info to Director */
124       P(dev->mutex);
125       unblock_device(dev);
126       return 0;                    /* device locked */
127    }
128    Dmsg0(100, "Back from update_vol_info\n");
129
130    bstrncpy(PrevVolName, dev->VolCatInfo.VolCatName, sizeof(PrevVolName));
131    bstrncpy(dev->VolHdr.PrevVolName, PrevVolName, sizeof(dev->VolHdr.PrevVolName));
132
133    label_blk = new_block(dev);
134
135    /* Inform User about end of medium */
136    Jmsg(jcr, M_INFO, 0, _("End of medium on Volume \"%s\" Bytes=%s Blocks=%s at %s.\n"), 
137         PrevVolName, edit_uint64_with_commas(dev->VolCatInfo.VolCatBytes, b1),
138         edit_uint64_with_commas(dev->VolCatInfo.VolCatBlocks, b2),
139         bstrftime(dt, sizeof(dt), time(NULL)));
140
141    if (!mount_next_write_volume(jcr, dev, label_blk, 1)) {
142       free_block(label_blk);
143       P(dev->mutex);
144       unblock_device(dev);
145       return 0;                    /* device locked */
146    }
147    P(dev->mutex);                  /* lock again */
148
149    Jmsg(jcr, M_INFO, 0, _("New volume \"%s\" mounted on device %s at %s.\n"),
150       jcr->VolumeName, dev_name(dev), bstrftime(dt, sizeof(dt), time(NULL)));
151
152    /* 
153     * If this is a new tape, the label_blk will contain the
154     *  label, so write it now. If this is a previously
155     *  used tape, mount_next_write_volume() will return an
156     *  empty label_blk, and nothing will be written.
157     */
158    Dmsg0(190, "write label block to dev\n");
159    if (!write_block_to_dev(jcr, dev, label_blk)) {
160       Pmsg1(0, "write_block_to_device Volume label failed. ERR=%s",
161         strerror_dev(dev));
162       free_block(label_blk);
163       unblock_device(dev);
164       return 0;                    /* device locked */
165    }
166    free_block(label_blk);
167
168
169    /* Update start block/file for overflow block */
170    jcr->NumVolumes++;
171    for (JCR *mjcr=NULL; (mjcr=next_attached_jcr(dev, mjcr)); ) {
172       /* Set new start/end positions */
173       if (dev->state & ST_TAPE) {
174          mjcr->StartBlock = dev->block_num;
175          mjcr->StartFile = dev->file;
176       } else {
177          mjcr->StartBlock = (uint32_t)dev->file_addr;
178          mjcr->StartFile  = (uint32_t)(dev->file_addr >> 32);
179       }
180       /* Set first FirstIndex for new Volume */
181       mjcr->VolFirstIndex = mjcr->JobFiles;
182       mjcr->run_time += time(NULL) - wait_time; /* correct run time */
183    }
184
185    /* Write overflow block to tape */
186    Dmsg0(190, "Write overflow block to dev\n");
187    if (!write_block_to_dev(jcr, dev, block)) {
188       Pmsg1(0, "write_block_to_device overflow block failed. ERR=%s",
189         strerror_dev(dev));
190       unblock_device(dev);
191       return 0;                    /* device locked */
192    }
193
194    unblock_device(dev);
195    return 1;                                /* device locked */
196 }
197
198
199 /*
200  *   Open the device. Expect dev to already be initialized.  
201  *
202  *   This routine is used only when the Storage daemon starts 
203  *   and always_open is set, and in the stand-alone utility
204  *   routines such as bextract.
205  *
206  *   Note, opening of a normal file is deferred to later so
207  *    that we can get the filename; the device_name for
208  *    a file is the directory only. 
209  *
210  *   Retuns: 0 on failure
211  *           1 on success
212  */
213 int open_device(DEVICE *dev)
214 {
215    Dmsg0(120, "start open_output_device()\n");
216    if (!dev) {
217       return 0;
218    }
219
220    lock_device(dev);
221
222    /* Defer opening files */
223    if (!dev_is_tape(dev)) {
224       Dmsg0(129, "Device is file, deferring open.\n");
225       unlock_device(dev);
226       return 1;
227    }
228
229    if (!(dev->state & ST_OPENED)) {
230       Dmsg0(129, "Opening device.\n");
231       if (open_dev(dev, NULL, READ_WRITE) < 0) {
232          Emsg1(M_FATAL, 0, _("dev open failed: %s\n"), dev->errmsg);
233          unlock_device(dev);
234          return 0;
235       }
236    }
237    Dmsg1(129, "open_dev %s OK\n", dev_name(dev));
238
239    unlock_device(dev);
240    return 1;
241 }
242
243 /* 
244  * When dev_blocked is set, all threads EXCEPT thread with id no_wait_id
245  * must wait. The no_wait_id thread is out obtaining a new volume
246  * and preparing the label.
247  */
248 void _lock_device(char *file, int line, DEVICE *dev)
249 {
250    int stat;
251    Dmsg3(100, "lock %d from %s:%d\n", dev->dev_blocked, file, line);
252    P(dev->mutex);
253    if (dev->dev_blocked && !pthread_equal(dev->no_wait_id, pthread_self())) {
254       dev->num_waiting++;             /* indicate that I am waiting */
255       while (dev->dev_blocked) {
256          if ((stat = pthread_cond_wait(&dev->wait, &dev->mutex)) != 0) {
257             V(dev->mutex);
258             Emsg1(M_ABORT, 0, _("pthread_cond_wait failure. ERR=%s\n"),
259                strerror(stat));
260          }
261       }
262       dev->num_waiting--;             /* no longer waiting */
263    }
264 }
265
266 void _unlock_device(char *file, int line, DEVICE *dev) 
267 {
268    Dmsg2(100, "unlock from %s:%d\n", file, line);
269    V(dev->mutex);
270 }
271
272 /* 
273  * Block all other threads from using the device
274  *  Device must already be locked.  After this call,
275  *  the device is blocked to any thread calling lock_device(),
276  *  but the device is not locked (i.e. no P on device).  Also,
277  *  the current thread can do slip through the lock_device()
278  *  calls without blocking.
279  */
280 void _block_device(char *file, int line, DEVICE *dev, int state)
281 {
282    Dmsg3(100, "block set %d from %s:%d\n", state, file, line);
283    ASSERT(dev->dev_blocked == BST_NOT_BLOCKED);
284    dev->dev_blocked = state;          /* make other threads wait */
285    dev->no_wait_id = pthread_self();  /* allow us to continue */
286 }
287
288
289
290 /*
291  * Unblock the device, and wake up anyone who went to sleep.
292  */
293 void _unblock_device(char *file, int line, DEVICE *dev)
294 {
295    Dmsg3(100, "unblock %d from %s:%d\n", dev->dev_blocked, file, line);
296    ASSERT(dev->dev_blocked);
297    dev->dev_blocked = BST_NOT_BLOCKED;
298    dev->no_wait_id = 0;
299    if (dev->num_waiting > 0) {
300       pthread_cond_broadcast(&dev->wait); /* wake them up */
301    }
302 }
303
304 /*
305  * Enter with device locked and blocked
306  * Exit with device unlocked and blocked by us.
307  */
308 void _steal_device_lock(char *file, int line, DEVICE *dev, bsteal_lock_t *hold, int state)
309 {
310    Dmsg4(100, "steal lock. old=%d new=%d from %s:%d\n", dev->dev_blocked, state,
311       file, line);
312    hold->dev_blocked = dev->dev_blocked;
313    hold->no_wait_id = dev->no_wait_id;
314    dev->dev_blocked = state;
315    dev->no_wait_id = pthread_self();
316    V(dev->mutex);
317 }
318
319 /*
320  * Enter with device blocked by us but not locked
321  * Exit with device locked, and blocked by previous owner 
322  */
323 void _give_back_device_lock(char *file, int line, DEVICE *dev, bsteal_lock_t *hold)           
324 {
325    Dmsg4(100, "return lock. old=%d new=%d from %s:%d\n", 
326       dev->dev_blocked, hold->dev_blocked, file, line);
327    P(dev->mutex);
328    dev->dev_blocked = hold->dev_blocked;
329    dev->no_wait_id = hold->no_wait_id;
330 }