]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/reserve.c
More reservations tweaks
[bacula/bacula] / bacula / src / stored / reserve.c
1 /*
2    Bacula® - The Network Backup Solution
3
4    Copyright (C) 2000-2008 Free Software Foundation Europe e.V.
5
6    The main author of Bacula is Kern Sibbald, with contributions from
7    many others, a complete list can be found in the file AUTHORS.
8    This program is Free Software; you can redistribute it and/or
9    modify it under the terms of version two of the GNU General Public
10    License as published by the Free Software Foundation and included
11    in the file LICENSE.
12
13    This program is distributed in the hope that it will be useful, but
14    WITHOUT ANY WARRANTY; without even the implied warranty of
15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
16    General Public License for more details.
17
18    You should have received a copy of the GNU General Public License
19    along with this program; if not, write to the Free Software
20    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
21    02110-1301, USA.
22
23    Bacula® is a registered trademark of John Walker.
24    The licensor of Bacula is the Free Software Foundation Europe
25    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
26    Switzerland, email:ftf@fsfeurope.org.
27 */
28 /*
29  *   Drive reservation functions for Storage Daemon
30  *
31  *   Kern Sibbald, MM
32  *
33  *   Split from job.c and acquire.c June 2005
34  *
35  *   Version $Id$
36  *
37  */
38
39 #include "bacula.h"
40 #include "stored.h"
41
42 const int dbglvl =  50;
43
44 static dlist *vol_list = NULL;
45 static brwlock_t reservation_lock;
46 static brwlock_t vol_list_lock;
47
48 /* Forward referenced functions */
49 static int can_reserve_drive(DCR *dcr, RCTX &rctx);
50 static int reserve_device(RCTX &rctx);
51 static bool reserve_device_for_read(DCR *dcr);
52 static bool reserve_device_for_append(DCR *dcr, RCTX &rctx);
53 static bool use_storage_cmd(JCR *jcr);
54 static void queue_reserve_message(JCR *jcr);
55 static void pop_reserve_messages(JCR *jcr);
56
57 /* Requests from the Director daemon */
58 static char use_storage[]  = "use storage=%127s media_type=%127s "
59    "pool_name=%127s pool_type=%127s append=%d copy=%d stripe=%d\n";
60 static char use_device[]  = "use device=%127s\n";
61
62 /* Responses sent to Director daemon */
63 static char OK_device[] = "3000 OK use device device=%s\n";
64 static char NO_device[] = "3924 Device \"%s\" not in SD Device resources.\n";
65 static char BAD_use[]   = "3913 Bad use command: %s\n";
66
67 bool use_cmd(JCR *jcr) 
68 {
69    /*
70     * Get the device, media, and pool information
71     */
72    if (!use_storage_cmd(jcr)) {
73       set_jcr_job_status(jcr, JS_ErrorTerminated);
74       memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
75       return false;
76    }
77    return true;
78 }
79
80 static int my_compare(void *item1, void *item2)
81 {
82    return strcmp(((VOLRES *)item1)->vol_name, ((VOLRES *)item2)->vol_name);
83 }
84
85 /*
86  * This allows a given thread to recursively call lock_reservations.
87  *   It must, of course, call unlock_... the same number of times.
88  */
89 void init_reservations_lock()
90 {
91    int errstat;
92    if ((errstat=rwl_init(&reservation_lock)) != 0) {
93       berrno be;
94       Emsg1(M_ABORT, 0, _("Unable to initialize reservation lock. ERR=%s\n"),
95             be.bstrerror(errstat));
96    }
97
98    if ((errstat=rwl_init(&vol_list_lock)) != 0) {
99       berrno be;
100       Emsg1(M_ABORT, 0, _("Unable to initialize volume list lock. ERR=%s\n"),
101             be.bstrerror(errstat));
102    }
103 }
104
105 void term_reservations_lock()
106 {
107    rwl_destroy(&reservation_lock);
108    rwl_destroy(&vol_list_lock);
109 }
110
111 int reservations_lock_count = 0;
112
113 /* This applies to a drive and to Volumes */
114 void _lock_reservations()
115 {
116    int errstat;
117    reservations_lock_count++;
118    if ((errstat=rwl_writelock(&reservation_lock)) != 0) {
119       berrno be;
120       Emsg2(M_ABORT, 0, "rwl_writelock failure. stat=%d: ERR=%s\n",
121            errstat, be.bstrerror(errstat));
122    }
123 }
124
125 void _unlock_reservations()
126 {
127    int errstat;
128    reservations_lock_count--;
129    if ((errstat=rwl_writeunlock(&reservation_lock)) != 0) {
130       berrno be;
131       Emsg2(M_ABORT, 0, "rwl_writeunlock failure. stat=%d: ERR=%s\n",
132            errstat, be.bstrerror(errstat));
133    }
134 }
135
136 int vol_list_lock_count = 0;
137
138 /* 
139  * This allows a given thread to recursively call to lock_volumes()
140  */
141 void _lock_volumes()
142 {
143    int errstat;
144    vol_list_lock_count++;
145    if ((errstat=rwl_writelock(&vol_list_lock)) != 0) {
146       berrno be;
147       Emsg2(M_ABORT, 0, "rwl_writelock failure. stat=%d: ERR=%s\n",
148            errstat, be.bstrerror(errstat));
149    }
150 }
151
152 void _unlock_volumes()
153 {
154    int errstat;
155    vol_list_lock_count--;
156    if ((errstat=rwl_writeunlock(&vol_list_lock)) != 0) {
157       berrno be;
158       Emsg2(M_ABORT, 0, "rwl_writeunlock failure. stat=%d: ERR=%s\n",
159            errstat, be.bstrerror(errstat));
160    }
161 }
162
163
164 /*
165  * List Volumes -- this should be moved to status.c
166  */
167 enum {
168    debug_lock = true,
169    debug_nolock = false
170 };
171
172 static void debug_list_volumes(const char *imsg)
173 {
174    VOLRES *vol;
175    POOL_MEM msg(PM_MESSAGE);
176
177    lock_volumes();
178    foreach_dlist(vol, vol_list) {
179       if (vol->dev) {
180          Mmsg(msg, "List from %s: %s at %p on device %s\n", imsg, 
181               vol->vol_name, vol->vol_name, vol->dev->print_name());
182       } else {
183          Mmsg(msg, "List from %s: %s at %p no dev\n", imsg, vol->vol_name, vol->vol_name);
184       }
185       Dmsg1(dbglvl, "%s", msg.c_str());
186    }
187
188 #ifdef xxx
189    DEVICE *dev = NULL;
190    foreach_dlist(vol, vol_list) {
191       if (vol->dev == dev) {
192          Dmsg0(dbglvl, "Two Volumes on same device.\n");
193          ASSERT(0);
194          dev = vol->dev;
195       }
196    }
197 #endif
198
199 // Dmsg2(dbglvl, "List from %s: %d volumes\n", imsg, count);
200    unlock_volumes();
201 }
202
203
204 /*
205  * List Volumes -- this should be moved to status.c
206  */
207 void list_volumes(void sendit(const char *msg, int len, void *sarg), void *arg)
208 {
209    VOLRES *vol;
210    POOL_MEM msg(PM_MESSAGE);
211    int len;
212
213    lock_volumes();
214    foreach_dlist(vol, vol_list) {
215       DEVICE *dev = vol->dev;
216       if (dev) {
217          len = Mmsg(msg, "%s on device %s\n", vol->vol_name, dev->print_name());
218          sendit(msg.c_str(), len, arg);
219          len = Mmsg(msg, "    Reader=%d writers=%d reserved=%d released=%d\n", 
220             dev->can_read()?1:0, dev->num_writers, dev->reserved_device, vol->released);
221          sendit(msg.c_str(), len, arg);
222       } else {
223          len = Mmsg(msg, "%s no device. released=%d\n", vol->vol_name, vol->released);
224          sendit(msg.c_str(), len, arg);
225       }
226    }
227    unlock_volumes();
228 }
229
230 /*
231  * Create a Volume item to put in the Volume list
232  *   Ensure that the device points to it.
233  */
234 static VOLRES *new_vol_item(DCR *dcr, const char *VolumeName)
235 {
236    VOLRES *vol;
237    vol = (VOLRES *)malloc(sizeof(VOLRES));
238    memset(vol, 0, sizeof(VOLRES));
239    vol->vol_name = bstrdup(VolumeName);
240    vol->dev = dcr->dev;
241    Dmsg3(dbglvl, "new Vol=%s at %p dev=%s\n",
242          VolumeName, vol->vol_name, vol->dev->print_name());
243    return vol;
244 }
245
246 static void free_vol_item(VOLRES *vol)
247 {
248    free(vol->vol_name);
249    if (vol->dev) {
250       vol->dev->vol = NULL;
251    }
252    free(vol);
253 }
254
255
256 /*
257  * Put a new Volume entry in the Volume list. This
258  *  effectively reserves the volume so that it will
259  *  not be mounted again.
260  *
261  * If the device has any current volume associated with it,
262  *  and it is a different Volume, and the device is not busy,
263  *  we release the old Volume item and insert the new one.
264  * 
265  * It is assumed that the device is free and locked so that
266  *  we can change the device structure.
267  *
268  * Some details of the Volume list handling:
269  *
270  *  1. The Volume list entry must be attached to the drive (rather than 
271  *       attached to a job as it currently is. I.e. the drive that "owns" 
272  *       the volume (reserved, in use, mounted)
273  *       must point to the volume (still to be maintained in a list).
274  *
275  *  2. The Volume is entered in the list when a drive is reserved.  
276  *
277  *  3. When a drive is in use, the device code must appropriately update the
278  *      volume name as it changes (currently the list is static -- an entry is
279  *      removed when the Volume is no longer reserved, in use or mounted).  
280  *      The new code must keep the same list entry as long as the drive
281  *       has any volume associated with it but the volume name in the list
282  *       must be updated when the drive has a different volume mounted.
283  *
284  *  4. A job that has reserved a volume, can un-reserve the volume, and if the 
285  *      volume is not mounted, and not reserved, and not in use, it will be
286  *      removed from the list.
287  *
288  *  5. If a job wants to reserve a drive with a different Volume from the one on
289  *      the drive, it can re-use the drive for the new Volume.
290  *
291  *  6. If a job wants a Volume that is in a different drive, it can either use the
292  *      other drive or take the volume, only if the other drive is not in use or
293  *      not reserved.
294  *
295  *  One nice aspect of this is that the reserve use count and the writer use count 
296  *  already exist and are correctly programmed and will need no changes -- use 
297  *  counts are always very tricky.
298  *
299  *  The old code had a concept of "reserving" a Volume, but was changed 
300  *  to reserving and using a drive.  A volume is must be attached to (owned by) a 
301  *  drive and can move from drive to drive or be unused given certain specific 
302  *  conditions of the drive.  The key is that the drive must "own" the Volume.  
303  *  The old code had the job (dcr) owning the volume (more or less).  The job was
304  *  to change the insertion and removal of the volumes from the list to be based 
305  *  on the drive rather than the job.  
306  *
307  *  Return: VOLRES entry on success
308  *          NULL volume busy on another drive
309  */
310 VOLRES *reserve_volume(DCR *dcr, const char *VolumeName)
311 {
312    VOLRES *vol, *nvol;
313    DEVICE *dev = dcr->dev;
314
315    ASSERT(dev != NULL);
316
317    Dmsg1(dbglvl, "reserve_volume %s\n", VolumeName);
318    /* 
319     * We lock the reservations system here to ensure
320     *  when adding a new volume that no newly scheduled
321     *  job can reserve it.
322     */
323    lock_volumes();
324    debug_list_volumes("begin reserve_volume");
325    /* 
326     * First, remove any old volume attached to this device as it
327     *  is no longer used.
328     */
329    if (dev->vol) {
330       vol = dev->vol;
331       /*
332        * Make sure we don't remove the current volume we are inserting
333        *  because it was probably inserted by another job, or it
334        *  is not being used and is marked as released.
335        */
336       if (strcmp(vol->vol_name, VolumeName) == 0) {
337          Dmsg1(dbglvl, "OK, vol=%s on device.\n", VolumeName);
338          vol->released = false;         /* retake vol if released previously */
339          goto get_out;                  /* Volume already on this device */
340       } else {
341          /* Don't release a volume if it is in use */
342          if (!vol->released) {
343             Dmsg1(dbglvl, "Cannot free vol=%s. It is not released.\n", vol->vol_name);
344             vol = NULL;                  /* vol in use */
345             goto get_out;
346          }
347          Dmsg2(dbglvl, "reserve_vol free vol=%s at %p\n", vol->vol_name, vol->vol_name);
348          unload_autochanger(dcr, -1);   /* unload the volume */
349          free_volume(dev);
350          debug_list_volumes("reserve_vol free");
351       }
352    }
353
354    /* Create a new Volume entry */
355    nvol = new_vol_item(dcr, VolumeName);
356
357    /*
358     * Now try to insert the new Volume
359     */
360    vol = (VOLRES *)vol_list->binary_insert(nvol, my_compare);
361    if (vol != nvol) {
362       Dmsg2(dbglvl, "Found vol=%s dev-same=%d\n", vol->vol_name, dev==vol->dev);
363       /*
364        * At this point, a Volume with this name already is in the list,
365        *   so we simply release our new Volume entry. Note, this should
366        *   only happen if we are moving the volume from one drive to another.
367        */
368       Dmsg2(dbglvl, "reserve_vol free-tmp vol=%s at %p\n", 
369             vol->vol_name, vol->vol_name);
370       /*
371        * Clear dev pointer so that free_vol_item() doesn't 
372        *  take away our volume. 
373        */
374       nvol->dev = NULL;                   /* don't zap dev entry */
375       free_vol_item(nvol);
376
377       /* Check if we are trying to use the Volume on a different drive */
378       if (dev != vol->dev) {
379          /* Caller wants to switch Volume to another device */
380          if (!vol->dev->is_busy()) {
381             /* OK to move it -- I'm not sure this will work */
382             Dmsg3(dbglvl, "==== Swap vol=%s from dev=%s to %s\n", VolumeName,
383                vol->dev->print_name(), dev->print_name());
384             vol->dev->vol = NULL;         /* take vol from old drive */
385             vol->dev->VolHdr.VolumeName[0] = 0;
386             vol->dev = dev;               /* point vol at new drive */
387             dev->vol = vol;               /* point dev at vol */
388             dev->VolHdr.VolumeName[0] = 0;
389          } else {
390             Dmsg3(dbglvl, "Volume busy could not swap vol=%s from dev=%s to %s\n", 
391                VolumeName, vol->dev->print_name(), dev->print_name());
392             vol = NULL;                /* device busy */
393             goto get_out;
394          }
395       }
396    }
397    dev->vol = vol;
398
399 get_out:
400    if (vol) {
401       vol->released = false;
402    }
403    debug_list_volumes("end new volume");
404    unlock_volumes();
405    return vol;
406 }
407
408 /* 
409  * Switch from current device to given device  
410  *   (not yet used) 
411  */
412 void switch_device(DCR *dcr, DEVICE *dev)
413 {
414    // lock_reservations();
415    DCR save_dcr;
416
417    dev->dlock();
418    memcpy(&save_dcr, dcr, sizeof(save_dcr));
419    clean_device(dcr);                  /* clean up the dcr */
420
421    dcr->dev = dev;                     /* get new device pointer */
422    Jmsg(dcr->jcr, M_INFO, 0, _("Device switch. New device %s chosen.\n"),
423       dcr->dev->print_name());
424
425    bstrncpy(dcr->VolumeName, save_dcr.VolumeName, sizeof(dcr->VolumeName));
426    bstrncpy(dcr->media_type, save_dcr.media_type, sizeof(dcr->media_type));
427    dcr->VolCatInfo.Slot = save_dcr.VolCatInfo.Slot;
428    bstrncpy(dcr->pool_name, save_dcr.pool_name, sizeof(dcr->pool_name));
429    bstrncpy(dcr->pool_type, save_dcr.pool_type, sizeof(dcr->pool_type));
430    bstrncpy(dcr->dev_name, save_dcr.dev_name, sizeof(dcr->dev_name));
431
432    dev->reserved_device++;
433    dcr->reserved_device = true;
434
435    dev->dunlock();
436 }
437
438 /*
439  * Search for a Volume name in the Volume list.
440  *
441  *  Returns: VOLRES entry on success
442  *           NULL if the Volume is not in the list
443  */
444 VOLRES *find_volume(DCR *dcr)
445 {
446    VOLRES vol, *fvol;
447    /* Do not lock reservations here */
448    lock_volumes();
449    vol.vol_name = bstrdup(dcr->VolumeName);
450    fvol = (VOLRES *)vol_list->binary_search(&vol, my_compare);
451    free(vol.vol_name);
452    Dmsg2(dbglvl, "find_vol=%s found=%d\n", dcr->VolumeName, fvol!=NULL);
453    debug_list_volumes("find_volume");
454    unlock_volumes();
455    return fvol;
456 }
457
458 /* 
459  * Remove any reservation from a drive and if no one is using
460  *  the volume, mark it unused.
461  */
462 void unreserve_device(DCR *dcr)
463 {
464    DEVICE *dev = dcr->dev;
465    if (dcr->reserved_device) {
466       dcr->reserved_device = false;
467       dev->reserved_device--;
468       Dmsg2(dbglvl, "Dec reserve=%d dev=%s\n", dev->reserved_device, dev->print_name());
469       dcr->reserved_device = false;
470       /* If we set read mode in reserving, remove it */
471       if (dev->can_read()) {
472          dev->clear_read();
473       }
474       if (dev->num_writers < 0) {
475          Jmsg1(dcr->jcr, M_ERROR, 0, _("Hey! num_writers=%d!!!!\n"), dev->num_writers);
476          dev->num_writers = 0;
477       }
478       if (dev->reserved_device == 0 && dev->num_writers == 0) {
479          volume_unused(dcr);
480       }
481    }
482 }
483
484 /*  
485  * Free a Volume from the Volume list if it is no longer used
486  *   Note, for tape drives we want to remember where the Volume
487  *   was when last used, so rather than free the volume entry,
488  *   we simply mark it "released" so when the drive is really
489  *   needed for another volume, we can reuse it.
490  *
491  *  Returns: true if the Volume found and "removed" from the list
492  *           false if the Volume is not in the list or is in use
493  */
494 bool volume_unused(DCR *dcr)
495 {
496    DEVICE *dev = dcr->dev;
497
498    if (dev->vol == NULL) {
499       Dmsg1(dbglvl, "vol_unused: no vol on %s\n", dev->print_name());
500       debug_list_volumes("null vol cannot unreserve_volume");
501       return false;
502    }
503
504 #ifdef xxx
505    if (dev->is_busy()) {
506       Dmsg1(dbglvl, "vol_unused: busy on %s\n", dev->print_name());
507       debug_list_volumes("dev busy cannot unreserve_volume");
508       return false;
509    }
510 #endif
511    Dmsg2(dbglvl, "mark released. num_writers=%d reserved=%d\n",
512       dev->num_writers, dev->reserved_device);
513
514    /*  
515     * If this is a tape, we do not free the volume, rather we wait
516     *  until the autoloader unloads it, or until another tape is
517     *  explicitly read in this drive. This allows the SD to remember
518     *  where the tapes are or last were.
519     */
520    dev->vol->released = true;
521    if (dev->is_tape() || dev->is_autochanger()) {
522       return true;
523    } else {
524       /*
525        * Note, this frees the volume reservation entry, but the 
526        *   file descriptor remains open with the OS.
527        */
528       return free_volume(dev);
529    }
530 }
531
532 /*
533  * Unconditionally release the volume entry
534  */
535 bool free_volume(DEVICE *dev)
536 {
537    VOLRES *vol;
538
539    if (dev->vol == NULL) {
540       Dmsg1(dbglvl, "No vol on dev %s\n", dev->print_name());
541       return false;
542    }
543    lock_volumes();
544    vol = dev->vol;
545    dev->vol = NULL;
546    vol_list->remove(vol);
547    Dmsg2(dbglvl, "free_volume %s dev=%s\n", vol->vol_name, dev->print_name());
548    free_vol_item(vol);
549    debug_list_volumes("free_volume");
550    unlock_volumes();
551    return vol != NULL;
552 }
553
554       
555 /* Create the Volume list */
556 void create_volume_list()
557 {
558    VOLRES *vol = NULL;
559    if (vol_list == NULL) {
560       vol_list = New(dlist(vol, &vol->link));
561    }
562 }
563
564 /* Release all Volumes from the list */
565 void free_volume_list()
566 {
567    VOLRES *vol;
568    if (!vol_list) {
569       return;
570    }
571    lock_volumes();
572    foreach_dlist(vol, vol_list) {
573       if (vol->dev) {
574          Dmsg2(dbglvl, "free vol_list Volume=%s dev=%s\n", vol->vol_name, vol->dev->print_name());
575       } else {
576          Dmsg1(dbglvl, "free vol_list Volume=%s No dev\n", vol->vol_name);
577       }
578       free(vol->vol_name);
579       vol->vol_name = NULL;
580    }
581    delete vol_list;
582    vol_list = NULL;
583    unlock_volumes();
584 }
585
586 bool is_volume_in_use(DCR *dcr)
587 {
588    VOLRES *vol = find_volume(dcr);
589    if (!vol) {
590       Dmsg1(dbglvl, "Vol=%s not in use.\n", dcr->VolumeName);
591       return false;                   /* vol not in list */
592    }
593    ASSERT(vol->dev != NULL);
594
595    if (dcr->dev == vol->dev) {        /* same device OK */
596       Dmsg1(dbglvl, "Vol=%s on same dev.\n", dcr->VolumeName);
597       return false;
598    } else {
599       Dmsg3(dbglvl, "Vol=%s on %s we have %s\n", dcr->VolumeName,
600             vol->dev->print_name(), dcr->dev->print_name());
601    }
602    if (!vol->dev->is_busy()) {
603       Dmsg2(dbglvl, "Vol=%s dev=%s not busy.\n", dcr->VolumeName, vol->dev->print_name());
604       return false;
605    } else {
606       Dmsg2(dbglvl, "Vol=%s dev=%s busy.\n", dcr->VolumeName, vol->dev->print_name());
607    }
608    Dmsg2(dbglvl, "Vol=%s in use by %s.\n", dcr->VolumeName, vol->dev->print_name());
609    return true;
610 }
611
612
613 /*
614  * We get the following type of information:
615  *
616  * use storage=xxx media_type=yyy pool_name=xxx pool_type=yyy append=1 copy=0 strip=0
617  *  use device=zzz
618  *  use device=aaa
619  *  use device=bbb
620  * use storage=xxx media_type=yyy pool_name=xxx pool_type=yyy append=0 copy=0 strip=0
621  *  use device=bbb
622  *
623  */
624 static bool use_storage_cmd(JCR *jcr)
625 {
626    POOL_MEM store_name, dev_name, media_type, pool_name, pool_type;
627    BSOCK *dir = jcr->dir_bsock;
628    int append;
629    bool ok;       
630    int Copy, Stripe;
631    DIRSTORE *store;
632    RCTX rctx;
633    alist *dirstore;
634
635    memset(&rctx, 0, sizeof(RCTX));
636    rctx.jcr = jcr;
637    /*
638     * If there are multiple devices, the director sends us
639     *   use_device for each device that it wants to use.
640     */
641    dirstore = New(alist(10, not_owned_by_alist));
642    jcr->reserve_msgs = New(alist(10, not_owned_by_alist));  
643    do {
644       Dmsg1(dbglvl, "<dird: %s", dir->msg);
645       ok = sscanf(dir->msg, use_storage, store_name.c_str(), 
646                   media_type.c_str(), pool_name.c_str(), 
647                   pool_type.c_str(), &append, &Copy, &Stripe) == 7;
648       if (!ok) {
649          break;
650       }
651       if (append) {
652          jcr->write_store = dirstore;
653       } else {
654          jcr->read_store = dirstore;
655       }
656       rctx.append = append;
657       unbash_spaces(store_name);
658       unbash_spaces(media_type);
659       unbash_spaces(pool_name);
660       unbash_spaces(pool_type);
661       store = new DIRSTORE;
662       dirstore->append(store);
663       memset(store, 0, sizeof(DIRSTORE));
664       store->device = New(alist(10));
665       bstrncpy(store->name, store_name, sizeof(store->name));
666       bstrncpy(store->media_type, media_type, sizeof(store->media_type));
667       bstrncpy(store->pool_name, pool_name, sizeof(store->pool_name));
668       bstrncpy(store->pool_type, pool_type, sizeof(store->pool_type));
669       store->append = append;
670
671       /* Now get all devices */
672       while (dir->recv() >= 0) {
673          Dmsg1(dbglvl, "<dird device: %s", dir->msg);
674          ok = sscanf(dir->msg, use_device, dev_name.c_str()) == 1;
675          if (!ok) {
676             break;
677          }
678          unbash_spaces(dev_name);
679          store->device->append(bstrdup(dev_name.c_str()));
680       }
681    }  while (ok && dir->recv() >= 0);
682
683    /* Developer debug code */
684    char *device_name;
685    if (debug_level >= dbglvl) {
686       foreach_alist(store, dirstore) {
687          Dmsg5(dbglvl, "Storage=%s media_type=%s pool=%s pool_type=%s append=%d\n", 
688             store->name, store->media_type, store->pool_name, 
689             store->pool_type, store->append);
690          foreach_alist(device_name, store->device) {
691             Dmsg1(dbglvl, "     Device=%s\n", device_name);
692          }
693       }
694    }
695
696    init_jcr_device_wait_timers(jcr);
697    jcr->dcr = new_dcr(jcr, NULL, NULL);         /* get a dcr */
698    if (!jcr->dcr) {
699       BSOCK *dir = jcr->dir_bsock;
700       dir->fsend(_("3939 Could not get dcr\n"));
701       Dmsg1(dbglvl, ">dird: %s", dir->msg);
702       ok = false;
703    }
704    /*                    
705     * At this point, we have a list of all the Director's Storage
706     *  resources indicated for this Job, which include Pool, PoolType,
707     *  storage name, and Media type.     
708     * Then for each of the Storage resources, we have a list of
709     *  device names that were given.
710     *
711     * Wiffle through them and find one that can do the backup.
712     */
713    if (ok) {
714       int wait_for_device_retries = 0;  
715       int repeat = 0;
716       bool fail = false;
717       rctx.notify_dir = true;
718
719       lock_reservations();
720       for ( ; !fail && !job_canceled(jcr); ) {
721          pop_reserve_messages(jcr);
722          rctx.suitable_device = false;
723          rctx.have_volume = false;
724          rctx.VolumeName[0] = 0;
725          rctx.any_drive = false;
726          if (!jcr->PreferMountedVols) {
727             /*
728              * Here we try to find a drive that is not used.
729              * This will maximize the use of available drives.
730              *
731              */
732             rctx.num_writers = 20000000;   /* start with impossible number */
733             rctx.low_use_drive = NULL;
734             rctx.PreferMountedVols = false;                
735             rctx.exact_match = false;
736             rctx.autochanger_only = true;
737             Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
738                rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
739                rctx.autochanger_only, rctx.any_drive);
740             if ((ok = find_suitable_device_for_job(jcr, rctx))) {
741                break;
742             }
743             /* Look through all drives possibly for low_use drive */
744             if (rctx.low_use_drive) {
745                rctx.try_low_use_drive = true;
746                if ((ok = find_suitable_device_for_job(jcr, rctx))) {
747                   break;
748                }
749                rctx.try_low_use_drive = false;
750             }
751             rctx.autochanger_only = false;
752             Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
753                rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
754                rctx.autochanger_only, rctx.any_drive);
755             if ((ok = find_suitable_device_for_job(jcr, rctx))) {
756                break;
757             }
758          }
759          /*
760           * Now we look for a drive that may or may not be in
761           *  use.
762           */
763          /* Look for an exact Volume match all drives */
764          rctx.PreferMountedVols = true;
765          rctx.exact_match = true;
766          rctx.autochanger_only = false;
767          Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
768             rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
769             rctx.autochanger_only, rctx.any_drive);
770          if ((ok = find_suitable_device_for_job(jcr, rctx))) {
771             break;
772          }
773          /* Look for any mounted drive */
774          rctx.exact_match = false;
775          Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
776             rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
777             rctx.autochanger_only, rctx.any_drive);
778          if ((ok = find_suitable_device_for_job(jcr, rctx))) {
779             break;
780          }
781          /* Try any drive */
782          rctx.any_drive = true;
783          Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
784             rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
785             rctx.autochanger_only, rctx.any_drive);
786          if ((ok = find_suitable_device_for_job(jcr, rctx))) {
787             break;
788          }
789          /* Keep reservations locked *except* during wait_for_device() */
790          unlock_reservations();
791          /*     
792           * The idea of looping on repeat a few times it to ensure
793           * that if there is some subtle timing problem between two
794           * jobs, we will simply try again, and most likely succeed.
795           * This can happen if one job reserves a drive or finishes using
796           * a drive at the same time a second job wants it.
797           */
798          if (repeat++ > 1) {              /* try algorithm 3 times */
799             bmicrosleep(30, 0);           /* wait a bit */
800             Dmsg0(dbglvl, "repeat reserve algorithm\n");
801          } else if (!rctx.suitable_device || !wait_for_device(jcr, wait_for_device_retries)) {
802             Dmsg0(dbglvl, "Fail. !suitable_device || !wait_for_device\n");
803             fail = true;
804          }   
805          lock_reservations();
806          dir->signal(BNET_HEARTBEAT);  /* Inform Dir that we are alive */
807       }
808       unlock_reservations();
809       if (!ok) {
810          /*
811           * If we get here, there are no suitable devices available, which
812           *  means nothing configured.  If a device is suitable but busy
813           *  with another Volume, we will not come here.
814           */
815          unbash_spaces(dir->msg);
816          pm_strcpy(jcr->errmsg, dir->msg);
817          Jmsg(jcr, M_INFO, 0, _("Failed command: %s\n"), jcr->errmsg);
818          Jmsg(jcr, M_FATAL, 0, _("\n"
819             "     Device \"%s\" with MediaType \"%s\" requested by DIR not found in SD Device resources.\n"),
820               dev_name.c_str(), media_type.c_str());
821          dir->fsend(NO_device, dev_name.c_str());
822
823          Dmsg1(dbglvl, ">dird: %s", dir->msg);
824       }
825    } else {
826       unbash_spaces(dir->msg);
827       pm_strcpy(jcr->errmsg, dir->msg);
828       Jmsg(jcr, M_FATAL, 0, _("Failed command: %s\n"), jcr->errmsg);
829       dir->fsend(BAD_use, jcr->errmsg);
830       Dmsg1(dbglvl, ">dird: %s", dir->msg);
831    }
832
833    release_reserve_messages(jcr);
834    return ok;
835 }
836
837
838 /*
839  * Walk through the autochanger resources and check if
840  *  the volume is in one of them.
841  * 
842  * Returns:  true  if volume is in device
843  *           false otherwise
844  */
845 static bool is_vol_in_autochanger(RCTX &rctx, VOLRES *vol)
846 {
847    AUTOCHANGER *changer = vol->dev->device->changer_res;
848
849    /* Find resource, and make sure we were able to open it */
850    if (strcmp(rctx.device_name, changer->hdr.name) == 0) {
851       Dmsg1(dbglvl, "Found changer device %s\n", vol->dev->device->hdr.name);
852       return true;
853    }  
854    Dmsg1(dbglvl, "Incorrect changer device %s\n", changer->hdr.name);
855    return false;
856 }
857
858 /*
859  * Search for a device suitable for this job.
860  */
861 bool find_suitable_device_for_job(JCR *jcr, RCTX &rctx)
862 {
863    bool ok = false;
864    DIRSTORE *store;
865    char *device_name;
866    alist *dirstore;
867    DCR *dcr = jcr->dcr;
868
869    if (rctx.append) {
870       dirstore = jcr->write_store;
871    } else {
872       dirstore = jcr->read_store;
873    }
874    Dmsg4(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d\n",
875       rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
876       rctx.autochanger_only);
877
878    /* 
879     * If the appropriate conditions of this if are met, namely that
880     *  we are appending and the user wants mounted drive (or we
881     *  force try a mounted drive because they are all busy), we
882     *  start by looking at all the Volumes in the volume list.
883     */
884    if (!vol_list->empty() && rctx.append && rctx.PreferMountedVols) {
885       dlist *temp_vol_list, *save_vol_list;
886       VOLRES *vol = NULL;
887       lock_volumes();
888       Dmsg0(dbglvl, "lock volumes\n");                           
889
890       /*  
891        * Create a temporary copy of the volume list.  We do this,
892        *   to avoid having the volume list locked during the
893        *   call to reserve_device(), which would cause a deadlock.
894        * Note, we may want to add an update counter on the vol_list
895        *   so that if it is modified while we are traversing the copy
896        *   we can take note and act accordingly (probably redo the 
897        *   search at least a few times).
898        */
899       Dmsg0(dbglvl, "duplicate vol list\n");
900       temp_vol_list = New(dlist(vol, &vol->link));
901       foreach_dlist(vol, vol_list) {
902          VOLRES *nvol;
903          VOLRES *tvol = (VOLRES *)malloc(sizeof(VOLRES));
904          memset(tvol, 0, sizeof(VOLRES));
905          tvol->vol_name = bstrdup(vol->vol_name);
906          tvol->dev = vol->dev;
907          nvol = (VOLRES *)temp_vol_list->binary_insert(tvol, my_compare);
908          if (tvol != nvol) {
909             tvol->dev = NULL;                   /* don't zap dev entry */
910             free_vol_item(tvol);
911             Pmsg0(000, "Logic error. Duplicating vol list hit duplicate.\n");
912             Jmsg(jcr, M_WARNING, 0, "Logic error. Duplicating vol list hit duplicate.\n");
913          }
914       }
915       Dmsg0(dbglvl, "unlock volumes\n");
916       unlock_volumes();
917
918       /* Look through reserved volumes for one we can use */
919       Dmsg0(dbglvl, "look for vol in vol list\n");
920       foreach_dlist(vol, temp_vol_list) {
921          if (!vol->dev) {
922             Dmsg1(dbglvl, "vol=%s no dev\n", vol->vol_name);
923             continue;
924          }
925          /* Check with Director if this Volume is OK */
926          bstrncpy(dcr->VolumeName, vol->vol_name, sizeof(dcr->VolumeName));
927          if (!dir_get_volume_info(dcr, GET_VOL_INFO_FOR_WRITE)) {
928             continue;
929          }
930
931          Dmsg1(dbglvl, "vol=%s OK for this job\n", vol->vol_name);
932          foreach_alist(store, dirstore) {
933             int stat;
934             rctx.store = store;
935             foreach_alist(device_name, store->device) {
936                /* Found a device, try to use it */
937                rctx.device_name = device_name;
938                rctx.device = vol->dev->device;
939
940                if (vol->dev->is_autochanger()) {
941                   Dmsg1(dbglvl, "vol=%s is in changer\n", vol->vol_name);
942                   if (!is_vol_in_autochanger(rctx, vol)) {
943                      continue;
944                   }
945                } else if (strcmp(device_name, vol->dev->device->hdr.name) != 0) {
946                   Dmsg2(dbglvl, "device=%s not suitable want %s\n",
947                         vol->dev->device->hdr.name, device_name);
948                   continue;
949                }
950
951                bstrncpy(rctx.VolumeName, vol->vol_name, sizeof(rctx.VolumeName));
952                rctx.have_volume = true;
953                /* Try reserving this device and volume */
954                Dmsg2(dbglvl, "try vol=%s on device=%s\n", rctx.VolumeName, device_name);
955                stat = reserve_device(rctx);
956                if (stat == 1) {             /* found available device */
957                   Dmsg1(dbglvl, "Suitable device found=%s\n", device_name);
958                   ok = true;
959                   break;
960                } else if (stat == 0) {      /* device busy */
961                   Dmsg1(dbglvl, "Suitable device=%s, busy: not use\n", device_name);
962                } else {
963                   /* otherwise error */
964                   Dmsg0(dbglvl, "No suitable device found.\n");
965                }
966                rctx.have_volume = false;
967             }
968             if (ok) {
969                break;
970             }
971          }
972          if (ok) {
973             break;
974          }
975       } /* end for loop over reserved volumes */
976
977       Dmsg0(dbglvl, "lock volumes\n");
978       lock_volumes();
979       save_vol_list = vol_list;
980       vol_list = temp_vol_list;
981       free_volume_list();                  /* release temp_vol_list */
982       vol_list = save_vol_list;
983       Dmsg0(dbglvl, "deleted temp vol list\n");
984       Dmsg0(dbglvl, "unlock volumes\n");
985       unlock_volumes();
986       debug_list_volumes("=== After free temp table\n");
987    }
988    if (ok) {
989       Dmsg1(dbglvl, "got vol %s from in-use vols list\n", rctx.VolumeName);
990       return true;
991    }
992
993    /* 
994     * No reserved volume we can use, so now search for an available device.  
995     *
996     * For each storage device that the user specified, we
997     *  search and see if there is a resource for that device.
998     */
999    foreach_alist(store, dirstore) {
1000       rctx.store = store;
1001       foreach_alist(device_name, store->device) {
1002          int stat;
1003          rctx.device_name = device_name;
1004          stat = search_res_for_device(rctx); 
1005          if (stat == 1) {             /* found available device */
1006             Dmsg1(dbglvl, "available device found=%s\n", device_name);
1007             ok = true;
1008             break;
1009          } else if (stat == 0) {      /* device busy */
1010             Dmsg1(dbglvl, "Suitable device=%s, busy: not use\n", device_name);
1011          } else {
1012             /* otherwise error */
1013             Dmsg0(dbglvl, "No suitable device found.\n");
1014          }
1015       }
1016       if (ok) {
1017          break;
1018       }
1019    }
1020    return ok;
1021 }
1022
1023 /*
1024  * Search for a particular storage device with particular storage
1025  *  characteristics (MediaType).
1026  */
1027 int search_res_for_device(RCTX &rctx) 
1028 {
1029    AUTOCHANGER *changer;
1030    int stat;
1031
1032    Dmsg1(dbglvl, "search res for %s\n", rctx.device_name);
1033    /* Look through Autochangers first */
1034    foreach_res(changer, R_AUTOCHANGER) {
1035       Dmsg1(dbglvl, "Try match changer res=%s\n", changer->hdr.name);
1036       /* Find resource, and make sure we were able to open it */
1037       if (strcmp(rctx.device_name, changer->hdr.name) == 0) {
1038          /* Try each device in this AutoChanger */
1039          foreach_alist(rctx.device, changer->device) {
1040             Dmsg1(dbglvl, "Try changer device %s\n", rctx.device->hdr.name);
1041             stat = reserve_device(rctx);
1042             if (stat != 1) {             /* try another device */
1043                continue;
1044             }
1045             /* Debug code */
1046             if (rctx.store->append == SD_APPEND) {
1047                Dmsg2(dbglvl, "Device %s reserved=%d for append.\n", 
1048                   rctx.device->hdr.name, rctx.jcr->dcr->dev->reserved_device);
1049             } else {
1050                Dmsg2(dbglvl, "Device %s reserved=%d for read.\n", 
1051                   rctx.device->hdr.name, rctx.jcr->read_dcr->dev->reserved_device);
1052             }
1053             return stat;
1054          }
1055       }
1056    }
1057
1058    /* Now if requested look through regular devices */
1059    if (!rctx.autochanger_only) {
1060       foreach_res(rctx.device, R_DEVICE) {
1061          Dmsg1(dbglvl, "Try match res=%s\n", rctx.device->hdr.name);
1062          /* Find resource, and make sure we were able to open it */
1063          if (strcmp(rctx.device_name, rctx.device->hdr.name) == 0) {
1064             stat = reserve_device(rctx);
1065             if (stat != 1) {             /* try another device */
1066                continue;
1067             }
1068             /* Debug code */
1069             if (rctx.store->append == SD_APPEND) {
1070                Dmsg2(dbglvl, "Device %s reserved=%d for append.\n", 
1071                   rctx.device->hdr.name, rctx.jcr->dcr->dev->reserved_device);
1072             } else {
1073                Dmsg2(dbglvl, "Device %s reserved=%d for read.\n", 
1074                   rctx.device->hdr.name, rctx.jcr->read_dcr->dev->reserved_device);
1075             }
1076             return stat;
1077          }
1078       }
1079    }
1080    return -1;                    /* nothing found */
1081 }
1082
1083 /*
1084  *  Try to reserve a specific device.
1085  *
1086  *  Returns: 1 -- OK, have DCR
1087  *           0 -- must wait
1088  *          -1 -- fatal error
1089  */
1090 static int reserve_device(RCTX &rctx)
1091 {
1092    bool ok;
1093    DCR *dcr;
1094    const int name_len = MAX_NAME_LENGTH;
1095
1096    /* Make sure MediaType is OK */
1097    Dmsg2(dbglvl, "chk MediaType device=%s request=%s\n",
1098          rctx.device->media_type, rctx.store->media_type);
1099    if (strcmp(rctx.device->media_type, rctx.store->media_type) != 0) {
1100       return -1;
1101    }
1102
1103    /* Make sure device exists -- i.e. we can stat() it */
1104    if (!rctx.device->dev) {
1105       rctx.device->dev = init_dev(rctx.jcr, rctx.device);
1106    }
1107    if (!rctx.device->dev) {
1108       if (rctx.device->changer_res) {
1109         Jmsg(rctx.jcr, M_WARNING, 0, _("\n"
1110            "     Device \"%s\" in changer \"%s\" requested by DIR could not be opened or does not exist.\n"),
1111              rctx.device->hdr.name, rctx.device_name);
1112       } else {
1113          Jmsg(rctx.jcr, M_WARNING, 0, _("\n"
1114             "     Device \"%s\" requested by DIR could not be opened or does not exist.\n"),
1115               rctx.device_name);
1116       }
1117       return -1;  /* no use waiting */
1118    }  
1119
1120    rctx.suitable_device = true;
1121    Dmsg1(dbglvl, "try reserve %s\n", rctx.device->hdr.name);
1122    rctx.jcr->dcr = dcr = new_dcr(rctx.jcr, rctx.jcr->dcr, rctx.device->dev);
1123    if (!dcr) {
1124       BSOCK *dir = rctx.jcr->dir_bsock;
1125       dir->fsend(_("3926 Could not get dcr for device: %s\n"), rctx.device_name);
1126       Dmsg1(dbglvl, ">dird: %s", dir->msg);
1127       return -1;
1128    }
1129    bstrncpy(dcr->pool_name, rctx.store->pool_name, name_len);
1130    bstrncpy(dcr->pool_type, rctx.store->pool_type, name_len);
1131    bstrncpy(dcr->media_type, rctx.store->media_type, name_len);
1132    bstrncpy(dcr->dev_name, rctx.device_name, name_len);
1133    if (rctx.store->append == SD_APPEND) {
1134       Dmsg2(dbglvl, "have_vol=%d vol=%s\n", rctx.have_volume, rctx.VolumeName);                                   
1135       ok = reserve_device_for_append(dcr, rctx);
1136       if (!ok) {
1137          goto bail_out;
1138       }
1139
1140       rctx.jcr->dcr = dcr;
1141       Dmsg5(dbglvl, "Reserved=%d dev_name=%s mediatype=%s pool=%s ok=%d\n",
1142                dcr->dev->reserved_device,
1143                dcr->dev_name, dcr->media_type, dcr->pool_name, ok);
1144       if (!rctx.have_volume) {
1145          dcr->any_volume = true;
1146          if (dir_find_next_appendable_volume(dcr)) {
1147             bstrncpy(rctx.VolumeName, dcr->VolumeName, sizeof(rctx.VolumeName));
1148             Dmsg1(dbglvl, "looking for Volume=%s\n", rctx.VolumeName);
1149             rctx.have_volume = true;
1150          } else {
1151             Dmsg0(dbglvl, "No next volume found\n");
1152             rctx.have_volume = false;
1153             rctx.VolumeName[0] = 0;
1154             /*
1155              * If there is at least one volume that is valid and in use,
1156              *   but we get here, check if we are running with prefers
1157              *   non-mounted drives.  In that case, we have selected a
1158              *   non-used drive and our one and only volume is mounted
1159              *   elsewhere, so we bail out and retry using that drive.
1160              */
1161             if (dcr->volume_in_use && !rctx.PreferMountedVols) {
1162                rctx.PreferMountedVols = true;
1163                if (dcr->VolumeName[0]) {
1164                   volume_unused(dcr);
1165                }
1166                goto bail_out;
1167             }
1168             /*
1169              * Note. Under some circumstances, the Director can hand us
1170              *  a Volume name that is no the same as the one on the current
1171              *  drive, and in that case, the call above to find the next
1172              *  volume will fail because in attempting to reserve the Volume
1173              *  the code will realize that we already have a tape mounted,
1174              *  and it will fail.  This *should* only happen if there are 
1175              *  writers, thus the following test.  In that case, we simply
1176              *  bail out, and continue waiting, rather than plunging on
1177              *  and hoping that the operator can resolve the problem. 
1178              */
1179             if (dcr->dev->num_writers != 0) {
1180                if (dcr->VolumeName[0]) {
1181                   volume_unused(dcr);
1182                }
1183                goto bail_out;
1184             }
1185          }
1186       }
1187    } else {
1188       ok = reserve_device_for_read(dcr);
1189       if (ok) {
1190          rctx.jcr->read_dcr = dcr;
1191          Dmsg5(dbglvl, "Read reserved=%d dev_name=%s mediatype=%s pool=%s ok=%d\n",
1192                dcr->dev->reserved_device,
1193                dcr->dev_name, dcr->media_type, dcr->pool_name, ok);
1194       }
1195    }
1196    if (!ok) {
1197       goto bail_out;
1198    }
1199    if (rctx.notify_dir) {
1200       POOL_MEM dev_name;
1201       BSOCK *dir = rctx.jcr->dir_bsock;
1202       pm_strcpy(dev_name, rctx.device->hdr.name);
1203       bash_spaces(dev_name);
1204       ok = dir->fsend(OK_device, dev_name.c_str());  /* Return real device name */
1205       Dmsg1(dbglvl, ">dird: %s", dir->msg);
1206    } else {
1207       ok = true;
1208    }
1209    return ok ? 1 : -1;
1210
1211 bail_out:
1212    rctx.have_volume = false;
1213 // free_dcr(dcr);
1214    Dmsg0(dbglvl, "Not OK.\n");
1215    return 0;
1216 }
1217
1218 /*
1219  * We "reserve" the drive by setting the ST_READ bit. No one else
1220  *  should touch the drive until that is cleared.
1221  *  This allows the DIR to "reserve" the device before actually
1222  *  starting the job. 
1223  */
1224 static bool reserve_device_for_read(DCR *dcr)
1225 {
1226    DEVICE *dev = dcr->dev;
1227    JCR *jcr = dcr->jcr;
1228    bool ok = false;
1229
1230    ASSERT(dcr);
1231
1232    dev->dlock();  
1233
1234    if (is_device_unmounted(dev)) {             
1235       Dmsg1(dbglvl, "Device %s is BLOCKED due to user unmount.\n", dev->print_name());
1236       Mmsg(jcr->errmsg, _("3601 JobId=%u device %s is BLOCKED due to user unmount.\n"),
1237            jcr->JobId, dev->print_name());
1238       queue_reserve_message(jcr);
1239       goto bail_out;
1240    }
1241
1242    if (dev->is_busy()) {
1243       Dmsg4(dbglvl, "Device %s is busy ST_READ=%d num_writers=%d reserved=%d.\n", 
1244          dev->print_name(),
1245          dev->state & ST_READ?1:0, dev->num_writers, dev->reserved_device);
1246       Mmsg(jcr->errmsg, _("3602 JobId=%u device %s is busy (already reading/writing).\n"),
1247             jcr->JobId, dev->print_name());
1248       queue_reserve_message(jcr);
1249       goto bail_out;
1250    }
1251
1252    dev->clear_append();
1253    dev->set_read();
1254    ok = true;
1255    dev->reserved_device++;
1256    Dmsg3(dbglvl, "Inc reserve=%d dev=%s %p\n", dev->reserved_device, dev->print_name(), dev);
1257    dcr->reserved_device = true;
1258
1259 bail_out:
1260    dev->dunlock();
1261    return ok;
1262 }
1263
1264
1265 /*
1266  * We reserve the device for appending by incrementing the 
1267  *  reserved_device. We do virtually all the same work that
1268  *  is done in acquire_device_for_append(), but we do
1269  *  not attempt to mount the device. This routine allows
1270  *  the DIR to reserve multiple devices before *really* 
1271  *  starting the job. It also permits the SD to refuse 
1272  *  certain devices (not up, ...).
1273  *
1274  * Note, in reserving a device, if the device is for the
1275  *  same pool and the same pool type, then it is acceptable.
1276  *  The Media Type has already been checked. If we are
1277  *  the first tor reserve the device, we put the pool
1278  *  name and pool type in the device record.
1279  */
1280 static bool reserve_device_for_append(DCR *dcr, RCTX &rctx)
1281 {
1282    JCR *jcr = dcr->jcr;
1283    DEVICE *dev = dcr->dev;
1284    bool ok = false;
1285
1286    ASSERT(dcr);
1287
1288    dev->dlock();
1289
1290    /* If device is being read, we cannot write it */
1291    if (dev->can_read()) {
1292       Mmsg(jcr->errmsg, _("3603 JobId=%u device %s is busy reading.\n"), 
1293          jcr->JobId, dev->print_name());
1294       Dmsg1(dbglvl, "%s", jcr->errmsg);
1295       queue_reserve_message(jcr);
1296       goto bail_out;
1297    }
1298
1299    /* If device is unmounted, we are out of luck */
1300    if (is_device_unmounted(dev)) {
1301       Mmsg(jcr->errmsg, _("3604 JobId=%u device %s is BLOCKED due to user unmount.\n"), 
1302          jcr->JobId, dev->print_name());
1303       Dmsg1(dbglvl, "%s", jcr->errmsg);
1304       queue_reserve_message(jcr);
1305       goto bail_out;
1306    }
1307
1308    Dmsg1(dbglvl, "reserve_append device is %s\n", dev->print_name());
1309
1310    /* Now do detailed tests ... */
1311    if (can_reserve_drive(dcr, rctx) != 1) {
1312       Dmsg0(dbglvl, "can_reserve_drive!=1\n");
1313       goto bail_out;
1314    }
1315
1316    dev->reserved_device++;
1317    Dmsg3(dbglvl, "Inc reserve=%d dev=%s %p\n", dev->reserved_device, 
1318       dev->print_name(), dev);
1319    dcr->reserved_device = true;
1320    ok = true;
1321
1322 bail_out:
1323    dev->dunlock();
1324    return ok;
1325 }
1326
1327 static int is_pool_ok(DCR *dcr)
1328 {
1329    DEVICE *dev = dcr->dev;
1330    JCR *jcr = dcr->jcr;
1331
1332    /* Now check if we want the same Pool and pool type */
1333    if (strcmp(dev->pool_name, dcr->pool_name) == 0 &&
1334        strcmp(dev->pool_type, dcr->pool_type) == 0) {
1335       /* OK, compatible device */
1336       Dmsg1(dbglvl, "OK dev: %s num_writers=0, reserved, pool matches\n", dev->print_name());
1337       return 1;
1338    } else {
1339       /* Drive Pool not suitable for us */
1340       Mmsg(jcr->errmsg, _(
1341 "3608 JobId=%u wants Pool=\"%s\" but have Pool=\"%s\" nreserve=%d on drive %s.\n"), 
1342             (uint32_t)jcr->JobId, dcr->pool_name, dev->pool_name,
1343             dev->reserved_device, dev->print_name());
1344       queue_reserve_message(jcr);
1345       Dmsg2(dbglvl, "failed: busy num_writers=0, reserved, pool=%s wanted=%s\n",
1346          dev->pool_name, dcr->pool_name);
1347    }
1348    return 0;
1349 }
1350
1351 static bool is_max_jobs_ok(DCR *dcr) 
1352 {
1353    DEVICE *dev = dcr->dev;
1354    JCR *jcr = dcr->jcr;
1355
1356    Dmsg4(dbglvl, "MaxJobs=%d Jobs=%d reserves=%d Vol=%s\n",
1357          dcr->VolCatInfo.VolCatMaxJobs,
1358          dcr->VolCatInfo.VolCatJobs, dev->reserved_device,
1359          dcr->VolumeName);
1360    if (dcr->VolCatInfo.VolCatMaxJobs > 0 && dcr->VolCatInfo.VolCatMaxJobs <=
1361         (dcr->VolCatInfo.VolCatJobs + dev->reserved_device)) {
1362       /* Max Job Vols depassed or already reserved */
1363       Mmsg(jcr->errmsg, _("3610 JobId=%u Volume max jobs exceeded on drive %s.\n"), 
1364             (uint32_t)jcr->JobId, dev->print_name());
1365       queue_reserve_message(jcr);
1366       Dmsg1(dbglvl, "reserve dev failed: %s", jcr->errmsg);
1367       return false;                /* wait */
1368    }
1369    return true;
1370 }
1371
1372 /*
1373  * Returns: 1 if drive can be reserved
1374  *          0 if we should wait
1375  *         -1 on error or impossibility
1376  */
1377 static int can_reserve_drive(DCR *dcr, RCTX &rctx) 
1378 {
1379    DEVICE *dev = dcr->dev;
1380    JCR *jcr = dcr->jcr;
1381
1382    Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
1383          rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
1384          rctx.autochanger_only, rctx.any_drive);
1385
1386    /* Check for max jobs on this Volume */
1387    if (!is_max_jobs_ok(dcr)) {
1388       return 0;
1389    }
1390
1391    /* setting any_drive overrides PreferMountedVols flag */
1392    if (!rctx.any_drive) {
1393       /*
1394        * When PreferMountedVols is set, we keep track of the 
1395        *  drive in use that has the least number of writers, then if
1396        *  no unmounted drive is found, we try that drive. This   
1397        *  helps spread the load to the least used drives.  
1398        */
1399       if (rctx.try_low_use_drive && dev == rctx.low_use_drive) {
1400          Dmsg2(dbglvl, "OK dev=%s == low_drive=%s.\n",
1401             dev->print_name(), rctx.low_use_drive->print_name());
1402          return 1;
1403       }
1404       /* If he wants a free drive, but this one is busy, no go */
1405       if (!rctx.PreferMountedVols && dev->is_busy()) {
1406          /* Save least used drive */
1407          if ((dev->num_writers + dev->reserved_device) < rctx.num_writers) {
1408             rctx.num_writers = dev->num_writers + dev->reserved_device;
1409             rctx.low_use_drive = dev;
1410             Dmsg2(dbglvl, "set low use drive=%s num_writers=%d\n", 
1411                dev->print_name(), rctx.num_writers);
1412          } else {
1413             Dmsg1(dbglvl, "not low use num_writers=%d\n", dev->num_writers+dev->reserved_device);
1414          }
1415          Dmsg0(dbglvl, "failed: !prefMnt && busy.\n");
1416          Mmsg(jcr->errmsg, _("3605 JobId=%u wants free drive but device %s is busy.\n"), 
1417             jcr->JobId, dev->print_name());
1418          queue_reserve_message(jcr);
1419          return 0;
1420       }
1421
1422       /* Check for prefer mounted volumes */
1423       if (rctx.PreferMountedVols && !dev->vol && dev->is_tape()) {
1424          Mmsg(jcr->errmsg, _("3606 JobId=%u prefers mounted drives, but drive %s has no Volume.\n"), 
1425             jcr->JobId, dev->print_name());
1426          queue_reserve_message(jcr);
1427          Dmsg0(dbglvl, "failed: want mounted -- no vol\n");
1428          return 0;                 /* No volume mounted */
1429       }
1430
1431       /* Check for exact Volume name match */
1432       /* ***FIXME*** for Disk, we can accept any volume that goes with this
1433        *    drive.
1434        */
1435       if (rctx.exact_match && rctx.have_volume) {
1436          bool ok;
1437          Dmsg5(dbglvl, "PrefMnt=%d exact=%d suitable=%d chgronly=%d any=%d\n",
1438                rctx.PreferMountedVols, rctx.exact_match, rctx.suitable_device,
1439                rctx.autochanger_only, rctx.any_drive);
1440          Dmsg4(dbglvl, "have_vol=%d have=%s resvol=%s want=%s\n",
1441                   rctx.have_volume, dev->VolHdr.VolumeName, 
1442                   dev->vol?dev->vol->vol_name:"*none*", rctx.VolumeName);
1443          ok = strcmp(dev->VolHdr.VolumeName, rctx.VolumeName) == 0 ||
1444                  (dev->vol && strcmp(dev->vol->vol_name, rctx.VolumeName) == 0);
1445          if (!ok) {
1446             Mmsg(jcr->errmsg, _("3607 JobId=%u wants Vol=\"%s\" drive has Vol=\"%s\" on drive %s.\n"), 
1447                jcr->JobId, rctx.VolumeName, dev->VolHdr.VolumeName, 
1448                dev->print_name());
1449             queue_reserve_message(jcr);
1450             Dmsg3(dbglvl, "not OK: dev have=%s resvol=%s want=%s\n",
1451                   dev->VolHdr.VolumeName, dev->vol?dev->vol->vol_name:"*none*", rctx.VolumeName);
1452             return 0;
1453          }
1454          if (is_volume_in_use(dcr)) {
1455             return 0;              /* fail if volume on another drive */
1456          }
1457       }
1458    }
1459
1460    /* Check for unused autochanger drive */
1461    if (rctx.autochanger_only && !dev->is_busy() &&
1462        dev->VolHdr.VolumeName[0] == 0) {
1463       /* Device is available but not yet reserved, reserve it for us */
1464       Dmsg1(dbglvl, "OK Res Unused autochanger %s.\n", dev->print_name());
1465       bstrncpy(dev->pool_name, dcr->pool_name, sizeof(dev->pool_name));
1466       bstrncpy(dev->pool_type, dcr->pool_type, sizeof(dev->pool_type));
1467       return 1;                       /* reserve drive */
1468    }
1469
1470    /*
1471     * Handle the case that there are no writers
1472     */
1473    if (dev->num_writers == 0) {
1474       /* Now check if there are any reservations on the drive */
1475       if (dev->reserved_device) {           
1476          return is_pool_ok(dcr);
1477       } else if (dev->can_append()) {
1478          if (is_pool_ok(dcr)) {
1479             return 1; 
1480          } else {
1481             /* Changing pool, unload old tape if any in drive */
1482             Dmsg0(dbglvl, "OK dev: num_writers=0, not reserved, pool change, unload changer\n");
1483             unload_autochanger(dcr, 0);
1484          }
1485       }
1486       /* Device is available but not yet reserved, reserve it for us */
1487       Dmsg1(dbglvl, "OK Dev avail reserved %s\n", dev->print_name());
1488       bstrncpy(dev->pool_name, dcr->pool_name, sizeof(dev->pool_name));
1489       bstrncpy(dev->pool_type, dcr->pool_type, sizeof(dev->pool_type));
1490       return 1;                       /* reserve drive */
1491    }
1492
1493    /*
1494     * Check if the device is in append mode with writers (i.e.
1495     *  available if pool is the same).
1496     */
1497    if (dev->can_append() || dev->num_writers > 0) {
1498       return is_pool_ok(dcr);
1499    } else {
1500       Pmsg1(000, _("Logic error!!!! JobId=%u Should not get here.\n"), (int)jcr->JobId);
1501       Mmsg(jcr->errmsg, _("3910 JobId=%u Logic error!!!! drive %s Should not get here.\n"),
1502             jcr->JobId, dev->print_name());
1503       queue_reserve_message(jcr);
1504       Jmsg0(jcr, M_FATAL, 0, _("Logic error!!!! Should not get here.\n"));
1505       return -1;                      /* error, should not get here */
1506    }
1507    Mmsg(jcr->errmsg, _("3911 JobId=%u failed reserve drive %s.\n"), 
1508          jcr->JobId, dev->print_name());
1509    queue_reserve_message(jcr);
1510    Dmsg1(dbglvl, "failed: No reserve %s\n", dev->print_name());
1511    return 0;
1512 }
1513
1514
1515
1516
1517 /*
1518  * Queue a reservation error or failure message for this jcr
1519  */
1520 static void queue_reserve_message(JCR *jcr)
1521 {
1522    int i;   
1523    alist *msgs;
1524    char *msg;
1525
1526    jcr->lock();
1527
1528    msgs = jcr->reserve_msgs;
1529    if (!msgs) {
1530       goto bail_out;
1531    }
1532    /*
1533     * Look for duplicate message.  If found, do
1534     * not insert
1535     */
1536    for (i=msgs->size()-1; i >= 0; i--) {
1537       msg = (char *)msgs->get(i);
1538       if (!msg) {
1539          goto bail_out;
1540       }
1541       /* Comparison based on 4 digit message number */
1542       if (strncmp(msg, jcr->errmsg, 4) == 0) {
1543          goto bail_out;
1544       }
1545    }      
1546    /* Message unique, so insert it */
1547    jcr->reserve_msgs->push(bstrdup(jcr->errmsg));
1548
1549 bail_out:
1550    jcr->unlock();
1551 }
1552
1553 /*
1554  * Send any reservation messages queued for this jcr
1555  */
1556 void send_drive_reserve_messages(JCR *jcr, void sendit(const char *msg, int len, void *sarg), void *arg)
1557 {
1558    int i;
1559    alist *msgs;
1560    char *msg;
1561
1562    jcr->lock();
1563    msgs = jcr->reserve_msgs;
1564    if (!msgs || msgs->size() == 0) {
1565       goto bail_out;
1566    }
1567    for (i=msgs->size()-1; i >= 0; i--) {
1568       msg = (char *)msgs->get(i);
1569       if (msg) {
1570          sendit("   ", 3, arg);
1571          sendit(msg, strlen(msg), arg);
1572       } else {
1573          break;
1574       }
1575    }
1576
1577 bail_out:
1578    jcr->unlock();
1579 }
1580
1581 /*
1582  * Pop and release any reservations messages
1583  */
1584 static void pop_reserve_messages(JCR *jcr)
1585 {
1586    alist *msgs;
1587    char *msg;
1588
1589    jcr->lock();
1590    msgs = jcr->reserve_msgs;
1591    if (!msgs) {
1592       goto bail_out;
1593    }
1594    while ((msg = (char *)msgs->pop())) {
1595       free(msg);
1596    }
1597 bail_out:
1598    jcr->unlock();
1599 }
1600
1601 /*
1602  * Also called from acquire.c 
1603  */
1604 void release_reserve_messages(JCR *jcr)
1605 {
1606    pop_reserve_messages(jcr);
1607    jcr->lock();
1608    if (!jcr->reserve_msgs) {
1609       goto bail_out;
1610    }
1611    delete jcr->reserve_msgs;
1612    jcr->reserve_msgs = NULL;
1613
1614 bail_out:
1615    jcr->unlock();
1616 }