]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/catreq.c
Attempt to fix bug #1128 InChanger flag cleared during Migration
[bacula/bacula] / bacula / src / dird / catreq.c
1 /*
2    Bacula® - The Network Backup Solution
3
4    Copyright (C) 2001-2008 Free Software Foundation Europe e.V.
5
6    The main author of Bacula is Kern Sibbald, with contributions from
7    many others, a complete list can be found in the file AUTHORS.
8    This program is Free Software; you can redistribute it and/or
9    modify it under the terms of version two of the GNU General Public
10    License as published by the Free Software Foundation and included
11    in the file LICENSE.
12
13    This program is distributed in the hope that it will be useful, but
14    WITHOUT ANY WARRANTY; without even the implied warranty of
15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
16    General Public License for more details.
17
18    You should have received a copy of the GNU General Public License
19    along with this program; if not, write to the Free Software
20    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
21    02110-1301, USA.
22
23    Bacula® is a registered trademark of Kern Sibbald.
24    The licensor of Bacula is the Free Software Foundation Europe
25    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
26    Switzerland, email:ftf@fsfeurope.org.
27 */
28 /*
29  *
30  *   Bacula Director -- catreq.c -- handles the message channel
31  *    catalog request from the Storage daemon.
32  *
33  *     Kern Sibbald, March MMI
34  *
35  *    This routine runs as a thread and must be thread reentrant.
36  *
37  *  Basic tasks done here:
38  *      Handle Catalog services.
39  *
40  *   Version $Id$
41  */
42
43 #include "bacula.h"
44 #include "dird.h"
45 #include "findlib/find.h"
46
47 /*
48  * Handle catalog request
49  *  For now, we simply return next Volume to be used
50  */
51
52 /* Requests from the Storage daemon */
53 static char Find_media[] = "CatReq Job=%127s FindMedia=%d pool_name=%127s media_type=%127s\n";
54 static char Get_Vol_Info[] = "CatReq Job=%127s GetVolInfo VolName=%127s write=%d\n";
55
56 static char Update_media[] = "CatReq Job=%127s UpdateMedia VolName=%s"
57    " VolJobs=%u VolFiles=%u VolBlocks=%u VolBytes=%lld VolMounts=%u"
58    " VolErrors=%u VolWrites=%u MaxVolBytes=%lld EndTime=%lld VolStatus=%10s"
59    " Slot=%d relabel=%d InChanger=%d VolReadTime=%lld VolWriteTime=%lld"
60    " VolFirstWritten=%lld VolParts=%u\n";
61
62 static char Create_job_media[] = "CatReq Job=%127s CreateJobMedia "
63    " FirstIndex=%u LastIndex=%u StartFile=%u EndFile=%u "
64    " StartBlock=%u EndBlock=%u Copy=%d Strip=%d MediaId=%" lld "\n";
65
66
67 /* Responses  sent to Storage daemon */
68 static char OK_media[] = "1000 OK VolName=%s VolJobs=%u VolFiles=%u"
69    " VolBlocks=%u VolBytes=%s VolMounts=%u VolErrors=%u VolWrites=%u"
70    " MaxVolBytes=%s VolCapacityBytes=%s VolStatus=%s Slot=%d"
71    " MaxVolJobs=%u MaxVolFiles=%u InChanger=%d VolReadTime=%s"
72    " VolWriteTime=%s EndFile=%u EndBlock=%u VolParts=%u LabelType=%d"
73    " MediaId=%s\n";
74
75 static char OK_create[] = "1000 OK CreateJobMedia\n";
76
77
78 static int send_volume_info_to_storage_daemon(JCR *jcr, BSOCK *sd, MEDIA_DBR *mr)
79 {
80    int stat;
81    char ed1[50], ed2[50], ed3[50], ed4[50], ed5[50], ed6[50];
82
83    jcr->MediaId = mr->MediaId;
84    pm_strcpy(jcr->VolumeName, mr->VolumeName);
85    bash_spaces(mr->VolumeName);
86    stat = sd->fsend(OK_media, mr->VolumeName, mr->VolJobs,
87       mr->VolFiles, mr->VolBlocks, edit_uint64(mr->VolBytes, ed1),
88       mr->VolMounts, mr->VolErrors, mr->VolWrites,
89       edit_uint64(mr->MaxVolBytes, ed2),
90       edit_uint64(mr->VolCapacityBytes, ed3),
91       mr->VolStatus, mr->Slot, mr->MaxVolJobs, mr->MaxVolFiles,
92       mr->InChanger,
93       edit_int64(mr->VolReadTime, ed4),
94       edit_int64(mr->VolWriteTime, ed5),
95       mr->EndFile, mr->EndBlock,
96       mr->VolParts,
97       mr->LabelType,
98       edit_uint64(mr->MediaId, ed6));
99    unbash_spaces(mr->VolumeName);
100    Dmsg2(100, "Vol Info for %s: %s", jcr->Job, sd->msg);
101    return stat;
102 }
103
104 void catalog_request(JCR *jcr, BSOCK *bs)
105 {
106    MEDIA_DBR mr, sdmr;
107    JOBMEDIA_DBR jm;
108    char Job[MAX_NAME_LENGTH];
109    char pool_name[MAX_NAME_LENGTH];
110    int index, ok, label, writing;
111    POOLMEM *omsg;
112    POOL_DBR pr;
113    uint32_t Stripe;
114    uint64_t MediaId;
115    utime_t VolFirstWritten;
116    utime_t VolLastWritten;
117
118    memset(&mr, 0, sizeof(mr));
119    memset(&sdmr, 0, sizeof(sdmr));
120    memset(&jm, 0, sizeof(jm));
121    Dsm_check(1);      
122
123    /*
124     * Request to find next appendable Volume for this Job
125     */
126    Dmsg1(100, "catreq %s", bs->msg);
127    if (!jcr->db) {
128       omsg = get_memory(bs->msglen+1);
129       pm_strcpy(omsg, bs->msg);
130       bs->fsend(_("1990 Invalid Catalog Request: %s"), omsg);    
131       Jmsg1(jcr, M_FATAL, 0, _("Invalid Catalog request; DB not open: %s"), omsg);
132       free_memory(omsg);
133       return;
134    }
135    /*
136     * Find next appendable medium for SD
137     */
138    if (sscanf(bs->msg, Find_media, &Job, &index, &pool_name, &mr.MediaType) == 4) {
139       memset(&pr, 0, sizeof(pr));
140       bstrncpy(pr.Name, pool_name, sizeof(pr.Name));
141       unbash_spaces(pr.Name);
142       ok = db_get_pool_record(jcr, jcr->db, &pr);
143       if (ok) {
144          mr.PoolId = pr.PoolId;
145          mr.StorageId = jcr->wstore->StorageId;
146          ok = find_next_volume_for_append(jcr, &mr, index, fnv_create_vol, fnv_prune);
147          Dmsg3(050, "find_media ok=%d idx=%d vol=%s\n", ok, index, mr.VolumeName);
148       }
149       /*
150        * Send Find Media response to Storage daemon
151        */
152       if (ok) {
153          send_volume_info_to_storage_daemon(jcr, bs, &mr);
154       } else {
155          bs->fsend(_("1901 No Media.\n"));
156          Dmsg0(500, "1901 No Media.\n");
157       }
158
159    /*
160     * Request to find specific Volume information
161     */
162    } else if (sscanf(bs->msg, Get_Vol_Info, &Job, &mr.VolumeName, &writing) == 3) {
163       Dmsg1(100, "CatReq GetVolInfo Vol=%s\n", mr.VolumeName);
164       /*
165        * Find the Volume
166        */
167       unbash_spaces(mr.VolumeName);
168       if (db_get_media_record(jcr, jcr->db, &mr)) {
169          const char *reason = NULL;           /* detailed reason for rejection */
170          /*
171           * If we are reading, accept any volume (reason == NULL)
172           * If we are writing, check if the Volume is valid
173           *   for this job, and do a recycle if necessary
174           */
175          if (writing) {
176             /*
177              * SD wants to write this Volume, so make
178              *   sure it is suitable for this job, i.e.
179              *   Pool matches, and it is either Append or Recycle
180              *   and Media Type matches and Pool allows any volume.
181              */
182             if (mr.PoolId != jcr->jr.PoolId) {
183                reason = _("not in Pool");
184             } else if (strcmp(mr.MediaType, jcr->wstore->media_type) != 0) {
185                reason = _("not correct MediaType");
186             } else {
187                /*
188                 * Now try recycling if necessary
189                 *   reason set non-NULL if we cannot use it
190                 */
191                check_if_volume_valid_or_recyclable(jcr, &mr, &reason);
192             }
193          }
194          if (!reason && mr.Enabled != 1) {
195             reason = _("is not Enabled");
196          }
197          if (reason == NULL) {
198             /*
199              * Send Find Media response to Storage daemon
200              */
201             send_volume_info_to_storage_daemon(jcr, bs, &mr);
202          } else {
203             /* Not suitable volume */
204             bs->fsend(_("1998 Volume \"%s\" status is %s, %s.\n"), mr.VolumeName,
205                mr.VolStatus, reason);
206          }
207
208       } else {
209          bs->fsend(_("1997 Volume \"%s\" not in catalog.\n"), mr.VolumeName);
210          Dmsg1(100, "1997 Volume \"%s\" not in catalog.\n", mr.VolumeName);
211       }
212
213    /*
214     * Request to update Media record. Comes typically at the end
215     *  of a Storage daemon Job Session, when labeling/relabeling a
216     *  Volume, or when an EOF mark is written.
217     */
218    } else if (sscanf(bs->msg, Update_media, &Job, &sdmr.VolumeName,
219       &sdmr.VolJobs, &sdmr.VolFiles, &sdmr.VolBlocks, &sdmr.VolBytes,
220       &sdmr.VolMounts, &sdmr.VolErrors, &sdmr.VolWrites, &sdmr.MaxVolBytes,
221       &VolLastWritten, &sdmr.VolStatus, &sdmr.Slot, &label, &sdmr.InChanger,
222       &sdmr.VolReadTime, &sdmr.VolWriteTime, &VolFirstWritten,
223       &sdmr.VolParts) == 19) {
224
225       db_lock(jcr->db);
226       Dmsg3(400, "Update media %s oldStat=%s newStat=%s\n", sdmr.VolumeName,
227          mr.VolStatus, sdmr.VolStatus);
228       bstrncpy(mr.VolumeName, sdmr.VolumeName, sizeof(mr.VolumeName)); /* copy Volume name */
229       unbash_spaces(mr.VolumeName);
230       if (!db_get_media_record(jcr, jcr->db, &mr)) {
231          Jmsg(jcr, M_ERROR, 0, _("Unable to get Media record for Volume %s: ERR=%s\n"),
232               mr.VolumeName, db_strerror(jcr->db));
233          bs->fsend(_("1991 Catalog Request for vol=%s failed: %s"),
234             mr.VolumeName, db_strerror(jcr->db));
235          db_unlock(jcr->db);
236          return;
237       }
238       /* Set first written time if this is first job */
239       if (mr.FirstWritten == 0) {
240          if (VolFirstWritten == 0) {
241             mr.FirstWritten = jcr->start_time;   /* use Job start time as first write */
242          } else {
243             mr.FirstWritten = VolFirstWritten;
244          }
245          mr.set_first_written = true;
246       }
247       /* If we just labeled the tape set time */
248       if (label || mr.LabelDate == 0) {
249          mr.LabelDate = jcr->start_time;
250          mr.set_label_date = true;
251          if (mr.InitialWrite == 0) {
252             mr.InitialWrite = jcr->start_time;
253          }
254          Dmsg2(400, "label=%d labeldate=%d\n", label, mr.LabelDate);
255       } else {
256          /*
257           * Insanity check for VolFiles get set to a smaller value
258           */
259          if (sdmr.VolFiles < mr.VolFiles) {
260             Jmsg(jcr, M_FATAL, 0, _("Volume Files at %u being set to %u"
261                  " for Volume \"%s\". This is incorrect.\n"),
262                mr.VolFiles, sdmr.VolFiles, mr.VolumeName);
263             bs->fsend(_("1992 Update Media error. VolFiles=%u, CatFiles=%u\n"),
264                sdmr.VolFiles, mr.VolFiles);
265             db_unlock(jcr->db);
266             return;
267          }
268       }
269       Dmsg2(400, "Update media: BefVolJobs=%u After=%u\n", mr.VolJobs, sdmr.VolJobs);
270
271       /*
272        * Check if the volume has been written by the job, 
273        * and update the LastWritten field if needed.
274        */
275       if (mr.VolBlocks != sdmr.VolBlocks && VolLastWritten != 0) {
276          mr.LastWritten = VolLastWritten;
277       }
278
279       /*
280        * Update to point to the last device used to write the Volume.
281        *   However, do so only if we are writing the tape, i.e.
282        *   the number of VolWrites has increased.
283        */
284       if (jcr->wstore && jcr->wstore->StorageId && sdmr.VolWrites > mr.VolWrites) {
285          mr.StorageId = jcr->wstore->StorageId;
286       }
287
288       /* Copy updated values to original media record */
289       mr.VolJobs      = sdmr.VolJobs;
290       mr.VolFiles     = sdmr.VolFiles;
291       mr.VolBlocks    = sdmr.VolBlocks;
292       mr.VolBytes     = sdmr.VolBytes;
293       mr.VolMounts    = sdmr.VolMounts;
294       mr.VolErrors    = sdmr.VolErrors;
295       mr.VolWrites    = sdmr.VolWrites;
296       mr.Slot         = sdmr.Slot;
297       mr.InChanger    = sdmr.InChanger;
298       mr.VolParts     = sdmr.VolParts;
299       bstrncpy(mr.VolStatus, sdmr.VolStatus, sizeof(mr.VolStatus));
300       if (sdmr.VolReadTime >= 0) { 
301          mr.VolReadTime  = sdmr.VolReadTime;
302       }
303       if (sdmr.VolWriteTime >= 0) {
304          mr.VolWriteTime = sdmr.VolWriteTime;
305       }
306
307       Dmsg2(400, "db_update_media_record. Stat=%s Vol=%s\n", mr.VolStatus, mr.VolumeName);
308       /*
309        * Update the database, then before sending the response to the
310        *  SD, check if the Volume has expired.
311        */
312       if (!db_update_media_record(jcr, jcr->db, &mr)) {
313          Jmsg(jcr, M_FATAL, 0, _("Catalog error updating Media record. %s"),
314             db_strerror(jcr->db));
315          bs->fsend(_("1993 Update Media error\n"));
316          Dmsg0(400, "send error\n");
317       } else {
318          (void)has_volume_expired(jcr, &mr);
319          send_volume_info_to_storage_daemon(jcr, bs, &mr);
320       }
321       db_unlock(jcr->db);
322
323    /*
324     * Request to create a JobMedia record
325     */
326    } else if (sscanf(bs->msg, Create_job_media, &Job,
327       &jm.FirstIndex, &jm.LastIndex, &jm.StartFile, &jm.EndFile,
328       &jm.StartBlock, &jm.EndBlock, &jm.Copy, &Stripe, &MediaId) == 10) {
329
330       if (jcr->mig_jcr) {
331          jm.JobId = jcr->mig_jcr->JobId;
332       } else {
333          jm.JobId = jcr->JobId;
334       }
335       jm.MediaId = MediaId;
336       Dmsg6(400, "create_jobmedia JobId=%d MediaId=%d SF=%d EF=%d FI=%d LI=%d\n",
337          jm.JobId, jm.MediaId, jm.StartFile, jm.EndFile, jm.FirstIndex, jm.LastIndex);
338       if (!db_create_jobmedia_record(jcr, jcr->db, &jm)) {
339          Jmsg(jcr, M_FATAL, 0, _("Catalog error creating JobMedia record. %s"),
340             db_strerror(jcr->db));
341          bs->fsend(_("1992 Create JobMedia error\n"));
342       } else {
343          Dmsg0(400, "JobMedia record created\n");
344          bs->fsend(OK_create);
345       }
346
347    } else {
348       omsg = get_memory(bs->msglen+1);
349       pm_strcpy(omsg, bs->msg);
350       bs->fsend(_("1990 Invalid Catalog Request: %s"), omsg);
351       Jmsg1(jcr, M_FATAL, 0, _("Invalid Catalog request: %s"), omsg);
352       free_memory(omsg);
353    }
354    Dmsg1(400, ">CatReq response: %s", bs->msg);
355    Dmsg1(400, "Leave catreq jcr 0x%x\n", jcr);
356    return;
357 }
358
359 /*
360  * Update File Attributes in the catalog with data
361  *  sent by the Storage daemon.  Note, we receive the whole
362  *  attribute record, but we select out only the stat packet,
363  *  VolSessionId, VolSessionTime, FileIndex, file type, and 
364  *  file name to store in the catalog.
365  */
366 void catalog_update(JCR *jcr, BSOCK *bs)
367 {
368    unser_declare;
369    uint32_t VolSessionId, VolSessionTime;
370    int32_t Stream;
371    uint32_t FileIndex;
372    uint32_t data_len;
373    char *p;
374    int filetype;
375    int len;
376    char *fname, *attr;
377    ATTR_DBR *ar = NULL;
378    POOLMEM *omsg;
379
380    Dsm_check(1);
381    if (job_canceled(jcr) || !jcr->pool->catalog_files) {
382       goto bail_out;                  /* user disabled cataloging */
383    }
384    if (!jcr->db) {
385       omsg = get_memory(bs->msglen+1);
386       pm_strcpy(omsg, bs->msg);
387       bs->fsend(_("1994 Invalid Catalog Update: %s"), omsg);    
388       Jmsg1(jcr, M_FATAL, 0, _("Invalid Catalog Update; DB not open: %s"), omsg);
389       free_memory(omsg);
390       goto bail_out;
391    }
392
393    /* Start transaction allocates jcr->attr and jcr->ar if needed */
394    db_start_transaction(jcr, jcr->db);     /* start transaction if not already open */
395    ar = jcr->ar;      
396
397    /* Start by scanning directly in the message buffer to get Stream   
398     *  there may be a cached attr so we cannot yet write into
399     *  jcr->attr or jcr->ar  
400     */
401    p = bs->msg;
402    skip_nonspaces(&p);                /* UpdCat */
403    skip_spaces(&p);
404    skip_nonspaces(&p);                /* Job=nnn */
405    skip_spaces(&p);
406    skip_nonspaces(&p);                /* FileAttributes */
407    p += 1;
408    unser_begin(p, 0);
409    unser_uint32(VolSessionId);
410    unser_uint32(VolSessionTime);
411    unser_int32(FileIndex);
412    unser_int32(Stream);
413    unser_uint32(data_len);
414    p += unser_length(p);
415
416    Dmsg1(400, "UpdCat msg=%s\n", bs->msg);
417    Dmsg5(400, "UpdCat VolSessId=%d VolSessT=%d FI=%d Strm=%d data_len=%d\n",
418       VolSessionId, VolSessionTime, FileIndex, Stream, data_len);
419
420    if (Stream == STREAM_UNIX_ATTRIBUTES || Stream == STREAM_UNIX_ATTRIBUTES_EX) {
421       if (jcr->cached_attribute) {
422          Dmsg2(400, "Cached attr. Stream=%d fname=%s\n", ar->Stream, ar->fname);
423          if (!db_create_file_attributes_record(jcr, jcr->db, ar)) {
424             Jmsg1(jcr, M_FATAL, 0, _("Attribute create error. %s"), db_strerror(jcr->db));
425          }
426       }
427       /* Any cached attr is flushed so we can reuse jcr->attr and jcr->ar */
428       jcr->attr = check_pool_memory_size(jcr->attr, bs->msglen);
429       memcpy(jcr->attr, bs->msg, bs->msglen);
430       p = jcr->attr - bs->msg + p;    /* point p into jcr->attr */
431       skip_nonspaces(&p);             /* skip FileIndex */
432       skip_spaces(&p);
433       filetype = str_to_int32(p);     /* TODO: choose between unserialize and str_to_int32 */
434       skip_nonspaces(&p);             /* skip FileType */
435       skip_spaces(&p);
436       fname = p;
437       len = strlen(fname);        /* length before attributes */
438       attr = &fname[len+1];
439
440       Dmsg2(400, "dird<stored: stream=%d %s\n", Stream, fname);
441       Dmsg1(400, "dird<stored: attr=%s\n", attr);
442       ar->attr = attr;
443       ar->fname = fname;
444       if (filetype == FT_DELETED) {
445          ar->FileIndex = 0;     /* special value */
446       } else {
447          ar->FileIndex = FileIndex;
448       }
449       ar->Stream = Stream;
450       ar->link = NULL;
451       if (jcr->mig_jcr) {
452          ar->JobId = jcr->mig_jcr->JobId;
453       } else {
454          ar->JobId = jcr->JobId;
455       }
456       ar->Digest = NULL;
457       ar->DigestType = CRYPTO_DIGEST_NONE;
458       jcr->cached_attribute = true;
459
460       Dmsg2(400, "dird<filed: stream=%d %s\n", Stream, fname);
461       Dmsg1(400, "dird<filed: attr=%s\n", attr);
462
463    } else if (crypto_digest_stream_type(Stream) != CRYPTO_DIGEST_NONE) {
464       fname = p;
465       if (ar->FileIndex != FileIndex) {
466          Jmsg(jcr, M_WARNING, 0, _("Got %s but not same File as attributes\n"), stream_to_ascii(Stream));
467       } else {
468          /* Update digest in catalog */
469          char digestbuf[BASE64_SIZE(CRYPTO_DIGEST_MAX_SIZE)];
470          int len = 0;
471          int type = CRYPTO_DIGEST_NONE;
472
473          switch(Stream) {
474          case STREAM_MD5_DIGEST:
475             len = CRYPTO_DIGEST_MD5_SIZE;
476             type = CRYPTO_DIGEST_MD5;
477             break;
478          case STREAM_SHA1_DIGEST:
479             len = CRYPTO_DIGEST_SHA1_SIZE;
480             type = CRYPTO_DIGEST_SHA1;
481             break;
482          case STREAM_SHA256_DIGEST:
483             len = CRYPTO_DIGEST_SHA256_SIZE;
484             type = CRYPTO_DIGEST_SHA256;
485             break;
486          case STREAM_SHA512_DIGEST:
487             len = CRYPTO_DIGEST_SHA512_SIZE;
488             type = CRYPTO_DIGEST_SHA512;
489             break;
490          default:
491             /* Never reached ... */
492             Jmsg(jcr, M_ERROR, 0, _("Catalog error updating file digest. Unsupported digest stream type: %d"),
493                  Stream);
494          }
495
496          bin_to_base64(digestbuf, sizeof(digestbuf), fname, len, true);
497          Dmsg3(400, "DigestLen=%d Digest=%s type=%d\n", strlen(digestbuf), digestbuf, Stream);
498          if (jcr->cached_attribute) {
499             ar->Digest = digestbuf;
500             ar->DigestType = type;
501             Dmsg2(400, "Cached attr with digest. Stream=%d fname=%s\n", ar->Stream, ar->fname);
502             if (!db_create_file_attributes_record(jcr, jcr->db, ar)) {
503                Jmsg1(jcr, M_FATAL, 0, _("Attribute create error. %s"), db_strerror(jcr->db));
504             }
505             jcr->cached_attribute = false; 
506          } else {
507             if (!db_add_digest_to_file_record(jcr, jcr->db, ar->FileId, digestbuf, type)) {
508                Jmsg(jcr, M_ERROR, 0, _("Catalog error updating file digest. %s"),
509                   db_strerror(jcr->db));
510             }
511          }
512       }
513    }
514 bail_out:
515    if (job_canceled(jcr)) {
516       cancel_storage_daemon_job(jcr);
517    }
518 }