]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/filed/backup.c
First cut berrno unified Unix/Win32 errno handling
[bacula/bacula] / bacula / src / filed / backup.c
1 /*
2  *  Bacula File Daemon  backup.c  send file attributes and data
3  *   to the Storage daemon.
4  *
5  *    Kern Sibbald, March MM
6  *
7  *   Version $Id$
8  *
9  */
10 /*
11    Copyright (C) 2000-2004 Kern Sibbald and John Walker
12
13    This program is free software; you can redistribute it and/or
14    modify it under the terms of the GNU General Public License as
15    published by the Free Software Foundation; either version 2 of
16    the License, or (at your option) any later version.
17
18    This program is distributed in the hope that it will be useful,
19    but WITHOUT ANY WARRANTY; without even the implied warranty of
20    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
21    General Public License for more details.
22
23    You should have received a copy of the GNU General Public
24    License along with this program; if not, write to the Free
25    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
26    MA 02111-1307, USA.
27
28  */
29
30 #include "bacula.h"
31 #include "filed.h"
32
33 #ifdef HAVE_ACL
34 #include <sys/acl.h>
35 #include <acl/libacl.h>
36 #endif
37
38 static int save_file(FF_PKT *ff_pkt, void *pkt);
39
40 /* 
41  * Find all the requested files and send them
42  * to the Storage daemon. 
43  *
44  * Note, we normally carry on a one-way
45  * conversation from this point on with the SD, simply blasting
46  * data to him.  To properly know what is going on, we
47  * also run a "heartbeat" monitor which reads the socket and
48  * reacts accordingly (at the moment it has nothing to do
49  * except echo the heartbeat to the Director).
50  * 
51  */
52 bool blast_data_to_storage_daemon(JCR *jcr, char *addr) 
53 {
54    BSOCK *sd;
55    bool ok = true;
56
57    sd = jcr->store_bsock;
58
59    set_jcr_job_status(jcr, JS_Running);
60
61    Dmsg1(300, "bfiled: opened data connection %d to stored\n", sd->fd);
62
63    LockRes();
64    CLIENT *client = (CLIENT *)GetNextRes(R_CLIENT, NULL);
65    UnlockRes();
66    uint32_t buf_size;
67    if (client) {
68       buf_size = client->max_network_buffer_size;
69    } else {
70       buf_size = 0;                   /* use default */
71    }
72    if (!bnet_set_buffer_size(sd, buf_size, BNET_SETBUF_WRITE)) {
73       set_jcr_job_status(jcr, JS_ErrorTerminated);
74       Jmsg(jcr, M_FATAL, 0, _("Cannot set buffer size FD->SD.\n"));
75       return false;
76    }
77
78    jcr->buf_size = sd->msglen;             
79    /* Adjust for compression so that output buffer is
80     * 12 bytes + 0.1% larger than input buffer plus 18 bytes.
81     * This gives a bit extra plus room for the sparse addr if any.
82     * Note, we adjust the read size to be smaller so that the
83     * same output buffer can be used without growing it.
84     */
85    jcr->compress_buf_size = jcr->buf_size + ((jcr->buf_size+999) / 1000) + 30;
86    jcr->compress_buf = get_memory(jcr->compress_buf_size);
87
88    Dmsg1(300, "set_find_options ff=%p\n", jcr->ff);
89    set_find_options((FF_PKT *)jcr->ff, jcr->incremental, jcr->mtime);
90    Dmsg0(300, "start find files\n");
91
92    start_heartbeat_monitor(jcr);
93
94    /* Subroutine save_file() is called for each file */
95    if (!find_files(jcr, (FF_PKT *)jcr->ff, save_file, (void *)jcr)) {
96       ok = false;                     /* error */
97       set_jcr_job_status(jcr, JS_ErrorTerminated);
98 //    Jmsg(jcr, M_FATAL, 0, _("Find files error.\n"));
99    }
100
101    stop_heartbeat_monitor(jcr);
102
103    bnet_sig(sd, BNET_EOD);            /* end data connection */
104
105    if (jcr->big_buf) {
106       free(jcr->big_buf);
107       jcr->big_buf = NULL;
108    }
109    if (jcr->compress_buf) {
110       free_pool_memory(jcr->compress_buf);
111       jcr->compress_buf = NULL;
112    }
113    Dmsg1(300, "end blast_data stat=%d\n", ok);
114    return ok;
115 }          
116
117 /* 
118  * Called here by find() for each file included.
119  *
120  *  *****FIXME*****   add FSMs File System Modules
121  *
122  *  Send the file and its data to the Storage daemon.
123  *
124  *  Returns: 1 if OK
125  *           0 if error
126  *          -1 to ignore file/directory (not used here)
127  */
128 static int save_file(FF_PKT *ff_pkt, void *vjcr)
129 {
130    char attribs[MAXSTRING];
131    char attribsEx[MAXSTRING];
132    int stat, attr_stream, data_stream;
133    struct MD5Context md5c;
134    struct SHA1Context sha1c;
135    int gotMD5 = 0;
136    int gotSHA1 = 0;
137    unsigned char signature[30];       /* large enough for either signature */
138    BSOCK *sd;
139    JCR *jcr = (JCR *)vjcr;
140    POOLMEM *msgsave;
141
142    if (job_canceled(jcr)) {
143       return 0;
144    }
145
146    sd = jcr->store_bsock;
147    jcr->num_files_examined++;         /* bump total file count */
148
149    switch (ff_pkt->type) {
150    case FT_LNKSAVED:                  /* Hard linked, file already saved */
151       Dmsg2(130, "FT_LNKSAVED hard link: %s => %s\n", ff_pkt->fname, ff_pkt->link);
152       break;
153    case FT_REGE:
154       Dmsg1(130, "FT_REGE saving: %s\n", ff_pkt->fname);
155       break;
156    case FT_REG:
157       Dmsg1(130, "FT_REG saving: %s\n", ff_pkt->fname);
158       break;
159    case FT_LNK:
160       Dmsg2(130, "FT_LNK saving: %s -> %s\n", ff_pkt->fname, ff_pkt->link);
161       break;
162    case FT_DIRBEGIN:
163       return 1;                       /* not used */
164    case FT_DIREND:
165       Dmsg1(130, "FT_DIR saving: %s\n", ff_pkt->link);
166       break;
167    case FT_SPEC:
168       Dmsg1(130, "FT_SPEC saving: %s\n", ff_pkt->fname);
169       break;
170    case FT_RAW:
171       Dmsg1(130, "FT_RAW saving: %s\n", ff_pkt->fname);
172       break;
173    case FT_FIFO:
174       Dmsg1(130, "FT_FIFO saving: %s\n", ff_pkt->fname);
175       break;
176    case FT_NOACCESS: {
177       berrno be;
178       be.set_errno(ff_pkt->ff_errno);
179       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not access %s: ERR=%s\n"), ff_pkt->fname, 
180          be.strerror());
181       jcr->Errors++;
182       return 1;
183    }
184    case FT_NOFOLLOW: {
185       berrno be;
186       be.set_errno(ff_pkt->ff_errno);
187       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not follow link %s: ERR=%s\n"), ff_pkt->fname, 
188          be.strerror());
189       jcr->Errors++;
190       return 1;
191    }
192    case FT_NOSTAT: {
193       berrno be;
194       be.set_errno(ff_pkt->ff_errno);
195       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not stat %s: ERR=%s\n"), ff_pkt->fname, 
196          be.strerror());
197       jcr->Errors++;
198       return 1;
199    }
200    case FT_DIRNOCHG:
201    case FT_NOCHG:
202       Jmsg(jcr, M_SKIPPED, -1,  _("     Unchanged file skipped: %s\n"), ff_pkt->fname);
203       return 1;
204    case FT_ISARCH:
205       Jmsg(jcr, M_NOTSAVED, -1, _("     Archive file not saved: %s\n"), ff_pkt->fname);
206       return 1;
207    case FT_NORECURSE:
208       Jmsg(jcr, M_SKIPPED, -1,  _("     Recursion turned off. Directory skipped: %s\n"), 
209          ff_pkt->fname);
210       return 1;
211    case FT_NOFSCHG:
212       Jmsg(jcr, M_SKIPPED, -1,  _("     File system change prohibited. Directory skipped. %s\n"), 
213          ff_pkt->fname);
214       return 1;
215    case FT_NOOPEN: {
216       berrno be;
217       be.set_errno(ff_pkt->ff_errno);
218       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not open directory %s: ERR=%s\n"), ff_pkt->fname, 
219          be.strerror());
220       jcr->Errors++;
221       return 1;
222    }
223    default:
224       Jmsg(jcr, M_NOTSAVED, 0,  _("     Unknown file type %d; not saved: %s\n"), ff_pkt->type, ff_pkt->fname);
225       jcr->Errors++;
226       return 1;
227    }
228
229    binit(&ff_pkt->bfd);
230    if (ff_pkt->flags & FO_PORTABLE) {
231       set_portable_backup(&ff_pkt->bfd); /* disable Win32 BackupRead() */
232    }
233
234    /* 
235     * Open any file with data that we intend to save.  
236     * Note, if is_win32_backup, we must open the Directory so that
237     * the BackupRead will save its permissions and ownership streams.
238     */
239    if (ff_pkt->type != FT_LNKSAVED && (S_ISREG(ff_pkt->statp.st_mode) && 
240          ff_pkt->statp.st_size > 0) || 
241          ff_pkt->type == FT_RAW || ff_pkt->type == FT_FIFO ||
242          (!is_portable_backup(&ff_pkt->bfd) && ff_pkt->type == FT_DIREND)) {
243       btimer_t *tid;    
244       if (ff_pkt->type == FT_FIFO) {
245          tid = start_thread_timer(pthread_self(), 60);
246       } else {
247          tid = NULL;
248       }
249       if (bopen(&ff_pkt->bfd, ff_pkt->fname, O_RDONLY | O_BINARY, 0) < 0) {
250          ff_pkt->ff_errno = errno;
251          berrno be;
252          Jmsg(jcr, M_NOTSAVED, -1, _("     Cannot open %s: ERR=%s.\n"), ff_pkt->fname, 
253               be.strerror());
254          jcr->Errors++;
255          if (tid) {
256             stop_thread_timer(tid);
257             tid = NULL;
258          }
259          return 1;
260       }
261       if (tid) {
262          stop_thread_timer(tid);
263          tid = NULL;
264       }
265    }
266
267    Dmsg1(130, "bfiled: sending %s to stored\n", ff_pkt->fname);
268
269    /* Find what data stream we will use, then encode the attributes */
270    data_stream = select_data_stream(ff_pkt);
271    encode_stat(attribs, ff_pkt, data_stream);
272
273    /* Now possibly extend the attributes */
274    attr_stream = encode_attribsEx(jcr, attribsEx, ff_pkt);
275
276    Dmsg3(300, "File %s\nattribs=%s\nattribsEx=%s\n", ff_pkt->fname, attribs, attribsEx);
277      
278    P(jcr->mutex);
279    jcr->JobFiles++;                    /* increment number of files sent */
280    ff_pkt->FileIndex = jcr->JobFiles;  /* return FileIndex */
281    pm_strcpy(&jcr->last_fname, ff_pkt->fname);
282    V(jcr->mutex);
283     
284    /*
285     * Send Attributes header to Storage daemon
286     *    <file-index> <stream> <info>
287     */
288    if (!bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, attr_stream)) {
289       if (is_bopen(&ff_pkt->bfd)) {
290          bclose(&ff_pkt->bfd);
291       }
292       set_jcr_job_status(jcr, JS_ErrorTerminated);
293       return 0;
294    }
295    Dmsg1(300, ">stored: attrhdr %s\n", sd->msg);
296
297    /*
298     * Send file attributes to Storage daemon
299     *   File_index
300     *   File type
301     *   Filename (full path)
302     *   Encoded attributes
303     *   Link name (if type==FT_LNK or FT_LNKSAVED)
304     *   Encoded extended-attributes (for Win32)
305     *
306     * For a directory, link is the same as fname, but with trailing
307     * slash. For a linked file, link is the link.
308     */
309    if (ff_pkt->type == FT_LNK || ff_pkt->type == FT_LNKSAVED) {
310       Dmsg2(300, "Link %s to %s\n", ff_pkt->fname, ff_pkt->link);
311       stat = bnet_fsend(sd, "%ld %d %s%c%s%c%s%c%s%c", jcr->JobFiles, 
312                ff_pkt->type, ff_pkt->fname, 0, attribs, 0, ff_pkt->link, 0,
313                attribsEx, 0);
314    } else if (ff_pkt->type == FT_DIREND) {
315       /* Here link is the canonical filename (i.e. with trailing slash) */
316       stat = bnet_fsend(sd, "%ld %d %s%c%s%c%c%s%c", jcr->JobFiles, 
317                ff_pkt->type, ff_pkt->link, 0, attribs, 0, 0, attribsEx, 0);
318    } else {
319       stat = bnet_fsend(sd, "%ld %d %s%c%s%c%c%s%c", jcr->JobFiles, 
320                ff_pkt->type, ff_pkt->fname, 0, attribs, 0, 0, attribsEx, 0);
321    }
322
323    Dmsg2(300, ">stored: attr len=%d: %s\n", sd->msglen, sd->msg);
324    if (!stat) {
325       if (is_bopen(&ff_pkt->bfd)) {
326          bclose(&ff_pkt->bfd);
327       }
328       set_jcr_job_status(jcr, JS_ErrorTerminated);
329       Jmsg0(jcr, M_FATAL, 0, _("Network send error.\n"));
330       return 0;
331    }
332    bnet_sig(sd, BNET_EOD);            /* indicate end of attributes data */
333
334    /* 
335     * If the file has data, read it and send to the Storage daemon
336     *
337     */
338    if (is_bopen(&ff_pkt->bfd)) {
339       uint64_t fileAddr = 0;          /* file address */
340       char *rbuf, *wbuf;
341       int rsize = jcr->buf_size;      /* read buffer size */
342
343       msgsave = sd->msg;
344       rbuf = sd->msg;                 /* read buffer */             
345       wbuf = sd->msg;                 /* write buffer */
346
347
348       Dmsg1(300, "Saving data, type=%d\n", ff_pkt->type);
349
350
351 #ifdef HAVE_LIBZ
352       uLong compress_len, max_compress_len = 0;
353       const Bytef *cbuf = NULL;
354
355       if (ff_pkt->flags & FO_GZIP) {
356          if (ff_pkt->flags & FO_SPARSE) {
357             cbuf = (Bytef *)jcr->compress_buf + SPARSE_FADDR_SIZE;
358             max_compress_len = jcr->compress_buf_size - SPARSE_FADDR_SIZE;
359          } else {
360             cbuf = (Bytef *)jcr->compress_buf;
361             max_compress_len = jcr->compress_buf_size; /* set max length */
362          }
363          wbuf = jcr->compress_buf;    /* compressed output here */
364       }
365 #endif
366
367       /*
368        * Send Data header to Storage daemon
369        *    <file-index> <stream> <info>
370        */
371       if (!bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, data_stream)) {
372          bclose(&ff_pkt->bfd);
373          set_jcr_job_status(jcr, JS_ErrorTerminated);
374          Jmsg0(jcr, M_FATAL, 0, _("Network send error.\n"));
375          return 0;
376       }
377       Dmsg1(300, ">stored: datahdr %s\n", sd->msg);
378
379       if (ff_pkt->flags & FO_MD5) {
380          MD5Init(&md5c);
381       } else if (ff_pkt->flags & FO_SHA1) {
382          SHA1Init(&sha1c);
383       }
384
385       /*
386        * Make space at beginning of buffer for fileAddr because this
387        *   same buffer will be used for writing if compression if off. 
388        */
389       if (ff_pkt->flags & FO_SPARSE) {
390          rbuf += SPARSE_FADDR_SIZE;
391          rsize -= SPARSE_FADDR_SIZE;
392 #ifdef HAVE_FREEBSD_OS
393          /* 
394           * To read FreeBSD partitions, the read size must be
395           *  a multiple of 512.
396           */
397          rsize = (rsize/512) * 512;
398 #endif
399       }
400
401       /* 
402        * Read the file data
403        */
404       while ((sd->msglen=(uint32_t)bread(&ff_pkt->bfd, rbuf, rsize)) > 0) {
405          int sparseBlock = 0;
406
407          /* Check for sparse blocks */
408          if (ff_pkt->flags & FO_SPARSE) {
409             ser_declare;
410             if (sd->msglen == rsize && 
411                 (fileAddr+sd->msglen < (uint64_t)ff_pkt->statp.st_size)) {
412                sparseBlock = is_buf_zero(rbuf, rsize);
413             }
414                
415             ser_begin(wbuf, SPARSE_FADDR_SIZE);
416             ser_uint64(fileAddr);     /* store fileAddr in begin of buffer */
417          } 
418
419          jcr->ReadBytes += sd->msglen;      /* count bytes read */
420          fileAddr += sd->msglen;
421
422          /* Update MD5 if requested */
423          if (ff_pkt->flags & FO_MD5) {
424             MD5Update(&md5c, (unsigned char *)rbuf, sd->msglen);
425             gotMD5 = 1;
426          } else if (ff_pkt->flags & FO_SHA1) {
427             SHA1Update(&sha1c, (unsigned char *)rbuf, sd->msglen);
428             gotSHA1 = 1;
429          }
430
431 #ifdef HAVE_LIBZ
432          /* Do compression if turned on */
433          if (!sparseBlock && ff_pkt->flags & FO_GZIP) {
434             int zstat;
435             compress_len = max_compress_len;
436             Dmsg4(400, "cbuf=0x%x len=%u rbuf=0x%x len=%u\n", cbuf, compress_len,
437                rbuf, sd->msglen);
438             /* NOTE! This call modifies compress_len !!! */
439             if ((zstat=compress2((Bytef *)cbuf, &compress_len, 
440                   (const Bytef *)rbuf, (uLong)sd->msglen,
441                   ff_pkt->GZIP_level)) != Z_OK) {
442                Jmsg(jcr, M_FATAL, 0, _("Compression error: %d\n"), zstat);
443                sd->msg = msgsave;
444                sd->msglen = 0;
445                bclose(&ff_pkt->bfd);
446                set_jcr_job_status(jcr, JS_ErrorTerminated);
447                return 0;
448             }
449             Dmsg2(400, "compressed len=%d uncompressed len=%d\n", 
450                compress_len, sd->msglen);
451
452             sd->msglen = compress_len;   /* set compressed length */
453          }
454 #endif
455
456          /* Send the buffer to the Storage daemon */
457          if (!sparseBlock) {
458             if (ff_pkt->flags & FO_SPARSE) {
459                sd->msglen += SPARSE_FADDR_SIZE; /* include fileAddr in size */
460             }
461             sd->msg = wbuf;           /* set correct write buffer */
462             if (!bnet_send(sd)) {
463                sd->msg = msgsave;     /* restore bnet buffer */
464                sd->msglen = 0;
465                bclose(&ff_pkt->bfd);
466                set_jcr_job_status(jcr, JS_ErrorTerminated);
467                Jmsg0(jcr, M_FATAL, 0, _("Network send error.\n"));
468                return 0;
469             }
470          }
471          Dmsg1(130, "Send data to SD len=%d\n", sd->msglen);
472          /*       #endif */
473          jcr->JobBytes += sd->msglen;   /* count bytes saved possibly compressed */
474          sd->msg = msgsave;             /* restore read buffer */
475
476       } /* end while read file data */
477
478
479       if (sd->msglen < 0) {
480          berrno be;
481          be.set_errno(ff_pkt->bfd.berrno);
482          Jmsg(jcr, M_ERROR, 0, _("Read error on file %s. ERR=%s\n"),
483             ff_pkt->fname, be.strerror());
484       }
485
486       bclose(&ff_pkt->bfd);              /* close file */
487       if (!bnet_sig(sd, BNET_EOD)) {     /* indicate end of file data */
488          set_jcr_job_status(jcr, JS_ErrorTerminated);
489          Jmsg0(jcr, M_FATAL, 0, _("Network send error.\n"));
490          return 0;
491       }
492    }
493    
494 #ifdef HAVE_ACL
495    /* ACL stream */
496    if (ff_pkt->flags & FO_ACL) {
497       char *acl_text;
498       /* Read ACLs for files, dirs and links */
499       if (ff_pkt->type == FT_DIREND) {
500          /* Directory: Try for default ACL*/
501          acl_t myAcl = acl_get_file(ff_pkt->fname, ACL_TYPE_DEFAULT);
502          if (!myAcl) {
503             Dmsg1(200, "No default ACL defined for directory: %s!\n", ff_pkt->fname);
504             /* If there is no default ACL get standard ACL */
505             myAcl = acl_get_file(ff_pkt->fname, ACL_TYPE_ACCESS);
506             if (!myAcl) {
507                Jmsg1(jcr, M_WARNING, 0, "Error while trying to get ACL of directory: %s!\n", ff_pkt->fname);
508             }
509          }
510          acl_text = acl_to_any_text(myAcl, NULL, ',', TEXT_ABBREVIATE);
511          /* Free memory */
512          acl_free(myAcl);
513       } else {
514          /* Files or links */
515          acl_t myAcl = acl_get_file(ff_pkt->fname, ACL_TYPE_ACCESS);
516          if (!myAcl) {
517             Jmsg1(jcr, M_WARNING, 0, "Error while trying to get ACL of file: %s!\n", ff_pkt->fname);
518             acl_free(myAcl);
519          }
520          acl_text = acl_to_any_text(myAcl, NULL, ',', TEXT_ABBREVIATE);
521          acl_free(myAcl);
522       }
523       
524       /* If there is an ACL, send it to the Storage daemon */
525       if (acl_text) {
526          sd = jcr->store_bsock;
527          pm_strcpy(&jcr->last_fname, ff_pkt->fname);
528       
529          /*
530          * Send ACL header
531          *
532          */
533          if (!bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, STREAM_UNIX_ATTRIBUTES_ACL)) {
534             set_jcr_job_status(jcr, JS_ErrorTerminated);
535             return 0;
536          }
537       
538          /* Send the buffer to the storage deamon */
539          msgsave = sd->msg;
540          sd->msg = acl_text;
541          sd->msglen = strlen(acl_text) + 1;
542          if (!bnet_send(sd)) {
543             sd->msg = msgsave;
544             sd->msglen = 0;
545             bclose(&ff_pkt->bfd);
546             set_jcr_job_status(jcr, JS_ErrorTerminated);
547             Jmsg1(jcr, M_FATAL, 0, "Error while trying to send ACL of %s to SD!\n", ff_pkt->fname);
548          } else {
549             jcr->JobBytes += sd->msglen;
550             sd->msg = msgsave;
551             bclose(&ff_pkt->bfd);
552             if (!bnet_sig(sd, BNET_EOD)) {
553                set_jcr_job_status(jcr, JS_ErrorTerminated);
554             } else {
555                Dmsg1(200, "ACL of file: %s successfully backed up!\n", ff_pkt->fname);
556             }
557          }  
558       }
559    }
560 #endif
561
562    /* Terminate any MD5 signature and send it to Storage daemon and the Director */
563    if (gotMD5 && ff_pkt->flags & FO_MD5) {
564       MD5Final(signature, &md5c);
565       bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, STREAM_MD5_SIGNATURE);
566       Dmsg1(300, "bfiled>stored:header %s\n", sd->msg);
567       memcpy(sd->msg, signature, 16);
568       sd->msglen = 16;
569       bnet_send(sd);
570       bnet_sig(sd, BNET_EOD);         /* end of MD5 */
571       gotMD5 = 0;
572
573    } else if (gotSHA1 && ff_pkt->flags & FO_SHA1) {
574    /* Terminate any SHA1 signature and send it to Storage daemon and the Director */
575       SHA1Final(&sha1c, signature);
576       bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, STREAM_SHA1_SIGNATURE);
577       Dmsg1(300, "bfiled>stored:header %s\n", sd->msg);
578       memcpy(sd->msg, signature, 20);
579       sd->msglen = 20;
580       bnet_send(sd);
581       bnet_sig(sd, BNET_EOD);         /* end of SHA1 */
582       gotMD5 = 0;
583    }
584    return 1;
585 }