git.sur5r.net Git - bacula/bacula/blob - bacula/src/filed/backup.c

   1 /*
   2  *  Bacula File Daemon  backup.c  send file attributes and data
   3  *   to the Storage daemon.
   4  *
   5  *    Kern Sibbald, March MM
   6  *
   7  *   Version $Id$
   8  *
   9  */
  10 /*
  11    Copyright (C) 2000, 2001, 2002 Kern Sibbald and John Walker
  12
  13    This program is free software; you can redistribute it and/or
  14    modify it under the terms of the GNU General Public License as
  15    published by the Free Software Foundation; either version 2 of
  16    the License, or (at your option) any later version.
  17
  18    This program is distributed in the hope that it will be useful,
  19    but WITHOUT ANY WARRANTY; without even the implied warranty of
  20    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  21    General Public License for more details.
  22
  23    You should have received a copy of the GNU General Public
  24    License along with this program; if not, write to the Free
  25    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  26    MA 02111-1307, USA.
  27
  28  */
  29
  30 #include "bacula.h"
  31 #include "filed.h"
  32
  33 static int save_file(FF_PKT *ff_pkt, void *pkt);
  34
  35 /*
  36  * Find all the requested files and send them
  37  * to the Storage daemon.
  38  *
  39  */
  40 int blast_data_to_storage_daemon(JCR *jcr, char *addr, int port)
  41 {
  42    BSOCK *sd;
  43    int stat = 1;
  44
  45    sd = jcr->store_bsock;
  46
  47    jcr->JobStatus = JS_Running;
  48
  49    Dmsg1(10, "bfiled: opened data connection %d to stored\n", sd->fd);
  50
  51    if (!bnet_set_buffer_size(sd, MAX_NETWORK_BUFFER_SIZE, BNET_SETBUF_WRITE)) {
  52       return 0;
  53    }
  54    jcr->buf_size = sd->msglen;
  55
  56    jcr->compress_buf = (char *) bmalloc(jcr->buf_size);
  57
  58    Dmsg1(100, "set_find_options ff=%p\n", jcr->ff);
  59    set_find_options(jcr->ff, jcr->incremental, jcr->mtime);
  60    Dmsg0(10, "start find files\n");
  61
  62    /* Subroutine save_file() is called for each file */
  63    /* ***FIXME**** add FSM code */
  64    if (!find_files(jcr->ff, save_file, (void *)jcr)) {
  65       stat = 0;                       /* error */
  66    }
  67
  68    bnet_sig(sd, BNET_EOF);            /* terminate data connection */
  69
  70    if (jcr->big_buf) {
  71       free(jcr->big_buf);
  72       jcr->big_buf = NULL;
  73    }
  74    if (jcr->compress_buf) {
  75       free(jcr->compress_buf);
  76       jcr->compress_buf = NULL;
  77    }
  78    return stat;
  79 }
  80
  81 /*
  82  * Called here by find() for each file included.
  83  *
  84  *  *****FIXME*****   add FSMs File System Modules
  85  *
  86  *  Send the file and its data to the Storage daemon.
  87  */
  88 static int save_file(FF_PKT *ff_pkt, void *ijcr)
  89 {
  90    char attribs[MAXSTRING];
  91    int fid, stat, stream;
  92    size_t read_size;
  93    struct MD5Context md5c;
  94    int gotMD5 = 0;
  95    unsigned char signature[16];
  96    BSOCK *sd, *dir;
  97    JCR *jcr = (JCR *)ijcr;
  98    char *msgsave;
  99
 100    sd = jcr->store_bsock;
 101    dir = jcr->dir_bsock;
 102    jcr->num_files_examined++;         /* bump total file count */
 103
 104    switch (ff_pkt->type) {
 105    case FT_LNKSAVED:                  /* Hard linked, file already saved */
 106       break;
 107    case FT_REGE:
 108       Dmsg1(30, "FT_REGE saving: %s\n", ff_pkt->fname);
 109       break;
 110    case FT_REG:
 111       Dmsg1(30, "FT_REG saving: %s\n", ff_pkt->fname);
 112       break;
 113    case FT_LNK:
 114       Dmsg2(30, "FT_LNK saving: %s -> %s\n", ff_pkt->fname, ff_pkt->link);
 115       break;
 116    case FT_DIR:
 117       Dmsg1(30, "FT_DIR saving: %s\n", ff_pkt->link);
 118       break;
 119    case FT_SPEC:
 120       Dmsg1(30, "FT_SPEC saving: %s\n", ff_pkt->fname);
 121       break;
 122    case FT_NOACCESS:
 123       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not access %s: ERR=%s"), ff_pkt->fname,
 124          strerror(ff_pkt->ff_errno));
 125       return 1;
 126    case FT_NOFOLLOW:
 127       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not follow link %s: ERR=%s\n"), ff_pkt->fname,
 128          strerror(ff_pkt->ff_errno));
 129       return 1;
 130    case FT_NOSTAT:
 131       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not stat %s: ERR=%s\n"), ff_pkt->fname,
 132          strerror(ff_pkt->ff_errno));
 133       return 1;
 134    case FT_DIRNOCHG:
 135    case FT_NOCHG:
 136       Jmsg(jcr, M_SKIPPED, -1,  _("     Unchanged file skipped: %s\n"), ff_pkt->fname);
 137       return 1;
 138    case FT_ISARCH:
 139       Jmsg(jcr, M_NOTSAVED, -1, _("     Archive file not saved: %s\n"), ff_pkt->fname);
 140       return 1;
 141    case FT_NORECURSE:
 142       Jmsg(jcr, M_SKIPPED, -1,  _("     Recursion turned off. Directory skipped: %s\n"),
 143          ff_pkt->fname);
 144       return 1;
 145    case FT_NOFSCHG:
 146       Jmsg(jcr, M_SKIPPED, -1,  _("     File system change prohibited. Directory skipped. %s\n"),
 147          ff_pkt->fname);
 148       return 1;
 149    case FT_NOOPEN:
 150       Jmsg(jcr, M_NOTSAVED, -1, _("     Could not open directory %s: ERR=%s\n"), ff_pkt->fname,
 151          strerror(ff_pkt->ff_errno));
 152       return 1;
 153    default:
 154       Jmsg(jcr, M_ERROR, 0, _("Unknown file type %d; not saved: %s\n"), ff_pkt->type, ff_pkt->fname);
 155       return 1;
 156    }
 157
 158    if (ff_pkt->type != FT_LNKSAVED && S_ISREG(ff_pkt->statp.st_mode) &&
 159          ff_pkt->statp.st_size > 0) {
 160       if ((fid = open(ff_pkt->fname, O_RDONLY | O_BINARY)) < 0) {
 161          ff_pkt->ff_errno = errno;
 162          Jmsg(jcr, M_NOTSAVED, -1, _("Cannot open %s: ERR=%s.\n"), ff_pkt->fname, strerror(ff_pkt->ff_errno));
 163          return 1;
 164       }
 165    } else {
 166       fid = -1;
 167    }
 168
 169    Dmsg1(30, "bfiled: sending %s to stored\n", ff_pkt->fname);
 170    encode_stat(attribs, &ff_pkt->statp);
 171
 172    jcr->JobFiles++;                    /* increment number of files sent */
 173    jcr->last_fname = (char *) check_pool_memory_size(jcr->last_fname, strlen(ff_pkt->fname) + 1);
 174    strcpy(jcr->last_fname, ff_pkt->fname);
 175
 176    /*
 177     * Send Attributes header to Storage daemon
 178     *    <file-index> <stream> <info>
 179     */
 180    if (!bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, STREAM_UNIX_ATTRIBUTES)) {
 181       if (fid >= 0) {
 182          close(fid);
 183       }
 184       return 0;
 185    }
 186    Dmsg1(10, ">stored: attrhdr %s\n", sd->msg);
 187
 188    /*
 189     * Send file attributes to Storage daemon
 190     *   File_index
 191     *   File type
 192     *   Filename (full path)
 193     *   Encoded attributes
 194     *   Link name (if type==FT_LNK)
 195     * For a directory, link is the same as fname, but with trailing
 196     * slash. For a linked file, link is the link.
 197     */
 198    if (ff_pkt->type == FT_LNK) {
 199       stat = bnet_fsend(sd, "%ld %d %s%c%s%c%s%c", jcr->JobFiles,
 200                ff_pkt->type, ff_pkt->fname, 0, attribs, 0, ff_pkt->link, 0);
 201    } else if (ff_pkt->type == FT_DIR) {
 202       stat = bnet_fsend(sd, "%ld %d %s%c%s%c%c", jcr->JobFiles,
 203                ff_pkt->type, ff_pkt->link, 0, attribs, 0, 0);
 204    } else {
 205       stat = bnet_fsend(sd, "%ld %d %s%c%s%c%c", jcr->JobFiles,
 206                ff_pkt->type, ff_pkt->fname, 0, attribs, 0, 0);
 207    }
 208
 209    Dmsg2(20, ">stored: attr len=%d: %s\n", sd->msglen, sd->msg);
 210    if (!stat) {
 211       if (fid >= 0) {
 212          close(fid);
 213       }
 214       return 0;
 215    }
 216    /* send data termination sentinel */
 217    bnet_sig(sd, BNET_EOD);
 218
 219    /*
 220     * If the file has data, read it and send to the Storage daemon
 221     *
 222     */
 223    if (fid >= 0) {
 224
 225       Dmsg1(60, "Saving data, type=%d\n", ff_pkt->type);
 226       /*
 227        * Send Data header to Storage daemon
 228        *    <file-index> <stream> <info>
 229        */
 230       if (ff_pkt->flags & FO_GZIP) {
 231          stream = STREAM_GZIP_DATA;
 232          /* Adjust for compression so that output buffer is
 233           * 12 bytes + 0.1% larger than input buffer
 234           */
 235          read_size = jcr->buf_size - 12 - (jcr->buf_size / 1000) - 1;
 236       } else {
 237          stream = STREAM_FILE_DATA;
 238          read_size = jcr->buf_size;
 239       }
 240       if (!bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, stream)) {
 241          close(fid);
 242          return 0;
 243       }
 244       Dmsg1(10, ">stored: datahdr %s\n", sd->msg);
 245
 246       if (ff_pkt->flags & FO_MD5) {
 247          MD5Init(&md5c);
 248       }
 249
 250       msgsave = sd->msg;
 251       while ((sd->msglen=read(fid, sd->msg, read_size)) > 0) {
 252 #ifdef HAVE_LIBZ
 253          uLongf compress_len;
 254 #endif
 255
 256          if (ff_pkt->flags & FO_MD5) {
 257             MD5Update(&md5c, (unsigned char *) (sd->msg), sd->msglen);
 258             gotMD5 = 1;
 259          }
 260          /* ***FIXME*** add compression level options */
 261 #ifdef HAVE_LIBZ
 262          if (ff_pkt->flags & FO_GZIP) {
 263             if (compress((Bytef *)jcr->compress_buf, &compress_len,
 264                   (const Bytef *)sd->msg, (uLong)sd->msglen) != Z_OK) {
 265                Jmsg(jcr, M_ERROR, 0, _("Compression error\n"));
 266                sd->msg = msgsave;
 267                sd->msglen = 0;
 268                close(fid);
 269                return 0;
 270             }
 271             sd->msg = jcr->compress_buf;
 272             sd->msglen = compress_len;
 273          }
 274 #endif
 275          if (!bnet_send(sd)) {
 276             sd->msg = msgsave;
 277             sd->msglen = 0;
 278             close(fid);
 279             return 0;
 280          }
 281          Dmsg1(30, "Send data to FD len=%d\n", sd->msglen);
 282          jcr->JobBytes += sd->msglen;
 283       }
 284       if (sd->msglen < 0) {
 285          Jmsg(jcr, M_ERROR, 0, _("Error during save reading ERR=%s\n"), ff_pkt->fname,
 286             strerror(ff_pkt->ff_errno));
 287       }
 288       sd->msg = msgsave;
 289
 290       /* Send data termination poll signal to Storage daemon.
 291        *  NOTE possibly put this poll on a counter as specified
 292        *  by the user to improve efficiency (i.e. poll every
 293        *  other file, every third file, ...
 294        */
 295       bnet_sig(sd, BNET_EOD_POLL);
 296       Dmsg0(30, "Send EndData_Poll\n");
 297       /* ***FIXME**** change to use bget_msg() */
 298       if (bnet_recv(sd) <= 0) {
 299          close(fid);
 300          return 0;
 301       } else {
 302          if (strcmp(sd->msg, "3000 OK\n") != 0) {
 303            Jmsg1(jcr, M_ERROR, 0, _("Job aborted by Storage daemon: %s\n"), sd->msg);
 304            close(fid);
 305            return 0;
 306          }
 307       }
 308       close(fid);                        /* close file */
 309    }
 310
 311
 312    /* Terminate any MD5 signature and send it to Storage daemon and the Director */
 313    if (gotMD5 && ff_pkt->flags & FO_MD5) {
 314       MD5Final(signature, &md5c);
 315       bnet_fsend(sd, "%ld %d 0", jcr->JobFiles, STREAM_MD5_SIGNATURE);
 316       Dmsg1(10, "bfiled>stored:header %s\n", sd->msg);
 317       memcpy(sd->msg, signature, 16);
 318       sd->msglen = 16;
 319       bnet_send(sd);
 320       bnet_sig(sd, BNET_EOD);         /* end of MD5 */
 321       gotMD5 = 0;
 322    }
 323 #ifdef really_needed
 324    if (ff_pkt->type == FT_DIR) {
 325       Jmsg(jcr, M_SAVED, -1, _("     Directory saved normally: %s\n"), ff_pkt->link);
 326    } else {
 327       Jmsg(jcr, M_SAVED, -1, _("     File saved normally: %s\n"), ff_pkt->fname);
 328    }
 329 #endif
 330    return 1;
 331 }