]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/filed/restore.c
BFILE I/O, new console @ commands, regression, file mode restore fixes
[bacula/bacula] / bacula / src / filed / restore.c
index 2d57ef5bcc725f8313463dce92054cec0d14acce..da0f6c136fe97997476b9e064403701faf800de4 100644 (file)
@@ -7,7 +7,7 @@
  *
  */
 /*
-   Copyright (C) 2000, 2001, 2002 Kern Sibbald and John Walker
+   Copyright (C) 2000-2003 Kern Sibbald and John Walker
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
@@ -41,50 +41,67 @@ static void print_ls_output(JCR *jcr, char *fname, char *lname, int type, struct
  * Restore the requested files.
  * 
  */
-void do_restore(JCR *jcr, char *addr, int port)
+void do_restore(JCR *jcr)
 {
    int wherelen;
    BSOCK *sd;
-   char *fname;                      /* original file name */
-   char *ofile;                      /* output name with possible prefix */
-   char *lname;                      /* link name */
+   POOLMEM *fname;                   /* original file name */
+   POOLMEM *ofile;                   /* output name with possible prefix */
+   POOLMEM *lname;                   /* link name with possible prefix */
+   POOLMEM *attribsEx;               /* Extended attributes (Win32) */
    int32_t stream;
    uint32_t size;
    uint32_t VolSessionId, VolSessionTime, file_index;
    uint32_t record_file_index;
    struct stat statp;
    int extract = FALSE;
-   int ofd = -1;
-   int type;
-   uint32_t total = 0;
+   BFILE bfd;
+   int type, stat;
+   uint32_t total = 0;               /* Job total but only 32 bits for debug */
+   char *wbuf;                       /* write buffer */
+   uint32_t wsize;                   /* write size */
+   uint64_t fileAddr = 0;            /* file write address */
    
    wherelen = strlen(jcr->where);
 
+   binit(&bfd);
    sd = jcr->store_bsock;
-   jcr->JobStatus = JS_Running;
+   set_jcr_job_status(jcr, JS_Running);
 
    if (!bnet_set_buffer_size(sd, MAX_NETWORK_BUFFER_SIZE, BNET_SETBUF_READ)) {
+      set_jcr_job_status(jcr, JS_ErrorTerminated);
       return;
    }
+   jcr->buf_size = sd->msglen;
 
-   fname = (char *) get_pool_memory(PM_FNAME);
-   ofile = (char *) get_pool_memory(PM_FNAME);
-   lname = (char *) get_pool_memory(PM_FNAME);
+   fname = get_pool_memory(PM_FNAME);
+   ofile = get_pool_memory(PM_FNAME);
+   lname = get_pool_memory(PM_FNAME);
+   attribsEx = get_pool_memory(PM_FNAME);
+
+#ifdef HAVE_LIBZ
+   uint32_t compress_buf_size = jcr->buf_size + 12 + ((jcr->buf_size+999) / 1000) + 100;
+   jcr->compress_buf = (char *)bmalloc(compress_buf_size);
+#endif
 
    /* 
-    * Get a record from the Storage daemon
+    * Get a record from the Storage daemon. We are guaranteed to 
+    *  receive records in the following order:
+    *  1. Stream record header
+    *  2. Stream data
+    *       a. Attributes (Unix or Win32)
+    *   or  b. File data for the file
+    *   or  c. Possibly MD5 or SHA1 record
+    *  3. Repeat step 1
     */
-   while (bnet_recv(sd) > 0) {
+   while (bnet_recv(sd) >= 0 && !job_canceled(jcr)) {
       /*
        * First we expect a Stream Record Header 
        */
       if (sscanf(sd->msg, rec_header, &VolSessionId, &VolSessionTime, &file_index,
          &stream, &size) != 5) {
          Jmsg1(jcr, M_FATAL, 0, _("Record header scan error: %s\n"), sd->msg);
-        free_pool_memory(fname);
-        free_pool_memory(ofile);
-        free_pool_memory(lname);
-        return;
+        goto bail_out;
       }
       Dmsg2(30, "Got hdr: FilInx=%d Stream=%d.\n", file_index, stream);
 
@@ -93,43 +110,41 @@ void do_restore(JCR *jcr, char *addr, int port)
        */
       if (bnet_recv(sd) < 0) {
          Jmsg1(jcr, M_FATAL, 0, _("Data record error. ERR=%s\n"), bnet_strerror(sd));
+        goto bail_out;
       }
-      if (size != ((uint32_t) sd->msglen)) {
+      if (size != (uint32_t)sd->msglen) {
          Jmsg2(jcr, M_FATAL, 0, _("Actual data size %d not same as header %d\n"), sd->msglen, size);
-        free_pool_memory(fname);
-        free_pool_memory(ofile);
-        free_pool_memory(lname);
-        return;
+        goto bail_out;
       }
       Dmsg1(30, "Got stream data, len=%d\n", sd->msglen);
 
       /* File Attributes stream */
-      if (stream == STREAM_UNIX_ATTRIBUTES) {
-        char *ap, *lp;
+      if (stream == STREAM_UNIX_ATTRIBUTES || stream == STREAM_WIN32_ATTRIBUTES) {
+        char *ap, *lp, *fp, *apex;
+        uint32_t LinkFI;
 
          Dmsg1(30, "Stream=Unix Attributes. extract=%d\n", extract);
         /* If extracting, it was from previous stream, so
          * close the output file.
          */
         if (extract) {
-           if (ofd < 0) {
-               Emsg0(M_ABORT, 0, _("Logic error output file should be open\n"));
+           if (!is_bopen(&bfd)) {
+               Jmsg0(jcr, M_ERROR, 0, _("Logic error output file should be open\n"));
            }
-           close(ofd);
-           ofd = -1;
+           set_attributes(jcr, fname, ofile, lname, type, stream, 
+                          &statp, attribsEx, &bfd);
            extract = FALSE;
-           set_statp(jcr, fname, ofile, lname, type, &statp);
             Dmsg0(30, "Stop extracting.\n");
         }
 
         if ((int)sizeof_pool_memory(fname) <  sd->msglen) {
-           fname = (char *) realloc_pool_memory(fname, sd->msglen + 1);
+           fname = realloc_pool_memory(fname, sd->msglen + 1);
         }
-        if (sizeof_pool_memory(ofile) < sizeof_pool_memory(fname) + wherelen + 1) {
-           ofile = (char *) realloc_pool_memory(ofile, sizeof_pool_memory(fname) + wherelen + 1);
+        if ((int)sizeof_pool_memory(ofile) < sd->msglen + wherelen + 1) {
+           ofile = realloc_pool_memory(ofile, sd->msglen + wherelen + 1);
         }
-        if ((int)sizeof_pool_memory(lname) < sd->msglen) {
-           ofile = (char *) realloc_pool_memory(ofile, sd->msglen + 1);
+        if ((int)sizeof_pool_memory(lname) < sd->msglen + wherelen + 1) {
+           lname = realloc_pool_memory(lname, sd->msglen + wherelen + 1);
         }
         *fname = 0;
         *lname = 0;
@@ -141,100 +156,241 @@ void do_restore(JCR *jcr, char *addr, int port)
          *    Filename
          *    Attributes
          *    Link name (if file linked i.e. FT_LNK)
+         *    Extended attributes (Win32)
          *
          */
-         if (sscanf(sd->msg, "%d %d %s", &record_file_index, &type, fname) != 3) {
-            Emsg1(M_FATAL, 0, _("Error scanning record header: %s\n"), sd->msg);
-           /** ****FIXME**** need to cleanup */
-            Dmsg0(0, "\nError scanning header\n");
-           return;  
+         Dmsg1(100, "Attr: %s\n", sd->msg);
+         if (sscanf(sd->msg, "%d %d", &record_file_index, &type) != 2) {
+            Jmsg(jcr, M_FATAL, 0, _("Error scanning attributes: %s\n"), sd->msg);
+            Dmsg1(100, "\nError scanning attributes. %s\n", sd->msg);
+           goto bail_out;
         }
-         Dmsg3(30, "Got Attr: FilInx=%d type=%d fname=%s\n", record_file_index,
-           type, fname);
+         Dmsg2(100, "Got Attr: FilInx=%d type=%d\n", record_file_index, type);
         if (record_file_index != file_index) {
-            Emsg2(M_ABORT, 0, _("Record header file index %ld not equal record index %ld\n"),
+            Jmsg(jcr, M_FATAL, 0, _("Record header file index %ld not equal record index %ld\n"),
               file_index, record_file_index);
-            Dmsg0(0, "File index error\n");
+            Dmsg0(100, "File index error\n");
+           goto bail_out;
         }
         ap = sd->msg;
-        /* Skip to attributes */
-        while (*ap++ != 0) {
+         while (*ap++ != ' ')         /* skip record file index */
+           ;
+         while (*ap++ != ' ')         /* skip type */
            ;
+        /* Save filename and position to attributes */
+        fp = fname;
+        while (*ap != 0) {
+           *fp++  = *ap++;           /* copy filename to fname */
         }
+        *fp = *ap++;                 /* terminate filename & point to attribs */
+
         /* Skip to Link name */
-        if (type == FT_LNK) {
+        if (type == FT_LNK || type == FT_LNKSAVED) {
            lp = ap;
            while (*lp++ != 0) {
               ;
            }
-            strcat(lname, lp);        /* "save" link name */
         } else {
-           *lname = 0;
+            lp = "";
+        }
+
+        if (stream == STREAM_WIN32_ATTRIBUTES) {
+           apex = ap;                   /* start at attributes */
+           while (*apex++ != 0) {       /* skip attributes */
+              ;
+           }
+           while (*apex++ != 0) {       /* skip link name */
+              ;
+           }
+           pm_strcpy(&attribsEx, apex); /* make a copy */
+        } else {
+           *attribsEx = 0;              /* no extended attributes */
         }
 
-        decode_stat(ap, &statp);
+         Dmsg3(200, "File %s\nattrib=%s\nattribsEx=%s\n", fname, ap, attribsEx);
+
+        decode_stat(ap, &statp, &LinkFI);
         /*
          * Prepend the where directory so that the
          * files are put where the user wants.
          *
          * We do a little jig here to handle Win32 files with
-         * a drive letter.  
-         *   If where is null and we are running on a win32 client,
-         *      change nothing.
-         *   Otherwise, if the second character of the filename is a
-         *   colon (:), change it into a slash (/) -- this creates
-         *   a reasonable pathname on most systems.
+         *   a drive letter -- we simply strip the drive: from
+         *   every filename if a prefix is supplied.
+         *     
          */
-        if (jcr->where[0] == 0 && win32_client) {
+        if (jcr->where[0] == 0) {
            strcpy(ofile, fname);
+           strcpy(lname, lp);
         } else {
-           strcpy(ofile, jcr->where);
-            if (fname[1] == ':') {
-               fname[1] = '/';
-              strcat(ofile, fname);
-               fname[1] = ':';
+           char *fn;
+           strcpy(ofile, jcr->where);  /* copy prefix */
+            if (win32_client && fname[1] == ':') {
+              fn = fname+2;          /* skip over drive: */
            } else {
-              strcat(ofile, fname);
+              fn = fname;            /* take whole name */
+           }
+           /* Ensure where is terminated with a slash */
+            if (jcr->where[wherelen-1] != '/' && fn[0] != '/') {
+               strcat(ofile, "/");
+           }   
+           strcat(ofile, fn);        /* copy rest of name */
+           /*
+            * Fixup link name -- if it is an absolute path
+            */
+           if (type == FT_LNKSAVED || type == FT_LNK) {
+              int add_link;
+              /* Always add prefix to hard links (FT_LNKSAVED) and
+               *  on user request to soft links
+               */
+               if (lp[0] == '/' &&
+                  (type == FT_LNKSAVED || jcr->prefix_links)) {
+                 strcpy(lname, jcr->where);
+                 add_link = 1;
+              } else {
+                 lname[0] = 0;
+                 add_link = 0;
+              }
+               if (win32_client && lp[1] == ':') {
+                 fn = lp+2;             /* skip over drive: */
+              } else {
+                 fn = lp;               /* take whole name */
+              }
+              /* Ensure where is terminated with a slash */
+               if (add_link && jcr->where[wherelen-1] != '/' && fn[0] != '/') {
+                  strcat(lname, "/");
+              }   
+              strcat(lname, fn);     /* copy rest of link */
            }
         }
 
          Dmsg1(30, "Outfile=%s\n", ofile);
-        print_ls_output(jcr, ofile, lname, type, &statp);
 
-        extract = create_file(jcr, fname, ofile, lname, type, &statp, &ofd);
-         Dmsg1(40, "Extract=%d\n", extract);
-        if (extract) {
+        extract = FALSE;
+        stat = create_file(jcr, fname, ofile, lname, type, 
+                           stream, &statp, attribsEx, &bfd, jcr->replace);
+        switch (stat) {
+        case CF_ERROR:
+        case CF_SKIP:
+           break;
+        case CF_EXTRACT:
+           extract = TRUE;
+           P(jcr->mutex);
+           pm_strcpy(&jcr->last_fname, ofile);
+           V(jcr->mutex);
            jcr->JobFiles++;
-        }
+           fileAddr = 0;
+           print_ls_output(jcr, ofile, lname, type, &statp);
+           /* Set attributes after file extracted */
+           break;
+        case CF_CREATED:
+           jcr->JobFiles++;
+           fileAddr = 0;
+           print_ls_output(jcr, ofile, lname, type, &statp);
+           /* set attributes now because file will not be extracted */
+           set_attributes(jcr, fname, ofile, lname, type, stream, 
+                          &statp, attribsEx, &bfd);
+           break;
+        }  
+
         jcr->num_files_examined++;
 
       /* Data stream */
-      } else if (stream == STREAM_FILE_DATA) {
+      } else if (stream == STREAM_FILE_DATA || stream == STREAM_SPARSE_DATA) {
         if (extract) {
-            Dmsg2(30, "Write %d bytes, total before write=%d\n", sd->msglen, total);
-           if (write(ofd, sd->msg, sd->msglen) != sd->msglen) {
+           if (stream == STREAM_SPARSE_DATA) {
+              ser_declare;
+              uint64_t faddr;
+              char ec1[50];
+
+              wbuf = sd->msg + SPARSE_FADDR_SIZE;
+              wsize = sd->msglen - SPARSE_FADDR_SIZE;
+              ser_begin(sd->msg, SPARSE_FADDR_SIZE);
+              unser_uint64(faddr);
+              if (fileAddr != faddr) {
+                 fileAddr = faddr;
+                 if (blseek(&bfd, (off_t)fileAddr, SEEK_SET) < 0) {
+                     Jmsg3(jcr, M_ERROR, 0, _("Seek to %s error on %s: ERR=%s\n"),
+                        edit_uint64(fileAddr, ec1), ofile, strerror(errno));
+                    goto bail_out;
+                 }
+              }
+           } else {
+              wbuf = sd->msg;
+              wsize = sd->msglen;
+           }
+            Dmsg2(30, "Write %u bytes, total before write=%u\n", wsize, total);
+           if ((uint32_t)bwrite(&bfd, wbuf, wsize) != wsize) {
                Dmsg0(0, "===Write error===\n");
-               Jmsg2(jcr, M_ERROR, 0, "Write error on %s: %s\n", ofile, strerror(errno));
-              free_pool_memory(fname);
-              free_pool_memory(ofile);
-              free_pool_memory(lname);
-              return;
+               Jmsg2(jcr, M_ERROR, 0, _("Write error on %s: %s\n"), ofile, strerror(errno));
+              goto bail_out;
            }
-           total += sd->msglen;
-           jcr->JobBytes += sd->msglen;
+           total += wsize;
+           jcr->JobBytes += wsize;
+           fileAddr += wsize;
         }
+       
+      /* GZIP data stream */
+      } else if (stream == STREAM_GZIP_DATA || stream == STREAM_SPARSE_GZIP_DATA) {
+#ifdef HAVE_LIBZ
+        if (extract) {
+           ser_declare;
+           uLong compress_len;
+           uint64_t faddr;
+           char ec1[50];
+           int stat;
 
+           if (stream == STREAM_SPARSE_GZIP_DATA) {
+              wbuf = sd->msg + SPARSE_FADDR_SIZE;
+              wsize = sd->msglen - SPARSE_FADDR_SIZE;
+              ser_begin(sd->msg, SPARSE_FADDR_SIZE);
+              unser_uint64(faddr);
+              if (fileAddr != faddr) {
+                 fileAddr = faddr;
+                 if (blseek(&bfd, (off_t)fileAddr, SEEK_SET) < 0) {
+                     Jmsg3(jcr, M_ERROR, 0, _("Seek to %s error on %s: ERR=%s\n"),
+                        edit_uint64(fileAddr, ec1), ofile, strerror(errno));
+                    goto bail_out;
+                 }
+              }
+           } else {
+              wbuf = sd->msg;
+              wsize = sd->msglen;
+           }
+           compress_len = compress_buf_size;
+            Dmsg2(100, "Comp_len=%d msglen=%d\n", compress_len, wsize);
+           if ((stat=uncompress((Byte *)jcr->compress_buf, &compress_len, 
+                 (const Byte *)wbuf, (uLong)wsize)) != Z_OK) {
+               Jmsg(jcr, M_ERROR, 0, _("Uncompression error. ERR=%d\n"), stat);
+              goto bail_out;
+           }
+
+            Dmsg2(100, "Write uncompressed %d bytes, total before write=%d\n", compress_len, total);
+           if ((uLong)bwrite(&bfd, jcr->compress_buf, compress_len) != compress_len) {
+               Dmsg0(0, "===Write error===\n");
+               Jmsg2(jcr, M_ERROR, 0, "Write error on %s: %s\n", ofile, strerror(errno));
+              goto bail_out;
+           }
+           total += compress_len;
+           jcr->JobBytes += compress_len;
+           fileAddr += compress_len;
+        }
+#else
+        if (extract) {
+            Jmsg(jcr, M_ERROR, 0, "GZIP data stream found, but GZIP not configured!\n");
+           goto bail_out;
+        }
+#endif
       /* If extracting, wierd stream (not 1 or 2), close output file anyway */
       } else if (extract) {
          Dmsg1(30, "Found wierd stream %d\n", stream);
-        if (ofd < 0) {
-            Emsg0(M_ABORT, 0, _("Logic error output file should be open\n"));
+        if (!is_bopen(&bfd)) {
+            Jmsg0(jcr, M_ERROR, 0, _("Logic error output file should be open but is not.\n"));
         }
-        close(ofd);
-        ofd = -1;
+        set_attributes(jcr, fname, ofile, lname, type, stream, 
+                       &statp, attribsEx, &bfd);
         extract = FALSE;
-        set_statp(jcr, fname, ofile, lname, type, &statp);
-      } else if (stream != STREAM_MD5_SIGNATURE) {
+      } else if (!(stream == STREAM_MD5_SIGNATURE || stream == STREAM_SHA1_SIGNATURE)) {
          Dmsg2(0, "None of above!!! stream=%d data=%s\n", stream,sd->msg);
       }
    }
@@ -242,14 +398,24 @@ void do_restore(JCR *jcr, char *addr, int port)
    /* If output file is still open, it was the last one in the
     * archive since we just hit an end of file, so close the file. 
     */
-   if (ofd >= 0) {
-      close(ofd);
-      set_statp(jcr, fname, ofile, lname, type, &statp);
+   if (is_bopen(&bfd)) {
+      set_attributes(jcr, fname, ofile, lname, type, stream, 
+                    &statp, attribsEx, &bfd);
    }
+   set_jcr_job_status(jcr, JS_Terminated);
+   goto ok_out;
 
+bail_out:
+   set_jcr_job_status(jcr, JS_ErrorTerminated);
+ok_out:
+   if (jcr->compress_buf) {
+      free(jcr->compress_buf);
+      jcr->compress_buf = NULL;
+   }
    free_pool_memory(fname);
    free_pool_memory(ofile);
    free_pool_memory(lname);
+   free_pool_memory(attribsEx);
    Dmsg2(10, "End Do Restore. Files=%d Bytes=%" lld "\n", jcr->JobFiles,
       jcr->JobBytes);
 }         
@@ -262,8 +428,8 @@ extern char *getgroup(gid_t gid);
  */
 static void print_ls_output(JCR *jcr, char *fname, char *lname, int type, struct stat *statp)
 {
-   /* ********FIXME******** make memory pool */
-   char buf[1000]; 
+   char buf[2000]; 
+   char ec1[30];
    char *p, *f;
    int n;
 
@@ -272,24 +438,26 @@ static void print_ls_output(JCR *jcr, char *fname, char *lname, int type, struct
    p += n;
    n = sprintf(p, "%-8.8s %-8.8s", getuser(statp->st_uid), getgroup(statp->st_gid));
    p += n;
-   n = sprintf(p, "%8" lld " ", (uint64_t)statp->st_size);
+   n = sprintf(p, "%8.8s ", edit_uint64(statp->st_size, ec1));
    p += n;
    p = encode_time(statp->st_ctime, p);
    *p++ = ' ';
    *p++ = ' ';
-   for (f=fname; *f; )
+   for (f=fname; *f && (p-buf) < (int)sizeof(buf)-10; ) {
       *p++ = *f++;
+   }
    if (type == FT_LNK) {
       *p++ = ' ';
       *p++ = '-';
       *p++ = '>';
       *p++ = ' ';
       /* Copy link name */
-      for (f=lname; *f; )
+      for (f=lname; *f && (p-buf) < (int)sizeof(buf)-10; ) {
         *p++ = *f++;
+      }
    }
    *p++ = '\n';
    *p = 0;
    Dmsg0(20, buf);
-   Jmsg(jcr, M_INFO, 0, buf);
+   Jmsg(jcr, M_RESTORED, 0, "%s", buf);
 }