]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/stored/bextract.c
Add V: to bextract and bscan
[bacula/bacula] / bacula / src / stored / bextract.c
index 00dd57a9873b6bd9c5475fc716982f6172ea45ac..45b1e73a215746b0f759fe19ba916c7ee7b29ca2 100644 (file)
@@ -42,34 +42,42 @@ static void do_extract(char *fname);
 static void record_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec);
 
 static DEVICE *dev = NULL;
-static int ofd = -1;
+static BFILE bfd;
 static JCR *jcr;
 static FF_PKT my_ff;
 static FF_PKT *ff = &my_ff;
 static BSR *bsr = NULL;
 static int extract = FALSE;
-static long record_file_index;
+static int non_support_data = 0;
 static long total = 0;
-static POOLMEM *fname;                   /* original file name */
-static POOLMEM *ofile;                   /* output name with prefix */
-static POOLMEM *lname;                   /* link name */
+static ATTR *attr;
 static char *where;
-static int wherelen;                     /* prefix length */
 static uint32_t num_files = 0;
-static struct stat statp;
 static uint32_t compress_buf_size = 70000;
 static POOLMEM *compress_buf;
-static int type;
+static int prog_name_msg = 0;
+static int win32_data_msg = 0;
+static char *VolumeName = NULL;
+
+static char *wbuf;                   /* write buffer address */
+static uint32_t wsize;               /* write size */
+static uint64_t fileAddr = 0;        /* file write address */
+
+#define CONFIG_FILE "bacula-sd.conf"
+char *configfile;
+
 
 static void usage()
 {
    fprintf(stderr,
-"\nVersion: " VERSION " (" DATE ")\n\n"
+"\nVersion: " VERSION " (" BDATE ")\n\n"
 "Usage: bextract [-d debug_level] <bacula-archive> <directory-to-store-files>\n"
 "       -b <file>       specify a bootstrap file\n"
+"       -c <file>       specify a configuration file\n"
 "       -dnn            set debug level to nn\n"
 "       -e <file>       exclude list\n"
 "       -i <file>       include list\n"
+"       -V              specify Volume names (separated by |)\n"
 "       -?              print this message\n\n");
    exit(1);
 }
@@ -82,60 +90,73 @@ int main (int argc, char *argv[])
    char line[1000];
    int got_inc = FALSE;
 
+   working_directory = "/tmp";
    my_name_is(argc, argv, "bextract");
    init_msg(NULL, NULL);             /* setup message handler */
 
    memset(ff, 0, sizeof(FF_PKT));
    init_include_exclude_files(ff);
+   binit(&bfd);
 
-   while ((ch = getopt(argc, argv, "b:d:e:i:?")) != -1) {
+   while ((ch = getopt(argc, argv, "b:c:d:e:i:V:?")) != -1) {
       switch (ch) {
-         case 'b':                    /* bootstrap file */
-           bsr = parse_bsr(NULL, optarg);
-//         dump_bsr(bsr);
-           break;
-
-         case 'd':                    /* debug level */
-           debug_level = atoi(optarg);
-           if (debug_level <= 0)
-              debug_level = 1; 
-           break;
-
-         case 'e':                    /* exclude list */
-            if ((fd = fopen(optarg, "r")) == NULL) {
-               Pmsg2(0, "Could not open exclude file: %s, ERR=%s\n",
-                 optarg, strerror(errno));
-              exit(1);
-           }
-           while (fgets(line, sizeof(line), fd) != NULL) {
-              strip_trailing_junk(line);
-               Dmsg1(900, "add_exclude %s\n", line);
-              add_fname_to_exclude_list(ff, line);
-           }
-           fclose(fd);
-           break;
+      case 'b':                    /* bootstrap file */
+        bsr = parse_bsr(NULL, optarg);
+//      dump_bsr(bsr);
+        break;
+
+      case 'c':                    /* specify config file */
+        if (configfile != NULL) {
+           free(configfile);
+        }
+        configfile = bstrdup(optarg);
+        break;
+
+      case 'd':                    /* debug level */
+        debug_level = atoi(optarg);
+        if (debug_level <= 0)
+           debug_level = 1; 
+        break;
+
+      case 'e':                    /* exclude list */
+         if ((fd = fopen(optarg, "r")) == NULL) {
+            Pmsg2(0, "Could not open exclude file: %s, ERR=%s\n",
+              optarg, strerror(errno));
+           exit(1);
+        }
+        while (fgets(line, sizeof(line), fd) != NULL) {
+           strip_trailing_junk(line);
+            Dmsg1(900, "add_exclude %s\n", line);
+           add_fname_to_exclude_list(ff, line);
+        }
+        fclose(fd);
+        break;
+
+      case 'i':                    /* include list */
+         if ((fd = fopen(optarg, "r")) == NULL) {
+            Pmsg2(0, "Could not open include file: %s, ERR=%s\n",
+              optarg, strerror(errno));
+           exit(1);
+        }
+        while (fgets(line, sizeof(line), fd) != NULL) {
+           strip_trailing_junk(line);
+            Dmsg1(900, "add_include %s\n", line);
+           add_fname_to_include_list(ff, 0, line);
+        }
+        fclose(fd);
+        got_inc = TRUE;
+        break;
 
-         case 'i':                    /* include list */
-            if ((fd = fopen(optarg, "r")) == NULL) {
-               Pmsg2(0, "Could not open include file: %s, ERR=%s\n",
-                 optarg, strerror(errno));
-              exit(1);
-           }
-           while (fgets(line, sizeof(line), fd) != NULL) {
-              strip_trailing_junk(line);
-               Dmsg1(900, "add_include %s\n", line);
-              add_fname_to_include_list(ff, 0, line);
-           }
-           fclose(fd);
-           got_inc = TRUE;
-           break;
+      case 'V':                    /* Volume name */
+        VolumeName = optarg;
+        break;
 
-         case '?':
-        default:
-           usage();
+      case '?':
+      default:
+        usage();
 
-      }  
-   }
+      } /* end switch */
+   } /* end while */
    argc -= optind;
    argv += optind;
 
@@ -143,6 +164,13 @@ int main (int argc, char *argv[])
       Pmsg0(0, "Wrong number of arguments: \n");
       usage();
    }
+
+   if (configfile == NULL) {
+      configfile = bstrdup(CONFIG_FILE);
+   }
+
+   parse_config(configfile);
+
    if (!got_inc) {                           /* If no include file, */
       add_fname_to_include_list(ff, 0, "/");  /*   include everything */
    }
@@ -153,14 +181,22 @@ int main (int argc, char *argv[])
    if (bsr) {
       free_bsr(bsr);
    }
+   if (prog_name_msg) {
+      Pmsg1(000, "%d Program Name and/or Program Data Stream records ignored.\n",
+        prog_name_msg);
+   }
+   if (win32_data_msg) {
+      Pmsg1(000, "%d Win32 data or Win32 gzip data stream records. Ignored.\n",
+        win32_data_msg);
+   }
    return 0;
 }
 
 static void do_extract(char *devname)
 {
-
-   jcr = setup_jcr("bextract", devname, bsr);
-   dev = setup_to_read_device(jcr);
+   struct stat statp;
+   jcr = setup_jcr("bextract", devname, bsr, VolumeName);
+   dev = setup_to_access_device(jcr, 1);    /* acquire for read */
    if (!dev) {
       exit(1);
    }
@@ -174,13 +210,9 @@ static void do_extract(char *devname)
       Emsg1(M_ERROR_TERM, 0, "%s must be a directory.\n", where);
    }
 
-   wherelen = strlen(where);
-   fname = get_pool_memory(PM_FNAME);
-   ofile = get_pool_memory(PM_FNAME);
-   lname = get_pool_memory(PM_FNAME);
-
-
-
+   free(jcr->where);
+   jcr->where = bstrdup(where);
+   attr = new_attr();
 
    compress_buf = get_memory(compress_buf_size);
 
@@ -188,16 +220,12 @@ static void do_extract(char *devname)
    /* If output file is still open, it was the last one in the
     * archive since we just hit an end of file, so close the file. 
     */
-   if (ofd >= 0) {
-      close(ofd);
-      set_statp(jcr, fname, ofile, lname, type, &statp);
+   if (is_bopen(&bfd)) {
+      set_attributes(jcr, attr, &bfd);
    }
    release_device(jcr, dev);
 
-   free_pool_memory(fname);
-   free_pool_memory(ofile);
-   free_pool_memory(lname);
-   free_pool_memory(compress_buf);
+   free_attr(attr);
    term_dev(dev);
    free_jcr(jcr);
    printf("%u files restored.\n", num_files);
@@ -209,184 +237,202 @@ static void do_extract(char *devname)
  */
 static void record_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec)
 {
+   int stat;
+
    if (rec->FileIndex < 0) {
       return;                         /* we don't want labels */
    }
 
    /* File Attributes stream */
-   if (rec->Stream == STREAM_UNIX_ATTRIBUTES) {
-      char *ap, *lp, *fp;
+
+   switch (rec->Stream) {
+   case STREAM_UNIX_ATTRIBUTES:
+   case STREAM_UNIX_ATTRIBUTES_EX:  
 
       /* If extracting, it was from previous stream, so
        * close the output file.
        */
       if (extract) {
-        if (ofd < 0) {
-            Emsg0(M_ERROR_TERM, 0, "Logic error output file should be open\n");
+        if (!is_bopen(&bfd)) {
+            Emsg0(M_ERROR, 0, _("Logic error output file should be open but is not.\n"));
         }
-        close(ofd);
-        ofd = -1;
+        set_attributes(jcr, attr, &bfd);
         extract = FALSE;
-        set_statp(jcr, fname, ofile, lname, type, &statp);
       }
 
-      if (sizeof_pool_memory(fname) < rec->data_len) {
-        fname = realloc_pool_memory(fname, rec->data_len + 1);
-      }
-      if (sizeof_pool_memory(ofile) < rec->data_len + wherelen + 1) {
-        ofile = realloc_pool_memory(ofile, rec->data_len + wherelen + 1);
+      if (!unpack_attributes_record(jcr, rec->Stream, rec->data, attr)) {
+         Emsg0(M_ERROR_TERM, 0, _("Cannot continue.\n"));
       }
-      if (sizeof_pool_memory(lname) < rec->data_len) {
-        lname = realloc_pool_memory(lname, rec->data_len + wherelen + 1);
-      }
-      *fname = 0;
-      *lname = 0;
-
-      /*             
-       * An Attributes record consists of:
-       *    File_index
-       *    Type   (FT_types)
-       *    Filename
-       *    Attributes
-       *    Link name (if file linked i.e. FT_LNK)
-       *
-       */
-      sscanf(rec->data, "%ld %d", &record_file_index, &type);
-      if (record_file_index != rec->FileIndex)
-         Emsg2(M_ERROR_TERM, 0, "Record header file index %ld not equal record index %ld\n",
-           rec->FileIndex, record_file_index);
-      ap = rec->data;
-      while (*ap++ != ' ')         /* skip record file index */
-        ;
-      while (*ap++ != ' ')         /* skip type */
-        ;
-      /* Save filename and position to attributes */
-      fp = fname;
-      while (*ap != 0) {
-        *fp++  = *ap++;
-      }
-      *fp = *ap++;                /* terminate filename & point to attribs */
 
-      /* Skip to Link name */
-      if (type == FT_LNK || type == FT_LNKSAVED) {
-        lp = ap;
-        while (*lp++ != 0) {
-           ;
-        }
-      } else {
-         lp = "";
+      if (attr->file_index != rec->FileIndex) {
+         Emsg2(M_ERROR_TERM, 0, _("Record header file index %ld not equal record index %ld\n"),
+           rec->FileIndex, attr->file_index);
       }
-
         
-      if (file_is_included(ff, fname) && !file_is_excluded(ff, fname)) {
-
-        decode_stat(ap, &statp);
-        /*
-         * Prepend the where directory so that the
-         * files are put where the user wants.
-         *
-         * We do a little jig here to handle Win32 files with
-         * a drive letter.  
-         *   If where is null and we are running on a win32 client,
-         *      change nothing.
-         *   Otherwise, if the second character of the filename is a
-         *   colon (:), change it into a slash (/) -- this creates
-         *   a reasonable pathname on most systems.
-         */
-        if (where[0] == 0 && win32_client) {
-           strcpy(ofile, fname);
-           strcpy(lname, lp);
-        } else {
-           strcpy(ofile, where);
-            if (fname[1] == ':') {
-               fname[1] = '/';
-              strcat(ofile, fname);
-               fname[1] = ':';
-           } else {
-              strcat(ofile, fname);
-           }
-           /* Fixup link name */
-           if (type == FT_LNK || type == FT_LNKSAVED) {
-               if (lp[0] == '/') {      /* if absolute path */
-                 strcpy(lname, where);
-              }       
-               /* ***FIXME**** we shouldn't have links on Windoz */
-               if (lp[1] == ':') {
-                  lp[1] = '/';
-                 strcat(lname, lp);
-                  lp[1] = ':';
-              } else {
-                 strcat(lname, lp);
-              }
+      if (file_is_included(ff, attr->fname) && !file_is_excluded(ff, attr->fname)) {
+
+        attr->data_stream = decode_stat(attr->attr, &attr->statp, &attr->LinkFI);
+        if (!is_stream_supported(attr->data_stream)) {
+           if (!non_support_data++) {
+               Jmsg(jcr, M_ERROR, 0, _("%s stream not supported on this Client.\n"),
+                 stream_to_ascii(attr->data_stream));
            }
+           extract = FALSE;
+           return;
         }
 
-           /*          Pmsg1(000, "Restoring: %s\n", ofile); */
 
-        extract = create_file(jcr, fname, ofile, lname, type, &statp, &ofd);
-        num_files++;
+        build_attr_output_fnames(jcr, attr);
 
-        if (extract) {
-            print_ls_output(ofile, lname, type, &statp);   
-        }
+        extract = FALSE;
+        stat = create_file(jcr, attr, &bfd, REPLACE_ALWAYS);   
+        switch (stat) {
+        case CF_ERROR:
+        case CF_SKIP:
+           break;
+        case CF_EXTRACT:
+           extract = TRUE;
+           print_ls_output(jcr, attr);
+           num_files++;
+           fileAddr = 0;
+           break;
+        case CF_CREATED:
+           set_attributes(jcr, attr, &bfd);
+           print_ls_output(jcr, attr);
+           num_files++;
+           fileAddr = 0;
+           break;
+        }  
       }
+      break;
 
    /* Data stream and extracting */
-   } else if (rec->Stream == STREAM_FILE_DATA) {
+   case STREAM_FILE_DATA:
+   case STREAM_SPARSE_DATA:
+   case STREAM_WIN32_DATA:  
+
       if (extract) {
-        total += rec->data_len;
-         Dmsg2(8, "Write %ld bytes, total=%ld\n", rec->data_len, total);
-        if ((uint32_t)write(ofd, rec->data, rec->data_len) != rec->data_len) {
-            Emsg1(M_ERROR_TERM, 0, "Write error: %s\n", strerror(errno));
+        if (rec->Stream == STREAM_SPARSE_DATA) {
+           ser_declare;
+           uint64_t faddr;
+           wbuf = rec->data + SPARSE_FADDR_SIZE;
+           wsize = rec->data_len - SPARSE_FADDR_SIZE;
+           ser_begin(rec->data, SPARSE_FADDR_SIZE);
+           unser_uint64(faddr);
+           if (fileAddr != faddr) {
+              fileAddr = faddr;
+              if (blseek(&bfd, (off_t)fileAddr, SEEK_SET) < 0) {
+                  Emsg2(M_ERROR_TERM, 0, _("Seek error on %s: %s\n"), 
+                    attr->ofname, strerror(errno));
+              }
+           }
+        } else {
+           wbuf = rec->data;
+           wsize = rec->data_len;
         }
+        total += wsize;
+         Dmsg2(8, "Write %u bytes, total=%u\n", wsize, total);
+        if ((uint32_t)bwrite(&bfd, wbuf, wsize) != wsize) {
+            Emsg2(M_ERROR_TERM, 0, _("Write error on %s: %s\n"), 
+              attr->ofname, strerror(errno));
+        }
+        fileAddr += wsize;
       }
+      break;
 
-   } else if (rec->Stream == STREAM_GZIP_DATA) {
+   /* GZIP data stream */
+   case STREAM_GZIP_DATA:
+   case STREAM_SPARSE_GZIP_DATA: 
+   case STREAM_WIN32_GZIP_DATA:  
 #ifdef HAVE_LIBZ
       if (extract) {
-        uLongf compress_len;
-
+        uLong compress_len;
+        int stat;
+
+        if (rec->Stream == STREAM_SPARSE_GZIP_DATA) {
+           ser_declare;
+           uint64_t faddr;
+           char ec1[50];
+           wbuf = rec->data + SPARSE_FADDR_SIZE;
+           wsize = rec->data_len - SPARSE_FADDR_SIZE;
+           ser_begin(rec->data, SPARSE_FADDR_SIZE);
+           unser_uint64(faddr);
+           if (fileAddr != faddr) {
+              fileAddr = faddr;
+              if (blseek(&bfd, (off_t)fileAddr, SEEK_SET) < 0) {
+                  Emsg3(M_ERROR, 0, _("Seek to %s error on %s: ERR=%s\n"), 
+                    edit_uint64(fileAddr, ec1), attr->ofname, berror(&bfd));
+                 extract = FALSE;
+                 return;
+              }
+           }
+        } else {
+           wbuf = rec->data;
+           wsize = rec->data_len;
+        }
         compress_len = compress_buf_size;
-        if (uncompress((Bytef *)compress_buf, &compress_len, 
-              (const Bytef *)rec->data, (uLong)rec->data_len) != Z_OK) {
-            Emsg0(M_ERROR_TERM, 0, _("Uncompression error.\n"));
+        if ((stat=uncompress((Bytef *)compress_buf, &compress_len, 
+              (const Bytef *)wbuf, (uLong)wsize) != Z_OK)) {
+            Emsg1(M_ERROR, 0, _("Uncompression error. ERR=%d\n"), stat);
+           extract = FALSE;
+           return;
         }
 
          Dmsg2(100, "Write uncompressed %d bytes, total before write=%d\n", compress_len, total);
-        if ((uLongf)write(ofd, compress_buf, (size_t)compress_len) != compress_len) {
+        if ((uLongf)bwrite(&bfd, compress_buf, (size_t)compress_len) != compress_len) {
             Pmsg0(0, "===Write error===\n");
-            Emsg2(M_ERROR_TERM, 0, "Write error on %s: %s\n", ofile, strerror(errno));
+            Emsg2(M_ERROR, 0, _("Write error on %s: %s\n"), 
+              attr->ofname, strerror(errno));
+           extract = FALSE;
+           return;
         }
         total += compress_len;
+        fileAddr += compress_len;
          Dmsg2(100, "Compress len=%d uncompressed=%d\n", rec->data_len,
            compress_len);
       }
 #else
       if (extract) {
-         Emsg0(M_ERROR_TERM, 0, "GZIP data stream found, but GZIP not configured!\n");
+         Emsg0(M_ERROR, 0, "GZIP data stream found, but GZIP not configured!\n");
+        extract = FALSE;
+        return;
       }
 #endif
+      break;
 
+   case STREAM_MD5_SIGNATURE:
+   case STREAM_SHA1_SIGNATURE:
+      break;
 
-   /* If extracting, wierd stream (not 1 or 2), close output file anyway */
-   } else if (extract) {
-      if (ofd < 0) {
-         Emsg0(M_ERROR_TERM, 0, "Logic error output file should be open\n");
+   case STREAM_PROGRAM_NAMES:
+   case STREAM_PROGRAM_DATA:
+      if (!prog_name_msg) {
+         Pmsg0(000, "Got Program Name or Data Stream. Ignored.\n");
+        prog_name_msg++;
       }
-      close(ofd);
-      ofd = -1;
-      extract = FALSE;
-      set_statp(jcr, fname, ofile, lname, type, &statp);
-   } else if (rec->Stream != STREAM_MD5_SIGNATURE) {
-      Pmsg2(0, "None of above!!! stream=%d data=%s\n", rec->Stream, rec->data);
-   }
+      break;
+
+   default:
+      /* If extracting, wierd stream (not 1 or 2), close output file anyway */
+      if (extract) {
+        if (!is_bopen(&bfd)) {
+            Emsg0(M_ERROR, 0, "Logic error output file should be open but is not.\n");
+        }
+        set_attributes(jcr, attr, &bfd);
+        extract = FALSE;
+      }
+      Jmsg(jcr, M_ERROR, 0, _("Unknown stream=%d ignored. This shouldn't happen!\n"), 
+        rec->Stream);
+      break;
+      
+   } /* end switch */
 }
 
 
 
 
 /* Dummies to replace askdir.c */
-int    dir_get_volume_info(JCR *jcr, int writing) { return 1;}
+int    dir_get_volume_info(JCR *jcr, enum get_vol_info_rw  writing) { return 1;}
 int    dir_find_next_appendable_volume(JCR *jcr) { return 1;}
 int    dir_update_volume_info(JCR *jcr, VOLUME_CAT_INFO *vol, int relabel) { return 1; }
 int    dir_create_jobmedia_record(JCR *jcr) { return 1; }