]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/findlib/bfile.c
ebl add restore command line options
[bacula/bacula] / bacula / src / findlib / bfile.c
index 64231a5594ec526924020e6c167b33bdf8feddc4..9ef450b62e9d840d3247309401b98666cea026db 100644 (file)
@@ -9,29 +9,41 @@
  *
  */
 /*
-   Copyright (C) 2003-2004 Kern Sibbald and John Walker
+   Bacula® - The Network Backup Solution
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of
-   the License, or (at your option) any later version.
+   Copyright (C) 2003-2006 Free Software Foundation Europe e.V.
 
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
+   The main author of Bacula is Kern Sibbald, with contributions from
+   many others, a complete list can be found in the file AUTHORS.
+   This program is Free Software; you can redistribute it and/or
+   modify it under the terms of version two of the GNU General Public
+   License as published by the Free Software Foundation plus additions
+   that are listed in the file LICENSE.
+
+   This program is distributed in the hope that it will be useful, but
+   WITHOUT ANY WARRANTY; without even the implied warranty of
    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
    General Public License for more details.
 
-   You should have received a copy of the GNU General Public
-   License along with this program; if not, write to the Free
-   Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
-   MA 02111-1307, USA.
+   You should have received a copy of the GNU General Public License
+   along with this program; if not, write to the Free Software
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.
 
- */
+   Bacula® is a registered trademark of John Walker.
+   The licensor of Bacula is the Free Software Foundation Europe
+   (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
+   Switzerland, email:ftf@fsfeurope.org.
+*/
 
 #include "bacula.h"
 #include "find.h"
 
-extern int generate_job_event(JCR *jcr, const char *event);
+bool    (*python_set_prog)(JCR *jcr, const char *prog) = NULL;
+int     (*python_open)(BFILE *bfd, const char *fname, int flags, mode_t mode) = NULL;
+int     (*python_close)(BFILE *bfd) = NULL;
+ssize_t (*python_read)(BFILE *bfd, void *buf, size_t count) = NULL;
+ssize_t (*python_write)(BFILE *bfd, void *buf, size_t count) = NULL;
 
 #ifdef HAVE_DARWIN_OS
 #include <sys/paths.h>
@@ -49,6 +61,8 @@ bool is_win32_stream(int stream)
    switch (stream) {
    case STREAM_WIN32_DATA:
    case STREAM_WIN32_GZIP_DATA:
+   case STREAM_ENCRYPTED_WIN32_DATA:
+   case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
       return true;
    }
    return false;
@@ -60,39 +74,187 @@ const char *stream_to_ascii(int stream)
 
    switch (stream) {
    case STREAM_GZIP_DATA:
-      return "GZIP data";
+      return _("GZIP data");
    case STREAM_SPARSE_GZIP_DATA:
-      return "GZIP sparse data";
+      return _("GZIP sparse data");
    case STREAM_WIN32_DATA:
-      return "Win32 data";
+      return _("Win32 data");
    case STREAM_WIN32_GZIP_DATA:
-      return "Win32 GZIP data";
+      return _("Win32 GZIP data");
    case STREAM_UNIX_ATTRIBUTES:
-      return "File attributes";
+      return _("File attributes");
    case STREAM_FILE_DATA:
-      return "File data";
-   case STREAM_MD5_SIGNATURE:
-      return "MD5 signature";
+      return _("File data");
+   case STREAM_MD5_DIGEST:
+      return _("MD5 digest");
    case STREAM_UNIX_ATTRIBUTES_EX:
-      return "Extended attributes";
+      return _("Extended attributes");
    case STREAM_SPARSE_DATA:
-      return "Sparse data";
+      return _("Sparse data");
    case STREAM_PROGRAM_NAMES:
-      return "Program names";
+      return _("Program names");
    case STREAM_PROGRAM_DATA:
-      return "Program data";
-   case STREAM_SHA1_SIGNATURE:
-      return "SHA1 signature";
+      return _("Program data");
+   case STREAM_SHA1_DIGEST:
+      return _("SHA1 digest");
    case STREAM_MACOS_FORK_DATA:
-      return "HFS+ resource fork";
+      return _("HFS+ resource fork");
    case STREAM_HFSPLUS_ATTRIBUTES:
-      return "HFS+ Finder Info";
+      return _("HFS+ Finder Info");
+   case STREAM_SHA256_DIGEST:
+      return _("SHA256 digest");
+   case STREAM_SHA512_DIGEST:
+      return _("SHA512 digest");
+   case STREAM_SIGNED_DIGEST:
+      return _("Signed digest");
+   case STREAM_ENCRYPTED_FILE_DATA:
+      return _("Encrypted File data");
+   case STREAM_ENCRYPTED_FILE_GZIP_DATA:
+      return _("Encrypted GZIP data");
+   case STREAM_ENCRYPTED_WIN32_DATA:
+      return _("Encrypted Win32 data");
+   case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
+      return _("Encrypted Win32 GZIP data");
+   case STREAM_ENCRYPTED_MACOS_FORK_DATA:
+      return _("Encrypted HFS+ resource fork");
    default:
       sprintf(buf, "%d", stream);
       return (const char *)buf;
    }
 }
 
+   
+void int64_LE2BE(int64_t* pBE, const int64_t v)
+{
+   /* convert little endian to big endian */
+   if (htonl(1) != 1L) { /* no work if on little endian machine */
+           memcpy(pBE, &v, sizeof(int64_t));
+   } else {
+           int i;
+           uint8_t rv[sizeof(int64_t)];
+           uint8_t *pv = (uint8_t *) &v;
+
+           for (i = 0; i < 8; i++) {
+              rv[i] = pv[7 - i];
+           }
+           memcpy(pBE, &rv, sizeof(int64_t));
+   }    
+}
+
+
+void int32_LE2BE(int32_t* pBE, const int32_t v)
+{
+   /* convert little endian to big endian */
+   if (htonl(1) != 1L) { /* no work if on little endian machine */
+           memcpy(pBE, &v, sizeof(int32_t));
+   } else {
+           int i;
+           uint8_t rv[sizeof(int32_t)];
+           uint8_t *pv = (uint8_t *) &v;
+
+           for (i = 0; i < 4; i++) {
+              rv[i] = pv[3 - i];
+           }
+           memcpy(pBE, &rv, sizeof(int32_t));
+   }    
+}
+
+
+bool processWin32BackupAPIBlock (BFILE *bfd, void *pBuffer, ssize_t dwSize)
+{
+   /* pByte contains the buffer 
+      dwSize the len to be processed.  function assumes to be
+      called in successive incremental order over the complete
+      BackupRead stream beginning at pos 0 and ending at the end.
+    */
+
+   PROCESS_WIN32_BACKUPAPIBLOCK_CONTEXT* pContext = &(bfd->win32DecompContext);
+   bool bContinue = false;
+   int64_t dwDataOffset = 0;
+   int64_t dwDataLen;
+
+   /* Win32 Stream Header size without name of stream.
+    * = sizeof (WIN32_STREAM_ID)- sizeof(WCHAR*); 
+    */
+   int32_t dwSizeHeader = 20; 
+
+   do {
+      if (pContext->liNextHeader >= dwSize) {
+         dwDataLen = dwSize-dwDataOffset;
+         bContinue = false; /* 1 iteration is enough */
+      } else {
+         dwDataLen = pContext->liNextHeader-dwDataOffset;
+         bContinue = true; /* multiple iterations may be necessary */
+      }
+
+      /* flush */
+      /* copy block of real DATA */
+      if (pContext->bIsInData) {
+         if (bwrite(bfd, ((char *)pBuffer)+dwDataOffset, dwDataLen) != (ssize_t)dwDataLen)
+            return false;
+      }
+
+      if (pContext->liNextHeader < dwSize) {/* is a header in this block ? */
+         int32_t dwOffsetTarget;
+         int32_t dwOffsetSource;
+
+         if (pContext->liNextHeader < 0) {
+            /* start of header was before this block, so we
+             * continue with the part in the current block 
+             */
+            dwOffsetTarget = -pContext->liNextHeader;
+            dwOffsetSource = 0;
+         } else {
+            /* start of header is inside of this block */
+            dwOffsetTarget = 0;
+            dwOffsetSource = pContext->liNextHeader;
+         }
+
+         int32_t dwHeaderPartLen = dwSizeHeader-dwOffsetTarget;
+         bool bHeaderIsComplete;
+
+         if (dwHeaderPartLen <= dwSize-dwOffsetSource) {
+            /* header (or rest of header) is completely available
+               in current block 
+             */
+            bHeaderIsComplete = true;
+         } else {
+            /* header will continue in next block */
+            bHeaderIsComplete = false;
+            dwHeaderPartLen = dwSize-dwOffsetSource;
+         }
+
+         /* copy the available portion of header to persistent copy */
+         memcpy(((char *)&pContext->header_stream)+dwOffsetTarget, ((char *)pBuffer)+dwOffsetSource, dwHeaderPartLen);
+
+         /* recalculate position of next header */
+         if (bHeaderIsComplete) {
+            /* convert stream name size (32 bit little endian) to machine type */
+            int32_t dwNameSize; 
+            int32_LE2BE (&dwNameSize, pContext->header_stream.dwStreamNameSize);
+            dwDataOffset = dwNameSize+pContext->liNextHeader+dwSizeHeader;
+
+            /* convert stream size (64 bit little endian) to machine type */
+            int64_LE2BE (&(pContext->liNextHeader), pContext->header_stream.Size);
+            pContext->liNextHeader += dwDataOffset;
+
+            pContext->bIsInData = pContext->header_stream.dwStreamId == WIN32_BACKUP_DATA;
+            if (dwDataOffset == dwSize)
+               bContinue = false;
+         } else {
+            /* stop and continue with next block */
+            bContinue = false;
+            pContext->bIsInData = false;
+         }
+      }
+   } while (bContinue);
+
+   /* set "NextHeader" relative to the beginning of the next block */
+   pContext->liNextHeader-= dwSize;
+
+   return TRUE;
+}
+
 
 
 /* ===============================================================
@@ -102,13 +264,12 @@ const char *stream_to_ascii(int stream)
  * ===============================================================
  */
 
-#if defined(HAVE_CYGWIN) || defined(HAVE_WIN32)
+#if defined(HAVE_WIN32)
 
 void unix_name_to_win32(POOLMEM **win32_name, char *name);
 extern "C" HANDLE get_osfhandle(int fd);
 
 
-
 void binit(BFILE *bfd)
 {
    memset(bfd, 0, sizeof(BFILE));
@@ -158,41 +319,54 @@ bool have_win32_api()
 }
 
 
-
 /*
- * Return 1 if we support the stream
- *        0 if we do not support the stream
+ * Return true  if we support the stream
+ *        false if we do not support the stream
+ *
+ *  This code is running under Win32, so we
+ *    do not need #ifdef on MACOS ...
  */
-bool is_stream_supported(int stream)
+bool is_restore_stream_supported(int stream)
 {
-   /* No Win32 backup on this machine */
    switch (stream) {
+
+/* Streams known not to be supported */
 #ifndef HAVE_LIBZ
    case STREAM_GZIP_DATA:
    case STREAM_SPARSE_GZIP_DATA:
-      return 0;
-#endif
-   case STREAM_WIN32_DATA:
    case STREAM_WIN32_GZIP_DATA:
-      return have_win32_api();
-
+#endif
    case STREAM_MACOS_FORK_DATA:
    case STREAM_HFSPLUS_ATTRIBUTES:
+   case STREAM_ENCRYPTED_MACOS_FORK_DATA:
       return false;
 
    /* Known streams */
 #ifdef HAVE_LIBZ
    case STREAM_GZIP_DATA:
    case STREAM_SPARSE_GZIP_DATA:
+   case STREAM_WIN32_GZIP_DATA:
 #endif
+   case STREAM_WIN32_DATA:
    case STREAM_UNIX_ATTRIBUTES:
    case STREAM_FILE_DATA:
-   case STREAM_MD5_SIGNATURE:
+   case STREAM_MD5_DIGEST:
    case STREAM_UNIX_ATTRIBUTES_EX:
    case STREAM_SPARSE_DATA:
    case STREAM_PROGRAM_NAMES:
    case STREAM_PROGRAM_DATA:
-   case STREAM_SHA1_SIGNATURE:
+   case STREAM_SHA1_DIGEST:
+#ifdef HAVE_SHA2
+   case STREAM_SHA256_DIGEST:
+   case STREAM_SHA512_DIGEST:
+#endif
+#ifdef HAVE_CRYPTO
+   case STREAM_SIGNED_DIGEST:
+   case STREAM_ENCRYPTED_FILE_DATA:
+   case STREAM_ENCRYPTED_FILE_GZIP_DATA:
+   case STREAM_ENCRYPTED_WIN32_DATA:
+   case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
+#endif
    case 0:                            /* compatibility with old tapes */
       return true;
    }
@@ -207,12 +381,22 @@ HANDLE bget_handle(BFILE *bfd)
 int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
 {
    POOLMEM *win32_fname;
+   POOLMEM *win32_fname_wchar;
+
    DWORD dwaccess, dwflags, dwshare;
 
    /* Convert to Windows path format */
    win32_fname = get_pool_memory(PM_FNAME);
+   win32_fname_wchar = get_pool_memory(PM_FNAME);
+   
    unix_name_to_win32(&win32_fname, (char *)fname);
 
+   if (!(p_CreateFileA || p_CreateFileW))
+      return 0;
+
+   if (p_CreateFileW && p_MultiByteToWideChar)
+      make_win32_path_UTF8_2_wchar(&win32_fname_wchar, fname);
+
    if (flags & O_CREAT) {             /* Create */
       if (bfd->use_backup_api) {
          dwaccess = GENERIC_WRITE|FILE_ALL_ACCESS|WRITE_OWNER|WRITE_DAC|ACCESS_SYSTEM_SECURITY;
@@ -221,13 +405,26 @@ int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
          dwaccess = GENERIC_WRITE;
          dwflags = 0;
       }
-      bfd->fh = CreateFile(win32_fname,
-             dwaccess,                /* Requested access */
-             0,                       /* Shared mode */
-             NULL,                    /* SecurityAttributes */
-             CREATE_ALWAYS,           /* CreationDisposition */
-             dwflags,                 /* Flags and attributes */
-             NULL);                   /* TemplateFile */
+
+      // unicode or ansii open for create write
+      if (p_CreateFileW && p_MultiByteToWideChar) {   
+         bfd->fh = p_CreateFileW((LPCWSTR)win32_fname_wchar,
+                dwaccess,                /* Requested access */
+                0,                       /* Shared mode */
+                NULL,                    /* SecurityAttributes */
+                CREATE_ALWAYS,           /* CreationDisposition */
+                dwflags,                 /* Flags and attributes */
+                NULL);                   /* TemplateFile */
+      } else {
+         bfd->fh = p_CreateFileA(win32_fname,
+                dwaccess,                /* Requested access */
+                0,                       /* Shared mode */
+                NULL,                    /* SecurityAttributes */
+                CREATE_ALWAYS,           /* CreationDisposition */
+                dwflags,                 /* Flags and attributes */
+                NULL);                   /* TemplateFile */
+      }
+
       bfd->mode = BF_WRITE;
 
    } else if (flags & O_WRONLY) {     /* Open existing for write */
@@ -238,13 +435,27 @@ int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
          dwaccess = GENERIC_WRITE;
          dwflags = 0;
       }
-      bfd->fh = CreateFile(win32_fname,
-             dwaccess,                /* Requested access */
-             0,                       /* Shared mode */
-             NULL,                    /* SecurityAttributes */
-             OPEN_EXISTING,           /* CreationDisposition */
-             dwflags,                 /* Flags and attributes */
-             NULL);                   /* TemplateFile */
+
+      // unicode or ansii open for open existing write
+      if (p_CreateFileW && p_MultiByteToWideChar) {   
+         bfd->fh = p_CreateFileW((LPCWSTR)win32_fname_wchar,
+                dwaccess,                /* Requested access */
+                0,                       /* Shared mode */
+                NULL,                    /* SecurityAttributes */
+                OPEN_EXISTING,           /* CreationDisposition */
+                dwflags,                 /* Flags and attributes */
+                NULL);                   /* TemplateFile */
+      } else {
+         bfd->fh = p_CreateFileA(win32_fname,
+                dwaccess,                /* Requested access */
+                0,                       /* Shared mode */
+                NULL,                    /* SecurityAttributes */
+                OPEN_EXISTING,           /* CreationDisposition */
+                dwflags,                 /* Flags and attributes */
+                NULL);                   /* TemplateFile */
+
+      }
+
       bfd->mode = BF_WRITE;
 
    } else {                           /* Read */
@@ -257,13 +468,26 @@ int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
          dwflags = 0;
          dwshare = FILE_SHARE_READ|FILE_SHARE_WRITE;
       }
-      bfd->fh = CreateFile(win32_fname,
-             dwaccess,                /* Requested access */
-             dwshare,                 /* Share modes */
-             NULL,                    /* SecurityAttributes */
-             OPEN_EXISTING,           /* CreationDisposition */
-             dwflags,                 /* Flags and attributes */
-             NULL);                   /* TemplateFile */
+
+      // unicode or ansii open for open existing read
+      if (p_CreateFileW && p_MultiByteToWideChar) {   
+         bfd->fh = p_CreateFileW((LPCWSTR)win32_fname_wchar,
+                dwaccess,                /* Requested access */
+                dwshare,                 /* Share modes */
+                NULL,                    /* SecurityAttributes */
+                OPEN_EXISTING,           /* CreationDisposition */
+                dwflags,                 /* Flags and attributes */
+                NULL);                   /* TemplateFile */
+      } else {
+         bfd->fh = p_CreateFileA(win32_fname,
+                dwaccess,                /* Requested access */
+                dwshare,                 /* Share modes */
+                NULL,                    /* SecurityAttributes */
+                OPEN_EXISTING,           /* CreationDisposition */
+                dwflags,                 /* Flags and attributes */
+                NULL);                   /* TemplateFile */
+      }
+
       bfd->mode = BF_READ;
    }
 
@@ -275,6 +499,9 @@ int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
    }
    bfd->errmsg = NULL;
    bfd->lpContext = NULL;
+   bfd->win32DecompContext.bIsInData = false;
+   bfd->win32DecompContext.liNextHeader = 0;
+   free_pool_memory(win32_fname_wchar);
    free_pool_memory(win32_fname);
    return bfd->mode == BF_CLOSED ? -1 : 1;
 }
@@ -402,10 +629,19 @@ bool is_bopen(BFILE *bfd)
    return bfd->mode != BF_CLOSED;
 }
 
-off_t blseek(BFILE *bfd, off_t offset, int whence)
+boffset_t blseek(BFILE *bfd, boffset_t offset, int whence)
 {
-   /* ****FIXME**** this must be implemented if we want to read Win32 Archives */
-   return -1;
+   LONG  offset_low = (LONG)offset;
+   LONG  offset_high = (LONG)(offset >> 32);
+   DWORD dwResult;
+
+   dwResult = SetFilePointer(bfd->fh, offset_low, &offset_high, whence);
+
+   if (dwResult == INVALID_SET_FILE_POINTER && GetLastError() != NO_ERROR) {
+      return (boffset_t)-1;
+   }
+
+   return ((boffset_t)offset_high << 32) | dwResult;
 }
 
 #else  /* Unix systems */
@@ -459,29 +695,31 @@ bool set_prog(BFILE *bfd, char *prog, JCR *jcr)
       return true;                    /* already setup */
    }
 
-   int stat = generate_job_event(jcr, "Reader");
-   if (stat == 1 && bfd->pio.fo && bfd->pio.fr && bfd->pio.fc) {
+   if (python_set_prog(jcr, prog)) {
+      Dmsg1(000, "Set prog=%s\n", prog);
       bfd->prog = prog;
       bfd->jcr = jcr;
       return true;
    }
 #endif
+   Dmsg0(000, "No prog set\n");
    bfd->prog = NULL;
    return false;
 
 }
 
-
-bool is_stream_supported(int stream)
+/* 
+ * This code is running on a non-Win32 machine 
+ */
+bool is_restore_stream_supported(int stream)
 {
    /* No Win32 backup on this machine */
-   switch (stream) {
+     switch (stream) {
 #ifndef HAVE_LIBZ
    case STREAM_GZIP_DATA:
    case STREAM_SPARSE_GZIP_DATA:
+   case STREAM_WIN32_GZIP_DATA:    
 #endif
-   case STREAM_WIN32_DATA:
-   case STREAM_WIN32_GZIP_DATA:
 #ifndef HAVE_DARWIN_OS
    case STREAM_MACOS_FORK_DATA:
    case STREAM_HFSPLUS_ATTRIBUTES:
@@ -492,69 +730,78 @@ bool is_stream_supported(int stream)
 #ifdef HAVE_LIBZ
    case STREAM_GZIP_DATA:
    case STREAM_SPARSE_GZIP_DATA:
+   case STREAM_WIN32_GZIP_DATA:    
 #endif
+   case STREAM_WIN32_DATA:
    case STREAM_UNIX_ATTRIBUTES:
    case STREAM_FILE_DATA:
-   case STREAM_MD5_SIGNATURE:
+   case STREAM_MD5_DIGEST:
    case STREAM_UNIX_ATTRIBUTES_EX:
    case STREAM_SPARSE_DATA:
    case STREAM_PROGRAM_NAMES:
    case STREAM_PROGRAM_DATA:
-   case STREAM_SHA1_SIGNATURE:
+   case STREAM_SHA1_DIGEST:
+#ifdef HAVE_SHA2
+   case STREAM_SHA256_DIGEST:
+   case STREAM_SHA512_DIGEST:
+#endif
+#ifdef HAVE_CRYPTO
+   case STREAM_SIGNED_DIGEST:
+   case STREAM_ENCRYPTED_FILE_DATA:
+   case STREAM_ENCRYPTED_FILE_GZIP_DATA:
+   case STREAM_ENCRYPTED_WIN32_DATA:
+   case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
+#endif
 #ifdef HAVE_DARWIN_OS
    case STREAM_MACOS_FORK_DATA:
    case STREAM_HFSPLUS_ATTRIBUTES:
-#endif
-   case 0:                            /* compatibility with old tapes */
+#ifdef HAVE_CRYPTO
+   case STREAM_ENCRYPTED_MACOS_FORK_DATA:
+#endif /* HAVE_CRYPTO */
+#endif /* HAVE_DARWIN_OS */
+   case 0:   /* compatibility with old tapes */
       return true;
 
    }
-   return 0;
+   return false;
 }
 
-/* Old file reader code */
-#ifdef xxx
-   if (bfd->prog) {
-      POOLMEM *ecmd = get_pool_memory(PM_FNAME);
-      ecmd = edit_job_codes(bfd->jcr, ecmd, bfd->prog, fname);
-      const char *pmode;
-      if (flags & O_RDONLY) {
-         pmode = "r";
-      } else {
-         pmode = "w";
-      }
-      bfd->bpipe = open_bpipe(ecmd, 0, pmode);
-      if (bfd->bpipe == NULL) {
-         bfd->berrno = errno;
-         bfd->fid = -1;
-         free_pool_memory(ecmd);
-         return -1;
-      }
-      free_pool_memory(ecmd);
-      if (flags & O_RDONLY) {
-         bfd->fid = fileno(bfd->bpipe->rfd);
-      } else {
-         bfd->fid = fileno(bfd->bpipe->wfd);
-      }
-      errno = 0;
-      return bfd->fid;
-   }
-#endif
-
-
 int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
 {
    /* Open reader/writer program */
    if (bfd->prog) {
-      errno = 0;
-      return 1;
+      Dmsg1(000, "Open file %d\n", bfd->fid);
+      return python_open(bfd, fname, flags, mode);
    }
 
    /* Normal file open */
-   bfd->fid = open(fname, flags, mode);
+   Dmsg1(400, "open file %s\n", fname);
+   /* We use fnctl to set O_NOATIME if requested to avoid open error */
+   bfd->fid = open(fname, flags & ~O_NOATIME, mode);
+   /* Set O_NOATIME if possible */
+   if (bfd->fid != -1 && flags & O_NOATIME) {
+      int oldflags = fcntl(bfd->fid, F_GETFL, 0);
+      if (oldflags == -1) {
+         bfd->berrno = errno;
+         close(bfd->fid);
+         bfd->fid = -1;
+      } else {
+         int ret = fcntl(bfd->fid, F_SETFL, oldflags | O_NOATIME);
+        /* EPERM means setting O_NOATIME was not allowed  */
+         if (ret == -1 && errno != EPERM) {
+            bfd->berrno = errno;
+            close(bfd->fid);
+            bfd->fid = -1;
+         }
+      }
+   }
    bfd->berrno = errno;
    Dmsg1(400, "Open file %d\n", bfd->fid);
    errno = bfd->berrno;
+
+   bfd->win32DecompContext.bIsInData = false;
+   bfd->win32DecompContext.liNextHeader = 0;
+
    return bfd->fid;
 }
 
@@ -563,40 +810,29 @@ int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
 int bopen_rsrc(BFILE *bfd, const char *fname, int flags, mode_t mode)
 {
    POOLMEM *rsrc_fname;
-   size_t fname_len;
 
-   fname_len = strlen(fname);
    rsrc_fname = get_pool_memory(PM_FNAME);
-   bstrncpy(rsrc_fname, fname, fname_len + 1);
-   bstrncpy(rsrc_fname + fname_len, _PATH_RSRCFORKSPEC,
-      strlen(_PATH_RSRCFORKSPEC) + 1);
+   pm_strcpy(rsrc_fname, fname);
+   pm_strcat(rsrc_fname, _PATH_RSRCFORKSPEC);
    bopen(bfd, rsrc_fname, flags, mode);
    free_pool_memory(rsrc_fname);
    return bfd->fid;
 }
 #endif
 
-/* Old prog close code */
-#ifdef xxx
-   if (bfd->prog && bfd->bpipe) {
-      stat = close_bpipe(bfd->bpipe);
-      bfd->berrno = errno;
-      bfd->fid = -1;
-      bfd->bpipe = NULL;
-      return stat;
-   }
-#endif
-
 
 int bclose(BFILE *bfd)
 {
    int stat;
+
    Dmsg1(400, "Close file %d\n", bfd->fid);
-   if (bfd->fid == -1) {
-      return 0;
-   }
+
    /* Close reader/writer program */
    if (bfd->prog) {
+      return python_close(bfd);
+   }
+
+   if (bfd->fid == -1) {
       return 0;
    }
 
@@ -610,6 +846,10 @@ int bclose(BFILE *bfd)
 ssize_t bread(BFILE *bfd, void *buf, size_t count)
 {
    ssize_t stat;
+
+   if (bfd->prog) {
+      return python_read(bfd, buf, count);
+   }
    stat = read(bfd->fid, buf, count);
    bfd->berrno = errno;
    return stat;
@@ -618,6 +858,10 @@ ssize_t bread(BFILE *bfd, void *buf, size_t count)
 ssize_t bwrite(BFILE *bfd, void *buf, size_t count)
 {
    ssize_t stat;
+
+   if (bfd->prog) {
+      return python_write(bfd, buf, count);
+   }
    stat = write(bfd->fid, buf, count);
    bfd->berrno = errno;
    return stat;
@@ -628,10 +872,10 @@ bool is_bopen(BFILE *bfd)
    return bfd->fid >= 0;
 }
 
-off_t blseek(BFILE *bfd, off_t offset, int whence)
+boffset_t blseek(BFILE *bfd, boffset_t offset, int whence)
 {
-    off_t pos;
-    pos = lseek(bfd->fid, offset, whence);
+    boffset_t pos;
+    pos = (boffset_t)lseek(bfd->fid, (off_t)offset, whence);
     bfd->berrno = errno;
     return pos;
 }