]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/findlib/bfile.c
Fix bug #2338 to not truncate already truncated volumes
[bacula/bacula] / bacula / src / findlib / bfile.c
index f2ff68dbaa9c7c1f52820cdab90fb92272c345b5..3c6e611874fcdc66a95f14c9f4ccfe876b753758 100644 (file)
@@ -1,3 +1,21 @@
+/*
+   Bacula(R) - The Network Backup Solution
+
+   Copyright (C) 2000-2015 Kern Sibbald
+
+   The original author of Bacula is Kern Sibbald, with contributions
+   from many others, a complete list can be found in the file AUTHORS.
+
+   You may use this file and others of this release according to the
+   license defined in the LICENSE file, which includes the Affero General
+   Public License, v3.0 ("AGPLv3") and some additional permissions and
+   terms pursuant to its AGPLv3 Section 7.
+
+   This notice must be preserved when any source code is 
+   conveyed and/or propagated.
+
+   Bacula(R) is a registered trademark of Kern Sibbald.
+*/
 /*
  *  Bacula low level File I/O routines.  This routine simulates
  *    open(), read(), write(), and close(), but using native routines.
  *
  *    Kern Sibbald, April MMIII
  *
- *   Version $Id$
- *
  */
-/*
-   Copyright (C) 2000-2003 Kern Sibbald and John Walker
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of
-   the License, or (at your option) any later version.
+#include "bacula.h"
+#include "find.h"
 
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
-   General Public License for more details.
+const int dbglvl = 200;
 
-   You should have received a copy of the GNU General Public
-   License along with this program; if not, write to the Free
-   Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
-   MA 02111-1307, USA.
+int       (*plugin_bopen)(BFILE *bfd, const char *fname, uint64_t flags, mode_t mode) = NULL;
+int       (*plugin_bclose)(BFILE *bfd) = NULL;
+ssize_t   (*plugin_bread)(BFILE *bfd, void *buf, size_t count) = NULL;
+ssize_t   (*plugin_bwrite)(BFILE *bfd, void *buf, size_t count) = NULL;
+boffset_t (*plugin_blseek)(BFILE *bfd, boffset_t offset, int whence) = NULL;
 
- */
 
-#include "bacula.h"
-#include "find.h"
+#ifdef HAVE_DARWIN_OS
+#include <sys/paths.h>
+#endif
+
+#if !defined(HAVE_FDATASYNC)
+#define fdatasync(fd)
+#endif
+
+#ifdef HAVE_WIN32
+void pause_msg(const char *file, const char *func, int line, const char *msg)
+{
+   char buf[1000];
+   if (msg) {
+      bsnprintf(buf, sizeof(buf), "%s:%s:%d %s", file, func, line, msg);
+   } else {
+      bsnprintf(buf, sizeof(buf), "%s:%s:%d", file, func, line);
+   }
+   MessageBox(NULL, buf, "Pause", MB_OK);
+}
+#endif
 
 /* ===============================================================
- * 
- *           U N I X   AND   W I N D O W S
+ *
+ *            U N I X   AND   W I N D O W S
  *
  * ===============================================================
  */
 
-int is_win32_stream(int stream)
+bool is_win32_stream(int stream)
 {
    switch (stream) {
    case STREAM_WIN32_DATA:
    case STREAM_WIN32_GZIP_DATA:
-      return 1;
+   case STREAM_WIN32_COMPRESSED_DATA:
+   case STREAM_ENCRYPTED_WIN32_DATA:
+   case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
+   case STREAM_ENCRYPTED_WIN32_COMPRESSED_DATA:
+      return true;
    }
-   return 0;
+   return false;
 }
 
 const char *stream_to_ascii(int stream)
 {
    static char buf[20];
 
-   switch (stream) {
-   case STREAM_GZIP_DATA:
-      return "GZIP data";
-   case STREAM_SPARSE_GZIP_DATA:
-      return "GZIP sparse data";
-   case STREAM_WIN32_DATA:
-      return "Win32 data";
-   case STREAM_WIN32_GZIP_DATA:
-      return "Win32 GZIP data";
-   case STREAM_UNIX_ATTRIBUTES:
-      return "File attributes";
-   case STREAM_FILE_DATA:
-      return "File data";
-   case STREAM_MD5_SIGNATURE:
-      return "MD5 signature";
-   case STREAM_UNIX_ATTRIBUTES_EX:
-      return "Extended attributes";
-   case STREAM_SPARSE_DATA:
-      return "Sparse data";
-   case STREAM_PROGRAM_NAMES:
-      return "Program names";
-   case STREAM_PROGRAM_DATA:
-      return "Program data";
-   case STREAM_SHA1_SIGNATURE:
-      return "SHA1 signature";
-   default:
-      sprintf(buf, "%d", stream);
-      return (const char *)buf;
+   switch (stream & STREAMMASK_TYPE) {
+      case STREAM_UNIX_ATTRIBUTES:
+         return _("Unix attributes");
+      case STREAM_FILE_DATA:
+         return _("File data");
+      case STREAM_MD5_DIGEST:
+         return _("MD5 digest");
+      case STREAM_GZIP_DATA:
+         return _("GZIP data");
+      case STREAM_COMPRESSED_DATA:
+         return _("Compressed data");
+      case STREAM_UNIX_ATTRIBUTES_EX:
+         return _("Extended attributes");
+      case STREAM_SPARSE_DATA:
+         return _("Sparse data");
+      case STREAM_SPARSE_GZIP_DATA:
+         return _("GZIP sparse data");
+      case STREAM_SPARSE_COMPRESSED_DATA:
+         return _("Compressed sparse data");
+      case STREAM_PROGRAM_NAMES:
+         return _("Program names");
+      case STREAM_PROGRAM_DATA:
+         return _("Program data");
+      case STREAM_SHA1_DIGEST:
+         return _("SHA1 digest");
+      case STREAM_WIN32_DATA:
+         return _("Win32 data");
+      case STREAM_WIN32_GZIP_DATA:
+         return _("Win32 GZIP data");
+      case STREAM_WIN32_COMPRESSED_DATA:
+         return _("Win32 compressed data");
+      case STREAM_MACOS_FORK_DATA:
+         return _("MacOS Fork data");
+      case STREAM_HFSPLUS_ATTRIBUTES:
+         return _("HFS+ attribs");
+      case STREAM_UNIX_ACCESS_ACL:
+         return _("Standard Unix ACL attribs");
+      case STREAM_UNIX_DEFAULT_ACL:
+         return _("Default Unix ACL attribs");
+      case STREAM_SHA256_DIGEST:
+         return _("SHA256 digest");
+      case STREAM_SHA512_DIGEST:
+         return _("SHA512 digest");
+      case STREAM_SIGNED_DIGEST:
+         return _("Signed digest");
+      case STREAM_ENCRYPTED_FILE_DATA:
+         return _("Encrypted File data");
+      case STREAM_ENCRYPTED_WIN32_DATA:
+         return _("Encrypted Win32 data");
+      case STREAM_ENCRYPTED_SESSION_DATA:
+         return _("Encrypted session data");
+      case STREAM_ENCRYPTED_FILE_GZIP_DATA:
+         return _("Encrypted GZIP data");
+      case STREAM_ENCRYPTED_FILE_COMPRESSED_DATA:
+         return _("Encrypted compressed data");
+      case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
+         return _("Encrypted Win32 GZIP data");
+      case STREAM_ENCRYPTED_WIN32_COMPRESSED_DATA:
+         return _("Encrypted Win32 Compressed data");
+      case STREAM_ENCRYPTED_MACOS_FORK_DATA:
+         return _("Encrypted MacOS fork data");
+      case STREAM_PLUGIN_NAME:
+         return _("Plugin Name");
+      case STREAM_PLUGIN_DATA:
+         return _("Plugin Data");
+      case STREAM_RESTORE_OBJECT:
+         return _("Restore Object");
+      case STREAM_XACL_AIX_TEXT:
+         return _("AIX ACL attribs");
+      case STREAM_XACL_DARWIN_ACCESS:
+         return _("Darwin ACL attribs");
+      case STREAM_XACL_FREEBSD_DEFAULT:
+         return _("FreeBSD Default ACL attribs");
+      case STREAM_XACL_FREEBSD_ACCESS:
+         return _("FreeBSD Access ACL attribs");
+      case STREAM_XACL_HPUX_ACL_ENTRY:
+         return _("HPUX ACL attribs");
+      case STREAM_XACL_IRIX_DEFAULT:
+         return _("Irix Default ACL attribs");
+      case STREAM_XACL_IRIX_ACCESS:
+         return _("Irix Access ACL attribs");
+      case STREAM_XACL_LINUX_DEFAULT:
+         return _("Linux Default ACL attribs");
+      case STREAM_XACL_LINUX_ACCESS:
+         return _("Linux Access ACL attribs");
+      case STREAM_XACL_TRU64_DEFAULT:
+         return _("TRU64 Default ACL attribs");
+      case STREAM_XACL_TRU64_ACCESS:
+         return _("TRU64 Access ACL attribs");
+      case STREAM_XACL_SOLARIS_POSIX:
+         return _("Solaris POSIX ACL attribs");
+      case STREAM_XACL_SOLARIS_NFS4:
+         return _("Solaris NFSv4/ZFS ACL attribs");
+      case STREAM_XACL_AFS_TEXT:
+         return _("AFS ACL attribs");
+      case STREAM_XACL_AIX_AIXC:
+         return _("AIX POSIX ACL attribs");
+      case STREAM_XACL_AIX_NFS4:
+         return _("AIX NFSv4 ACL attribs");
+      case STREAM_XACL_FREEBSD_NFS4:
+         return _("FreeBSD NFSv4/ZFS ACL attribs");
+      case STREAM_XACL_HURD_DEFAULT:
+         return _("GNU Hurd Default ACL attribs");
+      case STREAM_XACL_HURD_ACCESS:
+         return _("GNU Hurd Access ACL attribs");
+      case STREAM_XACL_HURD_XATTR:
+         return _("GNU Hurd Extended attribs");
+      case STREAM_XACL_IRIX_XATTR:
+         return _("IRIX Extended attribs");
+      case STREAM_XACL_TRU64_XATTR:
+         return _("TRU64 Extended attribs");
+      case STREAM_XACL_AIX_XATTR:
+         return _("AIX Extended attribs");
+      case STREAM_XACL_OPENBSD_XATTR:
+         return _("OpenBSD Extended attribs");
+      case STREAM_XACL_SOLARIS_SYS_XATTR:
+         return _("Solaris Extensible attribs or System Extended attribs");
+      case STREAM_XACL_SOLARIS_XATTR:
+         return _("Solaris Extended attribs");
+      case STREAM_XACL_DARWIN_XATTR:
+         return _("Darwin Extended attribs");
+      case STREAM_XACL_FREEBSD_XATTR:
+         return _("FreeBSD Extended attribs");
+      case STREAM_XACL_LINUX_XATTR:
+         return _("Linux Extended attribs");
+      case STREAM_XACL_NETBSD_XATTR:
+         return _("NetBSD Extended attribs");
+      default:
+         sprintf(buf, "%d", stream);
+         return (const char *)buf;
+      }
+}
+
+/**
+ *  Convert a 64 bit little endian to a big endian
+ */
+void int64_LE2BE(int64_t* pBE, const int64_t v)
+{
+   /* convert little endian to big endian */
+   if (htonl(1) != 1L) { /* no work if on little endian machine */
+      memcpy(pBE, &v, sizeof(int64_t));
+   } else {
+      int i;
+      uint8_t rv[sizeof(int64_t)];
+      uint8_t *pv = (uint8_t *) &v;
+
+      for (i = 0; i < 8; i++) {
+         rv[i] = pv[7 - i];
+      }
+      memcpy(pBE, &rv, sizeof(int64_t));
    }
 }
 
+/**
+ *  Convert a 32 bit little endian to a big endian
+ */
+void int32_LE2BE(int32_t* pBE, const int32_t v)
+{
+   /* convert little endian to big endian */
+   if (htonl(1) != 1L) { /* no work if on little endian machine */
+      memcpy(pBE, &v, sizeof(int32_t));
+   } else {
+      int i;
+      uint8_t rv[sizeof(int32_t)];
+      uint8_t *pv = (uint8_t *) &v;
 
+      for (i = 0; i < 4; i++) {
+         rv[i] = pv[3 - i];
+      }
+      memcpy(pBE, &rv, sizeof(int32_t));
+   }
+}
 
-/* ===============================================================
- * 
- *           W I N D O W S
- *
- * ===============================================================
+
+/**
+ *  Read a BackupRead block and pull out the file data
  */
+bool processWin32BackupAPIBlock (BFILE *bfd, void *pBuffer, ssize_t dwSize)
+{
+   /* pByte contains the buffer
+      dwSize the len to be processed.  function assumes to be
+      called in successive incremental order over the complete
+      BackupRead stream beginning at pos 0 and ending at the end.
+    */
+
+   PROCESS_WIN32_BACKUPAPIBLOCK_CONTEXT* pContext = &(bfd->win32DecompContext);
+   bool bContinue = false;
+   int64_t dwDataOffset = 0;
+   int64_t dwDataLen;
+
+   /* Win32 Stream Header size without name of stream.
+    * = sizeof (WIN32_STREAM_ID)- sizeof(WCHAR*);
+    */
+   int32_t dwSizeHeader = 20;
+
+   do {
+      if (pContext->liNextHeader >= dwSize) {
+         dwDataLen = dwSize-dwDataOffset;
+         bContinue = false; /* 1 iteration is enough */
+      } else {
+         dwDataLen = pContext->liNextHeader-dwDataOffset;
+         bContinue = true; /* multiple iterations may be necessary */
+      }
+
+      /* flush */
+      /* copy block of real DATA */
+      if (pContext->bIsInData) {
+         if (bwrite(bfd, ((char *)pBuffer)+dwDataOffset, dwDataLen) != (ssize_t)dwDataLen)
+            return false;
+      }
+
+      if (pContext->liNextHeader < dwSize) {/* is a header in this block ? */
+         int32_t dwOffsetTarget;
+         int32_t dwOffsetSource;
+
+         if (pContext->liNextHeader < 0) {
+            /* start of header was before this block, so we
+             * continue with the part in the current block
+             */
+            dwOffsetTarget = -pContext->liNextHeader;
+            dwOffsetSource = 0;
+         } else {
+            /* start of header is inside of this block */
+            dwOffsetTarget = 0;
+            dwOffsetSource = pContext->liNextHeader;
+         }
+
+         int32_t dwHeaderPartLen = dwSizeHeader-dwOffsetTarget;
+         bool bHeaderIsComplete;
+
+         if (dwHeaderPartLen <= dwSize-dwOffsetSource) {
+            /* header (or rest of header) is completely available
+               in current block
+             */
+            bHeaderIsComplete = true;
+         } else {
+            /* header will continue in next block */
+            bHeaderIsComplete = false;
+            dwHeaderPartLen = dwSize-dwOffsetSource;
+         }
+
+         /* copy the available portion of header to persistent copy */
+         memcpy(((char *)&pContext->header_stream)+dwOffsetTarget, ((char *)pBuffer)+dwOffsetSource, dwHeaderPartLen);
+
+         /* recalculate position of next header */
+         if (bHeaderIsComplete) {
+            /* convert stream name size (32 bit little endian) to machine type */
+            int32_t dwNameSize;
+            int32_LE2BE (&dwNameSize, pContext->header_stream.dwStreamNameSize);
+            dwDataOffset = dwNameSize+pContext->liNextHeader+dwSizeHeader;
+
+            /* convert stream size (64 bit little endian) to machine type */
+            int64_LE2BE (&(pContext->liNextHeader), pContext->header_stream.Size);
+            pContext->liNextHeader += dwDataOffset;
+
+            pContext->bIsInData = pContext->header_stream.dwStreamId == WIN32_BACKUP_DATA;
+            if (dwDataOffset == dwSize)
+               bContinue = false;
+         } else {
+            /* stop and continue with next block */
+            bContinue = false;
+            pContext->bIsInData = false;
+         }
+      }
+   } while (bContinue);
 
-#if defined(HAVE_CYGWIN) || defined(HAVE_WIN32)
+   /* set "NextHeader" relative to the beginning of the next block */
+   pContext->liNextHeader-= dwSize;
+
+   return TRUE;
+}
 
-void unix_name_to_win32(POOLMEM **win32_name, char *name);
-extern "C" HANDLE get_osfhandle(int fd);
 
 
 
+/* ===============================================================
+ *
+ *            U N I X
+ *
+ * ===============================================================
+ */
+/* Unix */
 void binit(BFILE *bfd)
 {
    memset(bfd, 0, sizeof(BFILE));
    bfd->fid = -1;
-   bfd->mode = BF_CLOSED;
-   bfd->use_backup_api = have_win32_api();
-   bfd->errmsg = NULL;
-   bfd->lpContext = NULL;
-   bfd->lerror = 0;
-   bfd->berrno = 0;
+}
+
+/* Unix */
+bool have_win32_api()
+{
+   return false;                       /* no can do */
 }
 
 /*
  * Enables using the Backup API (win32_data).
- *   Returns 1 if function worked
- *   Returns 0 if failed (i.e. do not have Backup API on this machine)
+ *   Returns true  if function worked
+ *   Returns false if failed (i.e. do not have Backup API on this machine)
  */
-int set_win32_backup(BFILE *bfd) 
+/* Unix */
+bool set_win32_backup(BFILE *bfd)
 {
-   /* We enable if possible here */
-   bfd->use_backup_api = have_win32_api();
-   return bfd->use_backup_api;
+   return false;                       /* no can do */
 }
 
 
-int set_portable_backup(BFILE *bfd)
+/* Unix */
+bool set_portable_backup(BFILE *bfd)
 {
-   bfd->use_backup_api = 0;
-   return 1;
+   return true;                        /* no problem */
 }
 
 /*
- * Return 1 if we are NOT using Win32 BackupWrite() 
- * return 0 if are
+ * Return true  if we are writing in portable format
+ * return false if not
  */
-int is_portable_backup(BFILE *bfd) 
+/* Unix */
+bool is_portable_backup(BFILE *bfd)
 {
-   return !bfd->use_backup_api;
+   return true;                       /* portable by definition */
 }
 
-int have_win32_api()
+/* Unix */
+bool set_prog(BFILE *bfd, char *prog, JCR *jcr)
 {
-   return p_BackupRead && p_BackupWrite;
+   return false;
 }
 
-
+/* Unix */
+bool set_cmd_plugin(BFILE *bfd, JCR *jcr)
+{
+   bfd->cmd_plugin = true;
+   bfd->jcr = jcr;
+   return true;
+}
 
 /*
- * Return 1 if we support the stream
- *       0 if we do not support the stream
+ * This code is running on a non-Win32 machine
  */
-int is_stream_supported(int stream)
+/* Unix */
+bool is_restore_stream_supported(int stream)
 {
    /* No Win32 backup on this machine */
-   switch (stream) {
+     switch (stream) {
 #ifndef HAVE_LIBZ
    case STREAM_GZIP_DATA:
    case STREAM_SPARSE_GZIP_DATA:
-      return 0;
-#endif
-   case STREAM_WIN32_DATA:
    case STREAM_WIN32_GZIP_DATA:
-      return have_win32_api();
+#endif
+#ifndef HAVE_LZO
+   case STREAM_COMPRESSED_DATA:
+   case STREAM_SPARSE_COMPRESSED_DATA:
+   case STREAM_WIN32_COMPRESSED_DATA:
+   case STREAM_ENCRYPTED_FILE_COMPRESSED_DATA:
+   case STREAM_ENCRYPTED_WIN32_COMPRESSED_DATA:
+#endif
+#ifndef HAVE_DARWIN_OS
+   case STREAM_MACOS_FORK_DATA:
+   case STREAM_HFSPLUS_ATTRIBUTES:
+#endif
+      return false;
 
    /* Known streams */
 #ifdef HAVE_LIBZ
    case STREAM_GZIP_DATA:
    case STREAM_SPARSE_GZIP_DATA:
+   case STREAM_WIN32_GZIP_DATA:
+#endif
+#ifdef HAVE_LZO
+   case STREAM_COMPRESSED_DATA:
+   case STREAM_SPARSE_COMPRESSED_DATA:
+   case STREAM_WIN32_COMPRESSED_DATA:
+   case STREAM_ENCRYPTED_FILE_COMPRESSED_DATA:
+   case STREAM_ENCRYPTED_WIN32_COMPRESSED_DATA:
 #endif
+   case STREAM_WIN32_DATA:
    case STREAM_UNIX_ATTRIBUTES:
    case STREAM_FILE_DATA:
-   case STREAM_MD5_SIGNATURE:
+   case STREAM_MD5_DIGEST:
    case STREAM_UNIX_ATTRIBUTES_EX:
    case STREAM_SPARSE_DATA:
    case STREAM_PROGRAM_NAMES:
    case STREAM_PROGRAM_DATA:
-   case STREAM_SHA1_SIGNATURE:
-   case 0:                           /* compatibility with old tapes */
-      return 1;
-   }
-   return 0;
-}
-
-HANDLE bget_handle(BFILE *bfd)
-{
-   return bfd->fh;
-}
-
-int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
-{
-   POOLMEM *win32_fname;
-   DWORD dwaccess, dwflags;
-
-   /* Convert to Windows path format */
-   win32_fname = get_pool_memory(PM_FNAME);
-   unix_name_to_win32(&win32_fname, (char *)fname);
-
-   if (flags & O_CREAT) {            /* Create */
-      if (bfd->use_backup_api) {
-        dwaccess = GENERIC_WRITE|FILE_ALL_ACCESS|WRITE_OWNER|WRITE_DAC|ACCESS_SYSTEM_SECURITY;                
-        dwflags = FILE_FLAG_BACKUP_SEMANTICS;
-      } else {
-        dwaccess = GENERIC_WRITE;
-        dwflags = 0;
-      }
-      bfd->fh = CreateFile(win32_fname,
-            dwaccess,                /* Requested access */
-            0,                       /* Shared mode */
-            NULL,                    /* SecurityAttributes */
-            CREATE_ALWAYS,           /* CreationDisposition */
-            dwflags,                 /* Flags and attributes */
-            NULL);                   /* TemplateFile */
-      bfd->mode = BF_WRITE;
-
-   } else if (flags & O_WRONLY) {     /* Open existing for write */
-      if (bfd->use_backup_api) {
-#ifdef HAVE_WIN32
-         dwaccess = GENERIC_WRITE|/*FILE_ALL_ACCESS|*/WRITE_OWNER|WRITE_DAC/*|ACCESS_SYSTEM_SECURITY*/;
-#else
-         dwaccess = GENERIC_WRITE|FILE_ALL_ACCESS|WRITE_OWNER|WRITE_DAC|ACCESS_SYSTEM_SECURITY;
+   case STREAM_SHA1_DIGEST:
+#ifdef HAVE_SHA2
+   case STREAM_SHA256_DIGEST:
+   case STREAM_SHA512_DIGEST:
 #endif
-        dwflags = FILE_FLAG_BACKUP_SEMANTICS;
-      } else {
-        dwaccess = GENERIC_WRITE;
-        dwflags = 0;
-      }
-      bfd->fh = CreateFile(win32_fname,
-            dwaccess,                /* Requested access */
-            0,                       /* Shared mode */
-            NULL,                    /* SecurityAttributes */
-            OPEN_EXISTING,           /* CreationDisposition */
-            dwflags,                 /* Flags and attributes */
-            NULL);                   /* TemplateFile */
-      bfd->mode = BF_WRITE;
-
-   } else {                          /* Read */
-      if (bfd->use_backup_api) {
-        dwaccess = GENERIC_READ|READ_CONTROL|ACCESS_SYSTEM_SECURITY;
-        dwflags = FILE_FLAG_BACKUP_SEMANTICS;
-      } else {
-        dwaccess = GENERIC_READ;
-        dwflags = 0;
-      }
-      bfd->fh = CreateFile(win32_fname,
-            dwaccess,                /* Requested access */
-            FILE_SHARE_READ,         /* Shared mode */
-            NULL,                    /* SecurityAttributes */
-            OPEN_EXISTING,           /* CreationDisposition */
-            dwflags,                 /* Flags and attributes */
-            NULL);                   /* TemplateFile */
-      bfd->mode = BF_READ;
-   }
-
-   if (bfd->fh == INVALID_HANDLE_VALUE) {
-      bfd->lerror = GetLastError();
-      bfd->berrno = b_errno_win32;
-      bfd->mode = BF_CLOSED;
-   }
-   bfd->errmsg = NULL;
-   bfd->lpContext = NULL;
-   free_pool_memory(win32_fname);
-   return bfd->mode == BF_CLOSED ? -1 : 1;
-}
-
-/* 
- * Returns  0 on success
- *        -1 on error
- */
-int bclose(BFILE *bfd)
-{ 
-   int stat = 0;
+#ifdef HAVE_CRYPTO
+   case STREAM_SIGNED_DIGEST:
+   case STREAM_ENCRYPTED_FILE_DATA:
+   case STREAM_ENCRYPTED_FILE_GZIP_DATA:
+   case STREAM_ENCRYPTED_WIN32_DATA:
+   case STREAM_ENCRYPTED_WIN32_GZIP_DATA:
+#endif
+#ifdef HAVE_DARWIN_OS
+   case STREAM_MACOS_FORK_DATA:
+   case STREAM_HFSPLUS_ATTRIBUTES:
+#ifdef HAVE_CRYPTO
+   case STREAM_ENCRYPTED_MACOS_FORK_DATA:
+#endif /* HAVE_CRYPTO */
+#endif /* HAVE_DARWIN_OS */
+   case 0:   /* compatibility with old tapes */
+      return true;
 
-   if (bfd->errmsg) {
-      free_pool_memory(bfd->errmsg);
-      bfd->errmsg = NULL;
-   }
-   if (bfd->mode == BF_CLOSED) {
-      return 0;
-   }
-   if (bfd->use_backup_api && bfd->mode == BF_READ) {
-      BYTE buf[10];
-      if (!bfd->lpContext && !p_BackupRead(bfd->fh,   
-             buf,                    /* buffer */
-             (DWORD)0,               /* bytes to read */
-             &bfd->rw_bytes,         /* bytes read */
-             1,                      /* Abort */
-             1,                      /* ProcessSecurity */
-             &bfd->lpContext)) {     /* Read context */
-        stat = -1;
-      } 
-   } else if (bfd->use_backup_api && bfd->mode == BF_WRITE) {
-      BYTE buf[10];
-      if (!bfd->lpContext && !p_BackupWrite(bfd->fh,   
-             buf,                    /* buffer */
-             (DWORD)0,               /* bytes to read */
-             &bfd->rw_bytes,         /* bytes written */
-             1,                      /* Abort */
-             1,                      /* ProcessSecurity */
-             &bfd->lpContext)) {     /* Write context */
-        stat = -1;
-      } 
    }
-   if (!CloseHandle(bfd->fh)) {
-      stat = -1;
-   }
-   bfd->mode = BF_CLOSED;
-   bfd->lpContext = NULL;
-   return stat;
+   return false;
 }
 
-/*
- * Generate error message 
- */
-char *berror(BFILE *bfd)
+/* Unix */
+int bopen(BFILE *bfd, const char *fname, uint64_t flags, mode_t mode)
 {
-   LPTSTR msg;
-
-   FormatMessage(FORMAT_MESSAGE_ALLOCATE_BUFFER|
-                FORMAT_MESSAGE_FROM_SYSTEM,
-                NULL,
-                bfd->lerror,
-                0,
-                (LPTSTR)&msg,
-                0,
-                NULL);
-   strip_trailing_junk(msg);
-   if (!bfd->errmsg) {
-      bfd->errmsg = get_pool_memory(PM_FNAME);
+   if (bfd->cmd_plugin && plugin_bopen) {
+      Dmsg1(400, "call plugin_bopen fname=%s\n", fname);
+      bfd->fid = plugin_bopen(bfd, fname, flags, mode);
+      Dmsg2(400, "Plugin bopen fid=%d file=%s\n", bfd->fid, fname);
+      return bfd->fid;
    }
-   pm_strcpy(&bfd->errmsg, msg);
-   LocalFree(msg);
-   return bfd->errmsg;
-}
 
-/* Returns: bytes read on success
- *          0         on EOF
- *         -1         on error
- */
-ssize_t bread(BFILE *bfd, void *buf, size_t count)
-{
-   bfd->rw_bytes = 0;
-
-   if (bfd->use_backup_api) {
-      if (!p_BackupRead(bfd->fh,
-          (BYTE *)buf,
-          count,
-          &bfd->rw_bytes,
-          0,                           /* no Abort */
-          1,                           /* Process Security */
-          &bfd->lpContext)) {          /* Context */
-        bfd->lerror = GetLastError();
-        bfd->berrno = b_errno_win32;
-        return -1;
-      }
-   } else {
-      if (!ReadFile(bfd->fh,
-          buf,
-          count,
-          &bfd->rw_bytes,
-          NULL)) {
-        bfd->lerror = GetLastError();
-        bfd->berrno = b_errno_win32;
-        return -1;
-      }
-   }
+   /* Normal file open */
+   Dmsg1(dbglvl, "open file %s\n", fname);
 
-   return (ssize_t)bfd->rw_bytes;
-}
+   /* We use fnctl to set O_NOATIME if requested to avoid open error */
+   bfd->fid = open(fname, (flags | O_CLOEXEC) & ~O_NOATIME, mode);
 
-ssize_t bwrite(BFILE *bfd, void *buf, size_t count)
-{
-   bfd->rw_bytes = 0;
-
-   if (bfd->use_backup_api) {
-      if (!p_BackupWrite(bfd->fh,
-          (BYTE *)buf,
-          count,
-          &bfd->rw_bytes,
-          0,                           /* No abort */
-          1,                           /* Process Security */
-          &bfd->lpContext)) {          /* Context */
-        bfd->lerror = GetLastError();
-        bfd->berrno = b_errno_win32;
-        return -1;
-      }
-   } else {
-      if (!WriteFile(bfd->fh,
-          buf,
-          count,
-          &bfd->rw_bytes,
-          NULL)) {
-        bfd->lerror = GetLastError();
-        bfd->berrno = b_errno_win32;
-        return -1;
+   /* Set O_NOATIME if possible */
+   if (bfd->fid != -1 && flags & O_NOATIME) {
+      int oldflags = fcntl(bfd->fid, F_GETFL, 0);
+      if (oldflags == -1) {
+         bfd->berrno = errno;
+         close(bfd->fid);
+         bfd->fid = -1;
+      } else {
+         int ret = fcntl(bfd->fid, F_SETFL, oldflags | O_NOATIME);
+        /* EPERM means setting O_NOATIME was not allowed  */
+         if (ret == -1 && errno != EPERM) {
+            bfd->berrno = errno;
+            close(bfd->fid);
+            bfd->fid = -1;
+         }
       }
    }
-   return (ssize_t)bfd->rw_bytes;
-}
-
-int is_bopen(BFILE *bfd)
-{
-   return bfd->mode != BF_CLOSED;
-}
-
-off_t blseek(BFILE *bfd, off_t offset, int whence)
-{
-   /* ****FIXME**** this is needed if we want to read Win32 Archives */
-   return -1;
-}
-
-#else  /* Unix systems */
+   bfd->berrno = errno;
+   bfd->m_flags = flags;
+   bfd->block = 0;
+   bfd->total_bytes = 0;
+   Dmsg1(400, "Open file %d\n", bfd->fid);
+   errno = bfd->berrno;
 
-/* ===============================================================
- * 
- *           U N I X
- *
- * ===============================================================
- */
-void binit(BFILE *bfd)
-{
-   memset(bfd, 0, sizeof(BFILE));
-   bfd->fid = -1;
-}
+   bfd->win32DecompContext.bIsInData = false;
+   bfd->win32DecompContext.liNextHeader = 0;
 
-int have_win32_api()
-{ 
-   return 0;                         /* no can do */
-} 
+#if defined(HAVE_POSIX_FADVISE) && defined(POSIX_FADV_WILLNEED)
+   /* If not RDWR or WRONLY must be Read Only */
+   if (bfd->fid != -1 && !(flags & (O_RDWR|O_WRONLY))) {
+      int stat = posix_fadvise(bfd->fid, 0, 0, POSIX_FADV_WILLNEED);
+      Dmsg3(400, "Did posix_fadvise WILLNEED on %s fid=%d stat=%d\n", fname, bfd->fid, stat);
+   }
+#endif
 
-/*
- * Enables using the Backup API (win32_data).
- *   Returns 1 if function worked
- *   Returns 0 if failed (i.e. do not have Backup API on this machine)
- */
-int set_win32_backup(BFILE *bfd) 
-{
-   return 0;                         /* no can do */
+   return bfd->fid;
 }
 
-
-int set_portable_backup(BFILE *bfd)
+#ifdef HAVE_DARWIN_OS
+/* Open the resource fork of a file. */
+int bopen_rsrc(BFILE *bfd, const char *fname, uint64_t flags, mode_t mode)
 {
-   return 1;                         /* no problem */
-}
+   POOLMEM *rsrc_fname;
 
-/*
- * Return 1 if we are writing in portable format
- * return 0 if not
- */
-int is_portable_backup(BFILE *bfd) 
-{
-   return 1;                         /* portable by definition */
+   rsrc_fname = get_pool_memory(PM_FNAME);
+   pm_strcpy(rsrc_fname, fname);
+   pm_strcat(rsrc_fname, _PATH_RSRCFORKSPEC);
+   bopen(bfd, rsrc_fname, flags, mode);
+   free_pool_memory(rsrc_fname);
+   return bfd->fid;
 }
+#else /* Unix */
 
-int is_stream_supported(int stream)
-{
-   /* No Win32 backup on this machine */
-   switch (stream) {
-#ifndef HAVE_LIBZ
-   case STREAM_GZIP_DATA:
-   case STREAM_SPARSE_GZIP_DATA:
-#endif
-   case STREAM_WIN32_DATA:
-   case STREAM_WIN32_GZIP_DATA:
-      return 0;
+/* Unix */
+int bopen_rsrc(BFILE *bfd, const char *fname, uint64_t flags, mode_t mode)
+    { return -1; }
 
-   /* Known streams */
-#ifdef HAVE_LIBZ
-   case STREAM_GZIP_DATA:
-   case STREAM_SPARSE_GZIP_DATA:
 #endif
-   case STREAM_UNIX_ATTRIBUTES:
-   case STREAM_FILE_DATA:
-   case STREAM_MD5_SIGNATURE:
-   case STREAM_UNIX_ATTRIBUTES_EX:
-   case STREAM_SPARSE_DATA:
-   case STREAM_PROGRAM_NAMES:
-   case STREAM_PROGRAM_DATA:
-   case STREAM_SHA1_SIGNATURE:
-   case 0:                           /* compatibility with old tapes */
-      return 1;
 
-   }
-   return 0;
-}
 
-int bopen(BFILE *bfd, const char *fname, int flags, mode_t mode)
+/* Unix */
+int bclose(BFILE *bfd)
 {
-   bfd->fid = open(fname, flags, mode);
-   bfd->berrno = errno;
-   Dmsg1(400, "Open file %d\n", bfd->fid);
-   return bfd->fid;
-}
+   int stat;
+
+   Dmsg2(400, "Close bfd=%p file %d\n", bfd, bfd->fid);
 
-int bclose(BFILE *bfd)
-{ 
-   int stat;  
-   Dmsg1(400, "Close file %d\n", bfd->fid);
    if (bfd->fid == -1) {
       return 0;
    }
+   if (bfd->cmd_plugin && plugin_bclose) {
+      stat = plugin_bclose(bfd);
+      bfd->fid = -1;
+      bfd->cmd_plugin = false;
+      return stat;
+   }
+
+#if defined(HAVE_POSIX_FADVISE) && defined(POSIX_FADV_DONTNEED)
+   /* If not RDWR or WRONLY must be Read Only */
+   if (!(bfd->m_flags & (O_RDWR|O_WRONLY))) {
+      fdatasync(bfd->fid);            /* sync the file */
+      /* Tell OS we don't need it any more */
+      posix_fadvise(bfd->fid, 0, 0, POSIX_FADV_DONTNEED);
+      Dmsg1(400, "Did posix_fadvise DONTNEED on fid=%d\n", bfd->fid);
+   }
+#endif
+
+   /* Close normal file */
    stat = close(bfd->fid);
    bfd->berrno = errno;
    bfd->fid = -1;
-
+   bfd->cmd_plugin = false;
    return stat;
 }
 
+/* Unix */
 ssize_t bread(BFILE *bfd, void *buf, size_t count)
 {
    ssize_t stat;
+
+   if (bfd->cmd_plugin && plugin_bread) {
+      return plugin_bread(bfd, buf, count);
+   }
+
    stat = read(bfd->fid, buf, count);
    bfd->berrno = errno;
+   bfd->block++;
+   if (stat > 0) {
+      bfd->total_bytes += stat;
+   }
    return stat;
 }
 
+/* Unix */
 ssize_t bwrite(BFILE *bfd, void *buf, size_t count)
 {
    ssize_t stat;
-   stat = write(bfd->fid, buf, count);
-   bfd->berrno = errno;
+
+   if (bfd->cmd_plugin && plugin_bwrite) {
+      stat = plugin_bwrite(bfd, buf, count);
+
+   } else {
+      stat = write(bfd->fid, buf, count);
+      bfd->berrno = errno;
+   }
+
+   bfd->block++;
+   if (stat > 0) {
+      bfd->total_bytes += stat;
+   }
    return stat;
 }
 
-int is_bopen(BFILE *bfd)
+/* Unix */
+bool is_bopen(BFILE *bfd)
 {
    return bfd->fid >= 0;
 }
 
-off_t blseek(BFILE *bfd, off_t offset, int whence)
+/* Unix */
+boffset_t blseek(BFILE *bfd, boffset_t offset, int whence)
 {
-    off_t pos;
-    pos = lseek(bfd->fid, offset, whence);
-    bfd->berrno = errno;
-    return pos;
-}
+   boffset_t pos;
 
-char *berror(BFILE *bfd)
-{
-    return strerror(bfd->berrno);
+   if (bfd->cmd_plugin && plugin_bwrite) {
+      return plugin_blseek(bfd, offset, whence);
+   }
+   pos = (boffset_t)lseek(bfd->fid, offset, whence);
+   bfd->berrno = errno;
+   return pos;
 }
-
-#endif