]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/cats/cats.h
Change copyright as per agreement with FSFE
[bacula/bacula] / bacula / src / cats / cats.h
index cea246d74b27099667949b101e0a1dcbc913ca8f..e2d48f6ae2267679086b0e3cac5ad4cc1cabf04a 100644 (file)
 /*
- * SQL header file
- *
- *   by Kern E. Sibbald
- *
- *   Anyone who accesses the database will need to include
- *   this file.
- *
- * This file contains definitions common to sql.c and
- * the external world, and definitions destined only
- * for the external world. This is control with
- * the define __SQL_C, which is defined only in sql.c
- *
- *    Version $Id$
- */
-
-/*
-   Copyright (C) 2000-2004 Kern Sibbald and John Walker
-
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License as
-   published by the Free Software Foundation; either version 2 of
-   the License, or (at your option) any later version.
-
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
-   General Public License for more details.
-
-   You should have received a copy of the GNU General Public
-   License along with this program; if not, write to the Free
-   Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
-   MA 02111-1307, USA.
-
- */
-
-#ifndef __SQL_H_
-#define __SQL_H_ 1
-
-
-typedef void (DB_LIST_HANDLER)(void *, const char *);
-typedef int (DB_RESULT_HANDLER)(void *, int, char **);
-
-#define db_lock(mdb)   _db_lock(__FILE__, __LINE__, mdb)
-#define db_unlock(mdb) _db_unlock(__FILE__, __LINE__, mdb)
+   Bacula(R) - The Network Backup Solution
 
-#ifdef __SQL_C
+   Copyright (C) 2000-2016 Kern Sibbald
 
-#ifdef HAVE_SQLITE
+   The original author of Bacula is Kern Sibbald, with contributions
+   from many others, a complete list can be found in the file AUTHORS.
 
-#define BDB_VERSION 7
+   You may use this file and others of this release according to the
+   license defined in the LICENSE file, which includes the Affero General
+   Public License, v3.0 ("AGPLv3") and some additional permissions and
+   terms pursuant to its AGPLv3 Section 7.
 
-#include <sqlite.h>
-
-/* Define opaque structure for sqlite */
-struct sqlite {
-   char dummy;
-};
-
-#define IS_NUM(x)            ((x) == 1)
-#define IS_NOT_NULL(x)       ((x) == 1)
-
-typedef struct s_sql_field {
-   char *name;                       /* name of column */
-   int length;                       /* length */
-   int max_length;                   /* max length */
-   uint32_t type;                    /* type */
-   uint32_t flags;                   /* flags */
-} SQL_FIELD;
+   This notice must be preserved when any source code is 
+   conveyed and/or propagated.
 
+   Bacula(R) is a registered trademark of Kern Sibbald.
+*/
 /*
- * This is the "real" definition that should only be
- * used inside sql.c and associated database interface
- * subroutines.
- *                   S Q L I T E
- */
-typedef struct s_db {
-   BQUEUE bq;                        /* queue control */
-   brwlock_t lock;                   /* transaction lock */
-   struct sqlite *db;
-   char **result;
-   int status;
-   int nrow;                         /* nrow returned from sqlite */
-   int ncolumn;                      /* ncolum returned from sqlite */
-   int num_rows;                     /* used by code */
-   int row;                          /* seek row */
-   int field;                        /* seek field */
-   SQL_FIELD **fields;               /* defined fields */
-   int ref_count;
-   char *db_name;
-   char *db_user;
-   char *db_address;                 /* host name address */
-   char *db_socket;                  /* socket for local access */
-   char *db_password;
-   int db_port;                      /* port for host name address */
-   bool connected;                   /* connection made to db */
-   bool have_insert_id;              /* do not have insert id */
-   bool fields_defined;              /* set when fields defined */
-   char *sqlite_errmsg;              /* error message returned by sqlite */
-   POOLMEM *errmsg;                  /* nicely edited error message */
-   POOLMEM *cmd;                     /* SQL command string */
-   POOLMEM *cached_path;             /* cached path name */
-   int cached_path_len;              /* length of cached path */
-   uint32_t cached_path_id;          /* cached path id */
-   int transaction;                  /* transaction started */
-   int changes;                      /* changes during transaction */
-   POOLMEM *fname;                   /* Filename only */
-   POOLMEM *path;                    /* Path only */
-   POOLMEM *esc_name;                /* Escaped file/path name */
-   int fnl;                          /* file name length */
-   int pnl;                          /* path name length */
-} B_DB;
-
-
-/* 
- * "Generic" names for easier conversion   
+ *  Catalog DB header file
+ *
+ *  Written by Kern E. Sibbald
  *
- *                   S Q L I T E
+ *  Anyone who accesses the database will need to include
+ *   this file.
  */
-#define sql_store_result(x)   (x)->result
-#define sql_free_result(x)    my_sqlite_free_table(x)
-#define sql_fetch_row(x)      my_sqlite_fetch_row(x)
-#define sql_query(x, y)       my_sqlite_query((x), (y))
-#define sql_close(x)         sqlite_close((x)->db)  
-#define sql_strerror(x)       (x)->sqlite_errmsg?(x)->sqlite_errmsg:"unknown"
-#define sql_num_rows(x)       (x)->nrow
-#define sql_data_seek(x, i)   (x)->row = (i)
-#define sql_affected_rows(x)  1
-#define sql_insert_id(x,y)    sqlite_last_insert_rowid((x)->db)
-#define sql_field_seek(x, y)  my_sqlite_field_seek((x), (y))
-#define sql_fetch_field(x)    my_sqlite_fetch_field(x)
-#define sql_num_fields(x)     ((x)->ncolumn)
-#define SQL_ROW              char**   
-
 
+#ifndef __CATS_H_
+#define __CATS_H_ 1
 
-/* In cats/sqlite.c */
-void      my_sqlite_free_table(B_DB *mdb);
-SQL_ROW    my_sqlite_fetch_row(B_DB *mdb);
-int       my_sqlite_query(B_DB *mdb, char *cmd);
-void      my_sqlite_field_seek(B_DB *mdb, int field);
-SQL_FIELD *my_sqlite_fetch_field(B_DB *mdb);
+/*
+   Here is how database versions work.
+
+   While I am working on a new release with database changes, the
+   update scripts are in the src/cats directory under the names
+   update_xxx_tables.in.  Most of the time, I make database updates
+   in one go and immediately update the version, but not always.  If
+   there are going to be several updates as is the case with version
+   1.37, then I will often forgo changing the version until the last
+   update otherwise I will end up with too many versions and a lot
+   of confusion.
+
+   When I am pretty sure there will be no more updates, I will
+   change the version from 8 to 9 (in the present case), and when I
+   am 100% sure there will be no more changes, the update script
+   will be copied to the updatedb directory with the correct name
+   (in the present case 8 to 9).
+ */
 
+/* Current database version number for all drivers */
+#define BDB_VERSION 15
 
-#else
+typedef void (DB_LIST_HANDLER)(void *, const char *);
+typedef int (DB_RESULT_HANDLER)(void *, int, char **);
 
-#ifdef HAVE_MYSQL
+/* What kind of database we have */
+typedef enum {
+   SQL_TYPE_MYSQL      = 0,
+   SQL_TYPE_POSTGRESQL = 1,
+   SQL_TYPE_SQLITE3    = 2,
+   SQL_TYPE_UNKNOWN    = 99
+} SQL_DBTYPE;
 
-#define BDB_VERSION 7
+/* What kind of driver we have */
+typedef enum {
+   SQL_DRIVER_TYPE_MYSQL      = 0,
+   SQL_DRIVER_TYPE_POSTGRESQL = 1,
+   SQL_DRIVER_TYPE_SQLITE3    = 2,
+} SQL_DRIVER;
 
-#include <mysql.h>
 
-/*
- * This is the "real" definition that should only be
- * used inside sql.c and associated database interface
- * subroutines.
+/* ==============================================================
  *
- *                    M Y S Q L
+ *  What follows are definitions that are used "globally" for all
+ *   the different SQL engines and both inside and external to the
+ *   cats directory.
  */
-typedef struct s_db {
-   BQUEUE bq;                        /* queue control */
-   brwlock_t lock;                   /* transaction lock */
-   MYSQL mysql;
-   MYSQL *db;
-   MYSQL_RES *result;
-   int status;
-   my_ulonglong num_rows;
-   int ref_count;
-   char *db_name;
-   char *db_user;
-   char *db_password;
-   char *db_address;                 /* host address */
-   char *db_socket;                  /* socket for local access */
-   int db_port;                      /* port of host address */
-   int have_insert_id;               /* do have insert_id() */
-   bool connected;
-   POOLMEM *errmsg;                  /* nicely edited error message */
-   POOLMEM *cmd;                     /* SQL command string */
-   POOLMEM *cached_path;
-   int cached_path_len;              /* length of cached path */
-   uint32_t cached_path_id;
-   int changes;                      /* changes made to db */
-   POOLMEM *fname;                   /* Filename only */
-   POOLMEM *path;                    /* Path only */
-   POOLMEM *esc_name;                /* Escaped file/path name */
-   int fnl;                          /* file name length */
-   int pnl;                          /* path name length */
-} B_DB;
-
-#define DB_STATUS int
-
-/* "Generic" names for easier conversion */
-#define sql_store_result(x)   mysql_store_result((x)->db)
-#define sql_free_result(x)    mysql_free_result((x)->result)
-#define sql_fetch_row(x)      mysql_fetch_row((x)->result)
-#define sql_query(x, y)       mysql_query((x)->db, (y))
-#define sql_close(x)         mysql_close((x)->db)  
-#define sql_strerror(x)       mysql_error((x)->db)
-#define sql_num_rows(x)       mysql_num_rows((x)->result)
-#define sql_data_seek(x, i)   mysql_data_seek((x)->result, (i))
-#define sql_affected_rows(x)  mysql_affected_rows((x)->db)
-#define sql_insert_id(x,y)    mysql_insert_id((x)->db)
-#define sql_field_seek(x, y)  mysql_field_seek((x)->result, (y))
-#define sql_fetch_field(x)    mysql_fetch_field((x)->result)
-#define sql_num_fields(x)     (int)mysql_num_fields((x)->result)
-#define SQL_ROW              MYSQL_ROW
-#define SQL_FIELD            MYSQL_FIELD
-
-#else
-
-#ifdef HAVE_POSTGRESQL
-
-#define BDB_VERSION 7
-
-#include <libpq-fe.h>
-
-/* TEMP: the following is taken from select OID, typname from pg_type; */
-#define IS_NUM(x)            ((x) == 20 || (x) == 21 || (x) == 23 || (x) == 700 || (x) == 701)
-#define IS_NOT_NULL(x)       ((x) == 1)
-
-typedef char **POSTGRESQL_ROW;
-typedef struct pg_field {
-       char         *name;
-       int           max_length;
-       unsigned int  type;
-       unsigned int  flags;       // 1 == not null
-} POSTGRESQL_FIELD;
 
+#define faddr_t long
 
 /*
- * This is the "real" definition that should only be
- * used inside sql.c and associated database interface
- * subroutines.
- *
- *                    P O S T G R E S Q L
- */
-typedef struct s_db {
-   BQUEUE bq;                        /* queue control */
-   brwlock_t lock;                   /* transaction lock */
-   PGconn *db;
-   PGresult *result;
-   int status;
-   POSTGRESQL_ROW row;
-   POSTGRESQL_FIELD *fields;
-   int num_rows;
-   int num_fields;
-   int row_number;           /* what row number did we get via my_postgresql_data_seek? */
-   int field_number;         /* what field number did we get via my_postgresql_field_seek? */
-   int ref_count;
-   char *db_name;
-   char *db_user;
-   char *db_password;
-   char *db_address;             /* host address */
-   char *db_socket;              /* socket for local access */
-   int db_port;                  /* port of host address */
-   int have_insert_id;           /* do have insert_id() */
-   bool connected;
-   POOLMEM *errmsg;              /* nicely edited error message */
-   POOLMEM *cmd;                 /* SQL command string */
-   POOLMEM *cached_path;
-   int cached_path_len;          /* length of cached path */
-   uint32_t cached_path_id;
-   int transaction;                  /* transaction started */
-   int changes;                  /* changes made to db */
-   POOLMEM *fname;               /* Filename only */
-   POOLMEM *path;                /* Path only */
-   POOLMEM *esc_name;            /* Escaped file/path name */
-   int fnl;                      /* file name length */
-   int pnl;                      /* path name length */
-} B_DB;
-
-void              my_postgresql_free_result(B_DB *mdb);
-POSTGRESQL_ROW    my_postgresql_fetch_row  (B_DB *mdb);
-int               my_postgresql_query      (B_DB *mdb, char *query);
-void              my_postgresql_data_seek  (B_DB *mdb, int row);
-int               my_postgresql_currval    (B_DB *mdb, char *table_name);
-void              my_postgresql_field_seek (B_DB *mdb, int row);
-POSTGRESQL_FIELD * my_postgresql_fetch_field(B_DB *mdb);
-
-
-/* "Generic" names for easier conversion */
-#define sql_store_result(x)   ((x)->result)
-#define sql_free_result(x)    my_postgresql_free_result(x)
-#define sql_fetch_row(x)      my_postgresql_fetch_row(x)
-#define sql_query(x, y)       my_postgresql_query((x), (y))
-#define sql_close(x)         PQfinish((x)->db)  
-#define sql_strerror(x)       PQresultErrorMessage((x)->result)
-#define sql_num_rows(x)       ((unsigned) PQntuples((x)->result))
-#define sql_data_seek(x, i)   my_postgresql_data_seek((x), (i))
-#define sql_affected_rows(x)  ((unsigned) atoi(PQcmdTuples((x)->result)))
-#define sql_insert_id(x,y)    my_postgresql_currval((x), (y))
-#define sql_field_seek(x, y)  my_postgresql_field_seek((x), (y))
-#define sql_fetch_field(x)    my_postgresql_fetch_field(x)
-#define sql_num_fields(x)     ((x)->num_fields)
-#define SQL_ROW              POSTGRESQL_ROW
-#define SQL_FIELD            POSTGRESQL_FIELD
-
-#else  /* USE BACULA DB routines */
-
-#define HAVE_BACULA_DB 1
-
-/* Change this each time there is some incompatible
- * file format change!!!!
+ * Generic definition of a sql_row.
  */
-#define BDB_VERSION 12               /* file version number */
-
-struct s_control {
-   int bdb_version;                  /* Version number */
-   uint32_t JobId;                   /* next Job Id */
-   uint32_t PoolId;                  /* next Pool Id */
-   uint32_t MediaId;                 /* next Media Id */
-   uint32_t JobMediaId;              /* next JobMedia Id */
-   uint32_t ClientId;                /* next Client Id */
-   uint32_t FileSetId;               /* nest FileSet Id */
-   time_t time;                      /* time file written */
-};
-
+typedef char **SQL_ROW;
 
-/* This is the REAL definition for using the
- *  Bacula internal DB
- */
-typedef struct s_db {
-   BQUEUE bq;                        /* queue control */
-/* pthread_mutex_t mutex;  */        /* single thread lock */
-   brwlock_t lock;                   /* transaction lock */
-   int ref_count;                    /* number of times opened */
-   struct s_control control;         /* control file structure */
-   int cfd;                          /* control file device */
-   FILE *jobfd;                      /* Jobs records file descriptor */
-   FILE *poolfd;                     /* Pool records fd */
-   FILE *mediafd;                    /* Media records fd */
-   FILE *jobmediafd;                 /* JobMedia records fd */
-   FILE *clientfd;                   /* Client records fd */
-   FILE *filesetfd;                  /* FileSet records fd */
-   char *db_name;                    /* name of database */
-   POOLMEM *errmsg;                  /* nicely edited error message */
-   POOLMEM *cmd;                     /* Command string */
-   POOLMEM *cached_path;
-   int cached_path_len;              /* length of cached path */
-   uint32_t cached_path_id;
-} B_DB;
-
-#endif /* HAVE_MYSQL */
-#endif /* HAVE_SQLITE */
-#endif /* HAVE_POSTGRESQL */
-
-/* Use for better error location printing */
-#define UPDATE_DB(jcr, db, cmd) UpdateDB(__FILE__, __LINE__, jcr, db, cmd)
-#define INSERT_DB(jcr, db, cmd) InsertDB(__FILE__, __LINE__, jcr, db, cmd)
-#define QUERY_DB(jcr, db, cmd) QueryDB(__FILE__, __LINE__, jcr, db, cmd)
-#define DELETE_DB(jcr, db, cmd) DeleteDB(__FILE__, __LINE__, jcr, db, cmd)
-
-
-#else   /* not __SQL_C */
-
-/* This is a "dummy" definition for use outside of sql.c
+/*
+ * Generic definition of a a sql_field.
  */
-typedef struct s_db {    
-   int dummy;                        /* for SunOS compiler */
-} B_DB;  
-
-#endif /*  __SQL_C */
+typedef struct sql_field {
+   char *name;                        /* name of column */
+   int max_length;                    /* max length */
+   uint32_t type;                     /* type */
+   uint32_t flags;                    /* flags */
+} SQL_FIELD;
 
-extern uint32_t bacula_db_version;
 
-/* ***FIXME*** FileId_t should *really* be uint64_t
- *  but at the current time, this breaks MySQL.
+/*
+ * Structure used when calling db_get_query_ids()
+ *  allows the subroutine to return a list of ids.
  */
-typedef uint32_t FileId_t;
-typedef uint32_t DBId_t;             /* general DB id type */
-typedef uint32_t JobId_t;
-      
-#define faddr_t long
-
+class dbid_list : public SMARTALLOC {
+public:
+   DBId_t *DBId;                      /* array of DBIds */
+   char *PurgedFiles;                 /* Array of PurgedFile flags */
+   int num_ids;                       /* num of ids actually stored */
+   int max_ids;                       /* size of id array */
+   int num_seen;                      /* number of ids processed */
+   int tot_ids;                       /* total to process */
+
+   dbid_list();                       /* in sql.c */
+   ~dbid_list();                      /* in sql.c */
+};
 
 /* Job information passed to create job record and update
  * job record at end of job. Note, although this record
@@ -381,30 +119,35 @@ typedef uint32_t JobId_t;
 /* Job record */
 struct JOB_DBR {
    JobId_t JobId;
-   char Job[MAX_NAME_LENGTH];        /* Job unique name */
-   char Name[MAX_NAME_LENGTH];       /* Job base name */
-   int JobType;                      /* actually char(1) */
-   int JobLevel;                     /* actually char(1) */
-   int JobStatus;                    /* actually char(1) */
-   DBId_t ClientId;                  /* Id of client */
-   DBId_t PoolId;                    /* Id of pool */
-   DBId_t FileSetId;                 /* Id of FileSet */
-   time_t SchedTime;                 /* Time job scheduled */
-   time_t StartTime;                 /* Job start time */
-   time_t EndTime;                   /* Job termination time */
-   utime_t JobTDate;                 /* Backup time/date in seconds */
+   char Job[MAX_NAME_LENGTH];         /* Job unique name */
+   char Name[MAX_NAME_LENGTH];        /* Job base name */
+   int JobType;                       /* actually char(1) */
+   int JobLevel;                      /* actually char(1) */
+   int JobStatus;                     /* actually char(1) */
+   DBId_t ClientId;                   /* Id of client */
+   DBId_t PoolId;                     /* Id of pool */
+   DBId_t FileSetId;                  /* Id of FileSet */
+   DBId_t PriorJobId;                 /* Id of migrated (prior) job */
+   time_t SchedTime;                  /* Time job scheduled */
+   time_t StartTime;                  /* Job start time */
+   time_t EndTime;                    /* Job termination time of orig job */
+   time_t RealEndTime;                /* Job termination time of this job */
+   utime_t JobTDate;                  /* Backup time/date in seconds */
    uint32_t VolSessionId;
    uint32_t VolSessionTime;
    uint32_t JobFiles;
    uint32_t JobErrors;
    uint32_t JobMissingFiles;
    uint64_t JobBytes;
+   uint64_t ReadBytes;
+   int PurgedFiles;
+   int HasBase;
 
    /* Note, FirstIndex, LastIndex, Start/End File and Block
     * are only used in the JobMedia record.
     */
-   uint32_t FirstIndex;              /* First index this Volume */
-   uint32_t LastIndex;               /* Last index this Volume */
+   uint32_t FirstIndex;               /* First index this Volume */
+   uint32_t LastIndex;                /* Last index this Volume */
    uint32_t StartFile;
    uint32_t EndFile;
    uint32_t StartBlock;
@@ -413,8 +156,12 @@ struct JOB_DBR {
    char cSchedTime[MAX_TIME_LENGTH];
    char cStartTime[MAX_TIME_LENGTH];
    char cEndTime[MAX_TIME_LENGTH];
+   char cRealEndTime[MAX_TIME_LENGTH];
    /* Extra stuff not in DB */
+   int order;                         /* 0 ASC, 1 DESC */
+   int limit;                         /* limit records to display */
    faddr_t rec_addr;
+   uint32_t FileIndex;                /* added during Verify */
 };
 
 /* Job Media information used to create the media records
@@ -422,28 +169,30 @@ struct JOB_DBR {
  */
 /* JobMedia record */
 struct JOBMEDIA_DBR {
-   DBId_t JobMediaId;                /* record id */
-   JobId_t  JobId;                   /* JobId */
-   DBId_t MediaId;                   /* MediaId */
-   uint32_t FirstIndex;              /* First index this Volume */
-   uint32_t LastIndex;               /* Last index this Volume */
-   uint32_t StartFile;               /* File for start of data */
-   uint32_t EndFile;                 /* End file on Volume */
-   uint32_t StartBlock;              /* start block on tape */
-   uint32_t EndBlock;                /* last block */
+   DBId_t JobMediaId;                 /* record id */
+   JobId_t  JobId;                    /* JobId */
+   DBId_t MediaId;                    /* MediaId */
+   uint32_t FirstIndex;               /* First index this Volume */
+   uint32_t LastIndex;                /* Last index this Volume */
+   uint32_t StartFile;                /* File for start of data */
+   uint32_t EndFile;                  /* End file on Volume */
+   uint32_t StartBlock;               /* start block on tape */
+   uint32_t EndBlock;                 /* last block */
 };
 
 
 /* Volume Parameter structure */
 struct VOL_PARAMS {
    char VolumeName[MAX_NAME_LENGTH];  /* Volume name */
-   uint32_t VolIndex;                /* Volume seqence no. */ 
-   uint32_t FirstIndex;              /* First index this Volume */
-   uint32_t LastIndex;               /* Last index this Volume */
-   uint32_t StartFile;               /* File for start of data */
-   uint32_t EndFile;                 /* End file on Volume */
-   uint32_t StartBlock;              /* start block on tape */
-   uint32_t EndBlock;                /* last block */
+   char MediaType[MAX_NAME_LENGTH];   /* Media Type */
+   char Storage[MAX_NAME_LENGTH];     /* Storage name */
+   uint32_t VolIndex;                 /* Volume seqence no. */
+   uint32_t FirstIndex;               /* First index this Volume */
+   uint32_t LastIndex;                /* Last index this Volume */
+   int32_t Slot;                      /* Slot */
+   uint64_t StartAddr;                /* Start address */
+   uint64_t EndAddr;                  /* End address */
+   int32_t InChanger;                 /* InChanger flag */
 };
 
 
@@ -452,16 +201,36 @@ struct VOL_PARAMS {
  *  records (e.g. pathname, filename, fileattributes).
  */
 struct ATTR_DBR {
-   char *fname;                      /* full path & filename */
-   char *link;                       /* link if any */
-   char *attr;                       /* attributes statp */
+   char *fname;                       /* full path & filename */
+   char *link;                        /* link if any */
+   char *attr;                        /* attributes statp */
    uint32_t FileIndex;
    uint32_t Stream;
+   uint32_t FileType;
+   uint32_t DeltaSeq;
    JobId_t  JobId;
    DBId_t ClientId;
    DBId_t PathId;
    DBId_t FilenameId;
    FileId_t FileId;
+   char *Digest;
+   int DigestType;
+};
+
+struct ROBJECT_DBR {
+   char *object_name;
+   char *object;
+   char *plugin_name;
+   char *JobIds;
+   uint32_t object_len;
+   uint32_t object_full_len;
+   uint32_t object_index;
+   int32_t  object_compression;
+   uint32_t FileIndex;
+   uint32_t Stream;
+   uint32_t FileType;
+   JobId_t  JobId;
+   DBId_t RestoreObjectId;
 };
 
 
@@ -473,81 +242,146 @@ struct FILE_DBR {
    DBId_t FilenameId;
    DBId_t PathId;
    JobId_t  MarkId;
+   uint32_t DeltaSeq;
    char LStat[256];
-/*   int Status; */
-   char SIG[50];
-   int SigType;                      /* NO_SIG/MD5_SIG/SHA1_SIG */
+   char Digest[BASE64_SIZE(CRYPTO_DIGEST_MAX_SIZE)];
+   int DigestType;                    /* NO_SIG/MD5_SIG/SHA1_SIG */
 };
 
 /* Pool record -- same format as database */
 struct POOL_DBR {
    DBId_t PoolId;
-   char Name[MAX_NAME_LENGTH];       /* Pool name */
-   uint32_t NumVols;                 /* total number of volumes */
-   uint32_t MaxVols;                 /* max allowed volumes */
-   int32_t UseOnce;                  /* set to use once only */
-   int32_t UseCatalog;               /* set to use catalog */
-   int32_t AcceptAnyVolume;          /* set to accept any volume sequence */
-   int32_t AutoPrune;                /* set to prune automatically */
-   int32_t Recycle;                  /* default Vol recycle flag */
-   utime_t  VolRetention;            /* retention period in seconds */
-   utime_t  VolUseDuration;          /* time in secs volume can be used */
-   uint32_t MaxVolJobs;              /* Max Jobs on Volume */
-   uint32_t MaxVolFiles;             /* Max files on Volume */
-   uint64_t MaxVolBytes;             /* Max bytes on Volume */
-   char PoolType[MAX_NAME_LENGTH];            
+   char Name[MAX_NAME_LENGTH];        /* Pool name */
+   uint32_t NumVols;                  /* total number of volumes */
+   uint32_t MaxVols;                  /* max allowed volumes */
+   int32_t LabelType;                 /* Bacula/ANSI/IBM */
+   int32_t UseOnce;                   /* set to use once only */
+   int32_t UseCatalog;                /* set to use catalog */
+   int32_t AcceptAnyVolume;           /* set to accept any volume sequence */
+   int32_t AutoPrune;                 /* set to prune automatically */
+   int32_t Recycle;                   /* default Vol recycle flag */
+   uint32_t ActionOnPurge;            /* action on purge, e.g. truncate the disk volume */
+   utime_t  VolRetention;             /* retention period in seconds */
+   utime_t  VolUseDuration;           /* time in secs volume can be used */
+   uint32_t MaxVolJobs;               /* Max Jobs on Volume */
+   uint32_t MaxVolFiles;              /* Max files on Volume */
+   uint64_t MaxVolBytes;              /* Max bytes on Volume */
+   DBId_t RecyclePoolId;              /* RecyclePool destination when media is purged */
+   DBId_t ScratchPoolId;              /* ScratchPool source when media is needed */
+   char PoolType[MAX_NAME_LENGTH];
    char LabelFormat[MAX_NAME_LENGTH];
    /* Extra stuff not in DB */
    faddr_t rec_addr;
 };
 
+class DEVICE_DBR {
+public:
+   DBId_t DeviceId;
+   char Name[MAX_NAME_LENGTH];        /* Device name */
+   DBId_t MediaTypeId;                /* MediaType */
+   DBId_t StorageId;                  /* Storage id if autochanger */
+   uint32_t DevMounts;                /* Number of times mounted */
+   uint32_t DevErrors;                /* Number of read/write errors */
+   uint64_t DevReadBytes;             /* Number of bytes read */
+   uint64_t DevWriteBytes;            /* Number of bytew written */
+   uint64_t DevReadTime;              /* time spent reading volume */
+   uint64_t DevWriteTime;             /* time spent writing volume */
+   uint64_t DevReadTimeSincCleaning;  /* read time since cleaning */
+   uint64_t DevWriteTimeSincCleaning; /* write time since cleaning */
+   time_t   CleaningDate;             /* time last cleaned */
+   utime_t  CleaningPeriod;           /* time between cleanings */
+};
+
+class STORAGE_DBR {
+public:
+   DBId_t StorageId;
+   char Name[MAX_NAME_LENGTH];        /* Device name */
+   int AutoChanger;                   /* Set if autochanger */
+
+   /* Not in database */
+   bool created;                      /* set if created by db_create ... */
+};
+
+class MEDIATYPE_DBR {
+public:
+   DBId_t MediaTypeId;
+   char MediaType[MAX_NAME_LENGTH];   /* MediaType string */
+   int ReadOnly;                      /* Set if read-only */
+};
+
 /* Media record -- same as the database */
-struct MEDIA_DBR {
-   DBId_t MediaId;                   /* Unique volume id */
+class MEDIA_DBR {
+public:
+   MEDIA_DBR() { memset(this, 0, sizeof(MEDIA_DBR)); };
+   ~MEDIA_DBR() {  };
+   void clear() { memset(this, 0, sizeof(MEDIA_DBR)); };
+   void copy(MEDIA_DBR *omr) { memcpy(this, omr, sizeof(MEDIA_DBR)); };
+
+   DBId_t MediaId;                    /* Unique volume id */
    char VolumeName[MAX_NAME_LENGTH];  /* Volume name */
    char MediaType[MAX_NAME_LENGTH];   /* Media type */
-   DBId_t PoolId;                    /* Pool id */
-   time_t   FirstWritten;            /* Time Volume first written */
-   time_t   LastWritten;             /* Time Volume last written */
-   time_t   LabelDate;               /* Date/Time Volume labeled */
-   uint32_t VolJobs;                 /* number of jobs on this medium */
-   uint32_t VolFiles;                /* Number of files */
-   uint32_t VolBlocks;               /* Number of blocks */
-   uint32_t VolMounts;               /* Number of times mounted */
-   uint32_t VolErrors;               /* Number of read/write errors */
-   uint32_t VolWrites;               /* Number of writes */
-   uint32_t VolReads;                /* Number of reads */
-   uint64_t VolBytes;                /* Number of bytes written */
-   uint64_t MaxVolBytes;             /* Max bytes to write to Volume */
-   uint64_t VolCapacityBytes;        /* capacity estimate */
-   uint64_t VolReadTime;             /* time spent reading volume */
-   uint64_t VolWriteTime;            /* time spent writing volume */
-   utime_t  VolRetention;            /* Volume retention in seconds */
-   utime_t  VolUseDuration;          /* time in secs volume can be used */
-   uint32_t MaxVolJobs;              /* Max Jobs on Volume */
-   uint32_t MaxVolFiles;             /* Max files on Volume */
-   int32_t  Recycle;                 /* recycle yes/no */
-   int32_t  Slot;                    /* slot in changer */
-   int32_t  InChanger;               /* Volume currently in changer */
-   char VolStatus[20];               /* Volume status */
+   DBId_t PoolId;                     /* Pool id */
+   time_t   FirstWritten;             /* Time Volume first written this usage */
+   time_t   LastWritten;              /* Time Volume last written */
+   time_t   LabelDate;                /* Date/Time Volume labeled */
+   time_t   InitialWrite;             /* Date/Time Volume first written */
+   int32_t  LabelType;                /* Label (Bacula/ANSI/IBM) */
+   uint32_t VolJobs;                  /* number of jobs on this medium */
+   uint32_t VolFiles;                 /* Number of files */
+   uint32_t VolBlocks;                /* Number of blocks */
+   uint32_t VolMounts;                /* Number of times mounted */
+   uint32_t VolErrors;                /* Number of read/write errors */
+   uint64_t VolWrites;                /* Number of writes */
+   uint64_t VolReads;                 /* Number of reads */
+   uint64_t VolBytes;                 /* Number of bytes written */
+   uint64_t VolABytes;                /* Size of aligned volume */
+   uint64_t VolHoleBytes;             /* The size of Holes */
+   uint32_t VolHoles;                 /* Number of holes */
+   uint32_t VolType;                  /* Device type of where Volume labeled */
+   uint64_t MaxVolBytes;              /* Max bytes to write to Volume */
+   uint64_t VolCapacityBytes;         /* capacity estimate */
+   uint64_t VolReadTime;              /* time spent reading volume */
+   uint64_t VolWriteTime;             /* time spent writing volume */
+   utime_t  VolRetention;             /* Volume retention in seconds */
+   utime_t  VolUseDuration;           /* time in secs volume can be used */
+   uint32_t ActionOnPurge;            /* action on purge, e.g. truncate the disk volume */
+   uint32_t MaxVolJobs;               /* Max Jobs on Volume */
+   uint32_t MaxVolFiles;              /* Max files on Volume */
+   int32_t  Recycle;                  /* recycle yes/no */
+   int32_t  Slot;                     /* slot in changer */
+   int32_t  Enabled;                  /* 0=disabled, 1=enabled, 2=archived */
+   int32_t  InChanger;                /* Volume currently in changer */
+   DBId_t   StorageId;                /* Storage record Id */
+   uint32_t EndFile;                  /* Last file on volume */
+   uint32_t EndBlock;                 /* Last block on volume */
+   uint32_t RecycleCount;             /* Number of times recycled */
+   char     VolStatus[20];            /* Volume status */
+   DBId_t   DeviceId;                 /* Device where Vol last written */
+   DBId_t   LocationId;               /* Where Volume is -- user defined */
+   DBId_t   ScratchPoolId;            /* Where to move if scratch */
+   DBId_t   RecyclePoolId;            /* Where to move when recycled */
    /* Extra stuff not in DB */
-   faddr_t rec_addr;                 /* found record address */
+   faddr_t rec_addr;                  /* found record address */
    /* Since the database returns times as strings, this is how we pass
-    *  them back.
+    *   them back.
     */
    char    cFirstWritten[MAX_TIME_LENGTH]; /* FirstWritten returned from DB */
    char    cLastWritten[MAX_TIME_LENGTH];  /* LastWritten returned from DB */
-   char    cLabelData[MAX_TIME_LENGTH];    /* LabelData returned from DB */
+   char    cLabelDate[MAX_TIME_LENGTH];    /* LabelData returned from DB */
+   char    cInitialWrite[MAX_TIME_LENGTH]; /* InitialWrite returned from DB */
+   char   *exclude_list;                   /* Optionnal exclude list for db_find_next_volume() */
+   bool    set_first_written;
+   bool    set_label_date;
 };
 
 /* Client record -- same as the database */
 struct CLIENT_DBR {
-   DBId_t ClientId;                  /* Unique Client id */
+   DBId_t ClientId;                   /* Unique Client id */
    int AutoPrune;
    utime_t FileRetention;
    utime_t JobRetention;
-   char Name[MAX_NAME_LENGTH];       /* Client name */
-   char Uname[256];                  /* Uname for client */
+   char Name[MAX_NAME_LENGTH];        /* Client name */
+   char Uname[256];                   /* Uname for client */
 };
 
 /* Counter record as in database */
@@ -562,32 +396,214 @@ struct COUNTER_DBR {
 
 /* FileSet record -- same as the database */
 struct FILESET_DBR {
-   DBId_t FileSetId;                 /* Unique FileSet id */
+   DBId_t FileSetId;                  /* Unique FileSet id */
    char FileSet[MAX_NAME_LENGTH];     /* FileSet name */
-   char MD5[50];                     /* MD5 signature of include/exclude */
-   time_t CreateTime;                /* date created */
+   char MD5[50];                      /* MD5 signature of include/exclude */
+   time_t CreateTime;                 /* date created */
    /*
     * This is where we return CreateTime
     */
    char cCreateTime[MAX_TIME_LENGTH]; /* CreateTime as returned from DB */
    /* Not in DB but returned by db_create_fileset() */
-   bool created;                     /* set when record newly created */
+   bool created;                      /* set when record newly created */
 };
 
+class SNAPSHOT_DBR {
+public:
+   SNAPSHOT_DBR() {
+      memset(this, 0, sizeof(SNAPSHOT_DBR));
+   };
+   ~SNAPSHOT_DBR() {
+      reset();
+   };
+   void debug(int level) {
+      Dmsg8(DT_SNAPSHOT|level,
+            "Snapshot      %s:\n"
+            "  Volume:     %s\n"
+            "  Device:     %s\n"
+            "  Id:         %d\n"
+            "  FileSet:    %s\n"
+            "  CreateDate: %s\n"
+            "  Client:     %s\n"
+            "  Type:       %s\n",
+            Name, NPRT(Volume), NPRT(Device), SnapshotId,
+            FileSet, CreateDate, Client, Type);
+   };
+   char *as_arg(POOLMEM **out) {
+      bash_spaces(Name);
+      bash_spaces(Type);
+
+      if (Volume) {
+         bash_spaces(Volume);
+      }
+      if (Device) {
+         bash_spaces(Device);
+      }
+
+      Mmsg(out, "name=%s volume=%s device=%s tdate=%d type=%s",
+           Name, NPRTB(Volume), NPRTB(Device), CreateTDate, Type);
+
+      unbash_spaces(Name);
+      unbash_spaces(Type);
+      if (Volume) {
+         unbash_spaces(Volume);
+      }
+      if (Device) {
+         unbash_spaces(Device);
+      }
+      return *out;
+   };
+   void reset() {
+      if (need_to_free) {
+         if (Volume) {
+            free(Volume);
+         }
+         if (Device) {
+            free(Device);
+         }
+         if (errmsg) {
+            free(errmsg);
+         }
+         errmsg = Volume = Device = NULL;
+      }
+      need_to_free = false;
+   };
+   bool    need_to_free;             /* Need to free the internal memory */
+   /* Used when searching snapshots */
+   char    created_after[MAX_TIME_LENGTH];
+   char    created_before[MAX_TIME_LENGTH];
+   bool    expired;                 /* Look for CreateTDate > (NOW - Retention) */
+   bool    sorted_client;           /* Results sorted by Client, SnapshotId */
+   int     status;                  /* Status of the snapshot */
+
+   DBId_t  SnapshotId;              /* Unique Snapshot ID */
+   DBId_t  JobId;                   /* Related JobId */
+   DBId_t  FileSetId;               /* FileSetId if any */
+   DBId_t  ClientId;                /* From which client this snapshot comes */
+   char    Name[MAX_NAME_LENGTH];   /* Snapshot Name */
+   char    FileSet[MAX_NAME_LENGTH];/* FileSet name if any */
+   char    Client[MAX_NAME_LENGTH]; /* Client name */
+   char    Type[MAX_NAME_LENGTH];   /* zfs, btrfs, lvm, netapp, */
+   char    Comment[MAX_NAME_LENGTH];/* Comment */
+   char    CreateDate[MAX_TIME_LENGTH]; /* Create date as string */
+   time_t  CreateTDate;             /* Create TDate (in sec, since epoch) */
+   char   *Volume;                  /* Volume taken in snapshot */
+   char   *Device;                  /* Device, Pool, Directory, ...  */
+   char   *errmsg;                  /* Error associated with a snapshot */
+   utime_t Retention;               /* Number of second before pruning the snapshot */
+   uint64_t Size;                   /* Snapshot Size */
+};
 
+/* Call back context for getting a 32/64 bit value from the database */
+class db_int64_ctx {
+public:
+   int64_t value;                     /* value returned */
+   int count;                         /* number of values seen */
+
+   db_int64_ctx() : value(0), count(0) {};
+   ~db_int64_ctx() {};
+private:
+   db_int64_ctx(const db_int64_ctx&);            /* prohibit pass by value */
+   db_int64_ctx &operator=(const db_int64_ctx&); /* prohibit class assignment */
+};
 
+/* Call back context for getting a list of comma separated strings from the
+ * database
+ */
+class db_list_ctx {
+public:
+   POOLMEM *list;                     /* list */
+   int count;                         /* number of values seen */
+
+   db_list_ctx() { list = get_pool_memory(PM_FNAME); reset(); }
+   ~db_list_ctx() { free_pool_memory(list); list = NULL; }
+   void reset() { *list = 0; count = 0;}
+   void add(const db_list_ctx &str) {
+      if (str.count > 0) {
+         if (*list) {
+            pm_strcat(list, ",");
+         }
+         pm_strcat(list, str.list);
+         count += str.count;
+      }
+   }
+   void add(const char *str) {
+      if (count > 0) {
+         pm_strcat(list, ",");
+      }
+      pm_strcat(list, str);
+      count++;
+   }
+private:
+   db_list_ctx(const db_list_ctx&);            /* prohibit pass by value */
+   db_list_ctx &operator=(const db_list_ctx&); /* prohibit class assignment */
+};
+
+/* sql_query flags */
+#define QF_STORE_RESULT 0x01
+/* sql_list.c */
+enum e_list_type {
+   HORZ_LIST,                   /* list */
+   VERT_LIST,                   /* llist */
+   ARG_LIST,                    /* key1=v1 key2=v2 key3=v3 */
+   FAILED_JOBS,
+   INCOMPLETE_JOBS
+};
+#include "bdb.h"
 #include "protos.h"
 #include "jcr.h"
+#include "sql_cmds.h"
+
+
+/* Object used in db_list_xxx function */
+class LIST_CTX {
+public:
+   char line[256];              /* Used to print last dash line */
+   int32_t num_rows;
+
+   e_list_type type;            /* Vertical/Horizontal */
+   DB_LIST_HANDLER *send;       /* send data back */
+   bool once;                   /* Used to print header one time */
+   void *ctx;                   /* send() user argument */
+   BDB *mdb;
+   JCR *jcr;
+
+   void empty() {
+      once = false;
+      line[0] = '\0';
+   }
+
+   void send_dashes() {
+      if (*line) {
+         send(ctx, line);
+      }
+   }
+
+   LIST_CTX(JCR *j, BDB *m, DB_LIST_HANDLER *h, void *c, e_list_type t) {
+      line[0] = '\0';
+      once = false;
+      num_rows = 0;
+      type = t;
+      send = h;
+      ctx = c;
+      jcr = j;
+      mdb = m;
+   }
+};
 
-/*
- * Some functions exported by sql.c for use withing the 
- *   cats directory.
- */
-void list_result(B_DB *mdb, DB_LIST_HANDLER *send, void *ctx, e_list_type type);
-void list_dashes(B_DB *mdb, DB_LIST_HANDLER *send, void *ctx);
-int get_sql_record_max(JCR *jcr, B_DB *mdb);
-int check_tables_version(JCR *jcr, B_DB *mdb);
-void _db_unlock(const char *file, int line, B_DB *mdb);
-void _db_lock(const char *file, int line, B_DB *mdb);
-#endif /* __SQL_H_ */
+/* Functions exported by sql.c for use within the cats directory. */
+int list_result(void *vctx, int cols, char **row);
+int list_result(JCR *jcr, BDB *mdb, DB_LIST_HANDLER *send, void *ctx, e_list_type type);
+int get_sql_record_max(JCR *jcr, BDB *mdb);
+void list_dashes(BDB *mdb, DB_LIST_HANDLER *send, void *ctx);
+
+void print_dashes(BDB *mdb);
+void print_result(BDB *mdb);
+int QueryDB(const char *file, int line, JCR *jcr, BDB *db, char *select_cmd);
+int InsertDB(const char *file, int line, JCR *jcr, BDB *db, char *select_cmd);
+int DeleteDB(const char *file, int line, JCR *jcr, BDB *db, char *delete_cmd);
+void split_path_and_file(JCR *jcr, BDB *mdb, const char *fname);
+
+#endif  /* __CATS_H_ */