]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/cats/sql_create.c
ebl Apply jobstat patch to add longterm statistics
[bacula/bacula] / bacula / src / cats / sql_create.c
index e938c8988ec8e3ffb96545389fe653fdb2c69aa4..447974b969a9e93da6e3ffb185d159c1f4b22992 100644 (file)
@@ -1,21 +1,14 @@
-/*
- * Bacula Catalog Database Create record interface routines
- *
- *    Kern Sibbald, March 2000
- *
- *    Version $Id$
- */
 /*
    Bacula® - The Network Backup Solution
 
-   Copyright (C) 2000-2006 Free Software Foundation Europe e.V.
+   Copyright (C) 2000-2007 Free Software Foundation Europe e.V.
 
    The main author of Bacula is Kern Sibbald, with contributions from
    many others, a complete list can be found in the file AUTHORS.
    This program is Free Software; you can redistribute it and/or
    modify it under the terms of version two of the GNU General Public
-   License as published by the Free Software Foundation plus additions
-   that are listed in the file LICENSE.
+   License as published by the Free Software Foundation and included
+   in the file LICENSE.
 
    This program is distributed in the hope that it will be useful, but
    WITHOUT ANY WARRANTY; without even the implied warranty of
    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
    Switzerland, email:ftf@fsfeurope.org.
 */
+/*
+ * Bacula Catalog Database Create record interface routines
+ *
+ *    Kern Sibbald, March 2000
+ *
+ *    Version $Id$
+ */
 
 /* The following is necessary so that we do not include
  * the dummy external definition of DB.
@@ -43,7 +43,7 @@
 
 static const int dbglevel = 500;
 
-#if    HAVE_SQLITE3 || HAVE_MYSQL || HAVE_SQLITE || HAVE_POSTGRESQL
+#if    HAVE_SQLITE3 || HAVE_MYSQL || HAVE_SQLITE || HAVE_POSTGRESQL || HAVE_DBI
 
 /* -----------------------------------------------------------------------
  *
@@ -53,9 +53,11 @@ static const int dbglevel = 500;
  */
 
 /* Forward referenced subroutines */
+#ifndef HAVE_BATCH_FILE_INSERT
 static int db_create_file_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar);
 static int db_create_filename_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar);
 static int db_create_path_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar);
+#endif /* HAVE_BATCH_FILE_INSERT */
 
 
 /* Create a new record for the Job
@@ -110,7 +112,7 @@ db_create_job_record(JCR *jcr, B_DB *mdb, JOB_DBR *jr)
 bool
 db_create_jobmedia_record(JCR *jcr, B_DB *mdb, JOBMEDIA_DBR *jm)
 {
-   bool ok = true;;
+   bool ok = true;
    int count;
    char ed1[50], ed2[50];
 
@@ -160,8 +162,6 @@ db_create_jobmedia_record(JCR *jcr, B_DB *mdb, JOBMEDIA_DBR *jm)
    return ok;
 }
 
-
-
 /* Create Unique Pool record
  * Returns: false on failure
  *          true  on success
@@ -170,7 +170,7 @@ bool
 db_create_pool_record(JCR *jcr, B_DB *mdb, POOL_DBR *pr)
 {
    bool stat;        
-   char ed1[30], ed2[30], ed3[50];
+   char ed1[30], ed2[30], ed3[50], ed4[50];
 
    Dmsg0(200, "In create pool\n");
    db_lock(mdb);
@@ -192,8 +192,8 @@ db_create_pool_record(JCR *jcr, B_DB *mdb, POOL_DBR *pr)
    Mmsg(mdb->cmd,
 "INSERT INTO Pool (Name,NumVols,MaxVols,UseOnce,UseCatalog,"
 "AcceptAnyVolume,AutoPrune,Recycle,VolRetention,VolUseDuration,"
-"MaxVolJobs,MaxVolFiles,MaxVolBytes,PoolType,LabelType,LabelFormat) "
-"VALUES ('%s',%u,%u,%d,%d,%d,%d,%d,%s,%s,%u,%u,%s,'%s',%d,'%s')",
+"MaxVolJobs,MaxVolFiles,MaxVolBytes,PoolType,LabelType,LabelFormat,RecyclePoolId) "
+"VALUES ('%s',%u,%u,%d,%d,%d,%d,%d,%s,%s,%u,%u,%s,'%s',%d,'%s',%s)",
                   pr->Name,
                   pr->NumVols, pr->MaxVols,
                   pr->UseOnce, pr->UseCatalog,
@@ -203,7 +203,8 @@ db_create_pool_record(JCR *jcr, B_DB *mdb, POOL_DBR *pr)
                   edit_uint64(pr->VolUseDuration, ed2),
                   pr->MaxVolJobs, pr->MaxVolFiles,
                   edit_uint64(pr->MaxVolBytes, ed3),
-                  pr->PoolType, pr->LabelType, pr->LabelFormat);
+                  pr->PoolType, pr->LabelType, pr->LabelFormat,
+                  edit_int64(pr->RecyclePoolId,ed4));
    Dmsg1(200, "Create Pool: %s\n", mdb->cmd);
    if (!INSERT_DB(jcr, mdb, mdb->cmd)) {
       Mmsg2(&mdb->errmsg, _("Create db Pool record %s failed: ERR=%s\n"),
@@ -665,7 +666,9 @@ bool db_create_fileset_record(JCR *jcr, B_DB *mdb, FILESET_DBR *fsr)
  *  };
  */
 
-/*  All db_batch_* functions are used to do bulk batch insert in File/Filename/Path
+#ifdef HAVE_BATCH_FILE_INSERT
+
+/*  All sql_batch_* functions are used to do bulk batch insert in File/Filename/Path
  *  tables. This code can be activated by adding "#define HAVE_BATCH_FILE_INSERT 1"
  *  in baconfig.h
  *  
@@ -677,29 +680,42 @@ bool db_create_fileset_record(JCR *jcr, B_DB *mdb, FILESET_DBR *fsr)
  *   - then insert the join between the temp, filename and path tables into file.
  */
 
-int db_batch_start(B_DB *mdb)
+/* 
+ * Returns 1 if OK
+ *         0 if failed
+ */
+bool my_batch_start(JCR *jcr, B_DB *mdb)
 {
-   return sql_query(mdb,
-             " CREATE TEMPORARY TABLE batch "
-             "        (fileindex integer,   "
-             "        jobid integer,        "
-             "        path blob,            "
-             "        name blob,            "
-             "        lstat tinyblob,       "
-             "        md5 tinyblob)         ");
+   bool ok;
+
+   db_lock(mdb);
+   ok =  db_sql_query(mdb,
+             "CREATE TEMPORARY TABLE batch ("
+                "FileIndex integer,"
+                "JobId integer,"
+                "Path blob,"
+                "Name blob,"
+                "LStat tinyblob,"
+                "MD5 tinyblob)",NULL, NULL);
+   db_unlock(mdb);
+   return ok;
 }
 
-int db_batch_insert(B_DB *mdb, ATTR_DBR *ar)
+/* 
+ * Returns 1 if OK
+ *         0 if failed
+ */
+bool my_batch_insert(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
 {
    size_t len;
-   char *digest;
+   const char *digest;
    char ed1[50];
 
    mdb->esc_name = check_pool_memory_size(mdb->esc_name, mdb->fnl*2+1);
-   db_escape_string(mdb->esc_name, mdb->fname, mdb->fnl);
+   db_escape_string(jcr, mdb, mdb->esc_name, mdb->fname, mdb->fnl);
 
-   mdb->esc_name2 = check_pool_memory_size(mdb->esc_name2, mdb->pnl*2+1);
-   db_escape_string(mdb->esc_name2, mdb->path, mdb->pnl);
+   mdb->esc_path = check_pool_memory_size(mdb->esc_path, mdb->pnl*2+1);
+   db_escape_string(jcr, mdb, mdb->esc_path, mdb->path, mdb->pnl);
 
    if (ar->Digest == NULL || ar->Digest[0] == 0) {
       digest = "0";
@@ -708,98 +724,109 @@ int db_batch_insert(B_DB *mdb, ATTR_DBR *ar)
    }
 
    len = Mmsg(mdb->cmd, "INSERT INTO batch VALUES (%u,%s,'%s','%s','%s','%s')",
-              ar->FileIndex, edit_int64(ar->JobId,ed1), mdb->path, 
-              mdb->fname, ar->attr, digest);
-
-   sql_query(mdb, mdb->cmd);
+              ar->FileIndex, edit_int64(ar->JobId,ed1), mdb->esc_path, 
+              mdb->esc_name, ar->attr, digest);
 
-   return mdb->status;
+   return INSERT_DB(jcr, mdb, mdb->cmd);
 }
 
 /* set error to something to abort operation */
-int db_batch_end(B_DB *mdb, const char *error)
+/* 
+ * Returns 1 if OK
+ *         0 if failed
+ */
+bool my_batch_end(JCR *jcr, B_DB *mdb, const char *error)
 {
    
-   Dmsg0(50, "db_batch_end started");
+   Dmsg0(50, "sql_batch_end started\n");
 
    if (mdb) {
       mdb->status = 0;
-      return mdb->status;
    }
-   return 0;
+   return true;
 }
 
-int db_create_batch_file_record(JCR *jcr)
+/* 
+ * Returns 1 if OK
+ *         0 if failed
+ */
+bool db_write_batch_file_records(JCR *jcr)
 {
-   Dmsg0(50,"db_create_file_record : no files");
+   int JobStatus = jcr->JobStatus;
 
    if (!jcr->db_batch) {         /* no files to backup ? */
       Dmsg0(50,"db_create_file_record : no files\n");
-      return 0;
+      return true;
+   }
+   if (job_canceled(jcr)) {
+      return false;
    }
 
-   if (sql_batch_end(jcr->db_batch, NULL)) {
-      Jmsg(jcr, M_FATAL, 0, "Bad batch end %s\n", jcr->db_batch->errmsg);
-      return 1;
+   Dmsg1(50,"db_create_file_record changes=%u\n",jcr->db_batch->changes);
+
+   jcr->JobStatus = JS_AttrInserting;
+   if (!sql_batch_end(jcr, jcr->db_batch, NULL)) {
+      Jmsg1(jcr, M_FATAL, 0, "Batch end %s\n", jcr->db_batch->errmsg);
+      return false;
+   }
+   if (job_canceled(jcr)) {
+      return false;
    }
 
+
    /* we have to lock tables */
-   if (sql_query(jcr->db_batch, sql_batch_lock_path_query))
-   {
-      Jmsg(jcr, M_FATAL, 0, "Can't lock Path table %s\n", jcr->db_batch->errmsg);
-      return 1;
+   if (!db_sql_query(jcr->db_batch, sql_batch_lock_path_query, NULL, NULL)) {
+      Jmsg1(jcr, M_FATAL, 0, "Lock Path table %s\n", jcr->db_batch->errmsg);
+      return false;
    }
 
-   if (sql_query(jcr->db_batch, sql_batch_fill_path_query))
-   {
-      Jmsg(jcr, M_FATAL, 0, "Can't fill Path table %s\n",jcr->db_batch->errmsg);
-      sql_query(jcr->db_batch, sql_batch_unlock_tables_query);
-      return 1;
+   if (!db_sql_query(jcr->db_batch, sql_batch_fill_path_query, NULL, NULL)) {
+      Jmsg1(jcr, M_FATAL, 0, "Fill Path table %s\n",jcr->db_batch->errmsg);
+      db_sql_query(jcr->db_batch, sql_batch_unlock_tables_query, NULL, NULL);
+      return false;
    }
    
-   if (sql_query(jcr->db_batch, sql_batch_unlock_tables_query))
-   {
-      Jmsg(jcr, M_FATAL, 0, "Can't unlock Path table %s\n", jcr->db_batch->errmsg);
-      return 1;      
+   if (!db_sql_query(jcr->db_batch, sql_batch_unlock_tables_query,NULL,NULL)) {
+      Jmsg1(jcr, M_FATAL, 0, "Unlock Path table %s\n", jcr->db_batch->errmsg);
+      return false;      
    }
 
    /* we have to lock tables */
-   if (sql_query(jcr->db_batch, sql_batch_lock_filename_query))
-   {
-      Jmsg(jcr, M_FATAL, 0, "Can't lock Filename table %s\n", jcr->db_batch->errmsg);
-      return 1;
+   if (!db_sql_query(jcr->db_batch,sql_batch_lock_filename_query,NULL, NULL)) {
+      Jmsg1(jcr, M_FATAL, 0, "Lock Filename table %s\n", jcr->db_batch->errmsg);
+      return false;
    }
    
-   if (sql_query(jcr->db_batch, sql_batch_fill_filename_query))
-   {
-      Jmsg(jcr,M_FATAL,0,"Can't fill Filename table %s\n",jcr->db_batch->errmsg);
-      sql_query(jcr->db_batch, sql_batch_unlock_tables_query);
-      return 1;            
+   if (!db_sql_query(jcr->db_batch,sql_batch_fill_filename_query, NULL,NULL)) {
+      Jmsg1(jcr,M_FATAL,0,"Fill Filename table %s\n",jcr->db_batch->errmsg);
+      db_sql_query(jcr->db_batch, sql_batch_unlock_tables_query, NULL, NULL);
+      return false;            
    }
 
-   if (sql_query(jcr->db_batch, sql_batch_unlock_tables_query)) {
-      Jmsg(jcr, M_FATAL, 0, "Can't unlock Filename table %s\n", jcr->db_batch->errmsg);
-      return 1;
+   if (!db_sql_query(jcr->db_batch, sql_batch_unlock_tables_query,NULL,NULL)) {
+      Jmsg1(jcr, M_FATAL, 0, "Unlock Filename table %s\n", jcr->db_batch->errmsg);
+      return false;
    }
    
-   if (sql_query(jcr->db_batch, 
-       " INSERT INTO File (FileIndex, JobId, PathId, FilenameId, LStat, MD5)"
-       "  SELECT batch.FileIndex, batch.JobId, Path.PathId,               " 
-       "         Filename.FilenameId,batch.LStat, batch.MD5               "
-       "  FROM batch                                                      "
-       "    JOIN Path ON (batch.Path = Path.Path)                         "
-       "    JOIN Filename ON (batch.Name = Filename.Name)                 "))
+   if (!db_sql_query(jcr->db_batch, 
+       "INSERT INTO File (FileIndex, JobId, PathId, FilenameId, LStat, MD5)"
+         "SELECT batch.FileIndex, batch.JobId, Path.PathId, "
+                "Filename.FilenameId,batch.LStat, batch.MD5 "
+           "FROM batch "
+           "JOIN Path ON (batch.Path = Path.Path) "
+           "JOIN Filename ON (batch.Name = Filename.Name)",
+                     NULL,NULL))
    {
-      Jmsg(jcr, M_FATAL, 0, "Can't fill File table %s\n", jcr->db_batch->errmsg);
-      return 1;
+      Jmsg1(jcr, M_FATAL, 0, "Fill File table %s\n", jcr->db_batch->errmsg);
+      return false;
    }
 
-   sql_query(jcr->db_batch, "DROP TABLE batch");
+   db_sql_query(jcr->db_batch, "DROP TABLE batch", NULL,NULL);
 
-   return 0;
+   jcr->JobStatus = JobStatus;         /* reset entry status */
+   return true;
 }
 
-#ifdef HAVE_BATCH_FILE_INSERT
 /*
  * Create File record in B_DB
  *
@@ -809,35 +836,45 @@ int db_create_batch_file_record(JCR *jcr)
  *  how many times it occurs.  This is this subroutine, we separate
  *  the file and the path and fill temporary tables with this three records.
  */
-int db_create_file_attributes_record(JCR *jcr, B_DB *_mdb, ATTR_DBR *ar)
+bool db_create_file_attributes_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
 {
-
    Dmsg1(dbglevel, "Fname=%s\n", ar->fname);
    Dmsg0(dbglevel, "put_file_into_catalog\n");
 
    if (!jcr->db_batch) {
+      Dmsg2(100, "Opendb attr. Stream=%d fname=%s\n", ar->Stream, ar->fname);
       jcr->db_batch = db_init_database(jcr, 
-                                      jcr->db->db_name, 
-                                      jcr->db->db_user,
-                                      jcr->db->db_password, 
-                                      jcr->db->db_address,
-                                      jcr->db->db_port,
-                                      jcr->db->db_socket,
+                                      mdb->db_name, 
+                                      mdb->db_user,
+                                      mdb->db_password, 
+                                      mdb->db_address,
+                                      mdb->db_port,
+                                      mdb->db_socket,
                                       1 /* multi_db = true */);
+      if (!jcr->db_batch) {
+         Mmsg1(&mdb->errmsg, _("Could not init batch database: \"%s\".\n"),
+                        jcr->db->db_name);
+         Jmsg1(jcr, M_FATAL, 0, "%s", mdb->errmsg);
+         return false;
+      }
 
-      if (!jcr->db_batch || !db_open_database(jcr, jcr->db_batch)) {
-         Jmsg(jcr, M_FATAL, 0, _("Could not open database \"%s\".\n"),
-              jcr->db->db_name);
-         if (jcr->db_batch) {
-            Jmsg(jcr, M_FATAL, 0, "%s", db_strerror(jcr->db_batch));
-         }
-         return 0;
+      if (!db_open_database(jcr, jcr->db_batch)) {
+         Mmsg2(&mdb->errmsg,  _("Could not open database \"%s\": ERR=%s\n"),
+              jcr->db->db_name, db_strerror(jcr->db_batch));
+         Jmsg1(jcr, M_FATAL, 0, "%s", mdb->errmsg);
+         return false;
       }      
       
-      sql_batch_start(jcr->db_batch);
+      if (!sql_batch_start(jcr, jcr->db_batch)) {
+         Mmsg1(&mdb->errmsg, 
+              "Can't start batch mode: ERR=%s", db_strerror(jcr->db_batch));
+         Jmsg1(jcr, M_FATAL, 0, "%s", mdb->errmsg);
+         return false;
+      }
+      Dmsg3(100, "initdb ref=%d connected=%d db=%p\n", jcr->db_batch->ref_count,
+            jcr->db_batch->connected, jcr->db_batch->db);
    }
-
-   B_DB *mdb = jcr->db_batch;
+   B_DB *bdb = jcr->db_batch;
 
    /*
     * Make sure we have an acceptable attributes record.
@@ -846,22 +883,22 @@ int db_create_file_attributes_record(JCR *jcr, B_DB *_mdb, ATTR_DBR *ar)
          ar->Stream == STREAM_UNIX_ATTRIBUTES_EX)) {
       Mmsg1(&mdb->errmsg, _("Attempt to put non-attributes into catalog. Stream=%d\n"),
          ar->Stream);
-      Jmsg(jcr, M_ERROR, 0, "%s", mdb->errmsg);
-      return 0;
+      Jmsg(jcr, M_FATAL, 0, "%s", mdb->errmsg);
+      return false;
    }
 
-   split_path_and_file(jcr, mdb, ar->fname);
+   split_path_and_file(jcr, bdb, ar->fname);
 
 
 /*
-   if (jcr->changes > 100000) {
-      sql_batch_end(mdb, NULL);
-      sql_batch_start(mdb);
-      jcr->changes = 0;
+   if (bdb->changes > 100000) {
+      db_write_batch_file_records(jcr);
+      bdb->changes = 0;
+      sql_batch_start(jcr, bdb);
    }
 */
 
-   return (sql_batch_insert(mdb, ar) == 0);
+   return sql_batch_insert(jcr, bdb, ar);
 }
 
 #else  /* ! HAVE_BATCH_FILE_INSERT */
@@ -875,9 +912,8 @@ int db_create_file_attributes_record(JCR *jcr, B_DB *_mdb, ATTR_DBR *ar)
  *  how many times it occurs.  This is this subroutine, we separate
  *  the file and the path and create three database records.
  */
-int db_create_file_attributes_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
+bool db_create_file_attributes_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
 {
-
    db_lock(mdb);
    Dmsg1(dbglevel, "Fname=%s\n", ar->fname);
    Dmsg0(dbglevel, "put_file_into_catalog\n");
@@ -914,14 +950,13 @@ int db_create_file_attributes_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
 
    Dmsg3(dbglevel, "CreateAttributes Path=%s File=%s FilenameId=%d\n", mdb->path, mdb->fname, ar->FilenameId);
    db_unlock(mdb);
-   return 1;
+   return true;
 
 bail_out:
    db_unlock(mdb);
-   return 0;
+   return false;
 }
 
-#endif /* ! HAVE_BATCH_FILE_INSERT */
 
 /*
  * This is the master File entry containing the attributes.
@@ -970,7 +1005,7 @@ static int db_create_path_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
    int stat;
 
    mdb->esc_name = check_pool_memory_size(mdb->esc_name, 2*mdb->pnl+2);
-   db_escape_string(mdb->esc_name, mdb->path, mdb->pnl);
+   db_escape_string(jcr, mdb, mdb->esc_name, mdb->path, mdb->pnl);
 
    if (mdb->cached_path_id != 0 && mdb->cached_path_len == mdb->pnl &&
        strcmp(mdb->cached_path, mdb->path) == 0) {
@@ -1040,8 +1075,8 @@ static int db_create_filename_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
    SQL_ROW row;
 
    mdb->esc_name = check_pool_memory_size(mdb->esc_name, 2*mdb->fnl+2);
-   db_escape_string(mdb->esc_name, mdb->fname, mdb->fnl);
-
+   db_escape_string(jcr, mdb, mdb->esc_name, mdb->fname, mdb->fnl);
+   
    Mmsg(mdb->cmd, "SELECT FilenameId FROM Filename WHERE Name='%s'", mdb->esc_name);
 
    if (QUERY_DB(jcr, mdb, mdb->cmd)) {
@@ -1080,4 +1115,11 @@ static int db_create_filename_record(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
    return ar->FilenameId > 0;
 }
 
-#endif /* HAVE_SQLITE3 || HAVE_MYSQL || HAVE_SQLITE || HAVE_POSTGRESQL */
+bool db_write_batch_file_records(JCR *jcr)
+{
+   return true;
+}
+
+#endif /* ! HAVE_BATCH_FILE_INSERT */
+
+#endif /* HAVE_SQLITE3 || HAVE_MYSQL || HAVE_SQLITE || HAVE_POSTGRESQL || HAVE_DBI */