]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/cats/postgresql.c
Change to Copyright (C) 2007-2009
[bacula/bacula] / bacula / src / cats / postgresql.c
index d7010647e95d76fd0c36205441b6260a6871abdd..9a380de4802c7ef39322491d2a7904b65be3d1d8 100644 (file)
@@ -20,7 +20,7 @@
    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
    02110-1301, USA.
 
-   Bacula® is a registered trademark of John Walker.
+   Bacula® is a registered trademark of Kern Sibbald.
    The licensor of Bacula is the Free Software Foundation Europe
    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
    Switzerland, email:ftf@fsfeurope.org.
@@ -47,6 +47,7 @@
 #ifdef HAVE_POSTGRESQL
 
 #include "postgres_ext.h"       /* needed for NAMEDATALEN */
+#include "pg_config_manual.h"   /* get NAMEDATALEN on version 8.3 or later */
 
 /* -----------------------------------------------------------------------
  *
@@ -131,6 +132,32 @@ db_init_database(JCR *jcr, const char *db_name, const char *db_user, const char
    return mdb;
 }
 
+/* Check that the database correspond to the encoding we want */
+static bool check_database_encoding(JCR *jcr, B_DB *mdb)
+{
+   SQL_ROW row;
+   int ret=false;
+
+   if (!db_sql_query(mdb, "SELECT getdatabaseencoding()", NULL, NULL)) {
+      Jmsg(jcr, M_ERROR, 0, "%s", mdb->errmsg);
+      return false;
+   }
+
+   if ((row = sql_fetch_row(mdb)) == NULL) {
+      Mmsg1(mdb->errmsg, _("error fetching row: %s\n"), sql_strerror(mdb));
+      Jmsg(jcr, M_ERROR, 0, "Can't check database encoding %s", mdb->errmsg);
+   } else {
+      ret = bstrcmp(row[0], "SQL_ASCII");
+      if (!ret) {
+         Mmsg(mdb->errmsg, 
+              _("Encoding error for database \"%s\". Wanted SQL_ASCII, got %s\n"),
+              mdb->db_name, row[0]);
+         Jmsg(jcr, M_WARNING, 0, "%s", mdb->errmsg);
+      } 
+   }
+   return ret;
+}
+
 /*
  * Now actually open the database.  This can generate errors,
  *   which are returned in the errmsg
@@ -143,10 +170,10 @@ db_open_database(JCR *jcr, B_DB *mdb)
    int errstat;
    char buf[10], *port;
 
-#ifdef xxx
+#ifdef xxx                      /* require libpq >= 8.2 */
    if (!PQisthreadsafe()) {
       Jmsg(jcr, M_ABORT, 0, _("PostgreSQL configuration problem. "          
-           "PostgreSQL library is not thread safe. Connot continue.\n"));
+           "PostgreSQL library is not thread safe. Cannot continue.\n"));
    }
 #endif
    P(mutex);
@@ -211,6 +238,15 @@ db_open_database(JCR *jcr, B_DB *mdb)
    }
 
    sql_query(mdb, "SET datestyle TO 'ISO, YMD'");
+   
+   /* tell PostgreSQL we are using standard conforming strings
+      and avoid warnings such as:
+       WARNING:  nonstandard use of \\ in a string literal
+   */
+   sql_query(mdb, "set standard_conforming_strings=on");
+
+   /* check that encoding is SQL_ASCII */
+   check_database_encoding(jcr, mdb);
 
    V(mutex);
    return 1;
@@ -254,7 +290,6 @@ db_close_database(JCR *jcr, B_DB *mdb)
       if (mdb->db_socket) {
          free(mdb->db_socket);
       }
-      my_postgresql_free_result(mdb);
       free(mdb);
    }
    V(mutex);
@@ -285,16 +320,24 @@ int db_next_index(JCR *jcr, B_DB *mdb, char *table, char *index)
  *         the escaped output.
  */
 void
-db_escape_string(char *snew, char *old, int len)
+db_escape_string(JCR *jcr, B_DB *mdb, char *snew, char *old, int len)
 {
-   PQescapeString(snew, old, len);
+   int error;
+  
+   PQescapeStringConn(mdb->db, snew, old, len, &error);
+   if (error) {
+      Jmsg(jcr, M_FATAL, 0, _("PQescapeStringConn returned non-zero.\n"));
+      /* error on encoding, probably invalid multibyte encoding in the source string
+        see PQescapeStringConn documentation for details. */
+      Dmsg0(500, "PQescapeStringConn failed\n");
+   }
 }
 
 /*
  * Submit a general SQL command (cmd), and for each row returned,
  *  the sqlite_handler is called with the ctx.
  */
-int db_sql_query(B_DB *mdb, const char *query, DB_RESULT_HANDLER *result_handler, void *ctx)
+bool db_sql_query(B_DB *mdb, const char *query, DB_RESULT_HANDLER *result_handler, void *ctx)
 {
    SQL_ROW row;
 
@@ -305,7 +348,7 @@ int db_sql_query(B_DB *mdb, const char *query, DB_RESULT_HANDLER *result_handler
       Mmsg(mdb->errmsg, _("Query failed: %s: ERR=%s\n"), query, sql_strerror(mdb));
       db_unlock(mdb);
       Dmsg0(500, "db_sql_query failed\n");
-      return 0;
+      return false;
    }
    Dmsg0(500, "db_sql_query succeeded. checking handler\n");
 
@@ -329,7 +372,7 @@ int db_sql_query(B_DB *mdb, const char *query, DB_RESULT_HANDLER *result_handler
 
    Dmsg0(500, "db_sql_query finished\n");
 
-   return 1;
+   return true;
 }
 
 
@@ -342,14 +385,16 @@ POSTGRESQL_ROW my_postgresql_fetch_row(B_DB *mdb)
    Dmsg0(500, "my_postgresql_fetch_row start\n");
 
    if (!mdb->row || mdb->row_size < mdb->num_fields) {
+      int num_fields = mdb->num_fields;
       Dmsg1(500, "we have need space of %d bytes\n", sizeof(char *) * mdb->num_fields);
 
       if (mdb->row) {
          Dmsg0(500, "my_postgresql_fetch_row freeing space\n");
          free(mdb->row);
       }
-      mdb->row = (POSTGRESQL_ROW) malloc(sizeof(char *) * mdb->num_fields);
-      mdb->row_size = mdb->num_fields;
+      num_fields += 20;                  /* add a bit extra */
+      mdb->row = (POSTGRESQL_ROW)malloc(sizeof(char *) * num_fields);
+      mdb->row_size = num_fields;
 
       // now reset the row_number now that we have the space allocated
       mdb->row_number = 0;
@@ -371,7 +416,7 @@ POSTGRESQL_ROW my_postgresql_fetch_row(B_DB *mdb)
       Dmsg2(500, "my_postgresql_fetch_row row number '%d' is NOT acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
    }
 
-   Dmsg1(500, "my_postgresql_fetch_row finishes returning %x\n", row);
+   Dmsg1(500, "my_postgresql_fetch_row finishes returning %p\n", row);
 
    return row;
 }
@@ -530,7 +575,7 @@ void my_postgresql_free_result(B_DB *mdb)
    db_unlock(mdb);
 }
 
-int my_postgresql_currval(B_DB *mdb, char *table_name)
+int my_postgresql_currval(B_DB *mdb, const char *table_name)
 {
    // Obtain the current value of the sequence that
    // provides the serial value for primary key of the table.
@@ -595,20 +640,22 @@ bail_out:
    return id;
 }
 
+#ifdef HAVE_BATCH_FILE_INSERT
+
 int my_postgresql_batch_start(JCR *jcr, B_DB *mdb)
 {
-   char *query = "COPY batch FROM STDIN";
+   const char *query = "COPY batch FROM STDIN";
 
    Dmsg0(500, "my_postgresql_batch_start started\n");
 
    if (my_postgresql_query(mdb,
-                           " CREATE TEMPORARY TABLE batch "
-                           "        (fileindex int,       "
-                           "        jobid int,            "
-                           "        path varchar,         "
-                           "        name varchar,         "
-                           "        lstat varchar,        "
-                           "        md5 varchar)") == 1)
+                           "CREATE TEMPORARY TABLE batch ("
+                               "fileindex int,"
+                               "jobid int,"
+                               "path varchar,"
+                               "name varchar,"
+                               "lstat varchar,"
+                               "md5 varchar)") == 1)
    {
       Dmsg0(500, "my_postgresql_batch_start failed\n");
       return 1;
@@ -619,9 +666,7 @@ int my_postgresql_batch_start(JCR *jcr, B_DB *mdb)
    mdb->row_number   = -1;
    mdb->field_number = -1;
 
-   if (mdb->result != NULL) {
-      my_postgresql_free_result(mdb);
-   }
+   my_postgresql_free_result(mdb);
 
    for (int i=0; i < 10; i++) {
       mdb->result = PQexec(mdb->db, query);
@@ -651,6 +696,7 @@ int my_postgresql_batch_start(JCR *jcr, B_DB *mdb)
    return mdb->status;
 
 bail_out:
+   Mmsg1(&mdb->errmsg, _("error starting batch mode: %s"), PQerrorMessage(mdb->db));
    mdb->status = 0;
    PQclear(mdb->result);
    mdb->result = NULL;
@@ -680,7 +726,7 @@ int my_postgresql_batch_end(JCR *jcr, B_DB *mdb, const char *error)
    if (res <= 0) {
       Dmsg0(500, "we failed\n");
       mdb->status = 0;
-      Mmsg1(&mdb->errmsg, _("error ending batch mode: %s\n"), PQerrorMessage(mdb->db));
+      Mmsg1(&mdb->errmsg, _("error ending batch mode: %s"), PQerrorMessage(mdb->db));
    }
    
    Dmsg0(500, "my_postgresql_batch_end finishing\n");
@@ -693,7 +739,7 @@ int my_postgresql_batch_insert(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
    int res;
    int count=30;
    size_t len;
-   char *digest;
+   const char *digest;
    char ed1[50];
 
    mdb->esc_name = check_pool_memory_size(mdb->esc_name, mdb->fnl*2+1);
@@ -727,7 +773,7 @@ int my_postgresql_batch_insert(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
    if (res <= 0) {
       Dmsg0(500, "we failed\n");
       mdb->status = 0;
-      Mmsg1(&mdb->errmsg, _("error ending batch mode: %s\n"), PQerrorMessage(mdb->db));
+      Mmsg1(&mdb->errmsg, _("error ending batch mode: %s"), PQerrorMessage(mdb->db));
    }
 
    Dmsg0(500, "my_postgresql_batch_insert finishing\n");
@@ -735,6 +781,8 @@ int my_postgresql_batch_insert(JCR *jcr, B_DB *mdb, ATTR_DBR *ar)
    return mdb->status;
 }
 
+#endif /* HAVE_BATCH_FILE_INSERT */
+
 /*
  * Escape strings so that PostgreSQL is happy on COPY
  *
@@ -782,22 +830,29 @@ char *my_postgresql_copy_escape(char *dest, char *src, size_t len)
    return dest;
 }
 
-char *my_pg_batch_lock_path_query = "BEGIN; LOCK TABLE Path IN SHARE ROW EXCLUSIVE MODE";
+#ifdef HAVE_BATCH_FILE_INSERT
+const char *my_pg_batch_lock_path_query = 
+   "BEGIN; LOCK TABLE Path IN SHARE ROW EXCLUSIVE MODE";
+
 
+const char *my_pg_batch_lock_filename_query = 
+   "BEGIN; LOCK TABLE Filename IN SHARE ROW EXCLUSIVE MODE";
 
-char *my_pg_batch_lock_filename_query = "BEGIN; LOCK TABLE Filename IN SHARE ROW EXCLUSIVE MODE";
+const char *my_pg_batch_unlock_tables_query = "COMMIT";
 
-char *my_pg_batch_unlock_tables_query = "COMMIT";
+const char *my_pg_batch_fill_path_query = 
+   "INSERT INTO Path (Path) "
+    "SELECT a.Path FROM "
+     "(SELECT DISTINCT Path FROM batch) AS a "
+      "WHERE NOT EXISTS (SELECT Path FROM Path WHERE Path = a.Path) ";
 
-char *my_pg_batch_fill_path_query = "INSERT INTO Path (Path)                                    "
-                                    "  SELECT a.Path FROM                                       "
-                                    "      (SELECT DISTINCT Path FROM batch) AS a               "
-                                    "  WHERE NOT EXISTS (SELECT Path FROM Path WHERE Path = a.Path) ";
 
+const char *my_pg_batch_fill_filename_query = 
+   "INSERT INTO Filename (Name) "
+    "SELECT a.Name FROM "
+     "(SELECT DISTINCT Name FROM batch) as a "
+      "WHERE NOT EXISTS "
+       "(SELECT Name FROM Filename WHERE Name = a.Name)";
+#endif /* HAVE_BATCH_FILE_INSERT */
 
-char *my_pg_batch_fill_filename_query = "INSERT INTO Filename (Name)        "
-                                        "  SELECT a.Name FROM               "
-                                        "    (SELECT DISTINCT Name FROM batch) as a "
-                                        "    WHERE NOT EXISTS               "
-                                        "      (SELECT Name FROM Filename WHERE Name = a.Name)";
 #endif /* HAVE_POSTGRESQL */