]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/cats/postgresql.c
Add second COALESCE to sql_find -- thanks to JML
[bacula/bacula] / bacula / src / cats / postgresql.c
index d5b3533f6c63ddb0333b7cc7f6b88715537de820..91b4493743c9973da88369173b8f5bb850b504cd 100644 (file)
@@ -2,14 +2,14 @@
  * Bacula Catalog Database routines specific to PostgreSQL
  *   These are PostgreSQL specific routines
  *
- *    Dan Langille, December 2004
+ *    Dan Langille, December 2003
  *    based upon work done by Kern Sibbald, March 2000
  *
  *    Version $Id$
  */
 
 /*
-   Copyright (C) 2000-2003 Kern Sibbald and John Walker
+   Copyright (C) 2000-2004 Kern Sibbald and John Walker
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
@@ -39,6 +39,8 @@
 
 #ifdef HAVE_POSTGRESQL
 
+#include "postgres_ext.h"       /* needed for NAMEDATALEN */
+
 /* -----------------------------------------------------------------------
  *
  *   PostgreSQL dependent defines and subroutines
@@ -91,14 +93,14 @@ db_init_database(JCR *jcr, char *db_name, char *db_user, char *db_password,
    }
    mdb->db_port        = db_port;
    mdb->have_insert_id = TRUE;
-   mdb->errmsg         = get_pool_memory(PM_EMSG); /* get error message buffer */
+   mdb->errmsg        = get_pool_memory(PM_EMSG); /* get error message buffer */
    *mdb->errmsg        = 0;
-   mdb->cmd            = get_pool_memory(PM_EMSG);    /* get command buffer */
+   mdb->cmd               = get_pool_memory(PM_EMSG); /* get command buffer */
    mdb->cached_path    = get_pool_memory(PM_FNAME);
    mdb->cached_path_id = 0;
    mdb->ref_count      = 1;
-   mdb->fname          = get_pool_memory(PM_FNAME);
-   mdb->path           = get_pool_memory(PM_FNAME);
+   mdb->fname         = get_pool_memory(PM_FNAME);
+   mdb->path          = get_pool_memory(PM_FNAME);
    mdb->esc_name       = get_pool_memory(PM_FNAME);
    qinsert(&db_list, &mdb->bq);           /* put db in list */
    V(mutex);
@@ -107,7 +109,9 @@ db_init_database(JCR *jcr, char *db_name, char *db_user, char *db_password,
 
 /*
  * Now actually open the database.  This can generate errors,
- * which are returned in the errmsg
+ *   which are returned in the errmsg
+ *
+ * DO NOT close the database or free(mdb) here !!!!
  */
 int
 db_open_database(JCR *jcr, B_DB *mdb)
@@ -132,8 +136,8 @@ db_open_database(JCR *jcr, B_DB *mdb)
    mdb->db = PQsetdbLogin(
        mdb->db_address,              /* default = localhost */
        (char *) mdb->db_port,    /* default port */
-       NULL,                     /* pg options */
-       NULL,                     /* tty, ignored */
+       NULL,                     /* pg options */
+       NULL,                     /* tty, ignored */
        mdb->db_name,                 /* database name */
        mdb->db_user,                 /* login name */
        mdb->db_password);            /* password */
@@ -143,8 +147,8 @@ db_open_database(JCR *jcr, B_DB *mdb)
    mdb->db = PQsetdbLogin(
        mdb->db_address,              /* default = localhost */
        (char *) mdb->db_port,    /* default port */
-       NULL,                     /* pg options */
-       NULL,                     /* tty, ignored */
+       NULL,                     /* pg options */
+       NULL,                     /* tty, ignored */
        mdb->db_name,                 /* database name */
        mdb->db_user,                 /* login name */
        mdb->db_password);            /* password */
@@ -158,14 +162,13 @@ db_open_database(JCR *jcr, B_DB *mdb)
       Mmsg2(&mdb->errmsg, _("Unable to connect to PostgreSQL server.\n"
             "Database=%s User=%s\n"
             "It is probably not running or your password is incorrect.\n"),
-            mdb->db_name, mdb->db_user);
+            mdb->db_name, mdb->db_user);
       V(mutex);
       return 0;
    }
 
    if (!check_tables_version(jcr, mdb)) {
       V(mutex);
-      db_close_database(jcr, mdb);
       return 0;
    }
 
@@ -177,12 +180,15 @@ db_open_database(JCR *jcr, B_DB *mdb)
 void
 db_close_database(JCR *jcr, B_DB *mdb)
 {
+   if (!mdb) {
+      return;
+   }
    P(mutex);
    mdb->ref_count--;
    if (mdb->ref_count == 0) {
       qdchain(&mdb->bq);
       if (mdb->connected && mdb->db) {
-         sql_close(mdb);
+        sql_close(mdb);
       }
       rwl_destroy(&mdb->lock);      
       free_pool_memory(mdb->errmsg);
@@ -192,19 +198,19 @@ db_close_database(JCR *jcr, B_DB *mdb)
       free_pool_memory(mdb->path);
       free_pool_memory(mdb->esc_name);
       if (mdb->db_name) {
-         free(mdb->db_name);
+        free(mdb->db_name);
       }
       if (mdb->db_user) {
-         free(mdb->db_user);
+        free(mdb->db_user);
       }
       if (mdb->db_password) {
-         free(mdb->db_password);
+        free(mdb->db_password);
       }
       if (mdb->db_address) {
-         free(mdb->db_address);
+        free(mdb->db_address);
       }
       if (mdb->db_socket) {
-         free(mdb->db_socket);
+        free(mdb->db_socket);
       }
       free(mdb);
    }
@@ -215,7 +221,7 @@ db_close_database(JCR *jcr, B_DB *mdb)
  * Return the next unique index (auto-increment) for
  * the given table.  Return NULL on error.
  *  
- * For MySQL, NULL causes the auto-increment value
+ * For PostgreSQL, NULL causes the auto-increment value
  *  to be updated.
  */
 int db_next_index(JCR *jcr, B_DB *mdb, char *table, char *index)
@@ -245,7 +251,6 @@ db_escape_string(char *snew, char *old, int len)
 int db_sql_query(B_DB *mdb, char *query, DB_RESULT_HANDLER *result_handler, void *ctx)
 {
    SQL_ROW row;
-   int     numrows;
 
    Dmsg0(50, "db_sql_query started\n");
   
@@ -261,17 +266,17 @@ int db_sql_query(B_DB *mdb, char *query, DB_RESULT_HANDLER *result_handler, void
    if (result_handler != NULL) {
       Dmsg0(50, "db_sql_query invoking handler\n");
       if ((mdb->result = sql_store_result(mdb)) != NULL) {
-         int num_fields = sql_num_fields(mdb);
+        int num_fields = sql_num_fields(mdb);
 
          Dmsg0(50, "db_sql_query sql_store_result suceeded\n");
-         while ((row = sql_fetch_row(mdb)) != NULL) {
+        while ((row = sql_fetch_row(mdb)) != NULL) {
 
             Dmsg0(50, "db_sql_query sql_fetch_row worked\n");
-            if (result_handler(ctx, num_fields, row))
-                  break;
-         }
+           if (result_handler(ctx, num_fields, row))
+              break;
+        }
 
-         sql_free_result(mdb);
+       sql_free_result(mdb);
       }
    }
    db_unlock(mdb);
@@ -282,214 +287,217 @@ int db_sql_query(B_DB *mdb, char *query, DB_RESULT_HANDLER *result_handler, void
 }
 
 
-static void
-list_dashes(B_DB *mdb, DB_LIST_HANDLER *send, void *ctx)
-{
-   SQL_FIELD  *field;
-   unsigned int i, j;
-
-   sql_field_seek(mdb, 0);
-   send(ctx, "+");
-   for (i = 0; i < sql_num_fields(mdb); i++) {
-      field = sql_fetch_field(mdb);
-      for (j = 0; j < field->max_length + 2; j++)
-              send(ctx, "-");
-      send(ctx, "+");
-   }
-   send(ctx, "\n");
-}
 
-/*
- * If full_list is set, we list vertically, otherwise, we 
- * list on one line horizontally.      
- */
-void
-list_result(B_DB *mdb, DB_LIST_HANDLER *send, void *ctx, e_list_type type)
+POSTGRESQL_ROW my_postgresql_fetch_row(B_DB *mdb) 
 {
-   SQL_FIELD *field;
-   SQL_ROW row;
-   unsigned int i, col_len, max_len = 0;
-   char buf[2000], ewc[30];
+       int            j;
+       POSTGRESQL_ROW row = NULL; // by default, return NULL
 
-   if (mdb->result == NULL) {
-      send(ctx, _("No results to list.\n"));
-      return;
-   }
-   /* determine column display widths */
-   sql_field_seek(mdb, 0);
-   for (i = 0; i < sql_num_fields(mdb); i++) {
-      field   = sql_fetch_field(mdb);
-      col_len = strlen(field->name);
-      if (type == VERT_LIST) {
-         if (col_len > max_len) {
-            max_len = col_len;
-         }
-      } else {
-         if (IS_NUM(field->type) && field->max_length > 0) { /* fixup for commas */
-            field->max_length += (field->max_length - 1) / 3;
-         }
-         if (col_len < field->max_length) {
-            col_len = field->max_length;
-         }
-         if (col_len < 4 && !IS_NOT_NULL(field->flags)) {
-            col_len = 4;                 /* 4 = length of the word "NULL" */
-         }
-         field->max_length = col_len;   /* reset column info */
-      }
-   }
+        Dmsg0(50, "my_postgresql_fetch_row start\n");
 
-   if (type == VERT_LIST) {
-      goto vertical_list;
-   }
+       if (mdb->row_number == -1 || mdb->row == NULL) {
 
-   list_dashes(mdb, send, ctx);
-   send(ctx, "|");
-   sql_field_seek(mdb, 0);
-   for (i = 0; i < sql_num_fields(mdb); i++) {
-      field = sql_fetch_field(mdb);
-      bsnprintf(buf, sizeof(buf), " %-*s |", (int)field->max_length, field->name);
-      send(ctx, buf);
-   }
-   send(ctx, "\n");
-   list_dashes(mdb, send, ctx);
-
-   while ((row = sql_fetch_row(mdb)) != NULL) {
-      sql_field_seek(mdb, 0);
-      send(ctx, "|");
-      for (i = 0; i < sql_num_fields(mdb); i++) {
-      field = sql_fetch_field(mdb);
-      if (row[i] == NULL) {
-         bsnprintf(buf, sizeof(buf), " %-*s |", (int)field->max_length, "NULL");
-      } else if (IS_NUM(field->type)) {
-         bsnprintf(buf, sizeof(buf), " %*s |", (int)field->max_length,       
-            add_commas(row[i], ewc));
-         } else {
-             bsnprintf(buf, sizeof(buf), " %-*s |", (int)field->max_length, row[i]);
-         }
-         send(ctx, buf);
-      }
-      send(ctx, "\n");
-   }
-   list_dashes(mdb, send, ctx);
-   return;
-
-vertical_list:
-   
-   while ((row = sql_fetch_row(mdb)) != NULL) {
-      sql_field_seek(mdb, 0);
-      for (i = 0; i < sql_num_fields(mdb); i++) {
-      field = sql_fetch_field(mdb);
-      if (row[i] == NULL) {
-         bsnprintf(buf, sizeof(buf), " %*s: %s\n", max_len, field->name, "NULL");
-      } else if (IS_NUM(field->type)) {
-            bsnprintf(buf, sizeof(buf), " %*s: %s\n", max_len, field->name, 
-               add_commas(row[i], ewc));
-         } else {
-            bsnprintf(buf, sizeof(buf), " %*s: %s\n", max_len, field->name, row[i]);
-         }
-         send(ctx, buf);
-      }
-      send(ctx, "\n");
-   }
-   return;
-}
+                Dmsg1(50, "we have need space of %d bytes\n", sizeof(char *) * mdb->num_fields);
 
-POSTGRESQL_ROW my_postgresql_fetch_row(B_DB *mdb) {
-       int            nFields;
-       int            j;
-       POSTGRESQL_ROW row = NULL; // by default, return NULL
+               if (mdb->row != NULL) {
+                        Dmsg0(50, "my_postgresql_fetch_row freeing space\n");
+                       free(mdb->row);
+                       mdb->row = NULL;
+               }
+
+               mdb->row = (POSTGRESQL_ROW) malloc(sizeof(char *) * mdb->num_fields);
 
-       Dmsg0(50, "my_postgresql_fetch_row start\n");
-       ASSERT(mdb->row != NULL);
+               // now reset the row_number now that we have the space allocated
+               mdb->row_number = 0;
+       }
 
        // if still within the result set
        if (mdb->row_number < mdb->num_rows) {
-               Dmsg2(50, "my_postgresql_fetch_row row number '%d' is acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
-               // allocate space for one row
+                Dmsg2(50, "my_postgresql_fetch_row row number '%d' is acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
                // get each value from this row
                for (j = 0; j < mdb->num_fields; j++) {
                        mdb->row[j] = PQgetvalue(mdb->result, mdb->row_number, j);
-                       Dmsg2(50, "my_postgresql_fetch_row field '%d' is '%s'\n", j, mdb->row[j]);
+                        Dmsg2(50, "my_postgresql_fetch_row field '%d' has value '%s'\n", j, mdb->row[j]);
                }
                // increment the row number for the next call
                mdb->row_number++;
 
                row = mdb->row;
        } else {
-               Dmsg2(50, "my_postgresql_fetch_row row number '%d' is NOT acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
+                Dmsg2(50, "my_postgresql_fetch_row row number '%d' is NOT acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
        }
 
-       Dmsg1(50, "my_postgresql_fetch_row finishes returning %x\n", row);
+        Dmsg1(50, "my_postgresql_fetch_row finishes returning %x\n", row);
 
        return row;
 }
 
-POSTGRESQL_FIELD * my_postgresql_fetch_field(B_DB *mdb) {
-       mdb->field.name       = PQfname    (mdb->result, mdb->field_number);
-
-       // I am not sure this returns the max width of the result set
-       mdb->field.max_length = PQfsize    (mdb->result, mdb->field_number);
-
-       // I am not sure this returns what we can use
-       mdb->field.type       = PQftype    (mdb->result, mdb->field_number);
+int my_postgresql_max_length(B_DB *mdb, int field_num) {
+       //
+       // for a given column, find the max length
+       //
+       int     max_length;
+       int i;
+       int     this_length;
+
+       max_length = 0;
+       for (i = 0; i < mdb->num_rows; i++) {
+               if (PQgetisnull(mdb->result, i, field_num)) {
+                        this_length = 4;        // "NULL"
+               } else {
+                       this_length = strlen(PQgetvalue(mdb->result, i, field_num));
+               }
+                               
+               if (max_length < this_length) {
+                       max_length = this_length;
+               }
+       }
 
-       mdb->field.flags      = PQgetisnull(mdb->result, mdb->row_number, mdb->field_number);
+       return max_length;
+}
 
-       return &mdb->field;
+POSTGRESQL_FIELD * my_postgresql_fetch_field(B_DB *mdb) 
+{
+       int     i;
+
+        Dmsg0(50, "my_postgresql_fetch_field starts\n");
+       if (mdb->fields == NULL) {
+                Dmsg1(50, "allocating space for %d fields\n", mdb->num_fields);
+               mdb->fields = (POSTGRESQL_FIELD *)
+                                malloc(sizeof(POSTGRESQL_FIELD) * mdb->num_fields);
+
+               for (i = 0; i < mdb->num_fields; i++) {
+                        Dmsg1(50, "filling field %d\n", i);
+                       mdb->fields[i].name           = PQfname(mdb->result, i);
+                       mdb->fields[i].max_length = my_postgresql_max_length(mdb, i);
+                       mdb->fields[i].type       = PQftype(mdb->result, i);
+                       mdb->fields[i].flags      = 0;
+
+                        Dmsg4(50, "my_postgresql_fetch_field finds field '%s' has length='%d' type='%d' and IsNull=%d\n", 
+                          mdb->fields[i].name, mdb->fields[i].max_length, mdb->fields[i].type,
+                          mdb->fields[i].flags);
+               } // end for
+       } // end if
+
+       // increment field number for the next time around
+
+        Dmsg0(50, "my_postgresql_fetch_field finishes\n");
+       return &mdb->fields[mdb->field_number++];
 }
 
-void my_postgresql_data_seek(B_DB *mdb, int row) {
+void my_postgresql_data_seek(B_DB *mdb, int row) 
+{
        // set the row number to be returned on the next call
        // to my_postgresql_fetch_row
        mdb->row_number = row;
 }
 
-void my_postgresql_field_seek(B_DB *mdb, int field) {
+void my_postgresql_field_seek(B_DB *mdb, int field)
+{
        mdb->field_number = field;
 }
 
 int my_postgresql_query(B_DB *mdb, char *query) {
-       Dmsg0(50, "my_postgresql_query started\n");
+        Dmsg0(50, "my_postgresql_query started\n");
        // We are starting a new query.  reset everything.
-       mdb->num_rows     = -1;
+       mdb->num_rows     = -1;
        mdb->row_number   = -1;
        mdb->field_number = -1;
 
-       if (mdb->row) {
 
-               Dmsg0(50, "my_postgresql_query freeing space\n");
-               free(mdb->row);
-               mdb->row = NULL;
-       }
-
-
-       Dmsg1(50, "doing PQexec with '%s'\n", query);
+        Dmsg1(50, "my_postgresql_query starts with '%s'\n", query);
        mdb->result = PQexec(mdb->db, query);
-       if (PQresultStatus(mdb->result) == PGRES_TUPLES_OK) {
+       mdb->status = PQresultStatus(mdb->result);
+       if (mdb->status == PGRES_TUPLES_OK || mdb->status == PGRES_COMMAND_OK) {
+                Dmsg1(50, "we have a result\n", query);
 
-               mdb->num_rows   = PQntuples(mdb->result);
                // how many fields in the set?
-               mdb->num_fields = PQnfields(mdb->result);
+               mdb->num_fields = (int) PQnfields(mdb->result);
+                Dmsg1(50, "we have %d fields\n", mdb->num_fields);
 
-               // point at the first row for the fetch row function
-               mdb->row_number = 0;
+               mdb->num_rows   = PQntuples(mdb->result);
+                Dmsg1(50, "we have %d rows\n", mdb->num_rows);
 
-               mdb->row = (POSTGRESQL_ROW) malloc(sizeof(char *) * mdb->num_fields);
-               Dmsg2(50, "PQexec was OK.  rows=%d columns=%d\n", mdb->num_rows, mdb->num_fields);
                mdb->status = 0;
        } else {
+                Dmsg1(50, "we failed\n", query);
                mdb->status = 1;
        }
 
-       Dmsg0(50, "my_postgresql_query finishing\n");
+        Dmsg0(50, "my_postgresql_query finishing\n");
 
        return mdb->status;
 }
 
-void my_postgresql_free_result (B_DB *mdb) {
-       PQclear(mdb->result);
-       free(mdb->row);
-       mdb->row = NULL;
+void my_postgresql_free_result (B_DB *mdb) 
+{
+       if (mdb->result) {
+               PQclear(mdb->result);
+       }
+
+       if (mdb->row) {
+               free(mdb->row);
+               mdb->row = NULL;
+       }
+
+       if (mdb->fields) {
+               free(mdb->fields);
+               mdb->fields = NULL;
+       }
+}
+
+int my_postgresql_currval(B_DB *mdb, char *table_name) 
+{
+       // Obtain the current value of the sequence that
+       // provides the serial value for primary key of the table.
+
+       // currval is local to our session.  It is not affected by
+       // other transactions.
+
+       // Determine the name of the sequence.
+       // PostgreSQL automatically creates a sequence using
+       // <table>_<column>_seq.
+       // At the time of writing, all tables used this format for
+       // for their primary key: <table>id
+       // Except for basefiles which has a primary key on baseid.
+       // Therefore, we need to special case that one table.
+
+       // everything else can use the PostgreSQL formula.
+
+       char      sequence[NAMEDATALEN-1];
+       char      query   [NAMEDATALEN+50];
+       PGresult *result;
+       int       id = 0;
+
+        if (strcasecmp(table_name, "basefiles") == 0) {
+                bstrncpy(sequence, "basefiles_baseid", sizeof(sequence));
+       } else {
+               bstrncpy(sequence, table_name, sizeof(sequence));
+                bstrncat(sequence, "_",        sizeof(sequence));
+               bstrncat(sequence, table_name, sizeof(sequence));
+                bstrncat(sequence, "id",       sizeof(sequence));
+       }
+
+        bstrncat(sequence, "_seq", sizeof(sequence));
+        bsnprintf(query, sizeof(query), "SELECT currval('%s')", sequence);
+
+//      Mmsg(&query, "SELECT currval('%s')", sequence);
+        Dmsg1(50, "my_postgresql_currval invoked with '%s'\n", query);
+       result = PQexec(mdb->db, query);
+
+        Dmsg0(50, "exec done");
+
+       if (PQresultStatus(result) == PGRES_TUPLES_OK) {
+                Dmsg0(50, "getting value");
+               id = atoi(PQgetvalue(result, 0, 0));
+                Dmsg2(50, "got value '%s' which became %d\n", PQgetvalue(result, 0, 0), id);
+       } else {
+                Mmsg1(&mdb->errmsg, _("error fetching currval: %s\n"), PQerrorMessage(mdb->db));
+       }
+
+       PQclear(result);
+
+       return id;
 }