git.sur5r.net Git - bacula/bacula/blob - bacula/src/cats/postgresql.c

   1 /*
   2  * Bacula Catalog Database routines specific to PostgreSQL
   3  *   These are PostgreSQL specific routines
   4  *
   5  *    Dan Langille, December 2003
   6  *    based upon work done by Kern Sibbald, March 2000
   7  *
   8  *    Version $Id$
   9  */
  10
  11 /*
  12    Copyright (C) 2003-2005 Kern Sibbald
  13
  14    This program is free software; you can redistribute it and/or
  15    modify it under the terms of the GNU General Public License as
  16    published by the Free Software Foundation; either version 2 of
  17    the License, or (at your option) any later version.
  18
  19    This program is distributed in the hope that it will be useful,
  20    but WITHOUT ANY WARRANTY; without even the implied warranty of
  21    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  22    General Public License for more details.
  23
  24    You should have received a copy of the GNU General Public
  25    License along with this program; if not, write to the Free
  26    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  27    MA 02111-1307, USA.
  28
  29  */
  30
  31
  32 /* The following is necessary so that we do not include
  33  * the dummy external definition of DB.
  34  */
  35 #define __SQL_C                       /* indicate that this is sql.c */
  36
  37 #include "bacula.h"
  38 #include "cats.h"
  39
  40 #ifdef HAVE_POSTGRESQL
  41
  42 #include "postgres_ext.h"       /* needed for NAMEDATALEN */
  43
  44 /* -----------------------------------------------------------------------
  45  *
  46  *   PostgreSQL dependent defines and subroutines
  47  *
  48  * -----------------------------------------------------------------------
  49  */
  50
  51 /* List of open databases */
  52 static BQUEUE db_list = {&db_list, &db_list};
  53
  54 static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
  55
  56 /*
  57  * Initialize database data structure. In principal this should
  58  * never have errors, or it is really fatal.
  59  */
  60 B_DB *
  61 db_init_database(JCR *jcr, const char *db_name, const char *db_user, const char *db_password,
  62                  const char *db_address, int db_port, const char *db_socket,
  63                  int mult_db_connections)
  64 {
  65    B_DB *mdb;
  66
  67    if (!db_user) {
  68       Jmsg(jcr, M_FATAL, 0, _("A user name for PostgreSQL must be supplied.\n"));
  69       return NULL;
  70    }
  71    P(mutex);                          /* lock DB queue */
  72    if (!mult_db_connections) {
  73       /* Look to see if DB already open */
  74       for (mdb=NULL; (mdb=(B_DB *)qnext(&db_list, &mdb->bq)); ) {
  75          if (strcmp(mdb->db_name, db_name) == 0) {
  76             Dmsg2(100, "DB REopen %d %s\n", mdb->ref_count, db_name);
  77             mdb->ref_count++;
  78             V(mutex);
  79             return mdb;                  /* already open */
  80          }
  81       }
  82    }
  83    Dmsg0(100, "db_open first time\n");
  84    mdb = (B_DB *)malloc(sizeof(B_DB));
  85    memset(mdb, 0, sizeof(B_DB));
  86    mdb->db_name = bstrdup(db_name);
  87    mdb->db_user = bstrdup(db_user);
  88    if (db_password) {
  89       mdb->db_password = bstrdup(db_password);
  90    }
  91    if (db_address) {
  92       mdb->db_address  = bstrdup(db_address);
  93    }
  94    if (db_socket) {
  95       mdb->db_socket   = bstrdup(db_socket);
  96    }
  97    mdb->db_port        = db_port;
  98    mdb->have_insert_id = TRUE;
  99    mdb->errmsg         = get_pool_memory(PM_EMSG); /* get error message buffer */
 100    *mdb->errmsg        = 0;
 101    mdb->cmd            = get_pool_memory(PM_EMSG); /* get command buffer */
 102    mdb->cached_path    = get_pool_memory(PM_FNAME);
 103    mdb->cached_path_id = 0;
 104    mdb->ref_count      = 1;
 105    mdb->fname          = get_pool_memory(PM_FNAME);
 106    mdb->path           = get_pool_memory(PM_FNAME);
 107    mdb->esc_name       = get_pool_memory(PM_FNAME);
 108    mdb->allow_transactions = mult_db_connections;
 109    qinsert(&db_list, &mdb->bq);            /* put db in list */
 110    V(mutex);
 111    return mdb;
 112 }
 113
 114 /*
 115  * Now actually open the database.  This can generate errors,
 116  *   which are returned in the errmsg
 117  *
 118  * DO NOT close the database or free(mdb) here !!!!
 119  */
 120 int
 121 db_open_database(JCR *jcr, B_DB *mdb)
 122 {
 123    int errstat;
 124    char buf[10], *port;
 125
 126    P(mutex);
 127    if (mdb->connected) {
 128       V(mutex);
 129       return 1;
 130    }
 131    mdb->connected = false;
 132
 133    if ((errstat=rwl_init(&mdb->lock)) != 0) {
 134       Mmsg1(&mdb->errmsg, _("Unable to initialize DB lock. ERR=%s\n"),
 135             strerror(errstat));
 136       V(mutex);
 137       return 0;
 138    }
 139
 140    if (mdb->db_port) {
 141       bsnprintf(buf, sizeof(buf), "%d", mdb->db_port);
 142       port = buf;
 143    } else {
 144       port = NULL;
 145    }
 146
 147    /* If connection fails, try at 5 sec intervals for 30 seconds. */
 148    for (int retry=0; retry < 6; retry++) {
 149       /* connect to the database */
 150       mdb->db = PQsetdbLogin(
 151            mdb->db_address,           /* default = localhost */
 152            port,                      /* default port */
 153            NULL,                      /* pg options */
 154            NULL,                      /* tty, ignored */
 155            mdb->db_name,              /* database name */
 156            mdb->db_user,              /* login name */
 157            mdb->db_password);         /* password */
 158
 159       /* If no connect, try once more in case it is a timing problem */
 160       if (PQstatus(mdb->db) == CONNECTION_OK) {
 161          break;
 162       }
 163       bmicrosleep(5, 0);
 164    }
 165
 166    Dmsg0(50, "pg_real_connect done\n");
 167    Dmsg3(50, "db_user=%s db_name=%s db_password=%s\n", mdb->db_user, mdb->db_name,
 168             mdb->db_password==NULL?"(NULL)":mdb->db_password);
 169
 170    if (PQstatus(mdb->db) != CONNECTION_OK) {
 171       Mmsg2(&mdb->errmsg, _("Unable to connect to PostgreSQL server.\n"
 172             "Database=%s User=%s\n"
 173             "It is probably not running or your password is incorrect.\n"),
 174              mdb->db_name, mdb->db_user);
 175       V(mutex);
 176       return 0;
 177    }
 178
 179    if (!check_tables_version(jcr, mdb)) {
 180       V(mutex);
 181       return 0;
 182    }
 183
 184    mdb->connected = true;
 185    V(mutex);
 186    return 1;
 187 }
 188
 189 void
 190 db_close_database(JCR *jcr, B_DB *mdb)
 191 {
 192    if (!mdb) {
 193       return;
 194    }
 195    db_end_transaction(jcr, mdb);
 196    P(mutex);
 197    mdb->ref_count--;
 198    if (mdb->ref_count == 0) {
 199       qdchain(&mdb->bq);
 200       if (mdb->connected && mdb->db) {
 201          sql_close(mdb);
 202       }
 203       rwl_destroy(&mdb->lock);
 204       free_pool_memory(mdb->errmsg);
 205       free_pool_memory(mdb->cmd);
 206       free_pool_memory(mdb->cached_path);
 207       free_pool_memory(mdb->fname);
 208       free_pool_memory(mdb->path);
 209       free_pool_memory(mdb->esc_name);
 210       if (mdb->db_name) {
 211          free(mdb->db_name);
 212       }
 213       if (mdb->db_user) {
 214          free(mdb->db_user);
 215       }
 216       if (mdb->db_password) {
 217          free(mdb->db_password);
 218       }
 219       if (mdb->db_address) {
 220          free(mdb->db_address);
 221       }
 222       if (mdb->db_socket) {
 223          free(mdb->db_socket);
 224       }
 225       my_postgresql_free_result(mdb);
 226       free(mdb);
 227    }
 228    V(mutex);
 229 }
 230
 231 /*
 232  * Return the next unique index (auto-increment) for
 233  * the given table.  Return NULL on error.
 234  *
 235  * For PostgreSQL, NULL causes the auto-increment value
 236  *  to be updated.
 237  */
 238 int db_next_index(JCR *jcr, B_DB *mdb, char *table, char *index)
 239 {
 240    strcpy(index, "NULL");
 241    return 1;
 242 }
 243
 244
 245 /*
 246  * Escape strings so that PostgreSQL is happy
 247  *
 248  *   NOTE! len is the length of the old string. Your new
 249  *         string must be long enough (max 2*old+1) to hold
 250  *         the escaped output.
 251  */
 252 void
 253 db_escape_string(char *snew, char *old, int len)
 254 {
 255    PQescapeString(snew, old, len);
 256 }
 257
 258 /*
 259  * Submit a general SQL command (cmd), and for each row returned,
 260  *  the sqlite_handler is called with the ctx.
 261  */
 262 int db_sql_query(B_DB *mdb, const char *query, DB_RESULT_HANDLER *result_handler, void *ctx)
 263 {
 264    SQL_ROW row;
 265
 266    Dmsg0(500, "db_sql_query started\n");
 267
 268    db_lock(mdb);
 269    if (sql_query(mdb, query) != 0) {
 270       Mmsg(mdb->errmsg, _("Query failed: %s: ERR=%s\n"), query, sql_strerror(mdb));
 271       db_unlock(mdb);
 272       Dmsg0(500, "db_sql_query failed\n");
 273       return 0;
 274    }
 275    Dmsg0(500, "db_sql_query succeeded. checking handler\n");
 276
 277    if (result_handler != NULL) {
 278       Dmsg0(500, "db_sql_query invoking handler\n");
 279       if ((mdb->result = sql_store_result(mdb)) != NULL) {
 280          int num_fields = sql_num_fields(mdb);
 281
 282          Dmsg0(500, "db_sql_query sql_store_result suceeded\n");
 283          while ((row = sql_fetch_row(mdb)) != NULL) {
 284
 285             Dmsg0(500, "db_sql_query sql_fetch_row worked\n");
 286             if (result_handler(ctx, num_fields, row))
 287                break;
 288          }
 289
 290         sql_free_result(mdb);
 291       }
 292    }
 293    db_unlock(mdb);
 294
 295    Dmsg0(500, "db_sql_query finished\n");
 296
 297    return 1;
 298 }
 299
 300
 301
 302 POSTGRESQL_ROW my_postgresql_fetch_row(B_DB *mdb)
 303 {
 304    int j;
 305    POSTGRESQL_ROW row = NULL; // by default, return NULL
 306
 307    Dmsg0(500, "my_postgresql_fetch_row start\n");
 308
 309    if (mdb->row_number == -1 || mdb->row == NULL) {
 310       Dmsg1(500, "we have need space of %d bytes\n", sizeof(char *) * mdb->num_fields);
 311
 312       if (mdb->row != NULL) {
 313          Dmsg0(500, "my_postgresql_fetch_row freeing space\n");
 314          free(mdb->row);
 315          mdb->row = NULL;
 316       }
 317
 318       mdb->row = (POSTGRESQL_ROW) malloc(sizeof(char *) * mdb->num_fields);
 319
 320       // now reset the row_number now that we have the space allocated
 321       mdb->row_number = 0;
 322    }
 323
 324    // if still within the result set
 325    if (mdb->row_number < mdb->num_rows) {
 326       Dmsg2(500, "my_postgresql_fetch_row row number '%d' is acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
 327       // get each value from this row
 328       for (j = 0; j < mdb->num_fields; j++) {
 329          mdb->row[j] = PQgetvalue(mdb->result, mdb->row_number, j);
 330          Dmsg2(500, "my_postgresql_fetch_row field '%d' has value '%s'\n", j, mdb->row[j]);
 331       }
 332       // increment the row number for the next call
 333       mdb->row_number++;
 334
 335       row = mdb->row;
 336    } else {
 337       Dmsg2(500, "my_postgresql_fetch_row row number '%d' is NOT acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
 338    }
 339
 340    Dmsg1(500, "my_postgresql_fetch_row finishes returning %x\n", row);
 341
 342    return row;
 343 }
 344
 345 int my_postgresql_max_length(B_DB *mdb, int field_num) {
 346    //
 347    // for a given column, find the max length
 348    //
 349    int max_length;
 350    int i;
 351    int this_length;
 352
 353    max_length = 0;
 354    for (i = 0; i < mdb->num_rows; i++) {
 355       if (PQgetisnull(mdb->result, i, field_num)) {
 356           this_length = 4;        // "NULL"
 357       } else {
 358           this_length = cstrlen(PQgetvalue(mdb->result, i, field_num));
 359       }
 360
 361       if (max_length < this_length) {
 362           max_length = this_length;
 363       }
 364    }
 365
 366    return max_length;
 367 }
 368
 369 POSTGRESQL_FIELD * my_postgresql_fetch_field(B_DB *mdb)
 370 {
 371    int     i;
 372
 373    Dmsg0(500, "my_postgresql_fetch_field starts\n");
 374    if (mdb->fields == NULL) {
 375       Dmsg1(500, "allocating space for %d fields\n", mdb->num_fields);
 376       mdb->fields = (POSTGRESQL_FIELD *)malloc(sizeof(POSTGRESQL_FIELD) * mdb->num_fields);
 377
 378       for (i = 0; i < mdb->num_fields; i++) {
 379          Dmsg1(500, "filling field %d\n", i);
 380          mdb->fields[i].name           = PQfname(mdb->result, i);
 381          mdb->fields[i].max_length = my_postgresql_max_length(mdb, i);
 382          mdb->fields[i].type       = PQftype(mdb->result, i);
 383          mdb->fields[i].flags      = 0;
 384
 385          Dmsg4(500, "my_postgresql_fetch_field finds field '%s' has length='%d' type='%d' and IsNull=%d\n",
 386             mdb->fields[i].name, mdb->fields[i].max_length, mdb->fields[i].type,
 387             mdb->fields[i].flags);
 388       } // end for
 389    } // end if
 390
 391    // increment field number for the next time around
 392
 393    Dmsg0(500, "my_postgresql_fetch_field finishes\n");
 394    return &mdb->fields[mdb->field_number++];
 395 }
 396
 397 void my_postgresql_data_seek(B_DB *mdb, int row)
 398 {
 399    // set the row number to be returned on the next call
 400    // to my_postgresql_fetch_row
 401    mdb->row_number = row;
 402 }
 403
 404 void my_postgresql_field_seek(B_DB *mdb, int field)
 405 {
 406    mdb->field_number = field;
 407 }
 408
 409 /*
 410  * Note, if this routine returns 1 (failure), Bacula expects
 411  *  that no result has been stored.
 412  */
 413 int my_postgresql_query(B_DB *mdb, const char *query) {
 414    Dmsg0(500, "my_postgresql_query started\n");
 415    // We are starting a new query.  reset everything.
 416    mdb->num_rows     = -1;
 417    mdb->row_number   = -1;
 418    mdb->field_number = -1;
 419
 420    if (mdb->result != NULL) {
 421       PQclear(mdb->result);  /* hmm, someone forgot to free?? */
 422    }
 423
 424    Dmsg1(500, "my_postgresql_query starts with '%s'\n", query);
 425    mdb->result = PQexec(mdb->db, query);
 426    mdb->status = PQresultStatus(mdb->result);
 427    if (mdb->status == PGRES_TUPLES_OK || mdb->status == PGRES_COMMAND_OK) {
 428       Dmsg1(500, "we have a result\n", query);
 429
 430       // how many fields in the set?
 431       mdb->num_fields = (int) PQnfields(mdb->result);
 432       Dmsg1(500, "we have %d fields\n", mdb->num_fields);
 433
 434       mdb->num_rows   = PQntuples(mdb->result);
 435       Dmsg1(500, "we have %d rows\n", mdb->num_rows);
 436
 437       mdb->status = 0;
 438    } else {
 439       Dmsg1(500, "we failed\n", query);
 440       mdb->status = 1;
 441    }
 442
 443    Dmsg0(500, "my_postgresql_query finishing\n");
 444
 445    return mdb->status;
 446 }
 447
 448 void my_postgresql_free_result (B_DB *mdb)
 449 {
 450    if (mdb->result) {
 451       PQclear(mdb->result);
 452       mdb->result = NULL;
 453    }
 454
 455    if (mdb->row) {
 456       free(mdb->row);
 457       mdb->row = NULL;
 458    }
 459
 460    if (mdb->fields) {
 461       free(mdb->fields);
 462       mdb->fields = NULL;
 463    }
 464 }
 465
 466 int my_postgresql_currval(B_DB *mdb, char *table_name)
 467 {
 468    // Obtain the current value of the sequence that
 469    // provides the serial value for primary key of the table.
 470
 471    // currval is local to our session.  It is not affected by
 472    // other transactions.
 473
 474    // Determine the name of the sequence.
 475    // PostgreSQL automatically creates a sequence using
 476    // <table>_<column>_seq.
 477    // At the time of writing, all tables used this format for
 478    // for their primary key: <table>id
 479    // Except for basefiles which has a primary key on baseid.
 480    // Therefore, we need to special case that one table.
 481
 482    // everything else can use the PostgreSQL formula.
 483
 484    char      sequence[NAMEDATALEN-1];
 485    char      query   [NAMEDATALEN+50];
 486    PGresult *result;
 487    int       id = 0;
 488
 489    if (strcasecmp(table_name, "basefiles") == 0) {
 490       bstrncpy(sequence, "basefiles_baseid", sizeof(sequence));
 491    } else {
 492       bstrncpy(sequence, table_name, sizeof(sequence));
 493       bstrncat(sequence, "_",        sizeof(sequence));
 494       bstrncat(sequence, table_name, sizeof(sequence));
 495       bstrncat(sequence, "id",       sizeof(sequence));
 496    }
 497
 498    bstrncat(sequence, "_seq", sizeof(sequence));
 499    bsnprintf(query, sizeof(query), "SELECT currval('%s')", sequence);
 500
 501 // Mmsg(query, "SELECT currval('%s')", sequence);
 502    Dmsg1(500, "my_postgresql_currval invoked with '%s'\n", query);
 503    result = PQexec(mdb->db, query);
 504
 505    Dmsg0(500, "exec done");
 506
 507    if (PQresultStatus(result) == PGRES_TUPLES_OK) {
 508       Dmsg0(500, "getting value");
 509       id = atoi(PQgetvalue(result, 0, 0));
 510       Dmsg2(500, "got value '%s' which became %d\n", PQgetvalue(result, 0, 0), id);
 511    } else {
 512       Mmsg1(&mdb->errmsg, _("error fetching currval: %s\n"), PQerrorMessage(mdb->db));
 513    }
 514
 515    PQclear(result);
 516
 517    return id;
 518 }
 519
 520
 521 #endif /* HAVE_POSTGRESQL */