git.sur5r.net Git - bacula/bacula/blob - bacula/src/cats/postgresql.c

   1 /*
   2  * Bacula Catalog Database routines specific to PostgreSQL
   3  *   These are PostgreSQL specific routines
   4  *
   5  *    Dan Langille, December 2004
   6  *    based upon work done by Kern Sibbald, March 2000
   7  *
   8  *    Version $Id$
   9  */
  10
  11 /*
  12    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  13
  14    This program is free software; you can redistribute it and/or
  15    modify it under the terms of the GNU General Public License as
  16    published by the Free Software Foundation; either version 2 of
  17    the License, or (at your option) any later version.
  18
  19    This program is distributed in the hope that it will be useful,
  20    but WITHOUT ANY WARRANTY; without even the implied warranty of
  21    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  22    General Public License for more details.
  23
  24    You should have received a copy of the GNU General Public
  25    License along with this program; if not, write to the Free
  26    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  27    MA 02111-1307, USA.
  28
  29  */
  30
  31
  32 /* The following is necessary so that we do not include
  33  * the dummy external definition of DB.
  34  */
  35 #define __SQL_C                       /* indicate that this is sql.c */
  36
  37 #include "bacula.h"
  38 #include "cats.h"
  39
  40 #ifdef HAVE_POSTGRESQL
  41
  42 #include "postgres_ext.h"       /* needed for NAMEDATALEN */
  43
  44 /* -----------------------------------------------------------------------
  45  *
  46  *   PostgreSQL dependent defines and subroutines
  47  *
  48  * -----------------------------------------------------------------------
  49  */
  50
  51 /* List of open databases */
  52 static BQUEUE db_list = {&db_list, &db_list};
  53
  54 static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
  55
  56 /*
  57  * Initialize database data structure. In principal this should
  58  * never have errors, or it is really fatal.
  59  */
  60 B_DB *
  61 db_init_database(JCR *jcr, char *db_name, char *db_user, char *db_password,
  62                  char *db_address, int db_port, char *db_socket)
  63 {
  64    B_DB *mdb;
  65
  66    if (!db_user) {
  67       Jmsg(jcr, M_FATAL, 0, _("A user name for PostgreSQL must be supplied.\n"));
  68       return NULL;
  69    }
  70    P(mutex);                          /* lock DB queue */
  71    /* Look to see if DB already open */
  72    for (mdb=NULL; (mdb=(B_DB *)qnext(&db_list, &mdb->bq)); ) {
  73       if (strcmp(mdb->db_name, db_name) == 0) {
  74          Dmsg2(100, "DB REopen %d %s\n", mdb->ref_count, db_name);
  75          mdb->ref_count++;
  76          V(mutex);
  77          return mdb;                  /* already open */
  78       }
  79    }
  80    Dmsg0(100, "db_open first time\n");
  81    mdb = (B_DB *) malloc(sizeof(B_DB));
  82    memset(mdb, 0, sizeof(B_DB));
  83    mdb->db_name = bstrdup(db_name);
  84    mdb->db_user = bstrdup(db_user);
  85    if (db_password) {
  86       mdb->db_password = bstrdup(db_password);
  87    }
  88    if (db_address) {
  89       mdb->db_address  = bstrdup(db_address);
  90    }
  91    if (db_socket) {
  92       mdb->db_socket   = bstrdup(db_socket);
  93    }
  94    mdb->db_port        = db_port;
  95    mdb->have_insert_id = TRUE;
  96    mdb->errmsg         = get_pool_memory(PM_EMSG); /* get error message buffer */
  97    *mdb->errmsg        = 0;
  98    mdb->cmd            = get_pool_memory(PM_EMSG);    /* get command buffer */
  99    mdb->cached_path    = get_pool_memory(PM_FNAME);
 100    mdb->cached_path_id = 0;
 101    mdb->ref_count      = 1;
 102    mdb->fname          = get_pool_memory(PM_FNAME);
 103    mdb->path           = get_pool_memory(PM_FNAME);
 104    mdb->esc_name       = get_pool_memory(PM_FNAME);
 105    qinsert(&db_list, &mdb->bq);            /* put db in list */
 106    V(mutex);
 107    return mdb;
 108 }
 109
 110 /*
 111  * Now actually open the database.  This can generate errors,
 112  * which are returned in the errmsg
 113  */
 114 int
 115 db_open_database(JCR *jcr, B_DB *mdb)
 116 {
 117    int errstat;
 118
 119    P(mutex);
 120    if (mdb->connected) {
 121       V(mutex);
 122       return 1;
 123    }
 124    mdb->connected = FALSE;
 125
 126    if ((errstat=rwl_init(&mdb->lock)) != 0) {
 127       Mmsg1(&mdb->errmsg, _("Unable to initialize DB lock. ERR=%s\n"),
 128             strerror(errstat));
 129       V(mutex);
 130       return 0;
 131    }
 132
 133    /* connect to the database */
 134    mdb->db = PQsetdbLogin(
 135         mdb->db_address,              /* default = localhost */
 136         (char *) mdb->db_port,    /* default port */
 137         NULL,                     /* pg options */
 138         NULL,                     /* tty, ignored */
 139         mdb->db_name,                 /* database name */
 140         mdb->db_user,                 /* login name */
 141         mdb->db_password);            /* password */
 142
 143    /* If no connect, try once more in case it is a timing problem */
 144    if (PQstatus(mdb->db) != CONNECTION_OK) {
 145    mdb->db = PQsetdbLogin(
 146         mdb->db_address,              /* default = localhost */
 147         (char *) mdb->db_port,    /* default port */
 148         NULL,                     /* pg options */
 149         NULL,                     /* tty, ignored */
 150         mdb->db_name,                 /* database name */
 151         mdb->db_user,                 /* login name */
 152         mdb->db_password);            /* password */
 153    }
 154
 155    Dmsg0(50, "pg_real_connect done\n");
 156    Dmsg3(50, "db_user=%s db_name=%s db_password=%s\n", mdb->db_user, mdb->db_name,
 157             mdb->db_password==NULL?"(NULL)":mdb->db_password);
 158
 159    if (PQstatus(mdb->db) != CONNECTION_OK) {
 160       Mmsg2(&mdb->errmsg, _("Unable to connect to PostgreSQL server.\n"
 161             "Database=%s User=%s\n"
 162             "It is probably not running or your password is incorrect.\n"),
 163             mdb->db_name, mdb->db_user);
 164       V(mutex);
 165       return 0;
 166    }
 167
 168    if (!check_tables_version(jcr, mdb)) {
 169       V(mutex);
 170       db_close_database(jcr, mdb);
 171       return 0;
 172    }
 173
 174    mdb->connected = TRUE;
 175    V(mutex);
 176    return 1;
 177 }
 178
 179 void
 180 db_close_database(JCR *jcr, B_DB *mdb)
 181 {
 182    P(mutex);
 183    mdb->ref_count--;
 184    if (mdb->ref_count == 0) {
 185       qdchain(&mdb->bq);
 186       if (mdb->connected && mdb->db) {
 187          sql_close(mdb);
 188       }
 189       rwl_destroy(&mdb->lock);
 190       free_pool_memory(mdb->errmsg);
 191       free_pool_memory(mdb->cmd);
 192       free_pool_memory(mdb->cached_path);
 193       free_pool_memory(mdb->fname);
 194       free_pool_memory(mdb->path);
 195       free_pool_memory(mdb->esc_name);
 196       if (mdb->db_name) {
 197          free(mdb->db_name);
 198       }
 199       if (mdb->db_user) {
 200          free(mdb->db_user);
 201       }
 202       if (mdb->db_password) {
 203          free(mdb->db_password);
 204       }
 205       if (mdb->db_address) {
 206          free(mdb->db_address);
 207       }
 208       if (mdb->db_socket) {
 209          free(mdb->db_socket);
 210       }
 211       free(mdb);
 212    }
 213    V(mutex);
 214 }
 215
 216 /*
 217  * Return the next unique index (auto-increment) for
 218  * the given table.  Return NULL on error.
 219  *
 220  * For PostgreSQL, NULL causes the auto-increment value
 221  *  to be updated.
 222  */
 223 int db_next_index(JCR *jcr, B_DB *mdb, char *table, char *index)
 224 {
 225    strcpy(index, "NULL");
 226    return 1;
 227 }
 228
 229
 230 /*
 231  * Escape strings so that PostgreSQL is happy
 232  *
 233  *   NOTE! len is the length of the old string. Your new
 234  *         string must be long enough (max 2*old+1) to hold
 235  *         the escaped output.
 236  */
 237 void
 238 db_escape_string(char *snew, char *old, int len)
 239 {
 240    PQescapeString(snew, old, len);
 241 }
 242
 243 /*
 244  * Submit a general SQL command (cmd), and for each row returned,
 245  *  the sqlite_handler is called with the ctx.
 246  */
 247 int db_sql_query(B_DB *mdb, char *query, DB_RESULT_HANDLER *result_handler, void *ctx)
 248 {
 249    SQL_ROW row;
 250
 251    Dmsg0(50, "db_sql_query started\n");
 252
 253    db_lock(mdb);
 254    if (sql_query(mdb, query) != 0) {
 255       Mmsg(&mdb->errmsg, _("Query failed: %s: ERR=%s\n"), query, sql_strerror(mdb));
 256       db_unlock(mdb);
 257       Dmsg0(50, "db_sql_query failed\n");
 258       return 0;
 259    }
 260    Dmsg0(50, "db_sql_query succeeded. checking handler\n");
 261
 262    if (result_handler != NULL) {
 263       Dmsg0(50, "db_sql_query invoking handler\n");
 264       if ((mdb->result = sql_store_result(mdb)) != NULL) {
 265          int num_fields = sql_num_fields(mdb);
 266
 267          Dmsg0(50, "db_sql_query sql_store_result suceeded\n");
 268          while ((row = sql_fetch_row(mdb)) != NULL) {
 269
 270             Dmsg0(50, "db_sql_query sql_fetch_row worked\n");
 271             if (result_handler(ctx, num_fields, row))
 272                    break;
 273          }
 274
 275          sql_free_result(mdb);
 276       }
 277    }
 278    db_unlock(mdb);
 279
 280    Dmsg0(50, "db_sql_query finished\n");
 281
 282    return 1;
 283 }
 284
 285
 286 static void
 287 list_dashes(B_DB *mdb, DB_LIST_HANDLER *send, void *ctx)
 288 {
 289    SQL_FIELD  *field;
 290    unsigned int i, j;
 291
 292    sql_field_seek(mdb, 0);
 293    send(ctx, "+");
 294    for (i = 0; i < sql_num_fields(mdb); i++) {
 295       field = sql_fetch_field(mdb);
 296       for (j = 0; j < field->max_length + 2; j++)
 297               send(ctx, "-");
 298       send(ctx, "+");
 299    }
 300    send(ctx, "\n");
 301 }
 302
 303 /*
 304  * If full_list is set, we list vertically, otherwise, we
 305  * list on one line horizontally.
 306  */
 307 void
 308 list_result(B_DB *mdb, DB_LIST_HANDLER *send, void *ctx, e_list_type type)
 309 {
 310    SQL_FIELD *field;
 311    SQL_ROW row;
 312    unsigned int i, col_len, max_len = 0;
 313    char buf[2000], ewc[30];
 314
 315    Dmsg0(50, "list_result starts\n");
 316    if (mdb->result == NULL) {
 317       send(ctx, _("No results to list.\n"));
 318       return;
 319    }
 320
 321    Dmsg1(50, "list_result starts looking at %d fields\n", sql_num_fields(mdb));
 322    /* determine column display widths */
 323    sql_field_seek(mdb, 0);
 324    for (i = 0; i < sql_num_fields(mdb); i++) {
 325       Dmsg1(50, "list_result processing field %d\n", i);
 326       field   = sql_fetch_field(mdb);
 327       col_len = strlen(field->name);
 328       if (type == VERT_LIST) {
 329          if (col_len > max_len) {
 330             max_len = col_len;
 331          }
 332       } else {
 333          if (IS_NUM(field->type) && field->max_length > 0) { /* fixup for commas */
 334             field->max_length += (field->max_length - 1) / 3;
 335          }
 336          if (col_len < field->max_length) {
 337             col_len = field->max_length;
 338          }
 339          if (col_len < 4 && !IS_NOT_NULL(field->flags)) {
 340             col_len = 4;                 /* 4 = length of the word "NULL" */
 341          }
 342          field->max_length = col_len;    /* reset column info */
 343       }
 344    }
 345
 346    Dmsg0(50, "list_result finished first loop\n");
 347    if (type == VERT_LIST) {
 348       goto vertical_list;
 349    }
 350
 351    Dmsg1(50, "list_result starts second loop looking at %d fields\n", sql_num_fields(mdb));
 352    list_dashes(mdb, send, ctx);
 353    send(ctx, "|");
 354    sql_field_seek(mdb, 0);
 355    for (i = 0; i < sql_num_fields(mdb); i++) {
 356       Dmsg1(50, "list_result looking at field %d\n", i);
 357       field = sql_fetch_field(mdb);
 358       bsnprintf(buf, sizeof(buf), " %-*s |", (int)field->max_length, field->name);
 359       send(ctx, buf);
 360    }
 361    send(ctx, "\n");
 362    list_dashes(mdb, send, ctx);
 363
 364    Dmsg1(50, "list_result starts third loop looking at %d fields\n", sql_num_fields(mdb));
 365    while ((row = sql_fetch_row(mdb)) != NULL) {
 366       sql_field_seek(mdb, 0);
 367       send(ctx, "|");
 368       for (i = 0; i < sql_num_fields(mdb); i++) {
 369       field = sql_fetch_field(mdb);
 370       if (row[i] == NULL) {
 371          bsnprintf(buf, sizeof(buf), " %-*s |", (int)field->max_length, "NULL");
 372       } else if (IS_NUM(field->type)) {
 373          bsnprintf(buf, sizeof(buf), " %*s |", (int)field->max_length,
 374              add_commas(row[i], ewc));
 375          } else {
 376              bsnprintf(buf, sizeof(buf), " %-*s |", (int)field->max_length, row[i]);
 377          }
 378          send(ctx, buf);
 379       }
 380       send(ctx, "\n");
 381    }
 382    list_dashes(mdb, send, ctx);
 383    return;
 384
 385 vertical_list:
 386
 387    Dmsg1(50, "list_result starts vertical list at %d fields\n", sql_num_fields(mdb));
 388    while ((row = sql_fetch_row(mdb)) != NULL) {
 389       sql_field_seek(mdb, 0);
 390       for (i = 0; i < sql_num_fields(mdb); i++) {
 391       field = sql_fetch_field(mdb);
 392       if (row[i] == NULL) {
 393          bsnprintf(buf, sizeof(buf), " %*s: %s\n", max_len, field->name, "NULL");
 394       } else if (IS_NUM(field->type)) {
 395             bsnprintf(buf, sizeof(buf), " %*s: %s\n", max_len, field->name,
 396                 add_commas(row[i], ewc));
 397          } else {
 398             bsnprintf(buf, sizeof(buf), " %*s: %s\n", max_len, field->name, row[i]);
 399          }
 400          send(ctx, buf);
 401       }
 402       send(ctx, "\n");
 403    }
 404    return;
 405 }
 406
 407 POSTGRESQL_ROW my_postgresql_fetch_row(B_DB *mdb) {
 408         int            j;
 409         POSTGRESQL_ROW row = NULL; // by default, return NULL
 410
 411         Dmsg0(50, "my_postgresql_fetch_row start\n");
 412
 413         if (mdb->row_number == -1 || mdb->row == NULL) {
 414
 415                 Dmsg1(50, "we have need space of %d bytes\n", sizeof(char *) * mdb->num_fields);
 416
 417                 if (mdb->row != NULL) {
 418                         Dmsg0(50, "my_postgresql_fetch_row freeing space\n");
 419                         free(mdb->row);
 420                         mdb->row = NULL;
 421                 }
 422
 423                 mdb->row = (POSTGRESQL_ROW) malloc(sizeof(char *) * mdb->num_fields);
 424
 425                 // now reset the row_number now that we have the space allocated
 426                 mdb->row_number = 0;
 427         }
 428
 429         // if still within the result set
 430         if (mdb->row_number < mdb->num_rows) {
 431                 Dmsg2(50, "my_postgresql_fetch_row row number '%d' is acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
 432                 // get each value from this row
 433                 for (j = 0; j < mdb->num_fields; j++) {
 434                         mdb->row[j] = PQgetvalue(mdb->result, mdb->row_number, j);
 435                         Dmsg2(50, "my_postgresql_fetch_row field '%d' has value '%s'\n", j, mdb->row[j]);
 436                 }
 437                 // increment the row number for the next call
 438                 mdb->row_number++;
 439
 440                 row = mdb->row;
 441         } else {
 442                 Dmsg2(50, "my_postgresql_fetch_row row number '%d' is NOT acceptable (0..%d)\n", mdb->row_number, mdb->num_rows);
 443         }
 444
 445         Dmsg1(50, "my_postgresql_fetch_row finishes returning %x\n", row);
 446
 447         return row;
 448 }
 449
 450 POSTGRESQL_FIELD * my_postgresql_fetch_field(B_DB *mdb) {
 451         mdb->field.name       = PQfname    (mdb->result, mdb->field_number);
 452
 453         // I am not sure this returns the max width of the result set
 454         mdb->field.max_length = PQfsize    (mdb->result, mdb->field_number);
 455
 456         // I am not sure this returns what we can use
 457         mdb->field.type       = PQftype    (mdb->result, mdb->field_number);
 458
 459 //      if (mdb->num_rows > 0) {
 460 //              Dmsg1(50, "asking for information on field '%d' type='%d' and IsNull=%d\n",
 461 //              mdb->field.flags  = PQgetisnull(mdb->result, mdb->row_number, mdb->field_number);
 462 //      }
 463         mdb->field.flags = 0;
 464
 465         Dmsg4(50, "my_postgresql_fetch_field finds field '%s' has length='%d' type='%d' and IsNull=%d\n",
 466                 mdb->field.name, mdb->field.max_length, mdb->field.type, mdb->field.flags);
 467
 468         // increment this for the next time around
 469         mdb->field_number++;
 470
 471         return &mdb->field;
 472 }
 473
 474 void my_postgresql_data_seek(B_DB *mdb, int row) {
 475         // set the row number to be returned on the next call
 476         // to my_postgresql_fetch_row
 477         mdb->row_number = row;
 478 }
 479
 480 void my_postgresql_field_seek(B_DB *mdb, int field) {
 481         mdb->field_number = field;
 482 }
 483
 484 int my_postgresql_query(B_DB *mdb, char *query) {
 485         Dmsg0(50, "my_postgresql_query started\n");
 486         // We are starting a new query.  reset everything.
 487         mdb->num_rows     = -1;
 488         mdb->row_number   = -1;
 489         mdb->field_number = -1;
 490
 491
 492         Dmsg1(50, "my_postgresql_query starts with '%s'\n", query);
 493         mdb->result = PQexec(mdb->db, query);
 494         mdb->status = PQresultStatus(mdb->result);
 495         if (mdb->status == PGRES_TUPLES_OK || mdb->status == PGRES_COMMAND_OK) {
 496                 Dmsg1(50, "we have a result\n", query);
 497
 498                 // how many fields in the set?
 499                 mdb->num_fields = (unsigned int) PQnfields(mdb->result);
 500                 Dmsg1(50, "we have %d fields\n", mdb->num_fields);
 501
 502                 mdb->num_rows   = PQntuples(mdb->result);
 503                 Dmsg1(50, "we have %d rows\n", mdb->num_rows);
 504
 505                 mdb->status = 0;
 506         } else {
 507                 Dmsg1(50, "we failed\n", query);
 508                 mdb->status = 1;
 509         }
 510
 511         Dmsg0(50, "my_postgresql_query finishing\n");
 512
 513         return mdb->status;
 514 }
 515
 516 void my_postgresql_free_result (B_DB *mdb) {
 517         if (mdb->result) {
 518                 PQclear(mdb->result);
 519         }
 520
 521         if (mdb->row) {
 522                 free(mdb->row);
 523                 mdb->row = NULL;
 524         }
 525 }
 526
 527 int my_postgresql_currval(B_DB *mdb) {
 528         // Obtain the current value of the sequence that
 529         // provides the serial value for primary key of the table.
 530
 531         // currval is local to our session.  It is not affected by
 532         // other transactions.
 533
 534         // Determine the name of the sequence.
 535         // PostgreSQL automatically creates a sequence using
 536         // <table>_<column>_seq.
 537         // At the time of writing, all tables used this format for
 538         // for their primary key: <table>id
 539         // Except for basefiles which has a primary key on baseid.
 540         // Therefore, we need to special case that one table.
 541
 542         // everything else can use the PostgreSQL formula.
 543
 544         char      sequence[NAMEDATALEN-1];
 545         char      query   [NAMEDATALEN+50];
 546 //      POOLMEM  *query;
 547         PGresult *result;
 548         int       id = 0;
 549
 550         if (strcasecmp(mdb->table_name, "basefiles") == 0) {
 551                 strcpy(sequence, "basefiles_baseid");
 552         } else {
 553                 strcpy(sequence, mdb->table_name);
 554                 strcat(sequence, "_");
 555                 strcat(sequence, mdb->table_name);
 556                 strcat(sequence, "id");
 557         }
 558
 559         strcat(sequence, "_seq");
 560         bsnprintf(query, sizeof(query), "SELECT currval('%s')", sequence);
 561
 562 //      Mmsg(&query, "SELECT currval('%s')", sequence);
 563         Dmsg1(50, "my_postgresql_currval invoked with '%s'\n", query);
 564         result = PQexec(mdb->db, query);
 565
 566         Dmsg0(50, "exec done");
 567
 568         if (PQresultStatus(result) == PGRES_TUPLES_OK) {
 569                 Dmsg0(50, "getting value");
 570                 id = atoi(PQgetvalue(result, 0, 0));
 571                 Dmsg2(50, "got value '%s' which became %d\n", PQgetvalue(result, 0, 0), id);
 572         } else {
 573                 Mmsg1(&mdb->errmsg, _("error fetching currval: %s\n"), PQerrorMessage(mdb->db));
 574         }
 575
 576 //      free_pool_memory(query);
 577         PQclear(result);
 578
 579         return id;
 580 }
 581
 582
 583 #endif /* HAVE_POSTGRESQL */