]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/dird/dird.c
Tweak add error checks
[bacula/bacula] / bacula / src / dird / dird.c
index 26af749a6afb015e6e6de8d30a3a6eb6e89fb6dc..a34fe4a933099abc954a11211bb63881864a03f4 100644 (file)
@@ -1,37 +1,63 @@
+/*
+   Bacula® - The Network Backup Solution
+
+   Copyright (C) 2000-2009 Free Software Foundation Europe e.V.
+
+   The main author of Bacula is Kern Sibbald, with contributions from
+   many others, a complete list can be found in the file AUTHORS.
+   This program is Free Software; you can redistribute it and/or
+   modify it under the terms of version two of the GNU General Public
+   License as published by the Free Software Foundation and included
+   in the file LICENSE.
+
+   This program is distributed in the hope that it will be useful, but
+   WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
+   General Public License for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with this program; if not, write to the Free Software
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.
+
+   Bacula® is a registered trademark of Kern Sibbald.
+   The licensor of Bacula is the Free Software Foundation Europe
+   (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
+   Switzerland, email:ftf@fsfeurope.org.
+*/
 /*
  *
  *   Bacula Director daemon -- this is the main program
  *
  *     Kern Sibbald, March MM
  *
- *   Version $Id$
  */
-/*
-   Copyright (C) 2000-2006 Kern Sibbald
 
-   This program is free software; you can redistribute it and/or
-   modify it under the terms of the GNU General Public License
-   version 2 as amended with additional clauses defined in the
-   file LICENSE in the main source directory.
+#include "bacula.h"
+#include "dird.h"
 
-   This program is distributed in the hope that it will be useful,
-   but WITHOUT ANY WARRANTY; without even the implied warranty of
-   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the 
-   the file LICENSE for additional details.
+#ifdef HAVE_PYTHON
 
- */
+#undef _POSIX_C_SOURCE
+#include <Python.h>
 
-#include "bacula.h"
-#include "dird.h"
+#include "lib/pythonlib.h"
 
-/* Forward referenced subroutines */
-static void terminate_dird(int sig);
-static int check_resources();
+/* Imported Functions */
+extern PyObject *job_getattr(PyObject *self, char *attrname);
+extern int job_setattr(PyObject *self, char *attrname, PyObject *value);
 
+#endif /* HAVE_PYTHON */
+
+/* Forward referenced subroutines */
+void terminate_dird(int sig);
+static bool check_resources();
+static void dir_sql_query(JCR *jcr, const char *cmd);
+  
 /* Exported subroutines */
 extern "C" void reload_config(int sig);
 extern void invalidate_schedules();
-
+extern bool parse_dir_config(CONFIG *config, const char *configfile, int exit_code);
 
 /* Imported subroutines */
 JCR *wait_for_next_job(char *runjob);
@@ -43,51 +69,60 @@ void term_job_server();
 void store_jobtype(LEX *lc, RES_ITEM *item, int index, int pass);
 void store_level(LEX *lc, RES_ITEM *item, int index, int pass);
 void store_replace(LEX *lc, RES_ITEM *item, int index, int pass);
+void store_migtype(LEX *lc, RES_ITEM *item, int index, int pass);
 void init_device_resources();
 
 static char *runjob = NULL;
-static int background = 1;
+static bool background = true;
 static void init_reload(void);
-
+static CONFIG *config;
 /* Globals Exported */
 DIRRES *director;                     /* Director resource */
 int FDConnectTimeout;
 int SDConnectTimeout;
 char *configfile = NULL;
+void *start_heap;
 
 /* Globals Imported */
-extern int r_first, r_last;           /* first and last resources */
-extern RES_TABLE resources[];
-extern RES **res_head;
 extern RES_ITEM job_items[];
-
 #if defined(_MSC_VER)
 extern "C" { // work around visual compiler mangling variables
-    extern URES res_all;
+   extern URES res_all;
 }
 #else
 extern URES res_all;
 #endif
 
-#define CONFIG_FILE "./bacula-dir.conf" /* default configuration file */
+typedef enum {
+   CHECK_CONNECTION,  /* Check catalog connection */
+   UPDATE_CATALOG,    /* Ensure that catalog is ok with conf */
+   UPDATE_AND_FIX     /* Ensure that catalog is ok, and fix old jobs */
+} cat_op;
+static bool check_catalog(cat_op mode);
+
+#define CONFIG_FILE "bacula-dir.conf" /* default configuration file */
+
 
 static void usage()
 {
    fprintf(stderr, _(
-"Copyright (C) 2000-2005 Kern Sibbald.\n"
+PROG_COPYRIGHT
 "\nVersion: %s (%s)\n\n"
 "Usage: dird [-f -s] [-c config_file] [-d debug_level] [config_file]\n"
 "       -c <file>   set configuration file to file\n"
-"       -dnn        set debug level to nn\n"
+"       -d <nn>     set debug level to <nn>\n"
+"       -dt         print timestamp in debug output\n"
 "       -f          run in foreground (for debugging)\n"
 "       -g          groupid\n"
+"       -m          print kaboom output (for debugging)\n"
 "       -r <job>    run <job> now\n"
 "       -s          no signals\n"
 "       -t          test - read configuration and exit\n"
 "       -u          userid\n"
 "       -v          verbose user messages\n"
 "       -?          print this message.\n"
-"\n"), VERSION, BDATE);
+"\n"), 2000, VERSION, BDATE);
 
    exit(1);
 }
@@ -95,18 +130,27 @@ static void usage()
 
 /*********************************************************************
  *
- *         Main Bacula Server program
+ *         Main Bacula Director Server program
  *
  */
+#if defined(HAVE_WIN32)
+/* For Win32 main() is in src/win32 code ... */
+#define main BaculaMain
+#endif
+
 int main (int argc, char *argv[])
 {
    int ch;
    JCR *jcr;
-   int no_signals = FALSE;
-   int test_config = FALSE;
+   bool no_signals = false;
+   bool test_config = false;
    char *uid = NULL;
    char *gid = NULL;
+#ifdef HAVE_PYTHON
+   init_python_interpreter_args python_args;
+#endif /* HAVE_PYTHON */
 
+   start_heap = sbrk(0);
    setlocale(LC_ALL, "");
    bindtextdomain("bacula", LOCALEDIR);
    textdomain("bacula");
@@ -117,7 +161,9 @@ int main (int argc, char *argv[])
    init_reload();
    daemon_start_time = time(NULL);
 
-   while ((ch = getopt(argc, argv, "c:d:fg:r:stu:v?")) != -1) {
+   console_command = run_console_command;
+
+   while ((ch = getopt(argc, argv, "c:d:fg:mr:stu:v?")) != -1) {
       switch (ch) {
       case 'c':                    /* specify config file */
          if (configfile != NULL) {
@@ -127,21 +173,29 @@ int main (int argc, char *argv[])
          break;
 
       case 'd':                    /* set debug level */
-         debug_level = atoi(optarg);
-         if (debug_level <= 0) {
-            debug_level = 1;
+         if (*optarg == 't') {
+            dbg_timestamp = true;
+         } else {
+            debug_level = atoi(optarg);
+            if (debug_level <= 0) {
+               debug_level = 1;
+            }
          }
-         Dmsg1(0, "Debug level = %d\n", debug_level);
+         Dmsg1(10, "Debug level = %d\n", debug_level);
          break;
 
       case 'f':                    /* run in foreground */
-         background = FALSE;
+         background = false;
          break;
 
       case 'g':                    /* set group id */
          gid = optarg;
          break;
 
+      case 'm':                    /* print kaboom output */
+         prt_kaboom = true;
+         break;
+
       case 'r':                    /* run job */
          if (runjob != NULL) {
             free(runjob);
@@ -152,11 +206,11 @@ int main (int argc, char *argv[])
          break;
 
       case 's':                    /* turn off signals */
-         no_signals = TRUE;
+         no_signals = true;
          break;
 
       case 't':                    /* test config */
-         test_config = TRUE;
+         test_config = true;
          break;
 
       case 'u':                    /* set uid */
@@ -196,7 +250,8 @@ int main (int argc, char *argv[])
       configfile = bstrdup(CONFIG_FILE);
    }
 
-   parse_config(configfile);
+   config = new_config_parser();
+   parse_dir_config(config, configfile, M_ERROR_TERM);
 
    if (init_crypto() != 0) {
       Jmsg((JCR *)NULL, M_ERROR_TERM, 0, _("Cryptography library initialization failed.\n"));
@@ -206,35 +261,64 @@ int main (int argc, char *argv[])
       Jmsg((JCR *)NULL, M_ERROR_TERM, 0, _("Please correct configuration file: %s\n"), configfile);
    }
 
-   if (test_config) {
-      terminate_dird(0);
+   if (!test_config) {                /* we don't need to do this block in test mode */
+      if (background) {
+         daemon_start();
+         init_stack_dump();              /* grab new pid */
+      }   
+      /* Create pid must come after we are a daemon -- so we have our final pid */
+      create_pid_file(director->pid_directory, "bacula-dir", 
+                      get_first_port_host_order(director->DIRaddrs));
+      read_state_file(director->working_directory, "bacula-dir",
+                      get_first_port_host_order(director->DIRaddrs));
    }
 
-   my_name_is(0, NULL, director->hdr.name);    /* set user defined name */
+   set_jcr_in_tsd(INVALID_JCR);
+   set_thread_concurrency(director->MaxConcurrentJobs * 2 +
+                          4 /* UA */ + 5 /* sched+watchdog+jobsvr+misc */);
+   lmgr_init_thread(); /* initialize the lockmanager stack */
+
+   load_dir_plugins(director->plugin_directory);
 
-   FDConnectTimeout = (int)director->FDConnectTimeout;
-   SDConnectTimeout = (int)director->SDConnectTimeout;
+   drop(uid, gid, false);                    /* reduce privileges if requested */
+
+   /* If we are in testing mode, we don't try to fix the catalog */
+   cat_op mode=(test_config)?CHECK_CONNECTION:UPDATE_AND_FIX;
 
-   if (background) {
-      daemon_start();
-      init_stack_dump();              /* grab new pid */
+   if (!check_catalog(mode)) {
+      Jmsg((JCR *)NULL, M_ERROR_TERM, 0, _("Please correct configuration file: %s\n"), configfile);
+   }
+   
+   if (test_config) {      
+      terminate_dird(0);
    }
 
-   /* Create pid must come after we are a daemon -- so we have our final pid */
-   create_pid_file(director->pid_directory, "bacula-dir", get_first_port_host_order(director->DIRaddrs));
-   read_state_file(director->working_directory, "bacula-dir", get_first_port_host_order(director->DIRaddrs));
+   my_name_is(0, NULL, director->name());    /* set user defined name */
 
-   drop(uid, gid);                    /* reduce priveleges if requested */
+   /* Plug database interface for library routines */
+   p_sql_query = (sql_query)dir_sql_query;
+   p_sql_escape = (sql_escape)db_escape_string;
 
+   FDConnectTimeout = (int)director->FDConnectTimeout;
+   SDConnectTimeout = (int)director->SDConnectTimeout;
+
+#if !defined(HAVE_WIN32)
    signal(SIGHUP, reload_config);
+#endif
 
    init_console_msg(working_directory);
 
-   init_python_interpreter(director->hdr.name, director->scripts_directory, 
-       "DirStartUp");
+#ifdef HAVE_PYTHON
+   python_args.progname = director->name();
+   python_args.scriptdir = director->scripts_directory;
+   python_args.modulename = "DirStartUp";
+   python_args.configfile = configfile;
+   python_args.workingdir = director->working_directory;
+   python_args.job_getattr = job_getattr;
+   python_args.job_setattr = job_setattr;
 
-   set_thread_concurrency(director->MaxConcurrentJobs * 2 +
-      4 /* UA */ + 4 /* sched+watchdog+jobsvr+misc */);
+   init_python_interpreter(&python_args);
+#endif /* HAVE_PYTHON */
 
    Dmsg0(200, "Start UA server\n");
    start_UA_server(director->DIRaddrs);
@@ -245,11 +329,16 @@ int main (int argc, char *argv[])
 
    init_job_server(director->MaxConcurrentJobs);
 
+   dbg_jcr_add_hook(db_debug_print); /* used to debug B_DB connexion after fatal signal */
+
+//   init_device_resources();
+
    Dmsg0(200, "wait for next job\n");
    /* Main loop -- call scheduler to get next job to run */
    while ( (jcr = wait_for_next_job(runjob)) ) {
       run_job(jcr);                   /* run job */
       free_jcr(jcr);                  /* release jcr */
+      set_jcr_in_tsd(INVALID_JCR);
       if (runjob) {                   /* command line, run a single job? */
          break;                       /* yes, terminate */
       }
@@ -260,19 +349,38 @@ int main (int argc, char *argv[])
    return 0;
 }
 
+/*
+ * This allows the message handler to operate on the database
+ *   by using a pointer to this function. The pointer is
+ *   needed because the other daemons do not have access
+ *   to the database.  If the pointer is
+ *   not defined (other daemons), then writing the database
+ *   is disabled. 
+ */
+static void dir_sql_query(JCR *jcr, const char *cmd)
+{
+   if (!jcr || !jcr->db) {
+      return;
+   }
+   db_sql_query(jcr->db, cmd, NULL, NULL);
+}
+
 /* Cleanup and then exit */
-static void terminate_dird(int sig)
+void terminate_dird(int sig)
 {
    static bool already_here = false;
 
    if (already_here) {                /* avoid recursive temination problems */
+      bmicrosleep(2, 0);              /* yield */
       exit(1);
    }
    already_here = true;
+   debug_level = 0;                   /* turn off debug */
+   stop_watchdog();
    generate_daemon_event(NULL, "Exit");
+   unload_plugins();
    write_state_file(director->working_directory, "bacula-dir", get_first_port_host_order(director->DIRaddrs));
    delete_pid_file(director->pid_directory, "bacula-dir", get_first_port_host_order(director->DIRaddrs));
-// signal(SIGCHLD, SIG_IGN);          /* don't worry about children now */
    term_scheduler();
    term_job_server();
    if (runjob) {
@@ -284,12 +392,16 @@ static void terminate_dird(int sig)
    if (debug_level > 5) {
       print_memory_pool_stats();
    }
-   free_config_resources();
+   if (config) {
+      config->free_resources();
+      free(config);
+      config = NULL;
+   }
    term_ua_server();
    term_msg();                        /* terminate message handler */
-   stop_watchdog();
    cleanup_crypto();
    close_memory_pool();               /* release free memory in pool */
+   lmgr_cleanup_main();
    sm_dump(false);
    exit(sig);
 }
@@ -382,7 +494,9 @@ extern "C"
 void reload_config(int sig)
 {
    static bool already_here = false;
+#if !defined(HAVE_WIN32)
    sigset_t set;
+#endif
    JCR *jcr;
    int njobs = 0;                     /* number of running jobs */
    int table, rtable;
@@ -392,9 +506,12 @@ void reload_config(int sig)
       abort();                        /* Oops, recursion -> die */
    }
    already_here = true;
+
+#if !defined(HAVE_WIN32)
    sigemptyset(&set);
    sigaddset(&set, SIGHUP);
    sigprocmask(SIG_BLOCK, &set, NULL);
+#endif
 
    lock_jobs();
    LockRes();
@@ -406,13 +523,13 @@ void reload_config(int sig)
    }
 
    Dmsg1(100, "Reload_config njobs=%d\n", njobs);
-   reload_table[table].res_table = save_config_resources();
+   reload_table[table].res_table = config->save_resources();
    Dmsg1(100, "Saved old config in table %d\n", table);
 
-   ok = parse_config(configfile, 0, M_ERROR);  /* no exit on error */
+   ok = parse_dir_config(config, configfile, M_ERROR);
 
    Dmsg0(100, "Reloaded config file\n");
-   if (!ok || !check_resources()) {
+   if (!ok || !check_resources() || !check_catalog(UPDATE_CATALOG)) {
       rtable = find_free_reload_table_entry();    /* save new, bad table */
       if (rtable < 0) {
          Jmsg(NULL, M_ERROR, 0, _("Please correct configuration file: %s\n"), configfile);
@@ -421,7 +538,7 @@ void reload_config(int sig)
          Jmsg(NULL, M_ERROR, 0, _("Please correct configuration file: %s\n"), configfile);
          Jmsg(NULL, M_ERROR, 0, _("Resetting previous configuration.\n"));
       }
-      reload_table[rtable].res_table = save_config_resources();
+      reload_table[rtable].res_table = config->save_resources();
       /* Now restore old resoure values */
       int num = r_last - r_first + 1;
       RES **res_tab = reload_table[table].res_table;
@@ -435,7 +552,7 @@ void reload_config(int sig)
        * Hook all active jobs so that they release this table
        */
       foreach_jcr(jcr) {
-         if (jcr->JobType != JT_SYSTEM) {
+         if (jcr->getJobType() != JT_SYSTEM) {
             reload_table[table].job_count++;
             job_end_push(jcr, reload_job_end_cb, (void *)((long int)table));
             njobs++;
@@ -448,7 +565,7 @@ void reload_config(int sig)
    set_working_directory(director->working_directory);
    FDConnectTimeout = director->FDConnectTimeout;
    SDConnectTimeout = director->SDConnectTimeout;
-   Dmsg0(0, "Director's configuration file reread.\n");
+   Dmsg0(10, "Director's configuration file reread.\n");
 
    /* Now release saved resources, if no jobs using the resources */
    if (njobs == 0) {
@@ -458,8 +575,10 @@ void reload_config(int sig)
 bail_out:
    UnlockRes();
    unlock_jobs();
+#if !defined(HAVE_WIN32)
    sigprocmask(SIG_UNBLOCK, &set, NULL);
    signal(SIGHUP, reload_config);
+#endif
    already_here = false;
 }
 
@@ -470,10 +589,11 @@ bail_out:
  *  **** FIXME **** this routine could be a lot more
  *   intelligent and comprehensive.
  */
-static int check_resources()
+static bool check_resources()
 {
    bool OK = true;
    JOB *job;
+   bool need_tls;
 
    LockRes();
 
@@ -507,29 +627,32 @@ static int check_resources()
          }
       }
 
-      if (!director->tls_certfile && director->tls_enable) {
+      need_tls = director->tls_enable || director->tls_authenticate;
+
+      if (!director->tls_certfile && need_tls) {
          Jmsg(NULL, M_FATAL, 0, _("\"TLS Certificate\" file not defined for Director \"%s\" in %s.\n"),
-            director->hdr.name, configfile);
+            director->name(), configfile);
          OK = false;
       }
 
-      if (!director->tls_keyfile && director->tls_enable) {
+      if (!director->tls_keyfile && need_tls) {
          Jmsg(NULL, M_FATAL, 0, _("\"TLS Key\" file not defined for Director \"%s\" in %s.\n"),
-            director->hdr.name, configfile);
+            director->name(), configfile);
          OK = false;
       }
 
-      if ((!director->tls_ca_certfile && !director->tls_ca_certdir) && director->tls_enable && director->tls_verify_peer) {
+      if ((!director->tls_ca_certfile && !director->tls_ca_certdir) && 
+           need_tls && director->tls_verify_peer) {
          Jmsg(NULL, M_FATAL, 0, _("Neither \"TLS CA Certificate\" or \"TLS CA"
               " Certificate Dir\" are defined for Director \"%s\" in %s."
               " At least one CA certificate store is required"
               " when using \"TLS Verify Peer\".\n"),
-              director->hdr.name, configfile);
+              director->name(), configfile);
          OK = false;
       }
 
       /* If everything is well, attempt to initialize our per-resource TLS context */
-      if (OK && (director->tls_enable || director->tls_require)) {
+      if (OK && (need_tls || director->tls_require)) {
          /* Initialize TLS context:
           * Args: CA certfile, CA certdir, Certfile, Keyfile,
           * Keyfile PEM Callback, Keyfile CB Userdata, DHfile, Verify Peer */
@@ -540,7 +663,7 @@ static int check_resources()
          
          if (!director->tls_ctx) {
             Jmsg(NULL, M_FATAL, 0, _("Failed to initialize TLS context for Director \"%s\" in %s.\n"),
-                 director->hdr.name, configfile);
+                 director->name(), configfile);
             OK = false;
          }
       }
@@ -566,13 +689,13 @@ static int check_resources()
          /* Handle RunScripts alists specifically */
          if (jobdefs->RunScripts) {
             RUNSCRIPT *rs, *elt;
-           
-           if (!job->RunScripts) {
-              job->RunScripts = New(alist(10, not_owned_by_alist));
-           }
-          
-           foreach_alist(rs, jobdefs->RunScripts) {
-              elt = copy_runscript(rs);
+            
+            if (!job->RunScripts) {
+               job->RunScripts = New(alist(10, not_owned_by_alist));
+            }
+           
+            foreach_alist(rs, jobdefs->RunScripts) {
+               elt = copy_runscript(rs);
                job->RunScripts->append(elt); /* we have to free it */
             }
          }
@@ -580,20 +703,20 @@ static int check_resources()
          /* Transfer default items from JobDefs Resource */
          for (i=0; job_items[i].name; i++) {
             char **def_svalue, **svalue;  /* string value */
-            int *def_ivalue, *ivalue;     /* integer value */
+            uint32_t *def_ivalue, *ivalue;     /* integer value */
             bool *def_bvalue, *bvalue;    /* bool value */
             int64_t *def_lvalue, *lvalue; /* 64 bit values */
             uint32_t offset;
 
             Dmsg4(1400, "Job \"%s\", field \"%s\" bit=%d def=%d\n",
-                job->hdr.name, job_items[i].name,
+                job->name(), job_items[i].name,
                 bit_is_set(i, job->hdr.item_present),
                 bit_is_set(i, job->jobdefs->hdr.item_present));
 
             if (!bit_is_set(i, job->hdr.item_present) &&
                  bit_is_set(i, job->jobdefs->hdr.item_present)) {
                Dmsg2(400, "Job \"%s\", field \"%s\": getting default.\n",
-                 job->hdr.name, job_items[i].name);
+                 job->name(), job_items[i].name);
                offset = (char *)(job_items[i].value) - (char *)&res_all;
                /*
                 * Handle strings and directory strings
@@ -602,7 +725,7 @@ static int check_resources()
                    job_items[i].handler == store_dir) {
                   def_svalue = (char **)((char *)(job->jobdefs) + offset);
                   Dmsg5(400, "Job \"%s\", field \"%s\" def_svalue=%s item %d offset=%u\n",
-                       job->hdr.name, job_items[i].name, *def_svalue, i, offset);
+                       job->name(), job_items[i].name, *def_svalue, i, offset);
                   svalue = (char **)((char *)job + offset);
                   if (*svalue) {
                      Pmsg1(000, _("Hey something is wrong. p=0x%lu\n"), *svalue);
@@ -615,7 +738,7 @@ static int check_resources()
                } else if (job_items[i].handler == store_res) {
                   def_svalue = (char **)((char *)(job->jobdefs) + offset);
                   Dmsg4(400, "Job \"%s\", field \"%s\" item %d offset=%u\n",
-                       job->hdr.name, job_items[i].name, i, offset);
+                       job->name(), job_items[i].name, i, offset);
                   svalue = (char **)((char *)job + offset);
                   if (*svalue) {
                      Pmsg1(000, _("Hey something is wrong. p=0x%lu\n"), *svalue);
@@ -634,26 +757,28 @@ static int check_resources()
                 *    Note, our store_bit does not handle bitmaped fields
                 */
                } else if (job_items[i].handler == store_bit     ||
-                          job_items[i].handler == store_pint    ||
+                          job_items[i].handler == store_pint32  ||
                           job_items[i].handler == store_jobtype ||
                           job_items[i].handler == store_level   ||
-                          job_items[i].handler == store_pint    ||
+                          job_items[i].handler == store_int32   ||
+                          job_items[i].handler == store_size32  ||
+                          job_items[i].handler == store_migtype ||
                           job_items[i].handler == store_replace) {
-                  def_ivalue = (int *)((char *)(job->jobdefs) + offset);
+                  def_ivalue = (uint32_t *)((char *)(job->jobdefs) + offset);
                   Dmsg5(400, "Job \"%s\", field \"%s\" def_ivalue=%d item %d offset=%u\n",
-                       job->hdr.name, job_items[i].name, *def_ivalue, i, offset);
-                  ivalue = (int *)((char *)job + offset);
+                       job->name(), job_items[i].name, *def_ivalue, i, offset);
+                  ivalue = (uint32_t *)((char *)job + offset);
                   *ivalue = *def_ivalue;
                   set_bit(i, job->hdr.item_present);
                /*
                 * Handle 64 bit integer fields
                 */
                } else if (job_items[i].handler == store_time   ||
-                          job_items[i].handler == store_size   ||
+                          job_items[i].handler == store_size64 ||
                           job_items[i].handler == store_int64) {
                   def_lvalue = (int64_t *)((char *)(job->jobdefs) + offset);
                   Dmsg5(400, "Job \"%s\", field \"%s\" def_lvalue=%" lld " item %d offset=%u\n",
-                       job->hdr.name, job_items[i].name, *def_lvalue, i, offset);
+                       job->name(), job_items[i].name, *def_lvalue, i, offset);
                   lvalue = (int64_t *)((char *)job + offset);
                   *lvalue = *def_lvalue;
                   set_bit(i, job->hdr.item_present);
@@ -663,7 +788,7 @@ static int check_resources()
                } else if (job_items[i].handler == store_bool) {
                   def_bvalue = (bool *)((char *)(job->jobdefs) + offset);
                   Dmsg5(400, "Job \"%s\", field \"%s\" def_bvalue=%d item %d offset=%u\n",
-                       job->hdr.name, job_items[i].name, *def_bvalue, i, offset);
+                       job->name(), job_items[i].name, *def_bvalue, i, offset);
                   bvalue = (bool *)((char *)job + offset);
                   *bvalue = *def_bvalue;
                   set_bit(i, job->hdr.item_present);
@@ -677,8 +802,8 @@ static int check_resources()
       for (i=0; job_items[i].name; i++) {
          if (job_items[i].flags & ITEM_REQUIRED) {
                if (!bit_is_set(i, job->hdr.item_present)) {
-                  Jmsg(NULL, M_FATAL, 0, _("\"%s\" directive in Job \"%s\" resource is required, but not found.\n"),
-                    job_items[i].name, job->hdr.name);
+                  Jmsg(NULL, M_ERROR_TERM, 0, _("\"%s\" directive in Job \"%s\" resource is required, but not found.\n"),
+                    job_items[i].name, job->name());
                   OK = false;
                 }
          }
@@ -687,8 +812,127 @@ static int check_resources()
             Emsg0(M_ERROR_TERM, 0, _("Too many items in Job resource\n"));
          }
       }
+      if (!job->storage && !job->pool->storage) {
+         Jmsg(NULL, M_FATAL, 0, _("No storage specified in Job \"%s\" nor in Pool.\n"),
+            job->name());
+         OK = false;
+      }
    } /* End loop over Job res */
 
+
+   /* Loop over Consoles */
+   CONRES *cons;
+   foreach_res(cons, R_CONSOLE) {
+      /* tls_require implies tls_enable */
+      if (cons->tls_require) {
+         if (have_tls) {
+            cons->tls_enable = true;
+         } else {
+            Jmsg(NULL, M_FATAL, 0, _("TLS required but not configured in Bacula.\n"));
+            OK = false;
+            continue;
+         }
+      }
+
+      need_tls = cons->tls_enable || cons->tls_authenticate;
+      
+      if (!cons->tls_certfile && need_tls) {
+         Jmsg(NULL, M_FATAL, 0, _("\"TLS Certificate\" file not defined for Console \"%s\" in %s.\n"),
+            cons->name(), configfile);
+         OK = false;
+      }
+
+      if (!cons->tls_keyfile && need_tls) {
+         Jmsg(NULL, M_FATAL, 0, _("\"TLS Key\" file not defined for Console \"%s\" in %s.\n"),
+            cons->name(), configfile);
+         OK = false;
+      }
+
+      if ((!cons->tls_ca_certfile && !cons->tls_ca_certdir) 
+            && need_tls && cons->tls_verify_peer) {
+         Jmsg(NULL, M_FATAL, 0, _("Neither \"TLS CA Certificate\" or \"TLS CA"
+            " Certificate Dir\" are defined for Console \"%s\" in %s."
+            " At least one CA certificate store is required"
+            " when using \"TLS Verify Peer\".\n"),
+            cons->name(), configfile);
+         OK = false;
+      }
+      /* If everything is well, attempt to initialize our per-resource TLS context */
+      if (OK && (need_tls || cons->tls_require)) {
+         /* Initialize TLS context:
+          * Args: CA certfile, CA certdir, Certfile, Keyfile,
+          * Keyfile PEM Callback, Keyfile CB Userdata, DHfile, Verify Peer */
+         cons->tls_ctx = new_tls_context(cons->tls_ca_certfile,
+            cons->tls_ca_certdir, cons->tls_certfile,
+            cons->tls_keyfile, NULL, NULL, cons->tls_dhfile, cons->tls_verify_peer);
+         
+         if (!cons->tls_ctx) {
+            Jmsg(NULL, M_FATAL, 0, _("Failed to initialize TLS context for File daemon \"%s\" in %s.\n"),
+               cons->name(), configfile);
+            OK = false;
+         }
+      }
+
+   }
+
+   /* Loop over Clients */
+   CLIENT *client;
+   foreach_res(client, R_CLIENT) {
+      /* tls_require implies tls_enable */
+      if (client->tls_require) {
+         if (have_tls) {
+            client->tls_enable = true;
+         } else {
+            Jmsg(NULL, M_FATAL, 0, _("TLS required but not configured in Bacula.\n"));
+            OK = false;
+            continue;
+         }
+      }
+      need_tls = client->tls_enable || client->tls_authenticate;
+      if ((!client->tls_ca_certfile && !client->tls_ca_certdir) && need_tls) {
+         Jmsg(NULL, M_FATAL, 0, _("Neither \"TLS CA Certificate\""
+            " or \"TLS CA Certificate Dir\" are defined for File daemon \"%s\" in %s.\n"),
+            client->name(), configfile);
+         OK = false;
+      }
+
+      /* If everything is well, attempt to initialize our per-resource TLS context */
+      if (OK && (need_tls || client->tls_require)) {
+         /* Initialize TLS context:
+          * Args: CA certfile, CA certdir, Certfile, Keyfile,
+          * Keyfile PEM Callback, Keyfile CB Userdata, DHfile, Verify Peer */
+         client->tls_ctx = new_tls_context(client->tls_ca_certfile,
+            client->tls_ca_certdir, client->tls_certfile,
+            client->tls_keyfile, NULL, NULL, NULL,
+            true);
+         
+         if (!client->tls_ctx) {
+            Jmsg(NULL, M_FATAL, 0, _("Failed to initialize TLS context for File daemon \"%s\" in %s.\n"),
+               client->name(), configfile);
+            OK = false;
+         }
+      }
+   }
+
+   UnlockRes();
+   if (OK) {
+      close_msg(NULL);                /* close temp message handler */
+      init_msg(NULL, director->messages); /* open daemon message handler */
+   }
+   return OK;
+}
+
+/* 
+ * In this routine, 
+ *  - we can check the connection (mode=CHECK_CONNECTION)
+ *  - we can synchronize the catalog with the configuration (mode=UPDATE_CATALOG)
+ *  - we can synchronize, and fix old job records (mode=UPDATE_AND_FIX)
+ */
+static bool check_catalog(cat_op mode)
+{
+   bool OK = true;
+   bool need_tls;
+
    /* Loop over databases */
    CAT *catalog;
    foreach_res(catalog, R_CATALOG) {
@@ -697,30 +941,77 @@ static int check_resources()
        * Make sure we can open catalog, otherwise print a warning
        * message because the server is probably not running.
        */
-      db = db_init_database(NULL, catalog->db_name, catalog->db_user,
+      db = db_init(NULL, catalog->db_driver, catalog->db_name, catalog->db_user,
                          catalog->db_password, catalog->db_address,
                          catalog->db_port, catalog->db_socket,
                          catalog->mult_db_connections);
       if (!db || !db_open_database(NULL, db)) {
+         Pmsg2(000, _("Could not open Catalog \"%s\", database \"%s\".\n"),
+              catalog->name(), catalog->db_name);
          Jmsg(NULL, M_FATAL, 0, _("Could not open Catalog \"%s\", database \"%s\".\n"),
-              catalog->hdr.name, catalog->db_name);
+              catalog->name(), catalog->db_name);
          if (db) {
             Jmsg(NULL, M_FATAL, 0, _("%s"), db_strerror(db));
+            Pmsg1(000, "%s", db_strerror(db));
+            db_close_database(NULL, db);
          }
          OK = false;
          continue;
       }
+      
+      /* Display a message if the db max_connections is too low */
+      if (!db_check_max_connections(NULL, db, director->MaxConcurrentJobs+1)) {
+         Pmsg1(000, "Warning, settings problem for Catalog=%s\n", catalog->name());
+         Pmsg1(000, "%s", db_strerror(db));
+      }
+
+      /* we are in testing mode, so don't touch anything in the catalog */
+      if (mode == CHECK_CONNECTION) {
+         db_close_database(NULL, db);
+         continue;
+      }
 
       /* Loop over all pools, defining/updating them in each database */
       POOL *pool;
       foreach_res(pool, R_POOL) {
-         create_pool(NULL, db, pool, POOL_OP_UPDATE);  /* update request */
+         /*
+          * If the Pool has a catalog resource create the pool only
+          *   in that catalog.
+          */
+         if (!pool->catalog || pool->catalog == catalog) {
+            create_pool(NULL, db, pool, POOL_OP_UPDATE);  /* update request */
+         }
+      }
+
+      /* Once they are created, we can loop over them again, updating
+       * references (RecyclePool)
+       */
+      foreach_res(pool, R_POOL) {
+         /*
+          * If the Pool has a catalog resource update the pool only
+          *   in that catalog.
+          */
+         if (!pool->catalog || pool->catalog == catalog) {
+            update_pool_references(NULL, db, pool);
+         }
+      }
+
+      /* Ensure basic client record is in DB */
+      CLIENT *client;
+      foreach_res(client, R_CLIENT) {
+         CLIENT_DBR cr;
+         memset(&cr, 0, sizeof(cr));
+         bstrncpy(cr.Name, client->name(), sizeof(cr.Name));
+         db_create_client_record(NULL, db, &cr);
       }
 
+      /* Ensure basic storage record is in DB */
       STORE *store;
       foreach_res(store, R_STORAGE) {
          STORAGE_DBR sr;
          MEDIATYPE_DBR mr;
+         memset(&sr, 0, sizeof(sr));
+         memset(&mr, 0, sizeof(mr));
          if (store->media_type) {
             bstrncpy(mr.MediaType, store->media_type, sizeof(mr.MediaType));
             mr.ReadOnly = 0;
@@ -730,10 +1021,19 @@ static int check_resources()
          }
          bstrncpy(sr.Name, store->name(), sizeof(sr.Name));
          sr.AutoChanger = store->autochanger;
-         db_create_storage_record(NULL, db, &sr);
+         if (!db_create_storage_record(NULL, db, &sr)) {
+            Jmsg(NULL, M_FATAL, 0, _("Could not create storage record for %s\n"), 
+                 store->name());
+            OK = false;
+         }
          store->StorageId = sr.StorageId;   /* set storage Id */
          if (!sr.created) {                 /* if not created, update it */
-            db_update_storage_record(NULL, db, &sr);
+            sr.AutoChanger = store->autochanger;
+            if (!db_update_storage_record(NULL, db, &sr)) {
+               Jmsg(NULL, M_FATAL, 0, _("Could not update storage record for %s\n"),
+                    store->name());
+               OK = false;
+            }
          }
 
          /* tls_require implies tls_enable */
@@ -746,15 +1046,17 @@ static int check_resources()
             }
          } 
 
-         if ((!store->tls_ca_certfile && !store->tls_ca_certdir) && store->tls_enable) {
+         need_tls = store->tls_enable || store->tls_authenticate;
+
+         if ((!store->tls_ca_certfile && !store->tls_ca_certdir) && need_tls) {
             Jmsg(NULL, M_FATAL, 0, _("Neither \"TLS CA Certificate\""
                  " or \"TLS CA Certificate Dir\" are defined for Storage \"%s\" in %s.\n"),
-                 store->hdr.name, configfile);
+                 store->name(), configfile);
             OK = false;
          }
 
          /* If everything is well, attempt to initialize our per-resource TLS context */
-         if (OK && (store->tls_enable || store->tls_require)) {
+         if (OK && (need_tls || store->tls_require)) {
            /* Initialize TLS context:
             * Args: CA certfile, CA certdir, Certfile, Keyfile,
             * Keyfile PEM Callback, Keyfile CB Userdata, DHfile, Verify Peer */
@@ -764,7 +1066,7 @@ static int check_resources()
          
             if (!store->tls_ctx) {
                Jmsg(NULL, M_FATAL, 0, _("Failed to initialize TLS context for Storage \"%s\" in %s.\n"),
-                    store->hdr.name, configfile);
+                    store->name(), configfile);
                OK = false;
             }
          }
@@ -777,123 +1079,34 @@ static int check_resources()
          /* Write to catalog? */
          if (!counter->created && counter->Catalog == catalog) {
             COUNTER_DBR cr;
-            bstrncpy(cr.Counter, counter->hdr.name, sizeof(cr.Counter));
+            bstrncpy(cr.Counter, counter->name(), sizeof(cr.Counter));
             cr.MinValue = counter->MinValue;
             cr.MaxValue = counter->MaxValue;
             cr.CurrentValue = counter->MinValue;
             if (counter->WrapCounter) {
-               bstrncpy(cr.WrapCounter, counter->WrapCounter->hdr.name, sizeof(cr.WrapCounter));
+               bstrncpy(cr.WrapCounter, counter->WrapCounter->name(), sizeof(cr.WrapCounter));
             } else {
                cr.WrapCounter[0] = 0;  /* empty string */
             }
             if (db_create_counter_record(NULL, db, &cr)) {
                counter->CurrentValue = cr.CurrentValue;
                counter->created = true;
-               Dmsg2(100, "Create counter %s val=%d\n", counter->hdr.name, counter->CurrentValue);
+               Dmsg2(100, "Create counter %s val=%d\n", counter->name(), counter->CurrentValue);
             }
          }
          if (!counter->created) {
             counter->CurrentValue = counter->MinValue;  /* default value */
          }
       }
-      db_close_database(NULL, db);
-   }
-
-   /* Loop over Consoles */
-   CONRES *cons;
-   foreach_res(cons, R_CONSOLE) {
-      /* tls_require implies tls_enable */
-      if (cons->tls_require) {
-         if (have_tls) {
-            cons->tls_enable = true;
-         } else {
-            Jmsg(NULL, M_FATAL, 0, _("TLS required but not configured in Bacula.\n"));
-            OK = false;
-            continue;
-         }
-      }
-
-      if (!cons->tls_certfile && cons->tls_enable) {
-         Jmsg(NULL, M_FATAL, 0, _("\"TLS Certificate\" file not defined for Console \"%s\" in %s.\n"),
-            cons->hdr.name, configfile);
-         OK = false;
-      }
-
-      if (!cons->tls_keyfile && cons->tls_enable) {
-         Jmsg(NULL, M_FATAL, 0, _("\"TLS Key\" file not defined for Console \"%s\" in %s.\n"),
-            cons->hdr.name, configfile);
-         OK = false;
-      }
-
-      if ((!cons->tls_ca_certfile && !cons->tls_ca_certdir) && cons->tls_enable && cons->tls_verify_peer) {
-         Jmsg(NULL, M_FATAL, 0, _("Neither \"TLS CA Certificate\" or \"TLS CA"
-            " Certificate Dir\" are defined for Console \"%s\" in %s."
-            " At least one CA certificate store is required"
-            " when using \"TLS Verify Peer\".\n"),
-            cons->hdr.name, configfile);
-         OK = false;
-      }
-      /* If everything is well, attempt to initialize our per-resource TLS context */
-      if (OK && (cons->tls_enable || cons->tls_require)) {
-         /* Initialize TLS context:
-          * Args: CA certfile, CA certdir, Certfile, Keyfile,
-          * Keyfile PEM Callback, Keyfile CB Userdata, DHfile, Verify Peer */
-         cons->tls_ctx = new_tls_context(cons->tls_ca_certfile,
-            cons->tls_ca_certdir, cons->tls_certfile,
-            cons->tls_keyfile, NULL, NULL, cons->tls_dhfile, cons->tls_verify_peer);
-         
-         if (!cons->tls_ctx) {
-            Jmsg(NULL, M_FATAL, 0, _("Failed to initialize TLS context for File daemon \"%s\" in %s.\n"),
-               cons->hdr.name, configfile);
-            OK = false;
-         }
-      }
-
-   }
-
-   /* Loop over Clients */
-   CLIENT *client;
-   foreach_res(client, R_CLIENT) {
-      /* tls_require implies tls_enable */
-      if (client->tls_require) {
-         if (have_tls) {
-            client->tls_enable = true;
-         } else {
-            Jmsg(NULL, M_FATAL, 0, _("TLS required but not configured in Bacula.\n"));
-            OK = false;
-            continue;
-         }
-      }
-
-      if ((!client->tls_ca_certfile && !client->tls_ca_certdir) && client->tls_enable) {
-         Jmsg(NULL, M_FATAL, 0, _("Neither \"TLS CA Certificate\""
-            " or \"TLS CA Certificate Dir\" are defined for File daemon \"%s\" in %s.\n"),
-            client->hdr.name, configfile);
-         OK = false;
+      /* cleanup old job records */
+      if (mode == UPDATE_AND_FIX) {
+         db_sql_query(db, cleanup_created_job, NULL, NULL);
+         db_sql_query(db, cleanup_running_job, NULL, NULL);
       }
 
-      /* If everything is well, attempt to initialize our per-resource TLS context */
-      if (OK && (client->tls_enable || client->tls_require)) {
-         /* Initialize TLS context:
-          * Args: CA certfile, CA certdir, Certfile, Keyfile,
-          * Keyfile PEM Callback, Keyfile CB Userdata, DHfile, Verify Peer */
-         client->tls_ctx = new_tls_context(client->tls_ca_certfile,
-            client->tls_ca_certdir, client->tls_certfile,
-            client->tls_keyfile, NULL, NULL, NULL,
-            true);
-         
-         if (!client->tls_ctx) {
-            Jmsg(NULL, M_FATAL, 0, _("Failed to initialize TLS context for File daemon \"%s\" in %s.\n"),
-               client->hdr.name, configfile);
-            OK = false;
-         }
-      }
-   }
-
-   UnlockRes();
-   if (OK) {
-      close_msg(NULL);                /* close temp message handler */
-      init_msg(NULL, director->messages); /* open daemon message handler */
+      db_close_database(NULL, db);
    }
+   /* Set type in global for debugging */
+   set_db_type(db_get_type());
    return OK;
 }