]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/dird/fd_cmds.c
Massive SD calling sequence reorganization
[bacula/bacula] / bacula / src / dird / fd_cmds.c
index a3341644c703d465961b331bbb222dbc97adf413..ee2e89eda405d34161cad03b70048510ac5bdd26 100644 (file)
@@ -13,7 +13,7 @@
  *   Version $Id$
  */
 /*
-   Copyright (C) 2000-2003 Kern Sibbald and John Walker
+   Copyright (C) 2000-2004 Kern Sibbald and John Walker
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
@@ -38,7 +38,9 @@
 /* Commands sent to File daemon */
 static char inc[]         = "include\n";
 static char exc[]         = "exclude\n";
+static char fileset[]     = "fileset\n"; /* set full fileset */
 static char jobcmd[]      = "JobId=%d Job=%s SDid=%u SDtime=%u Authorization=%s\n";
+/* Note, mtime_only is not used here -- implemented as file option */
 static char levelcmd[]    = "level = %s%s mtime_only=%d\n";
 static char runbefore[]   = "RunBeforeJob %s\n";
 static char runafter[]    = "RunAfterJob %s\n";
@@ -65,7 +67,8 @@ extern int FDConnectTimeout;
 
 /*
  * Open connection with File daemon. 
- * Try connecting every 10 seconds, give up after 1 hour.
+ * Try connecting every retry_interval (default 10 sec), and
+ *   give up after max_retry_time (default 30 mins).
  */
 
 int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
@@ -73,14 +76,18 @@ int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
 {
    BSOCK   *fd;
 
-   fd = bnet_connect(jcr, retry_interval, max_retry_time,
-        _("File daemon"), jcr->client->address, 
-       NULL, jcr->client->FDport, verbose);
-   if (fd == NULL) {
-      set_jcr_job_status(jcr, JS_ErrorTerminated);
-      return 0;
+   if (!jcr->file_bsock) {
+      fd = bnet_connect(jcr, retry_interval, max_retry_time,
+           _("File daemon"), jcr->client->address, 
+          NULL, jcr->client->FDport, verbose);
+      if (fd == NULL) {
+        set_jcr_job_status(jcr, JS_ErrorTerminated);
+        return 0;
+      }
+      Dmsg0(10, "Opened connection with File daemon\n");
+   } else {
+      fd = jcr->file_bsock;          /* use existing connection */
    }
-   Dmsg0(10, "Opened connection with File daemon\n");
    fd->res = (RES *)jcr->client;      /* save resource in BSOCK */
    jcr->file_bsock = fd;
    set_jcr_job_status(jcr, JS_Running);
@@ -128,11 +135,16 @@ int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
    return 1;
 }
 
-
+/*
+ * This subroutine edits the last job start time into a
+ *   "since=date/time" buffer that is returned in the  
+ *   variable since.  This is used for display purposes in
+ *   the job report.  The time in jcr->stime is later 
+ *   passed to tell the File daemon what to do.
+ */
 void get_level_since_time(JCR *jcr, char *since, int since_len)
 {
-   /* Lookup the last
-    * FULL backup job to get the time/date for a 
+   /* Lookup the last FULL backup job to get the time/date for a 
     * differential or incremental save.
     */
    if (!jcr->stime) {
@@ -144,29 +156,33 @@ void get_level_since_time(JCR *jcr, char *since, int since_len)
    case L_DIFFERENTIAL:
    case L_INCREMENTAL:
       /* Look up start time of last job */
-      jcr->jr.JobId = 0;
+      jcr->jr.JobId = 0;     /* flag for db_find_job_start time */
       if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
          Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
          Jmsg(jcr, M_INFO, 0, _("No prior or suitable Full backup found. Doing FULL backup.\n"));
          bsnprintf(since, since_len, " (upgraded from %s)", 
            level_to_str(jcr->JobLevel));
-        jcr->JobLevel = jcr->jr.Level = L_FULL;
+        jcr->JobLevel = jcr->jr.JobLevel = L_FULL;
       } else {
          bstrncpy(since, ", since=", since_len);
         bstrncat(since, jcr->stime, since_len);
       }
-      Dmsg1(100, "Last start time = %s\n", jcr->stime);
+      jcr->jr.JobId = jcr->JobId;
       break;
    }
+   Dmsg2(100, "Level=%c last start time=%s\n", jcr->JobLevel, jcr->stime);
 }
 
 
 /*
- * Send level command for backup and estimate  
+ * Send level command to FD. 
+ * Used for backup jobs and estimate command.
  */
 int send_level_command(JCR *jcr) 
 {
    BSOCK   *fd = jcr->file_bsock;
+   utime_t stime;
+   char ed1[50];
    /* 
     * Send Level command to File daemon
     */
@@ -174,12 +190,18 @@ int send_level_command(JCR *jcr)
    case L_BASE:
       bnet_fsend(fd, levelcmd, "base", " ", 0);
       break;
+   /* L_NONE is the console, sending something off to the FD */
+   case L_NONE:
    case L_FULL:
       bnet_fsend(fd, levelcmd, "full", " ", 0);
       break;
    case L_DIFFERENTIAL:
    case L_INCREMENTAL:
-      bnet_fsend(fd, levelcmd, "since ", jcr->stime, 0);
+      stime = str_to_utime(jcr->stime);
+      bnet_fsend(fd, levelcmd, "since_utime ", edit_uint64(stime, ed1), 0);
+      while (bget_dirmsg(fd) >= 0) {  /* allow him to poll us to sync clocks */
+         Jmsg(jcr, M_INFO, 0, "%s\n", fd->msg);
+      }
       break;
    case L_SINCE:
    default:
@@ -213,14 +235,13 @@ static int send_list(JCR *jcr, int list)
       num = fileset->num_excludes;
    }
 
-   for (int i=0; i < num; i++) {
+   for (int i=0; i<num; i++) {
       BPIPE *bpipe;
       FILE *ffd;
-      char buf[1000];
+      char buf[2000];
       char *p;
       int optlen, stat;
       INCEXE *ie;
-      FOPTS  *fo;
 
 
       if (list == INC_LIST) {
@@ -228,19 +249,17 @@ static int send_list(JCR *jcr, int list)
       } else {
         ie = fileset->exclude_items[i];
       }
-      fo = ie->opts_list[0];
-      for (int j=0; j<fo->match.size(); j++) {
-         Dmsg1(100, "Match=%s\n", fo->match.get(j));
-      }
       for (int j=0; j<ie->name_list.size(); j++) {
         p = (char *)ie->name_list.get(j);
         switch (*p) {
          case '|':
+           p++;                      /* skip over the | */
             fd->msg = edit_job_codes(jcr, fd->msg, p, "");
             bpipe = open_bpipe(fd->msg, 0, "r");
            if (!bpipe) {
+              berrno be;
                Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
-                 p, strerror(errno));
+                 p, be.strerror());
               goto bail_out;
            }
            /* Copy File options */
@@ -250,19 +269,20 @@ static int send_list(JCR *jcr, int list)
            } else {
                bstrncpy(buf, "0 ", sizeof(buf));
            }
-            Dmsg1(100, "Opts=%s\n", buf);
+            Dmsg1(500, "Opts=%s\n", buf);
            optlen = strlen(buf);
            while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
-               fd->msglen = Mmsg(&fd->msg, "%s", buf);
-               Dmsg2(200, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
+               fd->msglen = Mmsg(fd->msg, "%s", buf);
+               Dmsg2(500, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
               if (!bnet_send(fd)) {
                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
                  goto bail_out;
               }
            }
            if ((stat=close_bpipe(bpipe)) != 0) {
-               Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
-                 p, stat, strerror(errno));
+              berrno be;
+               Jmsg(jcr, M_FATAL, 0, _("Error running program %p: ERR=%s\n"),
+                 p, be.strerror(stat));
               goto bail_out;
            }
            break;
@@ -280,10 +300,10 @@ static int send_list(JCR *jcr, int list)
            } else {
                bstrncpy(buf, "0 ", sizeof(buf));
            }
-            Dmsg1(100, "Opts=%s\n", buf);
+            Dmsg1(500, "Opts=%s\n", buf);
            optlen = strlen(buf);
            while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
-               fd->msglen = Mmsg(&fd->msg, "%s", buf);
+               fd->msglen = Mmsg(fd->msg, "%s", buf);
               if (!bnet_send(fd)) {
                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
                  goto bail_out;
@@ -295,15 +315,15 @@ static int send_list(JCR *jcr, int list)
             p++;                      /* skip over \ */
            /* Note, fall through wanted */
         default:
-            Dmsg2(100, "numopts=%d opts=%s\n", ie->num_opts, NPRT(ie->opts_list[0]->opts));
            if (ie->num_opts) {
-              pm_strcpy(&fd->msg, ie->opts_list[0]->opts);
-               pm_strcat(&fd->msg, " ");
+               Dmsg2(500, "numopts=%d opts=%s\n", ie->num_opts, NPRT(ie->opts_list[0]->opts));
+              pm_strcpy(fd->msg, ie->opts_list[0]->opts);
+               pm_strcat(fd->msg, " ");
            } else {
-               pm_strcpy(&fd->msg, "0 ");
+               pm_strcpy(fd->msg, "0 ");
            }
-           fd->msglen = pm_strcat(&fd->msg, p);
-            Dmsg1(100, "Inc/Exc name=%s\n", fd->msg);
+           fd->msglen = pm_strcat(fd->msg, p);
+            Dmsg1(500, "Inc/Exc name=%s\n", fd->msg);
            if (!bnet_send(fd)) {
                Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
               goto bail_out;
@@ -328,14 +348,158 @@ bail_out:
 
 }
 
+
+/*
+ * Send either an Included or an Excluded list to FD
+ */
+static int send_fileset(JCR *jcr)
+{
+   FILESET *fileset = jcr->fileset;
+   BSOCK   *fd = jcr->file_bsock;
+   int num;
+   bool include = true;
+
+   for ( ;; ) {
+      if (include) {
+        num = fileset->num_includes;
+      } else {
+        num = fileset->num_excludes;
+      }  
+      for (int i=0; i<num; i++) {
+        BPIPE *bpipe;
+        FILE *ffd;
+        char buf[2000];
+        char *p;
+        int optlen, stat;
+        INCEXE *ie;
+        int j, k;
+
+        if (include) {
+           ie = fileset->include_items[i];
+            bnet_fsend(fd, "I\n");
+        } else {
+           ie = fileset->exclude_items[i];
+            bnet_fsend(fd, "E\n");
+        }       
+        for (j=0; j<ie->num_opts; j++) {
+           FOPTS *fo = ie->opts_list[j];
+            bnet_fsend(fd, "O %s\n", fo->opts);
+           for (k=0; k<fo->regex.size(); k++) {
+               bnet_fsend(fd, "R %s\n", fo->regex.get(k));
+           }
+           for (k=0; k<fo->wild.size(); k++) {
+               bnet_fsend(fd, "W %s\n", fo->wild.get(k));
+           }
+           for (k=0; k<fo->base.size(); k++) {
+               bnet_fsend(fd, "B %s\n", fo->base.get(k));
+           }
+           if (fo->reader) {
+               bnet_fsend(fd, "D %s\n", fo->reader);
+           }
+           if (fo->writer) {
+               bnet_fsend(fd, "T %s\n", fo->writer);
+           }
+            bnet_fsend(fd, "N\n");
+        }
+
+        for (j=0; j<ie->name_list.size(); j++) {
+           p = (char *)ie->name_list.get(j);
+           switch (*p) {
+            case '|':
+              p++;                      /* skip over the | */
+               fd->msg = edit_job_codes(jcr, fd->msg, p, "");
+               bpipe = open_bpipe(fd->msg, 0, "r");
+              if (!bpipe) {
+                 berrno be;
+                  Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
+                    p, be.strerror());
+                 goto bail_out;
+              }
+               bstrncpy(buf, "F ", sizeof(buf));
+               Dmsg1(500, "Opts=%s\n", buf);
+              optlen = strlen(buf);
+              while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
+                  fd->msglen = Mmsg(fd->msg, "%s", buf);
+                  Dmsg2(500, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
+                 if (!bnet_send(fd)) {
+                     Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
+                    goto bail_out;
+                 }
+              }
+              if ((stat=close_bpipe(bpipe)) != 0) {
+                 berrno be;
+                  Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. ERR=%s\n"),
+                    p, be.strerror(stat));
+                 goto bail_out;
+              }
+              break;
+            case '<':
+              p++;                      /* skip over < */
+               if ((ffd = fopen(p, "r")) == NULL) {
+                 berrno be;
+                  Jmsg(jcr, M_FATAL, 0, _("Cannot open included file: %s. ERR=%s\n"),
+                    p, be.strerror());
+                 goto bail_out;
+              }
+               bstrncpy(buf, "F ", sizeof(buf));
+               Dmsg1(500, "Opts=%s\n", buf);
+              optlen = strlen(buf);
+              while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
+                  fd->msglen = Mmsg(fd->msg, "%s", buf);
+                 if (!bnet_send(fd)) {
+                     Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
+                    goto bail_out;
+                 }
+              }
+              fclose(ffd);
+              break;
+            case '\\':
+               p++;                      /* skip over \ */
+              /* Note, fall through wanted */
+           default:
+               pm_strcpy(fd->msg, "F ");
+              fd->msglen = pm_strcat(fd->msg, p);
+               Dmsg1(500, "Inc/Exc name=%s\n", fd->msg);
+              if (!bnet_send(fd)) {
+                  Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
+                 goto bail_out;
+              }
+              break;
+           }
+        }
+         bnet_fsend(fd, "N\n");
+      }
+      if (!include) {                /* If we just did excludes */
+        break;                       /*   all done */
+      }
+      include = false;               /* Now do excludes */
+   }
+
+   bnet_sig(fd, BNET_EOD);           /* end of data */
+   if (!response(jcr, fd, OKinc, "Include", DISPLAY_ERROR)) {
+      goto bail_out;
+   }
+   return 1;
+
+bail_out:
+   set_jcr_job_status(jcr, JS_ErrorTerminated);
+   return 0;
+
+}
+
+
 /*
  * Send include list to File daemon
  */
 int send_include_list(JCR *jcr)
 {
    BSOCK *fd = jcr->file_bsock;
-   fd->msglen = pm_strcpy(&fd->msg, inc);
-   bnet_send(fd);
+   if (jcr->fileset->new_include) {
+      bnet_fsend(fd, fileset);
+      return send_fileset(jcr);
+   } else {
+      bnet_fsend(fd, inc);
+   }
    return send_list(jcr, INC_LIST);
 }
 
@@ -346,8 +510,10 @@ int send_include_list(JCR *jcr)
 int send_exclude_list(JCR *jcr)
 {
    BSOCK *fd = jcr->file_bsock;
-   fd->msglen = pm_strcpy(&fd->msg, exc);
-   bnet_send(fd);
+   if (jcr->fileset->new_include) {
+      return 1;
+   }
+   bnet_fsend(fd, exc);
    return send_list(jcr, EXC_LIST);
 }
 
@@ -361,7 +527,7 @@ int send_bootstrap_file(JCR *jcr)
    FILE *bs;
    char buf[1000];
    BSOCK *fd = jcr->file_bsock;
-   char *bootstrap = "bootstrap\n";
+   const char *bootstrap = "bootstrap\n";
 
    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
    if (!jcr->RestoreBootstrap) {
@@ -369,8 +535,9 @@ int send_bootstrap_file(JCR *jcr)
    }
    bs = fopen(jcr->RestoreBootstrap, "r");
    if (!bs) {
+      berrno be;
       Jmsg(jcr, M_FATAL, 0, _("Could not open bootstrap file %s: ERR=%s\n"), 
-        jcr->RestoreBootstrap, strerror(errno));
+        jcr->RestoreBootstrap, be.strerror());
       set_jcr_job_status(jcr, JS_ErrorTerminated);
       return 0;
    }
@@ -395,7 +562,7 @@ int send_run_before_and_after_commands(JCR *jcr)
    POOLMEM *msg = get_pool_memory(PM_FNAME);
    BSOCK *fd = jcr->file_bsock;
    if (jcr->job->ClientRunBeforeJob) {
-      pm_strcpy(&msg, jcr->job->ClientRunBeforeJob);
+      pm_strcpy(msg, jcr->job->ClientRunBeforeJob);
       bash_spaces(msg);
       bnet_fsend(fd, runbefore, msg);
       if (!response(jcr, fd, OKRunBefore, "ClientRunBeforeJob", DISPLAY_ERROR)) {
@@ -405,7 +572,7 @@ int send_run_before_and_after_commands(JCR *jcr)
       }
    }
    if (jcr->job->ClientRunAfterJob) {
-      fd->msglen = pm_strcpy(&msg, jcr->job->ClientRunAfterJob);
+      fd->msglen = pm_strcpy(msg, jcr->job->ClientRunAfterJob);
       bash_spaces(msg);
       bnet_fsend(fd, runafter, msg);
       if (!response(jcr, fd, OKRunAfter, "ClientRunAfterJob", DISPLAY_ERROR)) {