]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/dird/fd_cmds.c
Add heap stats to Dir and SD -- eliminate #ifdefs
[bacula/bacula] / bacula / src / dird / fd_cmds.c
index 8323a21a88c39d60ccd6962b562760a21b6ebd9b..c37db4900a77753119902c1a786f06b81412b6d1 100644 (file)
@@ -13,7 +13,7 @@
  *   Version $Id$
  */
 /*
-   Copyright (C) 2000-2003 Kern Sibbald and John Walker
+   Copyright (C) 2000-2004 Kern Sibbald and John Walker
 
    This program is free software; you can redistribute it and/or
    modify it under the terms of the GNU General Public License as
 /* Commands sent to File daemon */
 static char inc[]         = "include\n";
 static char exc[]         = "exclude\n";
+static char fileset[]     = "fileset\n"; /* set full fileset */
 static char jobcmd[]      = "JobId=%d Job=%s SDid=%u SDtime=%u Authorization=%s\n";
+/* Note, mtime_only is not used here -- implemented as file option */
 static char levelcmd[]    = "level = %s%s mtime_only=%d\n";
+static char runbefore[]   = "RunBeforeJob %s\n";
+static char runafter[]    = "RunAfterJob %s\n";
 
 
 /* Responses received from File daemon */
@@ -48,6 +52,8 @@ static char OKexc[]       = "2000 OK exclude\n";
 static char OKjob[]       = "2000 OK Job";
 static char OKbootstrap[] = "2000 OK bootstrap\n";
 static char OKlevel[]     = "2000 OK level\n";
+static char OKRunBefore[] = "2000 OK RunBefore\n";
+static char OKRunAfter[]  = "2000 OK RunAfter\n";
 
 /* Forward referenced functions */
 
@@ -61,7 +67,8 @@ extern int FDConnectTimeout;
 
 /*
  * Open connection with File daemon. 
- * Try connecting every 10 seconds, give up after 1 hour.
+ * Try connecting every retry_interval (default 10 sec), and
+ *   give up after max_retry_time (default 30 mins).
  */
 
 int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
@@ -95,7 +102,7 @@ int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
       memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
    }
    Dmsg1(100, ">filed: %s", fd->msg);
-   if (bnet_recv(fd) > 0) {
+   if (bget_dirmsg(fd) > 0) {
        Dmsg1(110, "<filed: %s", fd->msg);
        if (strncmp(fd->msg, OKjob, strlen(OKjob)) != 0) {
           Jmsg(jcr, M_FATAL, 0, _("File daemon \"%s\" rejected Job command: %s\n"), 
@@ -124,11 +131,16 @@ int connect_to_file_daemon(JCR *jcr, int retry_interval, int max_retry_time,
    return 1;
 }
 
-
+/*
+ * This subroutine edits the last job start time into a
+ *   "since=date/time" buffer that is returned in the  
+ *   variable since.  This is used for display purposes in
+ *   the job report.  The time in jcr->stime is later 
+ *   passed to tell the File daemon what to do.
+ */
 void get_level_since_time(JCR *jcr, char *since, int since_len)
 {
-   /* Lookup the last
-    * FULL backup job to get the time/date for a 
+   /* Lookup the last FULL backup job to get the time/date for a 
     * differential or incremental save.
     */
    if (!jcr->stime) {
@@ -137,51 +149,62 @@ void get_level_since_time(JCR *jcr, char *since, int since_len)
    jcr->stime[0] = 0;
    since[0] = 0;
    switch (jcr->JobLevel) {
-      case L_DIFFERENTIAL:
-      case L_INCREMENTAL:
-        /* Look up start time of last job */
-        jcr->jr.JobId = 0;
-        if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
-            Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
-            Jmsg(jcr, M_INFO, 0, _("No prior or suitable Full backup found. Doing FULL backup.\n"));
-            bsnprintf(since, since_len, " (upgraded from %s)", 
-              level_to_str(jcr->JobLevel));
-           jcr->JobLevel = jcr->jr.Level = L_FULL;
-        } else {
-            bstrncpy(since, ", since=", sizeof(since));
-           bstrncat(since, jcr->stime, sizeof(since));
-        }
-         Dmsg1(115, "Last start time = %s\n", jcr->stime);
-        break;
+   case L_DIFFERENTIAL:
+   case L_INCREMENTAL:
+      /* Look up start time of last job */
+      jcr->jr.JobId = 0;     /* flag for db_find_job_start time */
+      if (!db_find_job_start_time(jcr, jcr->db, &jcr->jr, &jcr->stime)) {
+         Jmsg(jcr, M_INFO, 0, "%s", db_strerror(jcr->db));
+         Jmsg(jcr, M_INFO, 0, _("No prior or suitable Full backup found. Doing FULL backup.\n"));
+         bsnprintf(since, since_len, " (upgraded from %s)", 
+           level_to_str(jcr->JobLevel));
+        jcr->JobLevel = jcr->jr.JobLevel = L_FULL;
+      } else {
+         bstrncpy(since, ", since=", since_len);
+        bstrncat(since, jcr->stime, since_len);
+      }
+      jcr->jr.JobId = jcr->JobId;
+      break;
    }
+   Dmsg2(100, "Level=%c last start time=%s\n", jcr->JobLevel, jcr->stime);
 }
 
 
 /*
- * Send level command for backup and estimate  
+ * Send level command to FD. 
+ * Used for backup jobs and estimate command.
  */
 int send_level_command(JCR *jcr) 
 {
    BSOCK   *fd = jcr->file_bsock;
+   utime_t stime;
+   char ed1[50];
    /* 
     * Send Level command to File daemon
     */
    switch (jcr->JobLevel) {
-      case L_BASE:
-         bnet_fsend(fd, levelcmd, "base", " ", 0);
-        break;
-      case L_FULL:
-         bnet_fsend(fd, levelcmd, "full", " ", 0);
-        break;
-      case L_DIFFERENTIAL:
-      case L_INCREMENTAL:
-         bnet_fsend(fd, levelcmd, "since ", jcr->stime, 0);
-        break;
-      case L_SINCE:
-      default:
-         Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"), 
-           jcr->JobLevel, jcr->JobLevel);
-        return 0;
+   case L_BASE:
+      bnet_fsend(fd, levelcmd, "base", " ", 0);
+      break;
+   /* L_NONE is the console, sending something off to the FD */
+   case L_NONE:
+   case L_FULL:
+      bnet_fsend(fd, levelcmd, "full", " ", 0);
+      break;
+   case L_DIFFERENTIAL:
+   case L_INCREMENTAL:
+//    bnet_fsend(fd, levelcmd, "since ", jcr->stime, 0); /* old code, deprecated */
+      stime = str_to_utime(jcr->stime);
+      bnet_fsend(fd, levelcmd, "since_utime ", edit_uint64(stime, ed1), 0);
+      while (bget_dirmsg(fd) >= 0) {  /* allow him to poll us to sync clocks */
+         Jmsg(jcr, M_INFO, 0, "%s\n", fd->msg);
+      }
+      break;
+   case L_SINCE:
+   default:
+      Jmsg2(jcr, M_FATAL, 0, _("Unimplemented backup level %d %c\n"), 
+        jcr->JobLevel, jcr->JobLevel);
+      return 0;
    }
    Dmsg1(120, ">filed: %s", fd->msg);
    if (!response(jcr, fd, OKlevel, "Level", DISPLAY_ERROR)) {
@@ -209,23 +232,25 @@ static int send_list(JCR *jcr, int list)
       num = fileset->num_excludes;
    }
 
-   for (int i=0; i < num; i++) {
+   for (int i=0; i<num; i++) {
       BPIPE *bpipe;
       FILE *ffd;
-      char buf[1000];
+      char buf[2000];
       char *p;
       int optlen, stat;
       INCEXE *ie;
 
+
       if (list == INC_LIST) {
         ie = fileset->include_items[i];
       } else {
         ie = fileset->exclude_items[i];
       }
-      for (int j=0; j<ie->num_names; j++) {
-        p = ie->name_list[j];
+      for (int j=0; j<ie->name_list.size(); j++) {
+        p = (char *)ie->name_list.get(j);
         switch (*p) {
          case '|':
+           p++;                      /* skip over the | */
             fd->msg = edit_job_codes(jcr, fd->msg, p, "");
             bpipe = open_bpipe(fd->msg, 0, "r");
            if (!bpipe) {
@@ -235,15 +260,16 @@ static int send_list(JCR *jcr, int list)
            }
            /* Copy File options */
            if (ie->num_opts) {
-              strcpy(buf, ie->opts_list[0]->opts);
-               strcat(buf, " ");
+              bstrncpy(buf, ie->opts_list[0]->opts, sizeof(buf));
+               bstrncat(buf, " ", sizeof(buf));
            } else {
-               strcpy(buf, "0 ");
+               bstrncpy(buf, "0 ", sizeof(buf));
            }
+            Dmsg1(500, "Opts=%s\n", buf);
            optlen = strlen(buf);
            while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
                fd->msglen = Mmsg(&fd->msg, "%s", buf);
-               Dmsg2(200, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
+               Dmsg2(500, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
               if (!bnet_send(fd)) {
                   Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
                  goto bail_out;
@@ -264,11 +290,12 @@ static int send_list(JCR *jcr, int list)
            }
            /* Copy File options */
            if (ie->num_opts) {
-              strcpy(buf, ie->opts_list[0]->opts);
-               strcat(buf, " ");
+              bstrncpy(buf, ie->opts_list[0]->opts, sizeof(buf));
+               bstrncat(buf, " ", sizeof(buf));
            } else {
-               strcpy(buf, "0 ");
+               bstrncpy(buf, "0 ", sizeof(buf));
            }
+            Dmsg1(500, "Opts=%s\n", buf);
            optlen = strlen(buf);
            while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
                fd->msglen = Mmsg(&fd->msg, "%s", buf);
@@ -284,14 +311,14 @@ static int send_list(JCR *jcr, int list)
            /* Note, fall through wanted */
         default:
            if (ie->num_opts) {
+               Dmsg2(500, "numopts=%d opts=%s\n", ie->num_opts, NPRT(ie->opts_list[0]->opts));
               pm_strcpy(&fd->msg, ie->opts_list[0]->opts);
                pm_strcat(&fd->msg, " ");
            } else {
                pm_strcpy(&fd->msg, "0 ");
            }
-           pm_strcat(&fd->msg, p);
-            Dmsg1(100, "Inc/Exc name=%s\n", fd->msg);
-           fd->msglen = strlen(fd->msg);
+           fd->msglen = pm_strcat(&fd->msg, p);
+            Dmsg1(500, "Inc/Exc name=%s\n", fd->msg);
            if (!bnet_send(fd)) {
                Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
               goto bail_out;
@@ -316,14 +343,149 @@ bail_out:
 
 }
 
+
+/*
+ * Send either an Included or an Excluded list to FD
+ */
+static int send_fileset(JCR *jcr)
+{
+   FILESET *fileset = jcr->fileset;
+   BSOCK   *fd = jcr->file_bsock;
+   int num;
+   bool include = true;
+
+   for ( ;; ) {
+      if (include) {
+        num = fileset->num_includes;
+      } else {
+        num = fileset->num_excludes;
+      }  
+      for (int i=0; i<num; i++) {
+        BPIPE *bpipe;
+        FILE *ffd;
+        char buf[2000];
+        char *p;
+        int optlen, stat;
+        INCEXE *ie;
+        int j, k;
+
+        if (include) {
+           ie = fileset->include_items[i];
+            bnet_fsend(fd, "I\n");
+        } else {
+           ie = fileset->exclude_items[i];
+            bnet_fsend(fd, "E\n");
+        }       
+        for (j=0; j<ie->num_opts; j++) {
+           FOPTS *fo = ie->opts_list[j];
+            bnet_fsend(fd, "O %s\n", fo->opts);
+           for (k=0; k<fo->regex.size(); k++) {
+               bnet_fsend(fd, "R %s\n", fo->regex.get(k));
+           }
+           for (k=0; k<fo->wild.size(); k++) {
+               bnet_fsend(fd, "W %s\n", fo->wild.get(k));
+           }
+           for (k=0; k<fo->base.size(); k++) {
+               bnet_fsend(fd, "B %s\n", fo->base.get(k));
+           }
+            bnet_fsend(fd, "N\n");
+        }
+
+        for (j=0; j<ie->name_list.size(); j++) {
+           p = (char *)ie->name_list.get(j);
+           switch (*p) {
+            case '|':
+              p++;                      /* skip over the | */
+               fd->msg = edit_job_codes(jcr, fd->msg, p, "");
+               bpipe = open_bpipe(fd->msg, 0, "r");
+              if (!bpipe) {
+                  Jmsg(jcr, M_FATAL, 0, _("Cannot run program: %s. ERR=%s\n"),
+                    p, strerror(errno));
+                 goto bail_out;
+              }
+               bstrncpy(buf, "F ", sizeof(buf));
+               Dmsg1(500, "Opts=%s\n", buf);
+              optlen = strlen(buf);
+              while (fgets(buf+optlen, sizeof(buf)-optlen, bpipe->rfd)) {
+                  fd->msglen = Mmsg(&fd->msg, "%s", buf);
+                  Dmsg2(500, "Inc/exc len=%d: %s", fd->msglen, fd->msg);
+                 if (!bnet_send(fd)) {
+                     Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
+                    goto bail_out;
+                 }
+              }
+              if ((stat=close_bpipe(bpipe)) != 0) {
+                  Jmsg(jcr, M_FATAL, 0, _("Error running program: %s. RtnStat=%d ERR=%s\n"),
+                    p, stat, strerror(errno));
+                 goto bail_out;
+              }
+              break;
+            case '<':
+              p++;                      /* skip over < */
+               if ((ffd = fopen(p, "r")) == NULL) {
+                  Jmsg(jcr, M_FATAL, 0, _("Cannot open included file: %s. ERR=%s\n"),
+                    p, strerror(errno));
+                 goto bail_out;
+              }
+               bstrncpy(buf, "F ", sizeof(buf));
+               Dmsg1(500, "Opts=%s\n", buf);
+              optlen = strlen(buf);
+              while (fgets(buf+optlen, sizeof(buf)-optlen, ffd)) {
+                  fd->msglen = Mmsg(&fd->msg, "%s", buf);
+                 if (!bnet_send(fd)) {
+                     Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
+                    goto bail_out;
+                 }
+              }
+              fclose(ffd);
+              break;
+            case '\\':
+               p++;                      /* skip over \ */
+              /* Note, fall through wanted */
+           default:
+               pm_strcpy(&fd->msg, "F ");
+              fd->msglen = pm_strcat(&fd->msg, p);
+               Dmsg1(500, "Inc/Exc name=%s\n", fd->msg);
+              if (!bnet_send(fd)) {
+                  Jmsg(jcr, M_FATAL, 0, _(">filed: write error on socket\n"));
+                 goto bail_out;
+              }
+              break;
+           }
+        }
+         bnet_fsend(fd, "N\n");
+      }
+      if (!include) {                /* If we just did excludes */
+        break;                       /*   all done */
+      }
+      include = false;               /* Now do excludes */
+   }
+
+   bnet_sig(fd, BNET_EOD);           /* end of data */
+   if (!response(jcr, fd, OKinc, "Include", DISPLAY_ERROR)) {
+      goto bail_out;
+   }
+   return 1;
+
+bail_out:
+   set_jcr_job_status(jcr, JS_ErrorTerminated);
+   return 0;
+
+}
+
+
 /*
  * Send include list to File daemon
  */
 int send_include_list(JCR *jcr)
 {
    BSOCK *fd = jcr->file_bsock;
-   fd->msglen = sprintf(fd->msg, inc);
-   bnet_send(fd);
+   if (jcr->fileset->new_include) {
+      bnet_fsend(fd, fileset);
+      return send_fileset(jcr);
+   } else {
+      bnet_fsend(fd, inc);
+   }
    return send_list(jcr, INC_LIST);
 }
 
@@ -334,8 +496,10 @@ int send_include_list(JCR *jcr)
 int send_exclude_list(JCR *jcr)
 {
    BSOCK *fd = jcr->file_bsock;
-   fd->msglen = sprintf(fd->msg, exc);
-   bnet_send(fd);
+   if (jcr->fileset->new_include) {
+      return 1;
+   }
+   bnet_fsend(fd, exc);
    return send_list(jcr, EXC_LIST);
 }
 
@@ -349,7 +513,7 @@ int send_bootstrap_file(JCR *jcr)
    FILE *bs;
    char buf[1000];
    BSOCK *fd = jcr->file_bsock;
-   char *bootstrap = "bootstrap\n";
+   const char *bootstrap = "bootstrap\n";
 
    Dmsg1(400, "send_bootstrap_file: %s\n", jcr->RestoreBootstrap);
    if (!jcr->RestoreBootstrap) {
@@ -362,12 +526,9 @@ int send_bootstrap_file(JCR *jcr)
       set_jcr_job_status(jcr, JS_ErrorTerminated);
       return 0;
    }
-   strcpy(fd->msg, bootstrap); 
-   fd->msglen = strlen(fd->msg);
-   bnet_send(fd);
+   bnet_fsend(fd, bootstrap);
    while (fgets(buf, sizeof(buf), bs)) {
-      fd->msglen = Mmsg(&fd->msg, "%s", buf);
-      bnet_send(fd);      
+      bnet_fsend(fd, "%s", buf);       
    }
    bnet_sig(fd, BNET_EOD);
    fclose(bs);
@@ -378,6 +539,37 @@ int send_bootstrap_file(JCR *jcr)
    return 1;
 }
 
+/*
+ * Send ClientRunBeforeJob and ClientRunAfterJob to File daemon
+ */
+int send_run_before_and_after_commands(JCR *jcr)
+{
+   POOLMEM *msg = get_pool_memory(PM_FNAME);
+   BSOCK *fd = jcr->file_bsock;
+   if (jcr->job->ClientRunBeforeJob) {
+      pm_strcpy(&msg, jcr->job->ClientRunBeforeJob);
+      bash_spaces(msg);
+      bnet_fsend(fd, runbefore, msg);
+      if (!response(jcr, fd, OKRunBefore, "ClientRunBeforeJob", DISPLAY_ERROR)) {
+        set_jcr_job_status(jcr, JS_ErrorTerminated);
+        free_pool_memory(msg);
+        return 0;
+      }
+   }
+   if (jcr->job->ClientRunAfterJob) {
+      fd->msglen = pm_strcpy(&msg, jcr->job->ClientRunAfterJob);
+      bash_spaces(msg);
+      bnet_fsend(fd, runafter, msg);
+      if (!response(jcr, fd, OKRunAfter, "ClientRunAfterJob", DISPLAY_ERROR)) {
+        set_jcr_job_status(jcr, JS_ErrorTerminated);
+        free_pool_memory(msg);
+        return 0;
+      }
+   }
+   free_pool_memory(msg);
+   return 1;
+}
+
 
 /* 
  * Read the attributes from the File daemon for