]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/src/filed/job.c
Important protocol change -- see kes29Oct02
[bacula/bacula] / bacula / src / filed / job.c
index a4c1474da9c3a65b2ae64d9a6be9e287831fa8c5..4be69bdbb5dab19693533eeb043d3da857adbfd0 100644 (file)
@@ -28,6 +28,7 @@
 
 #include "bacula.h"
 #include "filed.h"
+#include "host.h"
 
 extern char my_name[];
 extern CLIENT *me;                   /* our client resource */
@@ -50,7 +51,7 @@ static int verify_cmd(JCR *jcr);
 static int restore_cmd(JCR *jcr);
 static int storage_cmd(JCR *jcr);
 static int session_cmd(JCR *jcr);
-static int response(BSOCK *sd, char *resp, char *cmd);
+static int response(JCR *jcr, BSOCK *sd, char *resp, char *cmd);
 static void filed_free_jcr(JCR *jcr);
 static int open_sd_read_session(JCR *jcr);
 static int send_bootstrap_file(JCR *jcr);
@@ -89,7 +90,7 @@ static struct s_cmds cmds[] = {
 static char jobcmd[]     = "JobId=%d Job=%127s SDid=%d SDtime=%d Authorization=%100s";
 static char storaddr[]   = "storage address=%s port=%d\n";
 static char sessioncmd[] = "session %s %ld %ld %ld %ld %ld %ld\n";
-static char restorecmd[] = "restore where=%s\n";
+static char restorecmd[] = "restore replace=%c where=%s\n";
 static char verifycmd[]  = "verify level=%20s\n";
 
 /* Responses sent to Director */
@@ -105,12 +106,15 @@ static char OKverify[]     = "2000 OK verify\n";
 static char OKrestore[]    = "2000 OK restore\n";
 static char OKsession[]    = "2000 OK session\n";
 static char OKstore[]      = "2000 OK storage\n";
-static char OKjob[]        = "2000 OK Job\n";
+static char OKjob[]        = "2000 OK Job " FDHOST "," DISTNAME "," DISTVER;
 static char OKsetdebug[]   = "2000 OK setdebug=%d\n";
 static char BADjob[]       = "2901 Bad Job\n";
+static char EndRestore[]   = "2800 End Job TermCode=%d JobFiles=%u JobBytes=%" lld "\n";
+static char EndBackup[]    = "2801 End Backup Job TermCode=%d JobFiles=%u ReadBytes=%" lld " JobBytes=%" lld "\n";
 
 /* Responses received from Storage Daemon */
 static char OK_end[]       = "3000 OK end\n";
+static char OK_close[]     = "3000 OK close Status = %d\n";
 static char OK_open[]      = "3000 OK open ticket = %d\n";
 static char OK_data[]      = "3000 OK data\n";
 static char OK_append[]    = "3000 OK append data\n";
@@ -156,17 +160,18 @@ void *handle_client_request(void *dirp)
    jcr->last_fname = get_pool_memory(PM_FNAME);
    jcr->client_name = get_memory(strlen(my_name) + 1);
    strcpy(jcr->client_name, my_name);
+   dir->jcr = (void *)jcr;
 
    /**********FIXME******* add command handler error code */
 
    for (quit=0; !quit;) {
 
       /* Read command */
-      if (bnet_recv(dir) <= 0) {
+      if (bnet_recv(dir) < 0) {
         break;                       /* connection terminated */
       }
       dir->msg[dir->msglen] = 0;
-      Dmsg1(9, "<dird: %s", dir->msg);
+      Dmsg1(100, "<dird: %s", dir->msg);
       found = FALSE;
       for (i=0; cmds[i].cmd; i++) {
         if (strncmp(cmds[i].cmd, dir->msg, strlen(cmds[i].cmd)) == 0) {
@@ -176,7 +181,7 @@ void *handle_client_request(void *dirp)
            }
            if (!cmds[i].func(jcr)) {    /* do command */
               quit = TRUE;              /* error, get out */
-               Dmsg0(20, "Command error\n");
+               Pmsg0(20, "Command error\n");
            }
            found = TRUE;            /* indicate command found */
            break;
@@ -188,11 +193,11 @@ void *handle_client_request(void *dirp)
         break;
       }
    }
-   Dmsg0(20, "Calling term_find_files\n");
+   Dmsg0(100, "Calling term_find_files\n");
    term_find_files(jcr->ff);
-   Dmsg0(20, "Done with term_find_files\n");
+   Dmsg0(100, "Done with term_find_files\n");
    free_jcr(jcr);                    /* destroy JCR record */
-   Dmsg0(20, "Done with free_jcr\n");
+   Dmsg0(100, "Done with free_jcr\n");
    return NULL;
 }
 
@@ -202,11 +207,11 @@ void *handle_client_request(void *dirp)
  */
 static int hello_cmd(JCR *jcr)
 {
-   Dmsg0(20, "Calling Authenticate\n");
+   Dmsg0(120, "Calling Authenticate\n");
    if (!authenticate_director(jcr)) {
       return 0;
    }
-   Dmsg0(20, "OK Authenticate\n");
+   Dmsg0(120, "OK Authenticate\n");
    jcr->authenticated = TRUE;
    return 1;
 }
@@ -245,7 +250,7 @@ static int setdebug_cmd(JCR *jcr)
    BSOCK *dir = jcr->dir_bsock;
    int level;
 
-   Dmsg1(10, "setdebug_cmd: %s", dir->msg);
+   Dmsg1(110, "setdebug_cmd: %s", dir->msg);
    if (sscanf(dir->msg, "setdebug=%d", &level) != 1 || level < 0) {
       bnet_fsend(dir, "2991 Bad setdebug command: %s\n", dir->msg);
       return 0;   
@@ -259,7 +264,7 @@ static int estimate_cmd(JCR *jcr)
 {
    BSOCK *dir = jcr->dir_bsock;
    make_estimate(jcr);
-   return bnet_fsend(dir, OKest, jcr->JobFiles, jcr->JobBytes);
+   return bnet_fsend(dir, OKest, jcr->num_files_examined, jcr->JobBytes);
 }
 
 /*
@@ -281,7 +286,7 @@ static int job_cmd(JCR *jcr)
    }
    jcr->sd_auth_key = bstrdup(sd_auth_key);
    free_pool_memory(sd_auth_key);
-   Dmsg2(20, "JobId=%d Auth=%s\n", jcr->JobId, jcr->sd_auth_key);
+   Dmsg2(120, "JobId=%d Auth=%s\n", jcr->JobId, jcr->sd_auth_key);
    return bnet_fsend(dir, OKjob);
 }
 
@@ -294,10 +299,10 @@ static int include_cmd(JCR *jcr)
 {
    BSOCK *dir = jcr->dir_bsock;
 
-   while (bnet_recv(dir) > 0) {
+   while (bnet_recv(dir) >= 0) {
        dir->msg[dir->msglen] = 0;
        strip_trailing_junk(dir->msg);
-       Dmsg1(10, "filed<dird: include file %s\n", dir->msg);
+       Dmsg1(110, "filed<dird: include file %s\n", dir->msg);
        add_fname_to_include_list(jcr->ff, 1, dir->msg);
    }
 
@@ -313,7 +318,7 @@ static int exclude_cmd(JCR *jcr)
    BSOCK *dir = jcr->dir_bsock;
    char *p;  
 
-   while (bnet_recv(dir) > 0) {
+   while (bnet_recv(dir) >= 0) {
        dir->msg[dir->msglen] = 0;
        strip_trailing_junk(dir->msg);
        /* Skip leading options */
@@ -323,7 +328,7 @@ static int exclude_cmd(JCR *jcr)
        for ( ; *p && *p == ' '; p++)
          { }
        add_fname_to_exclude_list(jcr->ff, p);
-       Dmsg1(10, "<dird: exclude file %s\n", dir->msg);
+       Dmsg1(110, "<dird: exclude file %s\n", dir->msg);
    }
 
    return bnet_fsend(dir, OKexc);
@@ -353,7 +358,7 @@ static int bootstrap_cmd(JCR *jcr)
       return 0;
    }
 
-   while (bnet_recv(dir) > 0) {
+   while (bnet_recv(dir) >= 0) {
        Dmsg1(200, "filed<dird: bootstrap file %s\n", dir->msg);
        fputs(dir->msg, bs);
    }
@@ -375,7 +380,7 @@ static int level_cmd(JCR *jcr)
    time_t mtime;
 
    level = (char *) get_memory(dir->msglen);
-   Dmsg1(10, "level_cmd: %s", dir->msg);
+   Dmsg1(110, "level_cmd: %s", dir->msg);
    if (sscanf(dir->msg, "level = %s ", level) != 1) {
       Jmsg1(jcr, M_FATAL, 0, _("Bad level command: %s\n"), dir->msg);
       free_memory(level);
@@ -404,7 +409,7 @@ static int level_cmd(JCR *jcr)
       tm.tm_wday = tm.tm_yday = 0;             
       tm.tm_isdst = -1;
       mtime = mktime(&tm);
-      Dmsg1(90, "Got since time: %s", ctime(&mtime));
+      Dmsg1(100, "Got since time: %s", ctime(&mtime));
       jcr->incremental = 1;
       jcr->mtime = mtime;
    } else {
@@ -423,7 +428,7 @@ static int session_cmd(JCR *jcr)
 {
    BSOCK *dir = jcr->dir_bsock;
 
-   Dmsg1(050, "SessionCmd: %s", dir->msg);
+   Dmsg1(100, "SessionCmd: %s", dir->msg);
    if (sscanf(dir->msg, sessioncmd, jcr->VolumeName,
              &jcr->VolSessionId, &jcr->VolSessionTime,
              &jcr->StartFile, &jcr->EndFile, 
@@ -445,12 +450,12 @@ static int storage_cmd(JCR *jcr)
    BSOCK *dir = jcr->dir_bsock;
    BSOCK *sd;                        /* storage daemon bsock */
 
-   Dmsg1(050, "StorageCmd: %s", dir->msg);
+   Dmsg1(100, "StorageCmd: %s", dir->msg);
    if (sscanf(dir->msg, storaddr, &jcr->stored_addr, &stored_port) != 2) {
       Jmsg(jcr, M_FATAL, 0, _("Bad storage command: %s"), dir->msg);
       return 0;
    }
-   Dmsg2(30, "Got storage: %s:%d\n", jcr->stored_addr, stored_port);
+   Dmsg2(110, "Open storage: %s:%d\n", jcr->stored_addr, stored_port);
    /* Open command communications with Storage daemon */
    /* Try to connect for 1 hour at 10 second intervals */
    sd = bnet_connect(jcr, 10, 3600, _("Storage daemon"), 
@@ -468,6 +473,7 @@ static int storage_cmd(JCR *jcr)
       Jmsg(jcr, M_FATAL, 0, _("Failed to authenticate Storage daemon.\n"));
       return 0;
    }
+   Dmsg0(110, "Authenticated with SD.\n");
 
    /* Send OK to Director */
    return bnet_fsend(dir, OKstore);
@@ -479,10 +485,10 @@ static int storage_cmd(JCR *jcr)
  */
 static int backup_cmd(JCR *jcr)
 { 
-   int data_port;
    BSOCK *dir = jcr->dir_bsock;
    BSOCK *sd = jcr->store_bsock;
-   int len;
+   int ok = 0;
+   int SDJobStatus;
 
    jcr->JobStatus = JS_Blocked;
    jcr->JobType = JT_BACKUP;
@@ -495,24 +501,24 @@ static int backup_cmd(JCR *jcr)
    }
 
    bnet_fsend(dir, OKbackup);
-   Dmsg1(10, "bfiled>dird: %s", dir->msg);
+   Dmsg1(110, "bfiled>dird: %s", dir->msg);
 
    /* 
     * Send Append Open Session to Storage daemon
     */
    bnet_fsend(sd, append_open);
-   Dmsg1(10, ">stored: %s", sd->msg);
+   Dmsg1(110, ">stored: %s", sd->msg);
    /* 
     * Expect to receive back the Ticket number
     */
-   if (bnet_recv(sd) > 0) {
-      Dmsg1(10, "<stored: %s", sd->msg);
+   if (bnet_recv(sd) >= 0) {
+      Dmsg1(110, "<stored: %s", sd->msg);
       if (sscanf(sd->msg, OK_open, &jcr->Ticket) != 1) {
          Jmsg(jcr, M_FATAL, 0, _("Bad response to append open: %s\n"), sd->msg);
         jcr->JobStatus = JS_ErrorTerminated;
         goto cleanup;
       }
-      Dmsg1(10, "Got Ticket=%d\n", jcr->Ticket);
+      Dmsg1(110, "Got Ticket=%d\n", jcr->Ticket);
    } else {
       Jmsg(jcr, M_FATAL, 0, _("Bad response from stored to open command\n"));
       jcr->JobStatus = JS_ErrorTerminated;
@@ -523,13 +529,13 @@ static int backup_cmd(JCR *jcr)
     * Send Append data command to Storage daemon
     */
    bnet_fsend(sd, append_data, jcr->Ticket);
-   Dmsg1(10, ">stored: %s", sd->msg);
+   Dmsg1(110, ">stored: %s", sd->msg);
 
    /* 
     * Expect to get OK data 
     */
-   Dmsg1(10, "<stored: %s", sd->msg);
-   if (!response(sd, OK_data, "Append Data")) {
+   Dmsg1(110, "<stored: %s", sd->msg);
+   if (!response(jcr, sd, OK_data, "Append Data")) {
       jcr->JobStatus = JS_ErrorTerminated;
       goto cleanup;
    }
@@ -537,15 +543,15 @@ static int backup_cmd(JCR *jcr)
    /*
     * Send Files to Storage daemon
     */
-   Dmsg1(100, "begin blast ff=%p\n", jcr->ff);
-   if (!blast_data_to_storage_daemon(jcr, NULL, data_port)) {
+   Dmsg1(110, "begin blast ff=%p\n", jcr->ff);
+   if (!blast_data_to_storage_daemon(jcr, NULL)) {
       jcr->JobStatus = JS_ErrorTerminated;
    } else {
       jcr->JobStatus = JS_Terminated;
       /* 
        * Expect to get response to append_data from Storage daemon
        */
-      if (!response(sd, OK_append, "Append Data")) {
+      if (!response(jcr, sd, OK_append, "Append Data")) {
         jcr->JobStatus = JS_ErrorTerminated;
         goto cleanup;
       }
@@ -555,7 +561,7 @@ static int backup_cmd(JCR *jcr)
        */
       bnet_fsend(sd, append_end, jcr->Ticket);
       /* Get end OK */
-      if (!response(sd, OK_end, "Append End")) {
+      if (!response(jcr, sd, OK_end, "Append End")) {
         jcr->JobStatus = JS_ErrorTerminated;
         goto cleanup;
       }
@@ -564,11 +570,20 @@ static int backup_cmd(JCR *jcr)
        * Send Append Close to Storage daemon
        */
       bnet_fsend(sd, append_close, jcr->Ticket);
-      while ((len = bnet_recv(sd)) > 0) {
-         /* discard anything else returned from SD */
+      while (bnet_recv(sd) >= 0) {    /* stop on signal or error */
+        if (sscanf(sd->msg, OK_close, &SDJobStatus) == 1) {
+           ok = 1;
+            Dmsg2(200, "SDJobStatus = %d %c\n", SDJobStatus, (char)SDJobStatus);
+        }
+      }
+      if (!ok) {
+         Jmsg(jcr, M_FATAL, 0, _("Append Close with SD failed.\n"));
+        jcr->JobStatus = JS_ErrorTerminated;
+        goto cleanup;
       }
-      if (len < 0) {
-         Jmsg(jcr, M_FATAL, 0, _("<stored: net_recv len=%d: ERR=%s\n"), len, bnet_strerror(sd));
+      if (SDJobStatus != JS_Terminated) {
+         Jmsg(jcr, M_FATAL, 0, _("Bad status %d returned from Storage Daemon.\n"),
+           SDJobStatus);
         jcr->JobStatus = JS_ErrorTerminated;
       }
    }
@@ -580,6 +595,8 @@ cleanup:
       bnet_sig(sd, BNET_TERMINATE);
    }
 
+   bnet_fsend(dir, EndBackup, jcr->JobStatus, jcr->JobFiles, jcr->ReadBytes, jcr->JobBytes);
+
    /* Inform Director that we are done */
    bnet_sig(dir, BNET_TERMINATE);
 
@@ -615,7 +632,7 @@ static int verify_cmd(JCR *jcr)
    }
 
    bnet_fsend(dir, OKverify);
-   Dmsg1(10, "bfiled>dird: %s", dir->msg);
+   Dmsg1(110, "bfiled>dird: %s", dir->msg);
 
    switch (jcr->JobLevel) {
    case L_VERIFY_INIT:
@@ -631,7 +648,7 @@ static int verify_cmd(JCR *jcr)
        * Send Close session command to Storage daemon
        */
       bnet_fsend(sd, read_close, jcr->Ticket);
-      Dmsg1(30, "bfiled>stored: %s", sd->msg);
+      Dmsg1(130, "bfiled>stored: %s", sd->msg);
 
       /* ****FIXME**** check response */
       bnet_recv(sd);                    /* get OK */
@@ -658,20 +675,28 @@ static int restore_cmd(JCR *jcr)
    BSOCK *dir = jcr->dir_bsock;
    BSOCK *sd = jcr->store_bsock;
    POOLMEM *where;
+   char replace;
 
    /*
     * Scan WHERE (base directory for restore) from command
     */
-   Dmsg0(50, "restore command\n");
+   Dmsg0(150, "restore command\n");
    /* Pickup where string */
    where = get_memory(dir->msglen+1);
    *where = 0;
-   sscanf(dir->msg, restorecmd, where);
-   Dmsg1(50, "Got where=%s\n", where);
+
+   if (sscanf(dir->msg, restorecmd, &replace, where) != 2) {
+      Jmsg(jcr, M_FATAL, 0, _("Bad replace command.\n"));
+      return 0;
+   }
+      
+   Dmsg2(150, "Got replace %c, where=%s\n", replace, where);
+   unbash_spaces(where);
    jcr->where = where;
+   jcr->replace = replace;
 
    bnet_fsend(dir, OKrestore);
-   Dmsg1(10, "bfiled>dird: %s", dir->msg);
+   Dmsg1(110, "bfiled>dird: %s", dir->msg);
 
    jcr->JobType = JT_RESTORE;
    jcr->JobStatus = JS_Blocked;
@@ -689,7 +714,7 @@ static int restore_cmd(JCR *jcr)
     * Send Close session command to Storage daemon
     */
    bnet_fsend(sd, read_close, jcr->Ticket);
-   Dmsg1(30, "bfiled>stored: %s", sd->msg);
+   Dmsg1(130, "bfiled>stored: %s", sd->msg);
 
    /* ****FIXME**** check response */
    bnet_recv(sd);                    /* get OK */
@@ -697,43 +722,44 @@ static int restore_cmd(JCR *jcr)
    /* Inform Storage daemon that we are done */
    bnet_sig(sd, BNET_TERMINATE);
 
+   bnet_fsend(dir, EndRestore, jcr->JobStatus, jcr->num_files_examined, jcr->JobBytes);
+
    /* Inform Director that we are done */
    bnet_sig(dir, BNET_TERMINATE);
 
-   Dmsg0(30, "Done in job.c\n");
+   Dmsg0(130, "Done in job.c\n");
    return 1;
 }
 
 static int open_sd_read_session(JCR *jcr)
 {
-   int len;
    BSOCK *sd = jcr->store_bsock;
 
    if (!sd) {
       Jmsg(jcr, M_FATAL, 0, _("Improper calling sequence.\n"));
       return 0;
    }
-   Dmsg4(20, "VolSessId=%ld VolsessT=%ld SF=%ld EF=%ld\n",
+   Dmsg4(120, "VolSessId=%ld VolsessT=%ld SF=%ld EF=%ld\n",
       jcr->VolSessionId, jcr->VolSessionTime, jcr->StartFile, jcr->EndFile);
-   Dmsg2(20, "JobId=%d vol=%s\n", jcr->JobId, "DummyVolume");
+   Dmsg2(120, "JobId=%d vol=%s\n", jcr->JobId, "DummyVolume");
    /* 
     * Open Read Session with Storage daemon
     */
    bnet_fsend(sd, read_open, jcr->VolumeName,
       jcr->VolSessionId, jcr->VolSessionTime, jcr->StartFile, jcr->EndFile, 
       jcr->StartBlock, jcr->EndBlock);
-   Dmsg1(10, ">stored: %s", sd->msg);
+   Dmsg1(110, ">stored: %s", sd->msg);
 
    /* 
     * Get ticket number
     */
-   if ((len = bnet_recv(sd)) > 0) {
-      Dmsg1(10, "bfiled<stored: %s", sd->msg);
+   if (bnet_recv(sd) >= 0) {
+      Dmsg1(110, "bfiled<stored: %s", sd->msg);
       if (sscanf(sd->msg, OK_open, &jcr->Ticket) != 1) {
          Jmsg(jcr, M_FATAL, 0, _("Bad response to SD read open: %s\n"), sd->msg);
         return 0;
       }
-      Dmsg1(10, "bfiled: got Ticket=%d\n", jcr->Ticket);
+      Dmsg1(110, "bfiled: got Ticket=%d\n", jcr->Ticket);
    } else {
       Jmsg(jcr, M_FATAL, 0, _("Bad response from stored to read open command\n"));
       return 0;
@@ -747,12 +773,12 @@ static int open_sd_read_session(JCR *jcr)
     * Start read of data with Storage daemon
     */
    bnet_fsend(sd, read_data, jcr->Ticket);
-   Dmsg1(10, ">stored: %s", sd->msg);
+   Dmsg1(110, ">stored: %s", sd->msg);
 
    /* 
     * Get OK data
     */
-   if (!response(sd, OK_data, "Read Data")) {
+   if (!response(jcr, sd, OK_data, "Read Data")) {
       return 0;
    }
    return 1;
@@ -787,7 +813,7 @@ static void filed_free_jcr(JCR *jcr)
  *  Returns: 0 on failure
  *          1 on success
  */
-int response(BSOCK *sd, char *resp, char *cmd)
+int response(JCR *jcr, BSOCK *sd, char *resp, char *cmd)
 {
    int n;
 
@@ -795,18 +821,17 @@ int response(BSOCK *sd, char *resp, char *cmd)
       return 0;
    }
    if ((n = bnet_recv(sd)) > 0) {
-      Dmsg0(10, sd->msg);
+      Dmsg0(110, sd->msg);
       if (strcmp(sd->msg, resp) == 0) {
         return 1;
       }
    } 
-   /* ********FIXME******** segfault if the following is executed */
-   if (n > 0) {
-      Emsg3(M_FATAL, 0, _("<stored: bad response to %s: wanted: %s, got: %s\n"),
-        cmd, resp, sd->msg);
-   } else {
-      Emsg2(M_FATAL, 0, _("<stored: bad response to %s command: ERR=%s\n"),
+   if (is_bnet_error(sd)) {
+      Jmsg2(jcr, M_FATAL, 0, _("Comm error with SD. bad response to %s. ERR=%s\n"),
         cmd, bnet_strerror(sd));
+   } else {
+      Jmsg3(jcr, M_FATAL, 0, _("Bad response to %s command. Wanted %s, got %s\n"),
+        cmd, resp, sd->msg);
    }
    return 0;
 }
@@ -838,7 +863,7 @@ static int send_bootstrap_file(JCR *jcr)
    }
    bnet_sig(sd, BNET_EOD);
    fclose(bs);
-   if (!response(sd, OKSDbootstrap, "Bootstrap")) {
+   if (!response(jcr, sd, OKSDbootstrap, "Bootstrap")) {
       jcr->JobStatus = JS_ErrorTerminated;
       return 0;
    }