git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/msgchan.c

   1 /*
   2  *
   3  *   Bacula Director -- msgchan.c -- handles the message channel
   4  *    to the Storage daemon and the File daemon.
   5  *
   6  *     Kern Sibbald, August MM
   7  *
   8  *    This routine runs as a thread and must be thread reentrant.
   9  *
  10  *  Basic tasks done here:
  11  *    Open a message channel with the Storage daemon
  12  *      to authenticate ourself and to pass the JobId.
  13  *    Create a thread to interact with the Storage daemon
  14  *      who returns a job status and requests Catalog services, etc.
  15  *
  16  *   Version $Id$
  17  */
  18 /*
  19    Copyright (C) 2000-2005 Kern Sibbald
  20
  21    This program is free software; you can redistribute it and/or
  22    modify it under the terms of the GNU General Public License as
  23    published by the Free Software Foundation; either version 2 of
  24    the License, or (at your option) any later version.
  25
  26    This program is distributed in the hope that it will be useful,
  27    but WITHOUT ANY WARRANTY; without even the implied warranty of
  28    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  29    General Public License for more details.
  30
  31    You should have received a copy of the GNU General Public
  32    License along with this program; if not, write to the Free
  33    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  34    MA 02111-1307, USA.
  35
  36  */
  37
  38 #include "bacula.h"
  39 #include "dird.h"
  40
  41 /* Commands sent to Storage daemon */
  42 static char jobcmd[]     = "JobId=%d job=%s job_name=%s client_name=%s "
  43    "type=%d level=%d FileSet=%s NoAttr=%d SpoolAttr=%d FileSetMD5=%s "
  44    "SpoolData=%d WritePartAfterJob=%d";
  45 static char use_device[] = "use device=%s media_type=%s pool_name=%s "
  46    "pool_type=%s append=%d\n";
  47 static char query_device[] = "query device=%s";
  48
  49 /* Response from Storage daemon */
  50 static char OKjob[]      = "3000 OK Job SDid=%d SDtime=%d Authorization=%100s\n";
  51 static char OK_device[]  = "3000 OK use device\n";
  52 static char OK_query[]  = "3001 OK query append=%d read=%d num_writers=%d "
  53    "num_waiting=%d open=%d use_count=%d labeled=%d offline=%d autochanger=%d "
  54    "media_type=%127s volume_name=%127s";
  55
  56 /* Storage Daemon requests */
  57 static char Job_start[]  = "3010 Job %127s start\n";
  58 static char Job_end[]    =
  59    "3099 Job %127s end JobStatus=%d JobFiles=%d JobBytes=%" lld "\n";
  60
  61 /* Forward referenced functions */
  62 extern "C" void *msg_thread(void *arg);
  63
  64 /*
  65  * Establish a message channel connection with the Storage daemon
  66  * and perform authentication.
  67  */
  68 bool connect_to_storage_daemon(JCR *jcr, int retry_interval,
  69                               int max_retry_time, int verbose)
  70 {
  71    BSOCK *sd;
  72    STORE *store;
  73
  74    if (jcr->store_bsock) {
  75       return true;                    /* already connected */
  76    }
  77    store = (STORE *)jcr->storage->first();
  78
  79    /*
  80     *  Open message channel with the Storage daemon
  81     */
  82    Dmsg2(200, "bnet_connect to Storage daemon %s:%d\n", store->address,
  83       store->SDport);
  84    sd = bnet_connect(jcr, retry_interval, max_retry_time,
  85           _("Storage daemon"), store->address,
  86           NULL, store->SDport, verbose);
  87    if (sd == NULL) {
  88       return false;
  89    }
  90    sd->res = (RES *)store;        /* save pointer to other end */
  91    jcr->store_bsock = sd;
  92
  93    if (!authenticate_storage_daemon(jcr, store)) {
  94       bnet_close(sd);
  95       jcr->store_bsock = NULL;
  96       return false;
  97    }
  98    return true;
  99 }
 100
 101 /*
 102  * Here we ask the SD to send us the info for a
 103  *  particular device resource.
 104  */
 105 bool update_device_res(JCR *jcr, DEVICE *dev)
 106 {
 107    POOL_MEM device_name, media_type, volume_name;
 108    int dev_open, dev_append, dev_read, dev_labeled;
 109    int dev_offline, dev_autochanger;
 110    BSOCK *sd;
 111    if (!connect_to_storage_daemon(jcr, 5, 30, 0)) {
 112       return false;
 113    }
 114    sd = jcr->store_bsock;
 115    pm_strcpy(device_name, dev->hdr.name);
 116    bash_spaces(device_name);
 117    bnet_fsend(sd, query_device, device_name.c_str());
 118    if (bget_dirmsg(sd) > 0) {
 119       Dmsg1(400, "<stored: %s", sd->msg);
 120       if (sscanf(sd->msg, OK_query, &dev_append, &dev_read,
 121           &dev->num_writers, &dev->num_waiting, &dev_open,
 122           &dev->use_count, &dev_labeled, &dev_offline,
 123           &dev_autochanger,  media_type.c_str(),
 124           volume_name.c_str()) != 11) {
 125          return false;
 126       }
 127       unbash_spaces(media_type);
 128       unbash_spaces(volume_name);
 129       bstrncpy(dev->MediaType, media_type.c_str(), sizeof(dev->MediaType));
 130       bstrncpy(dev->VolumeName, volume_name.c_str(), sizeof(dev->VolumeName));
 131       dev->open = dev_open;
 132       dev->append = dev_append;
 133       dev->read = dev_read;
 134       dev->labeled = dev_labeled;
 135       dev->offline = dev_offline;
 136       dev->autochanger = dev_autochanger;
 137       dev->found = true;
 138    } else {
 139       return false;
 140    }
 141    return true;
 142 }
 143
 144 /*
 145  * Start a job with the Storage daemon
 146  */
 147 int start_storage_daemon_job(JCR *jcr, alist *store, int append)
 148 {
 149    bool ok;
 150    STORE *storage;
 151    BSOCK *sd;
 152    char auth_key[100];
 153    POOL_MEM device_name, pool_name, pool_type, media_type;
 154
 155    sd = jcr->store_bsock;
 156    /*
 157     * Now send JobId and permissions, and get back the authorization key.
 158     */
 159    bash_spaces(jcr->job->hdr.name);
 160    bash_spaces(jcr->client->hdr.name);
 161    bash_spaces(jcr->fileset->hdr.name);
 162    if (jcr->fileset->MD5[0] == 0) {
 163       bstrncpy(jcr->fileset->MD5, "**Dummy**", sizeof(jcr->fileset->MD5));
 164    }
 165    bnet_fsend(sd, jobcmd, jcr->JobId, jcr->Job, jcr->job->hdr.name,
 166               jcr->client->hdr.name, jcr->JobType, jcr->JobLevel,
 167               jcr->fileset->hdr.name, !jcr->pool->catalog_files,
 168               jcr->job->SpoolAttributes, jcr->fileset->MD5, jcr->spool_data, jcr->write_part_after_job);
 169    Dmsg1(200, "Jobcmd=%s\n", sd->msg);
 170    unbash_spaces(jcr->job->hdr.name);
 171    unbash_spaces(jcr->client->hdr.name);
 172    unbash_spaces(jcr->fileset->hdr.name);
 173    if (bget_dirmsg(sd) > 0) {
 174        Dmsg1(110, "<stored: %s", sd->msg);
 175        if (sscanf(sd->msg, OKjob, &jcr->VolSessionId,
 176                   &jcr->VolSessionTime, &auth_key) != 3) {
 177           Dmsg1(100, "BadJob=%s\n", sd->msg);
 178           Jmsg(jcr, M_FATAL, 0, _("Storage daemon rejected Job command: %s\n"), sd->msg);
 179           return 0;
 180        } else {
 181           jcr->sd_auth_key = bstrdup(auth_key);
 182           Dmsg1(150, "sd_auth_key=%s\n", jcr->sd_auth_key);
 183        }
 184    } else {
 185       Jmsg(jcr, M_FATAL, 0, _("<stored: bad response to Job command: %s\n"),
 186          bnet_strerror(sd));
 187       return 0;
 188    }
 189
 190 // foreach_alist(storage, store) {
 191       storage = (STORE *)store->first();
 192       pm_strcpy(device_name, storage->dev_name());
 193       pm_strcpy(media_type, storage->media_type);
 194       pm_strcpy(pool_type, jcr->pool->pool_type);
 195       pm_strcpy(pool_name, jcr->pool->hdr.name);
 196       bash_spaces(device_name);
 197       bash_spaces(media_type);
 198       bash_spaces(pool_type);
 199       bash_spaces(pool_name);
 200       bnet_fsend(sd, use_device, device_name.c_str(),
 201                  media_type.c_str(), pool_name.c_str(), pool_type.c_str(),
 202                  append);
 203       Dmsg1(200, ">stored: %s", sd->msg);
 204       ok = response(jcr, sd, OK_device, "Use Device", NO_DISPLAY);
 205       if (!ok) {
 206          pm_strcpy(pool_type, sd->msg); /* save message */
 207          Jmsg(jcr, M_FATAL, 0, _("\n"
 208             "     Storage daemon didn't accept Device \"%s\" because:\n     %s"),
 209             device_name.c_str(), pool_type.c_str()/* sd->msg */);
 210       }
 211 // }
 212    if (ok) {
 213       bnet_fsend(sd, "run");
 214    }
 215    return ok;
 216 }
 217
 218 /*
 219  * Start a thread to handle Storage daemon messages and
 220  *  Catalog requests.
 221  */
 222 int start_storage_daemon_message_thread(JCR *jcr)
 223 {
 224    int status;
 225    pthread_t thid;
 226
 227    P(jcr->mutex);
 228    jcr->use_count++;                  /* mark in use by msg thread */
 229    jcr->sd_msg_thread_done = false;
 230    jcr->SD_msg_chan = 0;
 231    V(jcr->mutex);
 232    Dmsg0(100, "Start SD msg_thread.\n");
 233    if ((status=pthread_create(&thid, NULL, msg_thread, (void *)jcr)) != 0) {
 234       berrno be;
 235       Jmsg1(jcr, M_ABORT, 0, _("Cannot create message thread: %s\n"), be.strerror(status));
 236    }
 237    Dmsg0(100, "SD msg_thread started.\n");
 238    /* Wait for thread to start */
 239    while (jcr->SD_msg_chan == 0) {
 240       bmicrosleep(0, 50);
 241    }
 242    return 1;
 243 }
 244
 245 extern "C" void msg_thread_cleanup(void *arg)
 246 {
 247    JCR *jcr = (JCR *)arg;
 248    Dmsg0(200, "End msg_thread\n");
 249    db_end_transaction(jcr, jcr->db);       /* terminate any open transaction */
 250    P(jcr->mutex);
 251    jcr->sd_msg_thread_done = true;
 252    pthread_cond_broadcast(&jcr->term_wait); /* wakeup any waiting threads */
 253    jcr->SD_msg_chan = 0;
 254    V(jcr->mutex);
 255    free_jcr(jcr);                     /* release jcr */
 256 }
 257
 258 /*
 259  * Handle the message channel (i.e. requests from the
 260  *  Storage daemon).
 261  * Note, we are running in a separate thread.
 262  */
 263 extern "C" void *msg_thread(void *arg)
 264 {
 265    JCR *jcr = (JCR *)arg;
 266    BSOCK *sd;
 267    int JobStatus;
 268    char Job[MAX_NAME_LENGTH];
 269    uint32_t JobFiles;
 270    uint64_t JobBytes;
 271    int stat;
 272
 273    pthread_detach(pthread_self());
 274    jcr->SD_msg_chan = pthread_self();
 275    pthread_cleanup_push(msg_thread_cleanup, arg);
 276    sd = jcr->store_bsock;
 277
 278    /* Read the Storage daemon's output.
 279     */
 280    Dmsg0(100, "Start msg_thread loop\n");
 281    while ((stat=bget_dirmsg(sd)) >= 0) {
 282       Dmsg1(200, "<stored: %s", sd->msg);
 283       if (sscanf(sd->msg, Job_start, &Job) == 1) {
 284          continue;
 285       }
 286       if (sscanf(sd->msg, Job_end, &Job, &JobStatus, &JobFiles,
 287                  &JobBytes) == 4) {
 288          jcr->SDJobStatus = JobStatus; /* termination status */
 289          jcr->SDJobFiles = JobFiles;
 290          jcr->SDJobBytes = JobBytes;
 291          break;
 292       }
 293    }
 294    if (is_bnet_error(sd)) {
 295       jcr->SDJobStatus = JS_ErrorTerminated;
 296    }
 297    pthread_cleanup_pop(1);
 298    return NULL;
 299 }
 300
 301 void wait_for_storage_daemon_termination(JCR *jcr)
 302 {
 303    int cancel_count = 0;
 304    /* Now wait for Storage daemon to terminate our message thread */
 305    set_jcr_job_status(jcr, JS_WaitSD);
 306    P(jcr->mutex);
 307    while (!jcr->sd_msg_thread_done) {
 308       struct timeval tv;
 309       struct timezone tz;
 310       struct timespec timeout;
 311
 312       gettimeofday(&tv, &tz);
 313       timeout.tv_nsec = 0;
 314       timeout.tv_sec = tv.tv_sec + 10; /* wait 10 seconds */
 315       Dmsg0(300, "I'm waiting for message thread termination.\n");
 316       pthread_cond_timedwait(&jcr->term_wait, &jcr->mutex, &timeout);
 317       if (job_canceled(jcr)) {
 318          cancel_count++;
 319       }
 320       /* Give SD 30 seconds to clean up after cancel */
 321       if (cancel_count == 3) {
 322          break;
 323       }
 324    }
 325    V(jcr->mutex);
 326    set_jcr_job_status(jcr, JS_Terminated);
 327 }
 328
 329
 330 #define MAX_TRIES 30
 331 #define WAIT_TIME 2
 332 extern "C" void *device_thread(void *arg)
 333 {
 334    int i;
 335    JCR *jcr;
 336    DEVICE *dev;
 337
 338
 339    pthread_detach(pthread_self());
 340    jcr = new_control_jcr("*DeviceInit*", JT_SYSTEM);
 341    for (i=0; i < MAX_TRIES; i++) {
 342       if (!connect_to_storage_daemon(jcr, 10, 30, 1)) {
 343          Dmsg0(000, "Failed connecting to SD.\n");
 344          continue;
 345       }
 346       LockRes();
 347       foreach_res(dev, R_DEVICE) {
 348          if (!update_device_res(jcr, dev)) {
 349             Dmsg1(900, "Error updating device=%s\n", dev->hdr.name);
 350          } else {
 351             Dmsg1(900, "Updated Device=%s\n", dev->hdr.name);
 352          }
 353       }
 354       UnlockRes();
 355       bnet_close(jcr->store_bsock);
 356       jcr->store_bsock = NULL;
 357       break;
 358
 359    }
 360    free_jcr(jcr);
 361    return NULL;
 362 }
 363
 364 /*
 365  * Start a thread to handle getting Device resource information
 366  *  from SD. This is called once at startup of the Director.
 367  */
 368 void init_device_resources()
 369 {
 370    int status;
 371    pthread_t thid;
 372
 373    Dmsg0(100, "Start Device thread.\n");
 374    if ((status=pthread_create(&thid, NULL, device_thread, NULL)) != 0) {
 375       berrno be;
 376       Jmsg1(NULL, M_ABORT, 0, _("Cannot create message thread: %s\n"), be.strerror(status));
 377    }
 378 }