git.sur5r.net Git - bacula/bacula/blob - bacula/src/lib/jcr.c

   1 /*
   2  * Manipulation routines for Job Control Records
   3  *
   4  *  Kern E. Sibbald, December 2000
   5  *
   6  *  Version $Id$
   7  *
   8  *  These routines are thread safe.
   9  *
  10  */
  11 /*
  12    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  13
  14    This program is free software; you can redistribute it and/or
  15    modify it under the terms of the GNU General Public License as
  16    published by the Free Software Foundation; either version 2 of
  17    the License, or (at your option) any later version.
  18
  19    This program is distributed in the hope that it will be useful,
  20    but WITHOUT ANY WARRANTY; without even the implied warranty of
  21    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  22    General Public License for more details.
  23
  24    You should have received a copy of the GNU General Public
  25    License along with this program; if not, write to the Free
  26    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  27    MA 02111-1307, USA.
  28
  29  */
  30
  31 #include "bacula.h"
  32 #include "jcr.h"
  33
  34 /* External variables we reference */
  35 extern time_t watchdog_time;
  36
  37 /* Forward referenced functions */
  38 static void timeout_handler(int sig);
  39 static void jcr_timeout_check(watchdog_t *self);
  40
  41 int num_jobs_run;
  42 dlist *last_jobs = NULL;
  43 static const int max_last_jobs = 10;
  44
  45 static JCR *jobs = NULL;              /* pointer to JCR chain */
  46 static brwlock_t lock;                /* lock for last jobs and JCR chain */
  47
  48 void init_last_jobs_list()
  49 {
  50    int errstat;
  51    struct s_last_job *job_entry = NULL;
  52    if (!last_jobs) {
  53       last_jobs = new dlist(job_entry,  &job_entry->link);
  54       if ((errstat=rwl_init(&lock)) != 0) {
  55          Emsg1(M_ABORT, 0, _("Unable to initialize jcr_chain lock. ERR=%s\n"),
  56                strerror(errstat));
  57       }
  58    }
  59
  60 }
  61
  62 void term_last_jobs_list()
  63 {
  64    struct s_last_job *je;
  65    if (last_jobs) {
  66       foreach_dlist(je, last_jobs) {
  67          free(je);
  68       }
  69       delete last_jobs;
  70       last_jobs = NULL;
  71       rwl_destroy(&lock);
  72    }
  73 }
  74
  75 void read_last_jobs_list(int fd, uint64_t addr)
  76 {
  77    struct s_last_job *je, job;
  78    uint32_t num;
  79
  80    Dmsg1(100, "read_last_jobs seek to %d\n", (int)addr);
  81    if (addr == 0 || lseek(fd, addr, SEEK_SET) < 0) {
  82       return;
  83    }
  84    if (read(fd, &num, sizeof(num)) != sizeof(num)) {
  85       return;
  86    }
  87    Dmsg1(100, "Read num_items=%d\n", num);
  88    if (num > 4 * max_last_jobs) {  /* sanity check */
  89       return;
  90    }
  91    for ( ; num; num--) {
  92       if (read(fd, &job, sizeof(job)) != sizeof(job)) {
  93          Dmsg1(000, "Read job entry. ERR=%s\n", strerror(errno));
  94          return;
  95       }
  96       if (job.JobId > 0) {
  97          je = (struct s_last_job *)malloc(sizeof(struct s_last_job));
  98          memcpy((char *)je, (char *)&job, sizeof(job));
  99          if (!last_jobs) {
 100             init_last_jobs_list();
 101          }
 102          last_jobs->append(je);
 103          if (last_jobs->size() > max_last_jobs) {
 104             last_jobs->remove(last_jobs->first());
 105          }
 106       }
 107    }
 108 }
 109
 110 uint64_t write_last_jobs_list(int fd, uint64_t addr)
 111 {
 112    struct s_last_job *je;
 113    uint32_t num;
 114
 115    Dmsg1(100, "write_last_jobs seek to %d\n", (int)addr);
 116    if (lseek(fd, addr, SEEK_SET) < 0) {
 117       return 0;
 118    }
 119    if (last_jobs) {
 120       /* First record is number of entires */
 121       num = last_jobs->size();
 122       if (write(fd, &num, sizeof(num)) != sizeof(num)) {
 123          Dmsg1(000, "Error writing num_items: ERR=%s\n", strerror(errno));
 124          return 0;
 125       }
 126       foreach_dlist(je, last_jobs) {
 127          if (write(fd, je, sizeof(struct s_last_job)) != sizeof(struct s_last_job)) {
 128             Dmsg1(000, "Error writing job: ERR=%s\n", strerror(errno));
 129             return 0;
 130          }
 131       }
 132    }
 133    /* Return current address */
 134    ssize_t stat = lseek(fd, 0, SEEK_CUR);
 135    if (stat < 0) {
 136       stat = 0;
 137    }
 138    return stat;
 139
 140 }
 141
 142 void lock_last_jobs_list()
 143 {
 144    /* Use jcr chain mutex */
 145    lock_jcr_chain();
 146 }
 147
 148 void unlock_last_jobs_list()
 149 {
 150    /* Use jcr chain mutex */
 151    unlock_jcr_chain();
 152 }
 153
 154 /*
 155  * Push a subroutine address into the job end callback stack
 156  */
 157 void job_end_push(JCR *jcr, void job_end_cb(JCR *jcr))
 158 {
 159    jcr->job_end_push.prepend((void *)job_end_cb);
 160 }
 161
 162 /* Pop each job_end subroutine and call it */
 163 static void job_end_pop(JCR *jcr)
 164 {
 165    void (*job_end_cb)(JCR *jcr);
 166    for (int i=0; i<jcr->job_end_push.size(); i++) {
 167       job_end_cb = (void (*)(JCR *))jcr->job_end_push.get(i);
 168       job_end_cb(jcr);
 169    }
 170 }
 171
 172 /*
 173  * Create a Job Control Record and link it into JCR chain
 174  * Returns newly allocated JCR
 175  * Note, since each daemon has a different JCR, he passes
 176  *  us the size.
 177  */
 178 JCR *new_jcr(int size, JCR_free_HANDLER *daemon_free_jcr)
 179 {
 180    JCR *jcr;
 181    MQUEUE_ITEM *item = NULL;
 182    struct sigaction sigtimer;
 183
 184    Dmsg0(400, "Enter new_jcr\n");
 185    jcr = (JCR *)malloc(size);
 186    memset(jcr, 0, size);
 187    jcr->msg_queue = new dlist(item, &item->link);
 188    jcr->job_end_push.init(1, false);
 189    jcr->my_thread_id = pthread_self();
 190    jcr->sched_time = time(NULL);
 191    jcr->daemon_free_jcr = daemon_free_jcr;    /* plug daemon free routine */
 192    jcr->use_count = 1;
 193    pthread_mutex_init(&(jcr->mutex), NULL);
 194    jcr->JobStatus = JS_Created;       /* ready to run */
 195    jcr->VolumeName = get_pool_memory(PM_FNAME);
 196    jcr->VolumeName[0] = 0;
 197    jcr->errmsg = get_pool_memory(PM_MESSAGE);
 198    jcr->errmsg[0] = 0;
 199    /* Setup some dummy values */
 200    jcr->Job[0] = 0;                   /* no job name by default */
 201    jcr->JobId = 0;
 202    jcr->JobType = JT_ADMIN;
 203    jcr->JobLevel = L_NONE;
 204    jcr->JobStatus = JS_Created;
 205
 206    sigtimer.sa_flags = 0;
 207    sigtimer.sa_handler = timeout_handler;
 208    sigfillset(&sigtimer.sa_mask);
 209    sigaction(TIMEOUT_SIGNAL, &sigtimer, NULL);
 210
 211    lock_jcr_chain();
 212    jcr->prev = NULL;
 213    jcr->next = jobs;
 214    if (jobs) {
 215       jobs->prev = jcr;
 216    }
 217    jobs = jcr;
 218    unlock_jcr_chain();
 219    return jcr;
 220 }
 221
 222
 223 /*
 224  * Remove a JCR from the chain
 225  * NOTE! The chain must be locked prior to calling
 226  *       this routine.
 227  */
 228 static void remove_jcr(JCR *jcr)
 229 {
 230    Dmsg0(400, "Enter remove_jcr\n");
 231    if (!jcr) {
 232       Emsg0(M_ABORT, 0, "NULL jcr.\n");
 233    }
 234    if (!jcr->prev) {                  /* if no prev */
 235       jobs = jcr->next;               /* set new head */
 236    } else {
 237       jcr->prev->next = jcr->next;    /* update prev */
 238    }
 239    if (jcr->next) {
 240       jcr->next->prev = jcr->prev;
 241    }
 242    Dmsg0(400, "Leave remove_jcr\n");
 243 }
 244
 245 /*
 246  * Free stuff common to all JCRs.  N.B. Be careful to include only
 247  *  generic stuff in the common part of the jcr.
 248  */
 249 static void free_common_jcr(JCR *jcr)
 250 {
 251    struct s_last_job *je, last_job;
 252
 253    /* Keep some statistics */
 254    switch (jcr->JobType) {
 255    case JT_BACKUP:
 256    case JT_VERIFY:
 257    case JT_RESTORE:
 258    case JT_ADMIN:
 259       num_jobs_run++;
 260       last_job.JobType = jcr->JobType;
 261       last_job.JobId = jcr->JobId;
 262       last_job.VolSessionId = jcr->VolSessionId;
 263       last_job.VolSessionTime = jcr->VolSessionTime;
 264       bstrncpy(last_job.Job, jcr->Job, sizeof(last_job.Job));
 265       last_job.JobFiles = jcr->JobFiles;
 266       last_job.JobBytes = jcr->JobBytes;
 267       last_job.JobStatus = jcr->JobStatus;
 268       last_job.JobLevel = jcr->JobLevel;
 269       last_job.start_time = jcr->start_time;
 270       last_job.end_time = time(NULL);
 271       /* Keep list of last jobs, but not Console where JobId==0 */
 272       if (last_job.JobId > 0) {
 273          je = (struct s_last_job *)malloc(sizeof(struct s_last_job));
 274          memcpy((char *)je, (char *)&last_job, sizeof(last_job));
 275          if (!last_jobs) {
 276             init_last_jobs_list();
 277          }
 278          last_jobs->append(je);
 279          if (last_jobs->size() > max_last_jobs) {
 280             last_jobs->remove(last_jobs->first());
 281          }
 282       }
 283       break;
 284    default:
 285       break;
 286    }
 287    pthread_mutex_destroy(&jcr->mutex);
 288
 289    delete jcr->msg_queue;
 290    close_msg(jcr);                    /* close messages for this job */
 291
 292    /* do this after closing messages */
 293    if (jcr->client_name) {
 294       free_pool_memory(jcr->client_name);
 295       jcr->client_name = NULL;
 296    }
 297
 298    if (jcr->sd_auth_key) {
 299       free(jcr->sd_auth_key);
 300       jcr->sd_auth_key = NULL;
 301    }
 302    if (jcr->VolumeName) {
 303       free_pool_memory(jcr->VolumeName);
 304       jcr->VolumeName = NULL;
 305    }
 306
 307    if (jcr->dir_bsock) {
 308       bnet_close(jcr->dir_bsock);
 309       jcr->dir_bsock = NULL;
 310    }
 311    if (jcr->errmsg) {
 312       free_pool_memory(jcr->errmsg);
 313       jcr->errmsg = NULL;
 314    }
 315    if (jcr->where) {
 316       free(jcr->where);
 317       jcr->where = NULL;
 318    }
 319    if (jcr->cached_path) {
 320       free_pool_memory(jcr->cached_path);
 321       jcr->cached_path = NULL;
 322       jcr->cached_pnl = 0;
 323    }
 324    free_getuser_cache();
 325    free_getgroup_cache();
 326    free(jcr);
 327 }
 328
 329 /*
 330  * Global routine to free a jcr
 331  */
 332 #ifdef DEBUG
 333 void b_free_jcr(const char *file, int line, JCR *jcr)
 334 {
 335    Dmsg3(400, "Enter free_jcr 0x%x from %s:%d\n", jcr, file, line);
 336
 337 #else
 338
 339 void free_jcr(JCR *jcr)
 340 {
 341
 342    Dmsg1(400, "Enter free_jcr 0x%x\n", jcr);
 343
 344 #endif
 345
 346    lock_jcr_chain();
 347    jcr->use_count--;                  /* decrement use count */
 348    if (jcr->use_count < 0) {
 349       Emsg2(M_ERROR, 0, _("JCR use_count=%d JobId=%d\n"),
 350          jcr->use_count, jcr->JobId);
 351    }
 352    Dmsg3(400, "Dec free_jcr 0x%x use_count=%d jobid=%d\n", jcr, jcr->use_count, jcr->JobId);
 353    if (jcr->use_count > 0) {          /* if in use */
 354       unlock_jcr_chain();
 355       Dmsg2(400, "free_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 356       return;
 357    }
 358    dequeue_messages(jcr);
 359    remove_jcr(jcr);
 360    job_end_pop(jcr);                  /* pop and call hooked routines */
 361
 362    Dmsg1(400, "End job=%d\n", jcr->JobId);
 363    if (jcr->daemon_free_jcr) {
 364       jcr->daemon_free_jcr(jcr);      /* call daemon free routine */
 365    }
 366
 367    free_common_jcr(jcr);
 368
 369    close_msg(NULL);                   /* flush any daemon messages */
 370    unlock_jcr_chain();
 371    Dmsg0(400, "Exit free_jcr\n");
 372 }
 373
 374
 375 /*
 376  * Global routine to free a jcr
 377  *  JCR chain is already locked
 378  */
 379 void free_locked_jcr(JCR *jcr)
 380 {
 381    jcr->use_count--;                  /* decrement use count */
 382    Dmsg2(400, "Dec free_locked_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 383    if (jcr->use_count > 0) {          /* if in use */
 384       return;
 385    }
 386    remove_jcr(jcr);
 387    jcr->daemon_free_jcr(jcr);         /* call daemon free routine */
 388    free_common_jcr(jcr);
 389 }
 390
 391
 392
 393 /*
 394  * Given a JobId, find the JCR
 395  *   Returns: jcr on success
 396  *            NULL on failure
 397  */
 398 JCR *get_jcr_by_id(uint32_t JobId)
 399 {
 400    JCR *jcr;
 401
 402    lock_jcr_chain();                    /* lock chain */
 403    for (jcr = jobs; jcr; jcr=jcr->next) {
 404       if (jcr->JobId == JobId) {
 405          P(jcr->mutex);
 406          jcr->use_count++;
 407          V(jcr->mutex);
 408          Dmsg2(400, "Inc get_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 409          break;
 410       }
 411    }
 412    unlock_jcr_chain();
 413    return jcr;
 414 }
 415
 416 /*
 417  * Given a SessionId and SessionTime, find the JCR
 418  *   Returns: jcr on success
 419  *            NULL on failure
 420  */
 421 JCR *get_jcr_by_session(uint32_t SessionId, uint32_t SessionTime)
 422 {
 423    JCR *jcr;
 424
 425    lock_jcr_chain();
 426    for (jcr = jobs; jcr; jcr=jcr->next) {
 427       if (jcr->VolSessionId == SessionId &&
 428           jcr->VolSessionTime == SessionTime) {
 429          P(jcr->mutex);
 430          jcr->use_count++;
 431          V(jcr->mutex);
 432          Dmsg2(400, "Inc get_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 433          break;
 434       }
 435    }
 436    unlock_jcr_chain();
 437    return jcr;
 438 }
 439
 440
 441 /*
 442  * Given a Job, find the JCR
 443  *  compares on the number of characters in Job
 444  *  thus allowing partial matches.
 445  *   Returns: jcr on success
 446  *            NULL on failure
 447  */
 448 JCR *get_jcr_by_partial_name(char *Job)
 449 {
 450    JCR *jcr;
 451    int len;
 452
 453    if (!Job) {
 454       return NULL;
 455    }
 456    lock_jcr_chain();
 457    len = strlen(Job);
 458    for (jcr = jobs; jcr; jcr=jcr->next) {
 459       if (strncmp(Job, jcr->Job, len) == 0) {
 460          P(jcr->mutex);
 461          jcr->use_count++;
 462          V(jcr->mutex);
 463          Dmsg2(400, "Inc get_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 464          break;
 465       }
 466    }
 467    unlock_jcr_chain();
 468    return jcr;
 469 }
 470
 471
 472 /*
 473  * Given a Job, find the JCR
 474  *  requires an exact match of names.
 475  *   Returns: jcr on success
 476  *            NULL on failure
 477  */
 478 JCR *get_jcr_by_full_name(char *Job)
 479 {
 480    JCR *jcr;
 481
 482    if (!Job) {
 483       return NULL;
 484    }
 485    lock_jcr_chain();
 486    for (jcr = jobs; jcr; jcr=jcr->next) {
 487       if (strcmp(jcr->Job, Job) == 0) {
 488          P(jcr->mutex);
 489          jcr->use_count++;
 490          V(jcr->mutex);
 491          Dmsg2(400, "Inc get_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 492          break;
 493       }
 494    }
 495    unlock_jcr_chain();
 496    return jcr;
 497 }
 498
 499 void set_jcr_job_status(JCR *jcr, int JobStatus)
 500 {
 501    /*
 502     * For a set of errors, ... keep the current status
 503     *   so it isn't lost. For all others, set it.
 504     */
 505    switch (jcr->JobStatus) {
 506    case JS_ErrorTerminated:
 507    case JS_Error:
 508    case JS_FatalError:
 509    case JS_Differences:
 510    case JS_Canceled:
 511       break;
 512    default:
 513       jcr->JobStatus = JobStatus;
 514    }
 515 }
 516
 517 /*
 518  * Lock the chain
 519  */
 520 void lock_jcr_chain()
 521 {
 522    int errstat;
 523    if ((errstat=rwl_writelock(&lock)) != 0) {
 524       Emsg1(M_ABORT, 0, "rwl_writelock failure. ERR=%s\n",
 525            strerror(errstat));
 526    }
 527 }
 528
 529 /*
 530  * Unlock the chain
 531  */
 532 void unlock_jcr_chain()
 533 {
 534    int errstat;
 535    if ((errstat=rwl_writeunlock(&lock)) != 0) {
 536       Emsg1(M_ABORT, 0, "rwl_writeunlock failure. ERR=%s\n",
 537            strerror(errstat));
 538    }
 539 }
 540
 541
 542 JCR *get_next_jcr(JCR *prev_jcr)
 543 {
 544    JCR *jcr;
 545
 546    if (prev_jcr == NULL) {
 547       jcr = jobs;
 548    } else {
 549       jcr = prev_jcr->next;
 550    }
 551    if (jcr) {
 552       P(jcr->mutex);
 553       jcr->use_count++;
 554       V(jcr->mutex);
 555       Dmsg2(400, "Inc get_next_jcr 0x%x use_count=%d\n", jcr, jcr->use_count);
 556    }
 557    return jcr;
 558 }
 559
 560 bool init_jcr_subsystem(void)
 561 {
 562    watchdog_t *wd = new_watchdog();
 563
 564    wd->one_shot = false;
 565    wd->interval = 30;   /* FIXME: should be configurable somewhere, even
 566                          if only with a #define */
 567    wd->callback = jcr_timeout_check;
 568
 569    register_watchdog(wd);
 570
 571    return true;
 572 }
 573
 574 static void jcr_timeout_check(watchdog_t *self)
 575 {
 576    JCR *jcr;
 577    BSOCK *fd;
 578    time_t timer_start;
 579
 580    Dmsg0(400, "Start JCR timeout checks\n");
 581
 582    /* Walk through all JCRs checking if any one is
 583     * blocked for more than specified max time.
 584     */
 585    lock_jcr_chain();
 586    foreach_jcr(jcr) {
 587       free_locked_jcr(jcr);           /* OK to free now cuz chain is locked */
 588       if (jcr->JobId == 0) {
 589          continue;
 590       }
 591       fd = jcr->store_bsock;
 592       if (fd) {
 593          timer_start = fd->timer_start;
 594          if (timer_start && (watchdog_time - timer_start) > fd->timeout) {
 595             fd->timer_start = 0;      /* turn off timer */
 596             fd->timed_out = TRUE;
 597             Jmsg(jcr, M_ERROR, 0, _(
 598 "Watchdog sending kill after %d secs to thread stalled reading Storage daemon.\n"),
 599                  watchdog_time - timer_start);
 600             pthread_kill(jcr->my_thread_id, TIMEOUT_SIGNAL);
 601          }
 602       }
 603       fd = jcr->file_bsock;
 604       if (fd) {
 605          timer_start = fd->timer_start;
 606          if (timer_start && (watchdog_time - timer_start) > fd->timeout) {
 607             fd->timer_start = 0;      /* turn off timer */
 608             fd->timed_out = TRUE;
 609             Jmsg(jcr, M_ERROR, 0, _(
 610 "Watchdog sending kill after %d secs to thread stalled reading File daemon.\n"),
 611                  watchdog_time - timer_start);
 612             pthread_kill(jcr->my_thread_id, TIMEOUT_SIGNAL);
 613          }
 614       }
 615       fd = jcr->dir_bsock;
 616       if (fd) {
 617          timer_start = fd->timer_start;
 618          if (timer_start && (watchdog_time - timer_start) > fd->timeout) {
 619             fd->timer_start = 0;      /* turn off timer */
 620             fd->timed_out = TRUE;
 621             Jmsg(jcr, M_ERROR, 0, _(
 622 "Watchdog sending kill after %d secs to thread stalled reading Director.\n"),
 623                  watchdog_time - timer_start);
 624             pthread_kill(jcr->my_thread_id, TIMEOUT_SIGNAL);
 625          }
 626       }
 627
 628    }
 629    unlock_jcr_chain();
 630
 631    Dmsg0(400, "Finished JCR timeout checks\n");
 632 }
 633
 634 /*
 635  * Timeout signal comes here
 636  */
 637 static void timeout_handler(int sig)
 638 {
 639    return;                            /* thus interrupting the function */
 640 }