git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/job.c

   1 /*
   2  *
   3  *   Bacula Director Job processing routines
   4  *
   5  *     Kern Sibbald, October MM
   6  *
   7  *    Version $Id$
   8  */
   9 /*
  10    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  11
  12    This program is free software; you can redistribute it and/or
  13    modify it under the terms of the GNU General Public License as
  14    published by the Free Software Foundation; either version 2 of
  15    the License, or (at your option) any later version.
  16
  17    This program is distributed in the hope that it will be useful,
  18    but WITHOUT ANY WARRANTY; without even the implied warranty of
  19    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  20    General Public License for more details.
  21
  22    You should have received a copy of the GNU General Public
  23    License along with this program; if not, write to the Free
  24    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  25    MA 02111-1307, USA.
  26
  27  */
  28
  29 #include "bacula.h"
  30 #include "dird.h"
  31
  32 /* Forward referenced subroutines */
  33 static void *job_thread(void *arg);
  34
  35 /* Exported subroutines */
  36
  37
  38 /* Imported subroutines */
  39 extern void term_scheduler();
  40 extern void term_ua_server();
  41 extern int do_backup(JCR *jcr);
  42 extern int do_admin(JCR *jcr);
  43 extern int do_restore(JCR *jcr);
  44 extern int do_verify(JCR *jcr);
  45
  46 jobq_t  job_queue;
  47
  48 void init_job_server(int max_workers)
  49 {
  50    int stat;
  51    if ((stat = jobq_init(&job_queue, max_workers, job_thread)) != 0) {
  52       Emsg1(M_ABORT, 0, _("Could not init job queue: ERR=%s\n"), strerror(stat));
  53    }
  54    return;
  55 }
  56
  57 /*
  58  * Run a job -- typically called by the scheduler, but may also
  59  *              be called by the UA (Console program).
  60  *
  61  */
  62 void run_job(JCR *jcr)
  63 {
  64    int stat, errstat;
  65
  66    sm_check(__FILE__, __LINE__, True);
  67    init_msg(jcr, jcr->messages);
  68    create_unique_job_name(jcr, jcr->job->hdr.name);
  69    set_jcr_job_status(jcr, JS_Created);
  70    jcr->jr.SchedTime = jcr->sched_time;
  71    jcr->jr.StartTime = jcr->start_time;
  72    jcr->jr.EndTime = 0;               /* perhaps rescheduled, clear it */
  73    jcr->jr.Type = jcr->JobType;
  74    jcr->jr.Level = jcr->JobLevel;
  75    jcr->jr.JobStatus = jcr->JobStatus;
  76    bstrncpy(jcr->jr.Name, jcr->job->hdr.name, sizeof(jcr->jr.Name));
  77    bstrncpy(jcr->jr.Job, jcr->Job, sizeof(jcr->jr.Job));
  78
  79    /* Initialize termination condition variable */
  80    if ((errstat = pthread_cond_init(&jcr->term_wait, NULL)) != 0) {
  81       Jmsg1(jcr, M_FATAL, 0, _("Unable to init job cond variable: ERR=%s\n"), strerror(errstat));
  82       set_jcr_job_status(jcr, JS_ErrorTerminated);
  83       free_jcr(jcr);
  84       return;
  85    }
  86
  87    /*
  88     * Open database
  89     */
  90    Dmsg0(50, "Open database\n");
  91    jcr->db=db_init_database(jcr, jcr->catalog->db_name, jcr->catalog->db_user,
  92                             jcr->catalog->db_password, jcr->catalog->db_address,
  93                             jcr->catalog->db_port, jcr->catalog->db_socket);
  94    if (!jcr->db || !db_open_database(jcr, jcr->db)) {
  95       Jmsg(jcr, M_FATAL, 0, _("Could not open database \"%s\".\n"),
  96                  jcr->catalog->db_name);
  97       if (jcr->db) {
  98          Jmsg(jcr, M_FATAL, 0, "%s", db_strerror(jcr->db));
  99       }
 100       set_jcr_job_status(jcr, JS_ErrorTerminated);
 101       free_jcr(jcr);
 102       return;
 103    }
 104    Dmsg0(50, "DB opened\n");
 105
 106    /*
 107     * Create Job record
 108     */
 109    jcr->jr.JobStatus = jcr->JobStatus;
 110    if (!db_create_job_record(jcr, jcr->db, &jcr->jr)) {
 111       Jmsg(jcr, M_FATAL, 0, "%s", db_strerror(jcr->db));
 112       set_jcr_job_status(jcr, JS_ErrorTerminated);
 113       free_jcr(jcr);
 114       return;
 115    }
 116    jcr->JobId = jcr->jr.JobId;
 117    ASSERT(jcr->jr.JobId > 0);
 118
 119    Dmsg4(50, "Created job record JobId=%d Name=%s Type=%c Level=%c\n",
 120        jcr->JobId, jcr->Job, jcr->jr.Type, jcr->jr.Level);
 121    Dmsg0(200, "Add jrc to work queue\n");
 122
 123    /* Queue the job to be run */
 124    if ((stat = jobq_add(&job_queue, jcr)) != 0) {
 125       Emsg1(M_ABORT, 0, _("Could not add job queue: ERR=%s\n"), strerror(stat));
 126    }
 127    Dmsg0(100, "Done run_job()\n");
 128 }
 129
 130 /*
 131  * This is the engine called by job_add() when we were pulled
 132  *  from the work queue.
 133  *  At this point, we are running in our own thread and all
 134  *    necessary resources are allocated -- see jobq.c
 135  */
 136 static void *job_thread(void *arg)
 137 {
 138    JCR *jcr = (JCR *)arg;
 139
 140    pthread_detach(pthread_self());
 141    sm_check(__FILE__, __LINE__, True);
 142
 143    for ( ;; ) {
 144
 145       Dmsg0(200, "=====Start Job=========\n");
 146       jcr->start_time = time(NULL);      /* set the real start time */
 147       set_jcr_job_status(jcr, JS_Running);
 148
 149       if (job_canceled(jcr)) {
 150          update_job_end_record(jcr);
 151       } else if (jcr->job->MaxStartDelay != 0 && jcr->job->MaxStartDelay <
 152           (utime_t)(jcr->start_time - jcr->sched_time)) {
 153          Jmsg(jcr, M_FATAL, 0, _("Job canceled because max start delay time exceeded.\n"));
 154          set_jcr_job_status(jcr, JS_Canceled);
 155          update_job_end_record(jcr);
 156       } else {
 157
 158          /* Run Job */
 159          if (jcr->job->RunBeforeJob) {
 160             POOLMEM *before = get_pool_memory(PM_FNAME);
 161             int status;
 162             BPIPE *bpipe;
 163             char line[MAXSTRING];
 164
 165             before = edit_job_codes(jcr, before, jcr->job->RunBeforeJob, "");
 166             bpipe = open_bpipe(before, 0, "r");
 167             free_pool_memory(before);
 168             while (fgets(line, sizeof(line), bpipe->rfd)) {
 169                Jmsg(jcr, M_INFO, 0, _("RunBefore: %s"), line);
 170             }
 171             status = close_bpipe(bpipe);
 172             if (status != 0) {
 173                Jmsg(jcr, M_FATAL, 0, _("RunBeforeJob returned non-zero status=%d\n"),
 174                   status);
 175                set_jcr_job_status(jcr, JS_FatalError);
 176                update_job_end_record(jcr);
 177                goto bail_out;
 178             }
 179          }
 180          switch (jcr->JobType) {
 181          case JT_BACKUP:
 182             do_backup(jcr);
 183             if (jcr->JobStatus == JS_Terminated) {
 184                do_autoprune(jcr);
 185             }
 186             break;
 187          case JT_VERIFY:
 188             do_verify(jcr);
 189             if (jcr->JobStatus == JS_Terminated) {
 190                do_autoprune(jcr);
 191             }
 192             break;
 193          case JT_RESTORE:
 194             do_restore(jcr);
 195             if (jcr->JobStatus == JS_Terminated) {
 196                do_autoprune(jcr);
 197             }
 198             break;
 199          case JT_ADMIN:
 200             do_admin(jcr);
 201             if (jcr->JobStatus == JS_Terminated) {
 202                do_autoprune(jcr);
 203             }
 204             break;
 205          default:
 206             Pmsg1(0, "Unimplemented job type: %d\n", jcr->JobType);
 207             break;
 208          }
 209          if (jcr->job->RunAfterJob) {
 210             POOLMEM *after = get_pool_memory(PM_FNAME);
 211             int status;
 212             BPIPE *bpipe;
 213             char line[MAXSTRING];
 214
 215             after = edit_job_codes(jcr, after, jcr->job->RunAfterJob, "");
 216             bpipe = open_bpipe(after, 0, "r");
 217             free_pool_memory(after);
 218             while (fgets(line, sizeof(line), bpipe->rfd)) {
 219                Jmsg(jcr, M_INFO, 0, _("RunAfter: %s"), line);
 220             }
 221             status = close_bpipe(bpipe);
 222             if (status != 0) {
 223                Jmsg(jcr, M_FATAL, 0, _("RunAfterJob returned non-zero status=%d\n"),
 224                   status);
 225                set_jcr_job_status(jcr, JS_FatalError);
 226                update_job_end_record(jcr);
 227             }
 228          }
 229       }
 230 bail_out:
 231       break;
 232    }
 233
 234    Dmsg0(50, "======== End Job ==========\n");
 235    sm_check(__FILE__, __LINE__, True);
 236    return NULL;
 237 }
 238
 239
 240 /*
 241  * Get or create a Client record for this Job
 242  */
 243 int get_or_create_client_record(JCR *jcr)
 244 {
 245    CLIENT_DBR cr;
 246
 247    memset(&cr, 0, sizeof(cr));
 248    bstrncpy(cr.Name, jcr->client->hdr.name, sizeof(cr.Name));
 249    cr.AutoPrune = jcr->client->AutoPrune;
 250    cr.FileRetention = jcr->client->FileRetention;
 251    cr.JobRetention = jcr->client->JobRetention;
 252    if (!jcr->client_name) {
 253       jcr->client_name = get_pool_memory(PM_NAME);
 254    }
 255    pm_strcpy(&jcr->client_name, jcr->client->hdr.name);
 256    if (!db_create_client_record(jcr, jcr->db, &cr)) {
 257       Jmsg(jcr, M_FATAL, 0, _("Could not create Client record. ERR=%s\n"),
 258          db_strerror(jcr->db));
 259       return 0;
 260    }
 261    jcr->jr.ClientId = cr.ClientId;
 262    if (cr.Uname[0]) {
 263       if (!jcr->client_uname) {
 264          jcr->client_uname = get_pool_memory(PM_NAME);
 265       }
 266       pm_strcpy(&jcr->client_uname, cr.Uname);
 267    }
 268    Dmsg2(100, "Created Client %s record %d\n", jcr->client->hdr.name,
 269       jcr->jr.ClientId);
 270    return 1;
 271 }
 272
 273
 274 /*
 275  * Write status and such in DB
 276  */
 277 void update_job_end_record(JCR *jcr)
 278 {
 279    if (jcr->jr.EndTime == 0) {
 280       jcr->jr.EndTime = time(NULL);
 281    }
 282    jcr->end_time = jcr->jr.EndTime;
 283    jcr->jr.JobId = jcr->JobId;
 284    jcr->jr.JobStatus = jcr->JobStatus;
 285    jcr->jr.JobFiles = jcr->JobFiles;
 286    jcr->jr.JobBytes = jcr->JobBytes;
 287    jcr->jr.VolSessionId = jcr->VolSessionId;
 288    jcr->jr.VolSessionTime = jcr->VolSessionTime;
 289    if (!db_update_job_end_record(jcr, jcr->db, &jcr->jr)) {
 290       Jmsg(jcr, M_WARNING, 0, _("Error updating job record. %s"),
 291          db_strerror(jcr->db));
 292    }
 293 }
 294
 295 /*
 296  * Takes base_name and appends (unique) current
 297  *   date and time to form unique job name.
 298  *
 299  *  Returns: unique job name in jcr->Job
 300  *    date/time in jcr->start_time
 301  */
 302 void create_unique_job_name(JCR *jcr, char *base_name)
 303 {
 304    /* Job start mutex */
 305    static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
 306    static time_t last_start_time = 0;
 307    time_t now;
 308    struct tm tm;
 309    char dt[MAX_TIME_LENGTH];
 310    char name[MAX_NAME_LENGTH];
 311    char *p;
 312
 313    /* Guarantee unique start time -- maximum one per second, and
 314     * thus unique Job Name
 315     */
 316    P(mutex);                          /* lock creation of jobs */
 317    now = time(NULL);
 318    while (now == last_start_time) {
 319       bmicrosleep(0, 500000);
 320       now = time(NULL);
 321    }
 322    last_start_time = now;
 323    V(mutex);                          /* allow creation of jobs */
 324    jcr->start_time = now;
 325    /* Form Unique JobName */
 326    localtime_r(&now, &tm);
 327    /* Use only characters that are permitted in Windows filenames */
 328    strftime(dt, sizeof(dt), "%Y-%m-%d_%H.%M.%S", &tm);
 329    bstrncpy(name, base_name, sizeof(name));
 330    name[sizeof(name)-22] = 0;          /* truncate if too long */
 331    bsnprintf(jcr->Job, sizeof(jcr->Job), "%s.%s", name, dt); /* add date & time */
 332    /* Convert spaces into underscores */
 333    for (p=jcr->Job; *p; p++) {
 334       if (*p == ' ') {
 335          *p = '_';
 336       }
 337    }
 338 }
 339
 340 /*
 341  * Free the Job Control Record if no one is still using it.
 342  *  Called from main free_jcr() routine in src/lib/jcr.c so
 343  *  that we can do our Director specific cleanup of the jcr.
 344  */
 345 void dird_free_jcr(JCR *jcr)
 346 {
 347    Dmsg0(200, "Start dird free_jcr\n");
 348
 349    if (jcr->sd_auth_key) {
 350       free(jcr->sd_auth_key);
 351       jcr->sd_auth_key = NULL;
 352    }
 353    if (jcr->where) {
 354       free(jcr->where);
 355       jcr->where = NULL;
 356    }
 357    if (jcr->file_bsock) {
 358       Dmsg0(200, "Close File bsock\n");
 359       bnet_close(jcr->file_bsock);
 360       jcr->file_bsock = NULL;
 361    }
 362    if (jcr->store_bsock) {
 363       Dmsg0(200, "Close Store bsock\n");
 364       bnet_close(jcr->store_bsock);
 365       jcr->store_bsock = NULL;
 366    }
 367    if (jcr->fname) {
 368       Dmsg0(200, "Free JCR fname\n");
 369       free_pool_memory(jcr->fname);
 370       jcr->fname = NULL;
 371    }
 372    if (jcr->stime) {
 373       Dmsg0(200, "Free JCR stime\n");
 374       free_pool_memory(jcr->stime);
 375       jcr->stime = NULL;
 376    }
 377    if (jcr->RestoreBootstrap) {
 378       free(jcr->RestoreBootstrap);
 379       jcr->RestoreBootstrap = NULL;
 380    }
 381    if (jcr->client_uname) {
 382       free_pool_memory(jcr->client_uname);
 383       jcr->client_uname = NULL;
 384    }
 385    pthread_cond_destroy(&jcr->term_wait);
 386    Dmsg0(200, "End dird free_jcr\n");
 387 }
 388
 389 /*
 390  * Set some defaults in the JCR necessary to
 391  * run. These items are pulled from the job
 392  * definition as defaults, but can be overridden
 393  * later either by the Run record in the Schedule resource,
 394  * or by the Console program.
 395  */
 396 void set_jcr_defaults(JCR *jcr, JOB *job)
 397 {
 398    jcr->job = job;
 399    jcr->JobType = job->JobType;
 400    jcr->JobLevel = job->level;
 401    jcr->JobPriority = job->Priority;
 402    jcr->store = job->storage;
 403    jcr->client = job->client;
 404    if (!jcr->client_name) {
 405       jcr->client_name = get_pool_memory(PM_NAME);
 406    }
 407    pm_strcpy(&jcr->client_name, jcr->client->hdr.name);
 408    jcr->pool = job->pool;
 409    jcr->catalog = job->client->catalog;
 410    jcr->fileset = job->fileset;
 411    jcr->messages = job->messages;
 412    if (jcr->RestoreBootstrap) {
 413       free(jcr->RestoreBootstrap);
 414    }
 415    /* This can be overridden by Console program */
 416    if (job->RestoreBootstrap) {
 417       jcr->RestoreBootstrap = bstrdup(job->RestoreBootstrap);
 418    }
 419    /* If no default level given, set one */
 420    if (jcr->JobLevel == 0) {
 421       switch (jcr->JobType) {
 422       case JT_VERIFY:
 423          jcr->JobLevel = L_VERIFY_CATALOG;
 424          break;
 425       case JT_BACKUP:
 426          jcr->JobLevel = L_INCREMENTAL;
 427          break;
 428       case JT_RESTORE:
 429       case JT_ADMIN:
 430          jcr->JobLevel = L_FULL;
 431          break;
 432       default:
 433          break;
 434       }
 435    }
 436 }