]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/job.c
- Remove a few HAVE_TLS #ifdefs
[bacula/bacula] / bacula / src / stored / job.c
1 /*
2  *   Job control and execution for Storage Daemon
3  *
4  *   Kern Sibbald, MM
5  *
6  *   Version $Id$
7  *
8  */
9 /*
10    Copyright (C) 2000-2005 Kern Sibbald
11
12    This program is free software; you can redistribute it and/or
13    modify it under the terms of the GNU General Public License as
14    published by the Free Software Foundation; either version 2 of
15    the License, or (at your option) any later version.
16
17    This program is distributed in the hope that it will be useful,
18    but WITHOUT ANY WARRANTY; without even the implied warranty of
19    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
20    General Public License for more details.
21
22    You should have received a copy of the GNU General Public
23    License along with this program; if not, write to the Free
24    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
25    MA 02111-1307, USA.
26
27  */
28
29 #include "bacula.h"
30 #include "stored.h"
31
32 /* Imported variables */
33 extern uint32_t VolSessionTime;
34
35 /* Imported functions */
36 extern uint32_t newVolSessionId();
37
38 /* Forward referenced functions */
39 static bool use_storage_cmd(JCR *jcr);
40
41 /* Requests from the Director daemon */
42 static char jobcmd[] = "JobId=%d job=%127s job_name=%127s client_name=%127s "
43       "type=%d level=%d FileSet=%127s NoAttr=%d SpoolAttr=%d FileSetMD5=%127s "
44       "SpoolData=%d WritePartAfterJob=%d NewVol=%d\n";
45 static char use_storage[]  = "use storage=%127s media_type=%127s "
46    "pool_name=%127s pool_type=%127s append=%d copy=%d stripe=%d\n";
47 static char use_device[]  = "use device=%127s\n";
48 //static char query_device[] = "query device=%127s";
49
50
51 /* Responses sent to Director daemon */
52 static char OKjob[]     = "3000 OK Job SDid=%u SDtime=%u Authorization=%s\n";
53 static char OK_device[] = "3000 OK use device device=%s\n";
54 static char NO_device[] = "3924 Device \"%s\" not in SD Device resources.\n";
55 static char NOT_open[]  = "3925 Device \"%s\" could not be opened or does not exist.\n";
56 static char BAD_use[]   = "3913 Bad use command: %s\n";
57 static char BAD_job[]   = "3915 Bad Job command: %s\n";
58 //static char OK_query[]  = "3001 OK query\n";
59 //static char NO_query[]  = "3918 Query failed\n";
60 //static char BAD_query[] = "3917 Bad query command: %s\n";
61
62 /*
63  * Director requests us to start a job
64  * Basic tasks done here:
65  *  - We pickup the JobId to be run from the Director.
66  *  - We pickup the device, media, and pool from the Director
67  *  - Wait for a connection from the File Daemon (FD)
68  *  - Accept commands from the FD (i.e. run the job)
69  *  - Return when the connection is terminated or
70  *    there is an error.
71  */
72 bool job_cmd(JCR *jcr)
73 {
74    int JobId;
75    char auth_key[100];
76    BSOCK *dir = jcr->dir_bsock;
77    POOL_MEM job_name, client_name, job, fileset_name, fileset_md5;
78    int JobType, level, spool_attributes, no_attributes, spool_data;
79    int write_part_after_job, NewVol;
80
81    JCR *ojcr;
82
83    /*
84     * Get JobId and permissions from Director
85     */
86    Dmsg1(100, "<dird: %s\n", dir->msg);
87    if (sscanf(dir->msg, jobcmd, &JobId, job.c_str(), job_name.c_str(),
88               client_name.c_str(),
89               &JobType, &level, fileset_name.c_str(), &no_attributes,
90               &spool_attributes, fileset_md5.c_str(), &spool_data, 
91               &write_part_after_job, &NewVol) != 13) {
92       pm_strcpy(jcr->errmsg, dir->msg);
93       bnet_fsend(dir, BAD_job, jcr->errmsg);
94       Dmsg1(100, ">dird: %s\n", dir->msg);
95       Emsg1(M_FATAL, 0, _("Bad Job Command from Director: %s\n"), jcr->errmsg);
96       set_jcr_job_status(jcr, JS_ErrorTerminated);
97       return false;
98    }
99    /*
100     * Since this job could be rescheduled, we
101     *  check to see if we have it already. If so
102     *  free the old jcr and use the new one.
103     */
104    ojcr = get_jcr_by_full_name(job.c_str());
105    if (ojcr && !ojcr->authenticated) {
106       Dmsg2(100, "Found ojcr=0x%x Job %s\n", (unsigned)(long)ojcr, job.c_str());
107       free_jcr(ojcr);
108    }
109    jcr->JobId = JobId;
110    jcr->VolSessionId = newVolSessionId();
111    jcr->VolSessionTime = VolSessionTime;
112    bstrncpy(jcr->Job, job, sizeof(jcr->Job));
113    unbash_spaces(job_name);
114    jcr->job_name = get_pool_memory(PM_NAME);
115    pm_strcpy(jcr->job_name, job_name);
116    unbash_spaces(client_name);
117    jcr->client_name = get_pool_memory(PM_NAME);
118    pm_strcpy(jcr->client_name, client_name);
119    unbash_spaces(fileset_name);
120    jcr->fileset_name = get_pool_memory(PM_NAME);
121    pm_strcpy(jcr->fileset_name, fileset_name);
122    jcr->JobType = JobType;
123    jcr->JobLevel = level;
124    jcr->no_attributes = no_attributes;
125    jcr->spool_attributes = spool_attributes;
126    jcr->spool_data = spool_data;
127    jcr->write_part_after_job = write_part_after_job;
128    jcr->fileset_md5 = get_pool_memory(PM_NAME);
129    pm_strcpy(jcr->fileset_md5, fileset_md5);
130    jcr->NewVolEachJob = NewVol;
131
132    jcr->authenticated = false;
133
134    /*
135     * Pass back an authorization key for the File daemon
136     */
137    make_session_key(auth_key, NULL, 1);
138    bnet_fsend(dir, OKjob, jcr->VolSessionId, jcr->VolSessionTime, auth_key);
139    Dmsg1(100, ">dird: %s", dir->msg);
140    jcr->sd_auth_key = bstrdup(auth_key);
141    memset(auth_key, 0, sizeof(auth_key));
142    generate_daemon_event(jcr, "JobStart");
143    return true;
144 }
145
146 bool use_cmd(JCR *jcr) 
147 {
148    /*
149     * Wait for the device, media, and pool information
150     */
151    if (!use_storage_cmd(jcr)) {
152       set_jcr_job_status(jcr, JS_ErrorTerminated);
153       memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
154       return false;
155    }
156    return true;
157 }
158
159 bool run_cmd(JCR *jcr)
160 {
161    struct timeval tv;
162    struct timezone tz;
163    struct timespec timeout;
164    int errstat;
165
166    Dmsg1(100, "Run_cmd: %s\n", jcr->dir_bsock->msg);
167    /* The following jobs don't need the FD */
168    switch (jcr->JobType) {
169    case JT_MIGRATION:
170    case JT_COPY:
171    case JT_ARCHIVE:
172       jcr->authenticated = true;
173       run_job(jcr);
174       return false;
175    }
176
177    set_jcr_job_status(jcr, JS_WaitFD);          /* wait for FD to connect */
178    dir_send_job_status(jcr);
179
180    gettimeofday(&tv, &tz);
181    timeout.tv_nsec = tv.tv_usec * 1000;
182    timeout.tv_sec = tv.tv_sec + 30 * 60;        /* wait 30 minutes */
183
184    Dmsg1(100, "%s waiting on FD to contact SD\n", jcr->Job);
185    /*
186     * Wait for the File daemon to contact us to start the Job,
187     *  when he does, we will be released, unless the 30 minutes
188     *  expires.
189     */
190    P(jcr->mutex);
191    for ( ;!job_canceled(jcr); ) {
192       errstat = pthread_cond_timedwait(&jcr->job_start_wait, &jcr->mutex, &timeout);
193       if (errstat == 0 || errstat == ETIMEDOUT) {
194          break;
195       }
196    }
197    V(jcr->mutex);
198
199    memset(jcr->sd_auth_key, 0, strlen(jcr->sd_auth_key));
200
201    if (jcr->authenticated && !job_canceled(jcr)) {
202       Dmsg1(100, "Running job %s\n", jcr->Job);
203       run_job(jcr);                   /* Run the job */
204    }
205    return false;
206 }
207
208 /*
209  * After receiving a connection (in job.c) if it is
210  *   from the File daemon, this routine is called.
211  */
212 void handle_filed_connection(BSOCK *fd, char *job_name)
213 {
214    JCR *jcr;
215
216    bmicrosleep(0, 50000);             /* wait 50 millisecs */
217    if (!(jcr=get_jcr_by_full_name(job_name))) {
218       Jmsg1(NULL, M_FATAL, 0, _("Job name not found: %s\n"), job_name);
219       Dmsg1(100, "Job name not found: %s\n", job_name);
220       return;
221    }
222
223    jcr->file_bsock = fd;
224    jcr->file_bsock->jcr = jcr;
225
226    Dmsg1(110, "Found Job %s\n", job_name);
227
228    if (jcr->authenticated) {
229       Jmsg2(jcr, M_FATAL, 0, "Hey!!!! JobId %u Job %s already authenticated.\n",
230          jcr->JobId, jcr->Job);
231       free_jcr(jcr);
232       return;
233    }
234
235    /*
236     * Authenticate the File daemon
237     */
238    if (jcr->authenticated || !authenticate_filed(jcr)) {
239       Dmsg1(100, "Authentication failed Job %s\n", jcr->Job);
240       Jmsg(jcr, M_FATAL, 0, _("Unable to authenticate File daemon\n"));
241    } else {
242       jcr->authenticated = true;
243       Dmsg1(110, "OK Authentication Job %s\n", jcr->Job);
244    }
245
246    P(jcr->mutex);
247    if (!jcr->authenticated) {
248       set_jcr_job_status(jcr, JS_ErrorTerminated);
249    }
250    pthread_cond_signal(&jcr->job_start_wait); /* wake waiting job */
251    V(jcr->mutex);
252    free_jcr(jcr);
253    return;
254 }
255
256
257 /*
258  *   Use Device command from Director
259  *   He tells is what Device Name to use, the Media Type,
260  *      the Pool Name, and the Pool Type.
261  *
262  *    Ensure that the device exists and is opened, then store
263  *      the media and pool info in the JCR.
264  */
265 class DIRSTORE {
266 public:
267    alist *device;
268    char name[MAX_NAME_LENGTH];
269    char media_type[MAX_NAME_LENGTH];
270    char pool_name[MAX_NAME_LENGTH];
271    char pool_type[MAX_NAME_LENGTH];
272 };
273
274 static bool use_storage_cmd(JCR *jcr)
275 {
276    POOL_MEM store_name, dev_name, media_type, pool_name, pool_type;
277    BSOCK *dir = jcr->dir_bsock;
278    DEVRES *device;
279    AUTOCHANGER *changer;
280    int append;
281    bool ok;       
282    int Copy, Stripe;
283    alist *dirstore;   
284    DIRSTORE *store;
285    char *device_name;
286
287    /*
288     * If there are multiple devices, the director sends us
289     *   use_device for each device that it wants to use.
290     */
291    Dmsg1(100, "<dird: %s", dir->msg);
292    dirstore = New(alist(10, not_owned_by_alist));
293    do {
294       ok = sscanf(dir->msg, use_storage, store_name.c_str(), 
295                   media_type.c_str(), pool_name.c_str(), 
296                   pool_type.c_str(), &append, &Copy, &Stripe) == 7;
297       if (!ok) {
298          break;
299       }
300       unbash_spaces(store_name);
301       unbash_spaces(media_type);
302       unbash_spaces(pool_name);
303       unbash_spaces(pool_type);
304       store = new DIRSTORE;
305       dirstore->append(store);
306       memset(store, 0, sizeof(DIRSTORE));
307       store->device = New(alist(10));
308       bstrncpy(store->name, store_name, sizeof(store->name));
309       bstrncpy(store->media_type, media_type, sizeof(store->media_type));
310       bstrncpy(store->pool_name, pool_name, sizeof(store->pool_name));
311       bstrncpy(store->pool_type, pool_type, sizeof(store->pool_type));
312
313       /* Now get all devices */
314       while (bnet_recv(dir) >= 0) {
315          ok = sscanf(dir->msg, use_device, dev_name.c_str()) == 1;
316          if (!ok) {
317             break;
318          }
319          unbash_spaces(dev_name);
320          store->device->append(bstrdup(dev_name.c_str()));
321       }
322    }  while (ok && bnet_recv(dir) >= 0);
323
324    /* This loop is debug code and can be removed */
325    /*  ***FIXME*** turn off in production */
326    foreach_alist(store, dirstore) {
327       Dmsg4(100, "Storage=%s media_type=%s pool=%s pool_type=%s\n", 
328          store->name, store->media_type, store->pool_name, 
329          store->pool_type);
330       foreach_alist(device_name, store->device) {
331          Dmsg1(100, "   Device=%s\n", device_name);
332       }
333    }
334
335
336    if (ok) {
337       LockRes();
338       store = (DIRSTORE *)dirstore->first();
339       foreach_alist(device_name, store->device) {
340          foreach_res(device, R_DEVICE) {
341             /* Find resource, and make sure we were able to open it */
342             if (fnmatch(device_name, device->hdr.name, 0) == 0 &&
343                 strcmp(device->media_type, store->media_type) == 0) {
344                const int name_len = MAX_NAME_LENGTH;
345                DCR *dcr;
346                UnlockRes();
347                if (!device->dev) {
348                   device->dev = init_dev(jcr, NULL, device);
349                }
350                if (!device->dev) {
351                   Jmsg(jcr, M_WARNING, 0, _("\n"
352                      "     Device \"%s\" requested by DIR could not be opened or does not exist.\n"),
353                        dev_name.c_str());
354                   bnet_fsend(dir, NOT_open, dev_name.c_str());
355                   Dmsg1(100, ">dird: %s\n", dir->msg);
356                   return false;
357                }  
358                dcr = new_dcr(jcr, device->dev);
359                if (!dcr) {
360                   bnet_fsend(dir, _("3926 Could not get dcr for device: %s\n"), dev_name.c_str());
361                   Dmsg1(100, ">dird: %s\n", dir->msg);
362                   return false;
363                }
364                Dmsg1(100, "Found device %s\n", device->hdr.name);
365                bstrncpy(dcr->pool_name, store->pool_name, name_len);
366                bstrncpy(dcr->pool_type, store->pool_type, name_len);
367                bstrncpy(dcr->media_type, store->media_type, name_len);
368                bstrncpy(dcr->dev_name, device_name, name_len);
369                dcr->Copy = Copy;
370                dcr->Stripe = Stripe;
371                jcr->dcr = dcr;
372                if (append == SD_APPEND) {
373                   ok = reserve_device_for_append(dcr);
374                } else {
375                   ok = reserve_device_for_read(dcr);
376                }
377                if (!ok) {
378                   bnet_fsend(dir, _("3927 Could not reserve device: %s\n"), dev_name.c_str());
379                   Dmsg1(100, ">dird: %s\n", dir->msg);
380                   free_dcr(jcr->dcr);
381                   goto get_out; 
382                }
383                Dmsg1(220, "Got: %s", dir->msg);
384                bash_spaces(dev_name);
385                ok = bnet_fsend(dir, OK_device, dev_name.c_str());
386                Dmsg1(100, ">dird: %s\n", dir->msg);
387                goto get_out;
388             }
389          }
390          foreach_res(changer, R_AUTOCHANGER) {
391             /* Find resource, and make sure we were able to open it */
392             if (fnmatch(device_name, changer->hdr.name, 0) == 0) {
393                const int name_len = MAX_NAME_LENGTH;
394                DCR *dcr;
395                /* Try each device in this AutoChanger */
396                foreach_alist(device, changer->device) {
397                   Dmsg1(100, "Try changer device %s\n", device->hdr.name);
398                   if (!device->dev) {
399                      device->dev = init_dev(jcr, NULL, device);
400                   }
401                   if (!device->dev) {
402                      Dmsg1(100, "Device %s could not be opened. Skipped\n", dev_name.c_str());
403                      Jmsg(jcr, M_WARNING, 0, _("\n"
404                         "     Device \"%s\" in changer \"%s\" requested by DIR could not be opened or does not exist.\n"),
405                           device->hdr.name, dev_name.c_str());
406                      continue;
407                   }
408                   if (!device->dev->autoselect) {
409                      continue;           /* device is not available */
410                   }
411                   dcr = new_dcr(jcr, device->dev);
412                   if (!dcr) {
413                      bnet_fsend(dir, _("3926 Could not get dcr for device: %s\n"), dev_name.c_str());
414                      Dmsg1(100, ">dird: %s\n", dir->msg);
415                      UnlockRes();
416                      ok = false;
417                      goto get_out;
418                   }
419                   Dmsg1(100, "Found changer device %s\n", device->hdr.name);
420                   bstrncpy(dcr->pool_name, store->pool_name, name_len);
421                   bstrncpy(dcr->pool_type, store->pool_type, name_len);
422                   bstrncpy(dcr->media_type, store->media_type, name_len);
423                   bstrncpy(dcr->dev_name, device_name, name_len);
424                   jcr->dcr = dcr;
425                   if (append == SD_APPEND) {
426                      ok = reserve_device_for_append(dcr);
427                   } else {
428                      ok = reserve_device_for_read(dcr);
429                   }
430                   if (!ok) {
431                      Jmsg(jcr, M_WARNING, 0, _("Could not reserve device: %s\n"), dev_name.c_str());
432                      free_dcr(jcr->dcr);
433                      continue;
434                   }
435                   Dmsg1(100, "Device %s opened.\n", device_name);
436                   UnlockRes();
437                   pm_strcpy(dev_name, device->hdr.name);
438                   bash_spaces(dev_name);
439                   ok = bnet_fsend(dir, OK_device, dev_name.c_str());
440                   Dmsg1(100, ">dird: %s\n", dir->msg);
441                   goto get_out;
442                }
443                break;                    /* we found it but could not open a device */
444             }
445          }
446       }
447
448       UnlockRes();
449       if (verbose) {
450          unbash_spaces(dir->msg);
451          pm_strcpy(jcr->errmsg, dir->msg);
452          Jmsg(jcr, M_INFO, 0, _("Failed command: %s\n"), jcr->errmsg);
453       }
454       Jmsg(jcr, M_FATAL, 0, _("\n"
455          "     Device \"%s\" with MediaType \"%s\" requested by DIR not found in SD Device resources.\n"),
456            dev_name.c_str(), media_type.c_str());
457       bnet_fsend(dir, NO_device, dev_name.c_str());
458       Dmsg1(100, ">dird: %s\n", dir->msg);
459       ok = false;
460    } else {
461       unbash_spaces(dir->msg);
462       pm_strcpy(jcr->errmsg, dir->msg);
463       if (verbose) {
464          Jmsg(jcr, M_INFO, 0, _("Failed command: %s\n"), jcr->errmsg);
465       }
466       Jmsg(jcr, M_FATAL, 0, _("Bad Use Device command: %s\n"), jcr->errmsg);
467       bnet_fsend(dir, BAD_use, jcr->errmsg);
468       Dmsg1(100, ">dird: %s\n", dir->msg);
469       ok = false;
470    }
471
472 get_out:
473    foreach_alist(store, dirstore) {
474       delete store->device;
475       delete store;
476    }
477    delete dirstore;
478    return ok;
479 }
480
481 #ifdef needed
482 /*
483  *   Query Device command from Director
484  *   Sends Storage Daemon's information on the device to the
485  *    caller (presumably the Director).
486  *   This command always returns "true" so that the line is
487  *    not closed on an error.
488  *
489  */
490 bool query_cmd(JCR *jcr)
491 {
492    POOL_MEM dev_name, VolumeName, MediaType, ChangerName;
493    BSOCK *dir = jcr->dir_bsock;
494    DEVRES *device;
495    AUTOCHANGER *changer;
496    bool ok;
497
498    Dmsg1(100, "Query_cmd: %s", dir->msg);
499    ok = sscanf(dir->msg, query_device, dev_name.c_str()) == 1;
500    Dmsg1(100, "<dird: %s\n", dir->msg);
501    if (ok) {
502       unbash_spaces(dev_name);
503       LockRes();
504       foreach_res(device, R_DEVICE) {
505          /* Find resource, and make sure we were able to open it */
506          if (fnmatch(dev_name.c_str(), device->hdr.name, 0) == 0) {
507             if (!device->dev) {
508                device->dev = init_dev(jcr, NULL, device);
509             }
510             if (!device->dev) {
511                break;
512             }  
513             UnlockRes();
514             ok = dir_update_device(jcr, device->dev);
515             if (ok) {
516                ok = bnet_fsend(dir, OK_query);
517             } else {
518                bnet_fsend(dir, NO_query);
519             }
520             return ok;
521          }
522       }
523       foreach_res(changer, R_AUTOCHANGER) {
524          /* Find resource, and make sure we were able to open it */
525          if (fnmatch(dev_name.c_str(), changer->hdr.name, 0) == 0) {
526             UnlockRes();
527             if (!changer->device || changer->device->size() == 0) {
528                continue;              /* no devices */
529             }
530             ok = dir_update_changer(jcr, changer);
531             if (ok) {
532                ok = bnet_fsend(dir, OK_query);
533             } else {
534                bnet_fsend(dir, NO_query);
535             }
536             return ok;
537          }
538       }
539       /* If we get here, the device/autochanger was not found */
540       UnlockRes();
541       unbash_spaces(dir->msg);
542       pm_strcpy(jcr->errmsg, dir->msg);
543       bnet_fsend(dir, NO_device, dev_name.c_str());
544       Dmsg1(100, ">dird: %s\n", dir->msg);
545    } else {
546       unbash_spaces(dir->msg);
547       pm_strcpy(jcr->errmsg, dir->msg);
548       bnet_fsend(dir, BAD_query, jcr->errmsg);
549       Dmsg1(100, ">dird: %s\n", dir->msg);
550    }
551
552    return true;
553 }
554
555 #endif
556
557
558 /*
559  * Destroy the Job Control Record and associated
560  * resources (sockets).
561  */
562 void stored_free_jcr(JCR *jcr)
563 {
564    if (jcr->file_bsock) {
565       bnet_close(jcr->file_bsock);
566       jcr->file_bsock = NULL;
567    }
568    if (jcr->job_name) {
569       free_pool_memory(jcr->job_name);
570    }
571    if (jcr->client_name) {
572       free_memory(jcr->client_name);
573       jcr->client_name = NULL;
574    }
575    if (jcr->fileset_name) {
576       free_memory(jcr->fileset_name);
577    }
578    if (jcr->fileset_md5) {
579       free_memory(jcr->fileset_md5);
580    }
581    if (jcr->bsr) {
582       free_bsr(jcr->bsr);
583       jcr->bsr = NULL;
584    }
585    if (jcr->RestoreBootstrap) {
586       unlink(jcr->RestoreBootstrap);
587       free_pool_memory(jcr->RestoreBootstrap);
588       jcr->RestoreBootstrap = NULL;
589    }
590    if (jcr->next_dev || jcr->prev_dev) {
591       Emsg0(M_FATAL, 0, _("In free_jcr(), but still attached to device!!!!\n"));
592    }
593    pthread_cond_destroy(&jcr->job_start_wait);
594    if (jcr->dcrs) {
595       delete jcr->dcrs;
596    }
597    jcr->dcrs = NULL;
598    if (jcr->dcr) {
599       free_dcr(jcr->dcr);
600       jcr->dcr = NULL;
601    }
602    return;
603 }