git.sur5r.net Git - bacula/bacula/blob - bacula/src/jcr.h

   1 /*
   2  * Bacula JCR Structure definition for Daemons and the Library
   3  *  This definition consists of a "Global" definition common
   4  *  to all daemons and used by the library routines, and a
   5  *  daemon specific part that is enabled with #defines.
   6  *
   7  * Kern Sibbald, Nov MM
   8  *
   9  *   Version $Id$
  10  */
  11
  12 /*
  13    Copyright (C) 2000-2004 Kern Sibbald and John Walker
  14
  15    This program is free software; you can redistribute it and/or
  16    modify it under the terms of the GNU General Public License as
  17    published by the Free Software Foundation; either version 2 of
  18    the License, or (at your option) any later version.
  19
  20    This program is distributed in the hope that it will be useful,
  21    but WITHOUT ANY WARRANTY; without even the implied warranty of
  22    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  23    General Public License for more details.
  24
  25    You should have received a copy of the GNU General Public
  26    License along with this program; if not, write to the Free
  27    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  28    MA 02111-1307, USA.
  29
  30  */
  31
  32 #ifndef __JCR_H_
  33 #define __JCR_H_ 1
  34
  35 /* Backup/Verify level code. These are stored in the DB */
  36 #define L_FULL                   'F'  /* Full backup */
  37 #define L_INCREMENTAL            'I'  /* since last backup */
  38 #define L_DIFFERENTIAL           'D'  /* since last full backup */
  39 #define L_SINCE                  'S'
  40 #define L_VERIFY_CATALOG         'C'  /* verify from catalog */
  41 #define L_VERIFY_INIT            'V'  /* verify save (init DB) */
  42 #define L_VERIFY_VOLUME_TO_CATALOG 'O'  /* verify Volume to catalog entries */
  43 #define L_VERIFY_DISK_TO_CATALOG 'd'  /* verify Disk attributes to catalog */
  44 #define L_VERIFY_DATA            'A'  /* verify data on volume */
  45 #define L_BASE                   'B'  /* Base level job */
  46 #define L_NONE                   ' '  /* None, for Restore and Admin */
  47
  48
  49 /* Job Types. These are stored in the DB */
  50 #define JT_BACKUP                'B'  /* Backup Job */
  51 #define JT_VERIFY                'V'  /* Verify Job */
  52 #define JT_RESTORE               'R'  /* Restore Job */
  53 #define JT_CONSOLE               'C'  /* console program */
  54 #define JT_SYSTEM                'S'  /* internal system "job" */
  55 #define JT_ADMIN                 'D'  /* admin job */
  56 #define JT_ARCHIVE               'A'  /* Archive Job */
  57 #define JT_COPY                  'Y'  /* Copy Job */
  58 #define JT_MIGRATION             'M'  /* Migration Job */
  59
  60 /* Job Status. Some of these are stored in the DB */
  61 #define JS_Created               'C'  /* created but not yet running */
  62 #define JS_Running               'R'  /* running */
  63 #define JS_Blocked               'B'  /* blocked */
  64 #define JS_Terminated            'T'  /* terminated normally */
  65 #define JS_ErrorTerminated       'E'  /* Job terminated in error */
  66 #define JS_Error                 'e'  /* Non-fatal error */
  67 #define JS_FatalError            'f'  /* Fatal error */
  68 #define JS_Differences           'D'  /* Verify differences */
  69 #define JS_Canceled              'A'  /* canceled by user */
  70 #define JS_WaitFD                'F'  /* waiting on File daemon */
  71 #define JS_WaitSD                'S'  /* waiting on the Storage daemon */
  72 #define JS_WaitMedia             'm'  /* waiting for new media */
  73 #define JS_WaitMount             'M'  /* waiting for Mount */
  74 #define JS_WaitStoreRes          's'  /* Waiting for storage resource */
  75 #define JS_WaitJobRes            'j'  /* Waiting for job resource */
  76 #define JS_WaitClientRes         'c'  /* Waiting for Client resource */
  77 #define JS_WaitMaxJobs           'd'  /* Waiting for maximum jobs */
  78 #define JS_WaitStartTime         't'  /* Waiting for start time */
  79 #define JS_WaitPriority          'p'  /* Waiting for higher priority jobs to finish */
  80
  81 #define job_canceled(jcr) \
  82   (jcr->JobStatus == JS_Canceled || \
  83    jcr->JobStatus == JS_ErrorTerminated || \
  84    jcr->JobStatus == JS_FatalError)
  85
  86 #define foreach_jcr(jcr) \
  87    for ((jcr)=NULL; ((jcr)=get_next_jcr(jcr)); )
  88
  89
  90
  91 struct JCR;
  92 typedef void (JCR_free_HANDLER)(JCR *jcr);
  93
  94 /* Job Control Record (JCR) */
  95 struct JCR {
  96    /* Global part of JCR common to all daemons */
  97    JCR *next;
  98    JCR *prev;
  99    volatile int use_count;            /* use count */
 100    pthread_t my_thread_id;            /* id of thread controlling jcr */
 101    pthread_mutex_t mutex;             /* jcr mutex */
 102    BSOCK *dir_bsock;                  /* Director bsock or NULL if we are him */
 103    BSOCK *store_bsock;                /* Storage connection socket */
 104    BSOCK *file_bsock;                 /* File daemon connection socket */
 105    JCR_free_HANDLER *daemon_free_jcr; /* Local free routine */
 106    dlist *msg_queue;                  /* Queued messages */
 107    alist job_end_push;                /* Job end pushed calls */
 108    bool dequeuing;                    /* dequeuing messages */
 109    POOLMEM *VolumeName;               /* Volume name desired -- pool_memory */
 110    POOLMEM *errmsg;                   /* edited error message */
 111    char Job[MAX_NAME_LENGTH];         /* Unique name of this Job */
 112    uint32_t JobId;                    /* Director's JobId */
 113    uint32_t VolSessionId;
 114    uint32_t VolSessionTime;
 115    uint32_t JobFiles;                 /* Number of files written, this job */
 116    uint32_t JobErrors;                /* */
 117    uint64_t JobBytes;                 /* Number of bytes processed this job */
 118    uint64_t ReadBytes;                /* Bytes read -- before compression */
 119    uint32_t Errors;                   /* Number of non-fatal errors */
 120    volatile int JobStatus;            /* ready, running, blocked, terminated */
 121    int JobType;                       /* backup, restore, verify ... */
 122    int JobLevel;                      /* Job level */
 123    int JobPriority;                   /* Job priority */
 124    time_t sched_time;                 /* job schedule time, i.e. when it should start */
 125    time_t start_time;                 /* when job actually started */
 126    time_t run_time;                   /* used for computing speed */
 127    time_t end_time;                   /* job end time */
 128    POOLMEM *client_name;              /* client name */
 129    POOLMEM *RestoreBootstrap;         /* Bootstrap file to restore */
 130    char *sd_auth_key;                 /* SD auth key */
 131    MSGS *jcr_msgs;                    /* Copy of message resource -- actually used */
 132    uint32_t ClientId;                 /* Client associated with Job */
 133    char *where;                       /* prefix to restore files to */
 134    int cached_pnl;                    /* cached path length */
 135    POOLMEM *cached_path;              /* cached path */
 136    bool prefix_links;                 /* Prefix links with Where path */
 137    bool gui;                          /* set if gui using console */
 138    bool authenticated;                /* set when client authenticated */
 139
 140    /* Daemon specific part of JCR */
 141    /* This should be empty in the library */
 142
 143 #ifdef DIRECTOR_DAEMON
 144 #define MAX_STORE 2
 145    /* Director Daemon specific part of JCR */
 146    pthread_t SD_msg_chan;             /* Message channel thread id */
 147    pthread_cond_t term_wait;          /* Wait for job termination */
 148    workq_ele_t *work_item;            /* Work queue item if scheduled */
 149    volatile bool sd_msg_thread_done;  /* Set when Storage message thread terms */
 150    BSOCK *ua;                         /* User agent */
 151    JOB *job;                          /* Job resource */
 152    alist *storage[MAX_STORE];         /* Storage possibilities */
 153    STORE *store;                      /* Storage daemon selected */
 154    CLIENT *client;                    /* Client resource */
 155    POOL *pool;                        /* Pool resource */
 156    POOL *full_pool;                   /* Full backup pool resource */
 157    POOL *inc_pool;                    /* Incremental backup pool resource */
 158    POOL *dif_pool;                    /* Differential backup pool resource */
 159    FILESET *fileset;                  /* FileSet resource */
 160    CAT *catalog;                      /* Catalog resource */
 161    MSGS *messages;                    /* Default message handler */
 162    uint32_t SDJobFiles;               /* Number of files written, this job */
 163    uint64_t SDJobBytes;               /* Number of bytes processed this job */
 164    uint32_t SDErrors;                 /* Number of non-fatal errors */
 165    volatile int SDJobStatus;          /* Storage Job Status */
 166    volatile int FDJobStatus;          /* File daemon Job Status */
 167    uint32_t ExpectedFiles;            /* Expected restore files */
 168    B_DB *db;                          /* database pointer */
 169    uint32_t MediaId;                  /* DB record IDs associated with this job */
 170    uint32_t PoolId;                   /* Pool record id */
 171    FileId_t FileId;                   /* Last file id inserted */
 172    uint32_t FileIndex;                /* Last FileIndex processed */
 173    POOLMEM *fname;                    /* name to put into catalog */
 174    POOLMEM *stime;                    /* start time for incremental/differential */
 175    JOB_DBR jr;                        /* Job DB record for current job */
 176    JOB_DBR *verify_jr;                /* Pointer to target job */
 177    uint32_t RestoreJobId;             /* Id specified by UA */
 178    POOLMEM *client_uname;             /* client uname */
 179    int replace;                       /* Replace option */
 180    int saveMaxConcurrentJobs;         /* save for restore jobs */
 181    int NumVols;                       /* Number of Volume used in pool */
 182    int reschedule_count;              /* Number of times rescheduled */
 183    bool spool_data;                   /* Spool data in SD */
 184    bool acquired_resource_locks;      /* set if resource locks acquired */
 185    bool term_wait_inited;             /* Set when cond var inited */
 186    bool fn_printed;                   /* printed filename */
 187 #endif /* DIRECTOR_DAEMON */
 188
 189
 190 #ifdef FILE_DAEMON
 191    /* File Daemon specific part of JCR */
 192    uint32_t num_files_examined;       /* files examined this job */
 193    POOLMEM *last_fname;               /* last file saved/verified */
 194    /*********FIXME********* add missing files and files to be retried */
 195    int incremental;                   /* set if incremental for SINCE */
 196    time_t mtime;                      /* begin time for SINCE */
 197    int listing;                       /* job listing in estimate */
 198    long Ticket;                       /* Ticket */
 199    char *big_buf;                     /* I/O buffer */
 200    POOLMEM *compress_buf;             /* Compression buffer */
 201    int32_t compress_buf_size;         /* Length of compression buffer */
 202    int replace;                       /* Replace options */
 203    int buf_size;                      /* length of buffer */
 204    void *ff;                          /* Find Files packet */
 205    char stored_addr[MAX_NAME_LENGTH]; /* storage daemon address */
 206    uint32_t StartFile;
 207    uint32_t EndFile;
 208    uint32_t StartBlock;
 209    uint32_t EndBlock;
 210    pthread_t heartbeat_id;            /* id of heartbeat thread */
 211    volatile BSOCK *hb_bsock;          /* duped SD socket */
 212    POOLMEM *RunAfterJob;              /* Command to run after job */
 213    DIRRES* director;                  /* Director resource */
 214 #endif /* FILE_DAEMON */
 215
 216
 217 #ifdef STORAGE_DAEMON
 218    /* Storage Daemon specific part of JCR */
 219    JCR *next_dev;                     /* next JCR attached to device */
 220    JCR *prev_dev;                     /* previous JCR attached to device */
 221    pthread_cond_t job_start_wait;     /* Wait for FD to start Job */
 222    int type;
 223    DCR *dcr;                          /* device context record */
 224    DEVRES *device;                    /* device resource to use */
 225    POOLMEM *job_name;                 /* base Job name (not unique) */
 226    POOLMEM *fileset_name;             /* FileSet */
 227    POOLMEM *fileset_md5;              /* MD5 for FileSet */
 228    VOL_LIST *VolList;                 /* list to read */
 229    int32_t NumVolumes;                /* number of volumes used */
 230    int32_t CurVolume;                 /* current volume number */
 231    int label_errors;                  /* count of label errors */
 232    bool session_opened;
 233    long Ticket;                       /* ticket for this job */
 234    bool ignore_label_errors;          /* ignore Volume label errors */
 235    bool spool_attributes;             /* set if spooling attributes */
 236    bool no_attributes;                /* set if no attributes wanted */
 237    bool spool_data;                   /* set to spool data */
 238    int CurVol;                        /* Current Volume count */
 239    DIRRES* director;                  /* Director resource */
 240
 241    uint32_t FileId;                   /* Last file id inserted */
 242
 243    /* Parmaters for Open Read Session */
 244    BSR *bsr;                          /* Bootstrap record -- has everything */
 245    uint32_t read_VolSessionId;
 246    uint32_t read_VolSessionTime;
 247    uint32_t read_StartFile;
 248    uint32_t read_EndFile;
 249    uint32_t read_StartBlock;
 250    uint32_t read_EndBlock;
 251
 252 #endif /* STORAGE_DAEMON */
 253
 254 };
 255
 256
 257
 258 /*
 259  * Structure for all daemons that keeps some summary
 260  *  info on the last job run.
 261  */
 262 struct s_last_job {
 263    dlink link;
 264    int Errors;                        /* FD/SD errors */
 265    int JobType;
 266    int JobStatus;
 267    int JobLevel;
 268    uint32_t JobId;
 269    uint32_t VolSessionId;
 270    uint32_t VolSessionTime;
 271    uint32_t JobFiles;
 272    uint64_t JobBytes;
 273    time_t start_time;
 274    time_t end_time;
 275    char Job[MAX_NAME_LENGTH];
 276 };
 277
 278 extern struct s_last_job last_job;
 279 extern dlist *last_jobs;
 280
 281
 282 /* The following routines are found in lib/jcr.c */
 283 extern bool init_jcr_subsystem(void);
 284 extern JCR *new_jcr(int size, JCR_free_HANDLER *daemon_free_jcr);
 285 extern void free_locked_jcr(JCR *jcr);
 286 extern JCR *get_jcr_by_id(uint32_t JobId);
 287 extern JCR *get_jcr_by_session(uint32_t SessionId, uint32_t SessionTime);
 288 extern JCR *get_jcr_by_partial_name(char *Job);
 289 extern JCR *get_jcr_by_full_name(char *Job);
 290 extern JCR *get_next_jcr(JCR *jcr);
 291 extern void set_jcr_job_status(JCR *jcr, int JobStatus);
 292
 293 #ifdef TRACE_JCR_CHAIN
 294 extern void b_lock_jcr_chain(const char *filen, int line);
 295 extern void b_unlock_jcr_chain(const char *filen, int line);
 296 #define lock_jcr_chain() b_lock_jcr_chain(__FILE__, __LINE__);
 297 #define unlock_jcr_chain() b_unlock_jcr_chain(__FILE__, __LINE__);
 298 #else
 299 extern void lock_jcr_chain();
 300 extern void unlock_jcr_chain();
 301 #endif
 302
 303 #ifdef DEBUG
 304 extern void b_free_jcr(const char *file, int line, JCR *jcr);
 305 #define free_jcr(jcr) b_free_jcr(__FILE__, __LINE__, (jcr))
 306 #else
 307 extern void free_jcr(JCR *jcr);
 308 #endif
 309
 310 #endif /* __JCR_H_ */