git.sur5r.net Git - bacula/bacula/blob - bacula/src/jcr.h

   1 /*
   2    Bacula® - The Network Backup Solution
   3
   4    Copyright (C) 2000-2007 Free Software Foundation Europe e.V.
   5
   6    The main author of Bacula is Kern Sibbald, with contributions from
   7    many others, a complete list can be found in the file AUTHORS.
   8    This program is Free Software; you can redistribute it and/or
   9    modify it under the terms of version two of the GNU General Public
  10    License as published by the Free Software Foundation and included
  11    in the file LICENSE.
  12
  13    This program is distributed in the hope that it will be useful, but
  14    WITHOUT ANY WARRANTY; without even the implied warranty of
  15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  16    General Public License for more details.
  17
  18    You should have received a copy of the GNU General Public License
  19    along with this program; if not, write to the Free Software
  20    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  21    02110-1301, USA.
  22
  23    Bacula® is a registered trademark of John Walker.
  24    The licensor of Bacula is the Free Software Foundation Europe
  25    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
  26    Switzerland, email:ftf@fsfeurope.org.
  27 */
  28 /*
  29  * Bacula JCR Structure definition for Daemons and the Library
  30  *  This definition consists of a "Global" definition common
  31  *  to all daemons and used by the library routines, and a
  32  *  daemon specific part that is enabled with #defines.
  33  *
  34  * Kern Sibbald, Nov MM
  35  *
  36  *   Version $Id$
  37  */
  38
  39
  40 #ifndef __JCR_H_
  41 #define __JCR_H_ 1
  42
  43 /* Backup/Verify level code. These are stored in the DB */
  44 #define L_FULL                   'F'  /* Full backup */
  45 #define L_INCREMENTAL            'I'  /* since last backup */
  46 #define L_DIFFERENTIAL           'D'  /* since last full backup */
  47 #define L_SINCE                  'S'
  48 #define L_VERIFY_CATALOG         'C'  /* verify from catalog */
  49 #define L_VERIFY_INIT            'V'  /* verify save (init DB) */
  50 #define L_VERIFY_VOLUME_TO_CATALOG 'O'  /* verify Volume to catalog entries */
  51 #define L_VERIFY_DISK_TO_CATALOG 'd'  /* verify Disk attributes to catalog */
  52 #define L_VERIFY_DATA            'A'  /* verify data on volume */
  53 #define L_BASE                   'B'  /* Base level job */
  54 #define L_NONE                   ' '  /* None, for Restore and Admin */
  55
  56
  57 /* Job Types. These are stored in the DB */
  58 #define JT_BACKUP                'B'  /* Backup Job */
  59 #define JT_MIGRATED_JOB          'M'  /* A previous backup job that was migrated */
  60 #define JT_VERIFY                'V'  /* Verify Job */
  61 #define JT_RESTORE               'R'  /* Restore Job */
  62 #define JT_CONSOLE               'c'  /* console program */
  63 #define JT_SYSTEM                'I'  /* internal system "job" */
  64 #define JT_ADMIN                 'D'  /* admin job */
  65 #define JT_ARCHIVE               'A'  /* Archive Job */
  66 #define JT_COPY                  'C'  /* Copy Job */
  67 #define JT_MIGRATE               'g'  /* Migration Job */
  68 #define JT_SCAN                  'S'  /* Scan Job */
  69
  70 /* Job Status. Some of these are stored in the DB */
  71 #define JS_Created               'C'  /* created but not yet running */
  72 #define JS_Running               'R'  /* running */
  73 #define JS_Blocked               'B'  /* blocked */
  74 #define JS_Terminated            'T'  /* terminated normally */
  75 #define JS_ErrorTerminated       'E'  /* Job terminated in error */
  76 #define JS_Error                 'e'  /* Non-fatal error */
  77 #define JS_FatalError            'f'  /* Fatal error */
  78 #define JS_Differences           'D'  /* Verify differences */
  79 #define JS_Canceled              'A'  /* canceled by user */
  80 #define JS_WaitFD                'F'  /* waiting on File daemon */
  81 #define JS_WaitSD                'S'  /* waiting on the Storage daemon */
  82 #define JS_WaitMedia             'm'  /* waiting for new media */
  83 #define JS_WaitMount             'M'  /* waiting for Mount */
  84 #define JS_WaitStoreRes          's'  /* Waiting for storage resource */
  85 #define JS_WaitJobRes            'j'  /* Waiting for job resource */
  86 #define JS_WaitClientRes         'c'  /* Waiting for Client resource */
  87 #define JS_WaitMaxJobs           'd'  /* Waiting for maximum jobs */
  88 #define JS_WaitStartTime         't'  /* Waiting for start time */
  89 #define JS_WaitPriority          'p'  /* Waiting for higher priority jobs to finish */
  90
  91 /* Migration selection types */
  92 enum {
  93    MT_SMALLEST_VOL = 1,
  94    MT_OLDEST_VOL,
  95    MT_POOL_OCCUPANCY,
  96    MT_POOL_TIME,
  97    MT_CLIENT,
  98    MT_VOLUME,
  99    MT_JOB,
 100    MT_SQLQUERY
 101 };
 102
 103 #define job_canceled(jcr) \
 104   (jcr->JobStatus == JS_Canceled || \
 105    jcr->JobStatus == JS_ErrorTerminated || \
 106    jcr->JobStatus == JS_FatalError)
 107
 108 #define foreach_jcr(jcr) \
 109    for (jcr=jcr_walk_start(); jcr; (jcr=jcr_walk_next(jcr)) )
 110
 111 #define endeach_jcr(jcr) jcr_walk_end(jcr)
 112
 113 #define SD_APPEND 1
 114 #define SD_READ   0
 115
 116 /* Forward referenced structures */
 117 class JCR;
 118 struct FF_PKT;
 119 struct B_DB;
 120 struct ATTR_DBR;
 121
 122 typedef void (JCR_free_HANDLER)(JCR *jcr);
 123
 124 /* Job Control Record (JCR) */
 125 class JCR {
 126 private:
 127    pthread_mutex_t mutex;             /* jcr mutex */
 128    volatile int _use_count;           /* use count */
 129 public:
 130    void lock() {P(mutex); };
 131    void unlock() {V(mutex); };
 132    void inc_use_count(void) {lock(); _use_count++; unlock(); };
 133    void dec_use_count(void) {lock(); _use_count--; unlock(); };
 134    int  use_count() { return _use_count; };
 135    void init_mutex(void) {pthread_mutex_init(&mutex, NULL); };
 136    void destroy_mutex(void) {pthread_mutex_destroy(&mutex); };
 137    bool is_job_canceled() {return job_canceled(this); };
 138
 139    /* Global part of JCR common to all daemons */
 140    dlink link;                        /* JCR chain link */
 141    pthread_t my_thread_id;            /* id of thread controlling jcr */
 142    BSOCK *dir_bsock;                  /* Director bsock or NULL if we are him */
 143    BSOCK *store_bsock;                /* Storage connection socket */
 144    BSOCK *file_bsock;                 /* File daemon connection socket */
 145    JCR_free_HANDLER *daemon_free_jcr; /* Local free routine */
 146    dlist *msg_queue;                  /* Queued messages */
 147    alist job_end_push;                /* Job end pushed calls */
 148    bool dequeuing;                    /* dequeuing messages */
 149    POOLMEM *VolumeName;               /* Volume name desired -- pool_memory */
 150    POOLMEM *errmsg;                   /* edited error message */
 151    char Job[MAX_NAME_LENGTH];         /* Unique name of this Job */
 152    char event[MAX_NAME_LENGTH];       /* Current event */
 153    uint32_t JobId;                    /* Director's JobId */
 154    uint32_t VolSessionId;
 155    uint32_t VolSessionTime;
 156    uint32_t JobFiles;                 /* Number of files written, this job */
 157    uint32_t JobErrors;                /* */
 158    uint64_t JobBytes;                 /* Number of bytes processed this job */
 159    uint64_t ReadBytes;                /* Bytes read -- before compression */
 160    uint32_t Errors;                   /* Number of non-fatal errors */
 161    volatile int JobStatus;            /* ready, running, blocked, terminated */
 162    int JobType;                       /* backup, restore, verify ... */
 163    int JobLevel;                      /* Job level */
 164    int JobPriority;                   /* Job priority */
 165    time_t sched_time;                 /* job schedule time, i.e. when it should start */
 166    time_t start_time;                 /* when job actually started */
 167    time_t run_time;                   /* used for computing speed */
 168    time_t end_time;                   /* job end time */
 169    POOLMEM *client_name;              /* client name */
 170    POOLMEM *RestoreBootstrap;         /* Bootstrap file to restore */
 171    POOLMEM *stime;                    /* start time for incremental/differential */
 172    char *sd_auth_key;                 /* SD auth key */
 173    MSGS *jcr_msgs;                    /* Copy of message resource -- actually used */
 174    uint32_t ClientId;                 /* Client associated with Job */
 175    char *where;                       /* prefix to restore files to */
 176    char *RegexWhere;                  /* file relocation in restore */
 177    alist *where_bregexp;              /* BREGEXP alist for path manipulation */
 178    int cached_pnl;                    /* cached path length */
 179    POOLMEM *cached_path;              /* cached path */
 180    bool prefix_links;                 /* Prefix links with Where path */
 181    bool gui;                          /* set if gui using console */
 182    bool authenticated;                /* set when client authenticated */
 183    void *Python_job;                  /* Python Job Object */
 184    void *Python_events;               /* Python Events Object */
 185
 186    bool cached_attribute;             /* set if attribute is cached */
 187    POOLMEM *attr;                     /* Attribute string from SD */
 188    B_DB *db;                          /* database pointer */
 189    B_DB *db_batch;                    /* database pointer for batch insert */
 190    ATTR_DBR *ar;                      /* DB attribute record */
 191
 192    /* Daemon specific part of JCR */
 193    /* This should be empty in the library */
 194
 195 #ifdef DIRECTOR_DAEMON
 196    /* Director Daemon specific data part of JCR */
 197    pthread_t SD_msg_chan;             /* Message channel thread id */
 198    pthread_cond_t term_wait;          /* Wait for job termination */
 199    workq_ele_t *work_item;            /* Work queue item if scheduled */
 200    volatile bool sd_msg_thread_done;  /* Set when Storage message thread terms */
 201    BSOCK *ua;                         /* User agent */
 202    JOB *job;                          /* Job resource */
 203    JOB *verify_job;                   /* Job resource of verify previous job */
 204    alist *rstorage;                   /* Read storage possibilities */
 205    STORE *rstore;                     /* Selected read storage */
 206    alist *wstorage;                   /* Write storage possibilities */
 207    STORE *wstore;                     /* Selected write storage */
 208    CLIENT *client;                    /* Client resource */
 209    POOL *pool;                        /* Pool resource = write for migration */
 210    POOL *rpool;                       /* Read pool. Used only in migration */
 211    POOL *full_pool;                   /* Full backup pool resource */
 212    POOL *inc_pool;                    /* Incremental backup pool resource */
 213    POOL *diff_pool;                   /* Differential backup pool resource */
 214    bool run_pool_override;
 215    bool run_full_pool_override;
 216    bool run_inc_pool_override;
 217    bool run_diff_pool_override;
 218    FILESET *fileset;                  /* FileSet resource */
 219    CAT *catalog;                      /* Catalog resource */
 220    MSGS *messages;                    /* Default message handler */
 221    uint32_t SDJobFiles;               /* Number of files written, this job */
 222    uint64_t SDJobBytes;               /* Number of bytes processed this job */
 223    uint32_t SDErrors;                 /* Number of non-fatal errors */
 224    volatile int SDJobStatus;          /* Storage Job Status */
 225    volatile int FDJobStatus;          /* File daemon Job Status */
 226    uint32_t ExpectedFiles;            /* Expected restore files */
 227    uint32_t MediaId;                  /* DB record IDs associated with this job */
 228    FileId_t FileId;                   /* Last file id inserted */
 229    uint32_t FileIndex;                /* Last FileIndex processed */
 230    POOLMEM *fname;                    /* name to put into catalog */
 231    JOB_DBR jr;                        /* Job DB record for current job */
 232    JOB_DBR previous_jr;               /* previous job database record */
 233    JOB *previous_job;                 /* Job resource of migration previous job */
 234    JCR *mig_jcr;                      /* JCR for migration/copy job */
 235    char FSCreateTime[MAX_TIME_LENGTH]; /* FileSet CreateTime as returned from DB */
 236    char since[MAX_TIME_LENGTH];       /* since time */
 237    union {
 238       JobId_t RestoreJobId;           /* Id specified by UA */
 239       JobId_t MigrateJobId;
 240    };
 241    POOLMEM *client_uname;             /* client uname */
 242    POOLMEM *pool_source;              /* Where pool came from */
 243    POOLMEM *rpool_source;             /* Where migrate read pool came from */
 244    POOLMEM *rstore_source;            /* Where read storage came from */
 245    POOLMEM *wstore_source;            /* Where write storage came from */
 246    int replace;                       /* Replace option */
 247    int NumVols;                       /* Number of Volume used in pool */
 248    int reschedule_count;              /* Number of times rescheduled */
 249    bool spool_data;                   /* Spool data in SD */
 250    bool acquired_resource_locks;      /* set if resource locks acquired */
 251    bool term_wait_inited;             /* Set when cond var inited */
 252    bool fn_printed;                   /* printed filename */
 253    bool write_part_after_job;         /* Write part after job in SD */
 254    bool needs_sd;                     /* set if SD needed by Job */
 255    bool cloned;                       /* set if cloned */
 256    bool unlink_bsr;                   /* Unlink bsr file created */
 257    bool VSS;                          /* VSS used by FD */
 258    bool Encrypt;                      /* Encryption used by FD */
 259 #endif /* DIRECTOR_DAEMON */
 260
 261
 262 #ifdef FILE_DAEMON
 263    /* File Daemon specific part of JCR */
 264    uint32_t num_files_examined;       /* files examined this job */
 265    POOLMEM *last_fname;               /* last file saved/verified */
 266    POOLMEM *acl_text;                 /* text of ACL for backup */
 267    int last_type;                     /* type of last file saved/verified */
 268    /*********FIXME********* add missing files and files to be retried */
 269    int incremental;                   /* set if incremental for SINCE */
 270    time_t mtime;                      /* begin time for SINCE */
 271    int listing;                       /* job listing in estimate */
 272    long Ticket;                       /* Ticket */
 273    char *big_buf;                     /* I/O buffer */
 274    POOLMEM *compress_buf;             /* Compression buffer */
 275    int32_t compress_buf_size;         /* Length of compression buffer */
 276    void *pZLIB_compress_workset;      /* zlib compression session data */
 277    int replace;                       /* Replace options */
 278    int buf_size;                      /* length of buffer */
 279    FF_PKT *ff;                        /* Find Files packet */
 280    char stored_addr[MAX_NAME_LENGTH]; /* storage daemon address */
 281    uint32_t StartFile;
 282    uint32_t EndFile;
 283    uint32_t StartBlock;
 284    uint32_t EndBlock;
 285    pthread_t heartbeat_id;            /* id of heartbeat thread */
 286    volatile BSOCK *hb_bsock;          /* duped SD socket */
 287    volatile BSOCK *hb_dir_bsock;      /* duped DIR socket */
 288    alist *RunScripts;                 /* Commands to run before and after job */
 289    bool pki_sign;                     /* Enable PKI Signatures? */
 290    bool pki_encrypt;                  /* Enable PKI Encryption? */
 291    DIGEST *digest;                    /* Last file's digest context */
 292    X509_KEYPAIR *pki_keypair;         /* Encryption key pair */
 293    alist *pki_signers;                /* Trusted Signers */
 294    alist *pki_recipients;             /* Trusted Recipients */
 295    CRYPTO_SESSION *pki_session;       /* PKE Public Keys + Symmetric Session Keys */
 296    uint8_t *pki_session_encoded;      /* Cached DER-encoded copy of pki_session */
 297    int32_t pki_session_encoded_size;  /* Size of DER-encoded pki_session */
 298    POOLMEM *crypto_buf;               /* Encryption/Decryption buffer */
 299    DIRRES* director;                  /* Director resource */
 300 #endif /* FILE_DAEMON */
 301
 302
 303 #ifdef STORAGE_DAEMON
 304    /* Storage Daemon specific part of JCR */
 305    JCR *next_dev;                     /* next JCR attached to device */
 306    JCR *prev_dev;                     /* previous JCR attached to device */
 307    pthread_cond_t job_start_wait;     /* Wait for FD to start Job */
 308    int type;
 309    DCR *read_dcr;                     /* device context for reading */
 310    DCR *dcr;                          /* device context record */
 311    alist *dcrs;                       /* list of dcrs open */
 312    POOLMEM *job_name;                 /* base Job name (not unique) */
 313    POOLMEM *fileset_name;             /* FileSet */
 314    POOLMEM *fileset_md5;              /* MD5 for FileSet */
 315    VOL_LIST *VolList;                 /* list to read */
 316    int32_t NumWriteVolumes;           /* number of volumes written */
 317    int32_t NumReadVolumes;            /* total number of volumes to read */
 318    int32_t CurReadVolume;             /* current read volume number */
 319    int label_errors;                  /* count of label errors */
 320    bool session_opened;
 321    long Ticket;                       /* ticket for this job */
 322    bool ignore_label_errors;          /* ignore Volume label errors */
 323    bool spool_attributes;             /* set if spooling attributes */
 324    bool no_attributes;                /* set if no attributes wanted */
 325    bool spool_data;                   /* set to spool data */
 326    int CurVol;                        /* Current Volume count */
 327    DIRRES* director;                  /* Director resource */
 328    alist *write_store;                /* list of write storage devices sent by DIR */
 329    alist *read_store;                 /* list of read devices sent by DIR */
 330    alist *reserve_msgs;               /* reserve fail messages */
 331    bool write_part_after_job;         /* Set to write part after job */
 332    bool PreferMountedVols;            /* Prefer mounted vols rather than new */
 333
 334    uint32_t FileId;                   /* Last file id inserted */
 335
 336    /* Parmaters for Open Read Session */
 337    BSR *bsr;                          /* Bootstrap record -- has everything */
 338    bool mount_next_volume;            /* set to cause next volume mount */
 339    uint32_t read_VolSessionId;
 340    uint32_t read_VolSessionTime;
 341    uint32_t read_StartFile;
 342    uint32_t read_EndFile;
 343    uint32_t read_StartBlock;
 344    uint32_t read_EndBlock;
 345    /* Device wait times */
 346    int min_wait;
 347    int max_wait;
 348    int max_num_wait;
 349    int wait_sec;
 350    int rem_wait_sec;
 351    int num_wait;
 352
 353 #endif /* STORAGE_DAEMON */
 354
 355 };
 356
 357 /*
 358  * Structure for all daemons that keeps some summary
 359  *  info on the last job run.
 360  */
 361 struct s_last_job {
 362    dlink link;
 363    int Errors;                        /* FD/SD errors */
 364    int JobType;
 365    int JobStatus;
 366    int JobLevel;
 367    uint32_t JobId;
 368    uint32_t VolSessionId;
 369    uint32_t VolSessionTime;
 370    uint32_t JobFiles;
 371    uint64_t JobBytes;
 372    time_t start_time;
 373    time_t end_time;
 374    char Job[MAX_NAME_LENGTH];
 375 };
 376
 377 extern struct s_last_job last_job;
 378 extern DLL_IMP_EXP dlist * last_jobs;
 379
 380
 381 /* The following routines are found in lib/jcr.c */
 382 extern bool init_jcr_subsystem(void);
 383 extern JCR *new_jcr(int size, JCR_free_HANDLER *daemon_free_jcr);
 384 extern JCR *get_jcr_by_id(uint32_t JobId);
 385 extern JCR *get_jcr_by_session(uint32_t SessionId, uint32_t SessionTime);
 386 extern JCR *get_jcr_by_partial_name(char *Job);
 387 extern JCR *get_jcr_by_full_name(char *Job);
 388 extern JCR *get_next_jcr(JCR *jcr);
 389 extern void set_jcr_job_status(JCR *jcr, int JobStatus);
 390 extern int DLL_IMP_EXP num_jobs_run;
 391
 392 #ifdef DEBUG
 393 extern void b_free_jcr(const char *file, int line, JCR *jcr);
 394 #define free_jcr(jcr) b_free_jcr(__FILE__, __LINE__, (jcr))
 395 #else
 396 extern void free_jcr(JCR *jcr);
 397 #endif
 398
 399 #endif /* __JCR_H_ */