]> git.sur5r.net Git - bacula/docs/blob - docs/manuals/en/main/newfeatures.tex
Cleanup newfeatures
[bacula/docs] / docs / manuals / en / main / newfeatures.tex
1 \chapter{Community Bacula New Features in 5.1.x}
2 This chapter presents the new features that have been added to the
3 current Community version of Bacula that is under development. This version will be
4 released at some later date, probably near the end of April 2011.
5
6 There are additional features (plugins) available in the Enterprise version
7 that are described in another chapter. A subscription to Bacula Systems
8 is required for the Enterprise version.
9
10 \section{New Tray Monitor}
11
12 Since the old integrated Windows tray monitor doesn't work anymore with
13 recent Windows versions, we have written a new Qt Tray Monitor that is available
14 for both Linux and Windows.  This new version allows you to run Backup from
15 the tray monitor menu.
16
17 \begin{figure}[htbp]
18   \centering
19   \includegraphics[width=10cm]{\idir tray-monitor}
20   \label{fig:traymonitor}
21   \caption{New tray monitor}
22 \end{figure}
23
24 \begin{figure}[htbp]
25   \centering
26   \includegraphics[width=10cm]{\idir tray-monitor1}
27   \label{fig:traymonitor1}
28   \caption{Run a Job through the new tray monitor}
29 \end{figure}
30
31 \medskip
32 This project was funded by Bacula Systems and is available with Bacula
33 the Enterprise Edition and the Community Edition.
34
35 \section{Purge Migration Job}
36
37 The new {\bf Purge Migration Job} directive may be added to the Migration
38 Job definition in the Director's configuration file. When it is enabled 
39 the Job that was migrated during a migration will be purged at
40 the end of the migration job.
41
42 For example:
43 \begin{verbatim}
44 Job {
45   Name = "migrate-job"
46   Type = Migrate
47   Level = Full
48   Client = localhost-fd
49   FileSet = "Full Set"
50   Messages = Standard
51   Storage = DiskChanger
52   Pool = Default
53   Selection Type = Job
54   Selection Pattern = ".*Save"
55 ...
56   Purge Migrated Job = yes
57 }
58 \end{verbatim}
59
60 \medskip
61
62 This project was submited by Dunlap Blake, testing and documentation was funded
63 by Bacula Systems.
64
65
66 \section{SQL Catalog Enhancements}
67
68 % TODO: Marco can explain more things
69 Bacula uses a new catalog backend structure, it allows to build all SQL drivers
70 with the same \texttt{./configure ; make} session.
71
72 We also added cursor support for PostgreSQL backend, this improves memory usage
73 for large installation.
74
75 \section{Changes in Bvfs (Bacula Virtual FileSystem)}
76
77 Bat has now a bRestore panel that uses Bvfs to display files and
78 directories. It's still experimental.
79
80 \begin{figure}[htbp]
81   \centering
82   \includegraphics[width=12cm]{\idir bat-brestore}
83   \label{fig:batbrestore}
84   \caption{Bat Brestore Panel}
85 \end{figure}
86
87 \texttt{Important}, the Bvfs module is not currently compatible with BaseJobs,
88 Copy and Migration jobs.
89
90 \medskip
91 This project was funded by Bacula Systems.
92
93 \subsection*{General notes}
94
95 \begin{itemize}
96 \item All fields are separated by a tab
97 \item You can specify \texttt{limit=} and \texttt{offset=} to list smoothly
98   records in very big directories
99 \item All operations (except cache creation) are designed to run instantly
100 \item At this time, Bvfs works faster on PostgreSQL than MySQL catalog. If you
101   can contribute new faster SQL queries we will be happy, else don't complain
102   about speed.
103 \item The cache creation is dependent of the number of directories. As Bvfs
104   shares information accross jobs, the first creation can be slow
105 \item All fields are separated by a tab
106 \item Due to potential encoding problem, it's advised to allways use pathid in
107   queries.
108 \end{itemize}
109
110 \subsection*{Get dependent jobs from a given JobId}
111
112 Bvfs allows you to query the catalog against any combination of jobs. You
113 can combine all Jobs and all FileSet for a Client in a single session.
114
115 To get all JobId needed to restore a particular job, you can use the
116 \texttt{.bvfs\_get\_jobids} command.
117
118 \begin{verbatim}
119 .bvfs_get_jobids jobid=num [all]
120 \end{verbatim}
121
122 \begin{verbatim}
123 .bvfs_get_jobids jobid=10
124 1,2,5,10
125 .bvfs_get_jobids jobid=10 all
126 1,2,3,5,10
127 \end{verbatim}
128
129 In this example, a normal restore will need to use JobIds 1,2,5,10 to
130 compute a complete restore of the system.
131
132 With the \texttt{all} option, the Director will use all defined FileSet for
133 this client.
134
135 \subsection*{Generating Bvfs cache}
136
137 The \texttt{.bvfs\_update} command computes the directory cache for jobs
138 specified in argument, or for all jobs if unspecified.
139
140 \begin{verbatim}
141 .bvfs_update [jobid=numlist]
142 \end{verbatim}
143
144 Example:
145 \begin{verbatim}
146 .bvfs_update jobid=1,2,3
147 \end{verbatim}
148
149 You can run the cache update process in a RunScript after the catalog backup.
150
151 \subsection*{Get all versions of a specific file}
152
153 Bvfs allows you to find all versions of a specific file for a given Client with
154 the \texttt{.bvfs\_version} command. To avoid problems with encoding, this
155 function uses only PathId and FilenameId. The jobid argument is mandatory but
156 unused.
157
158 \begin{verbatim}
159 .bvfs_versions client=filedaemon pathid=num filenameid=num jobid=1
160 PathId FilenameId FileId JobId LStat Md5 VolName Inchanger
161 PathId FilenameId FileId JobId LStat Md5 VolName Inchanger
162 ...
163 \end{verbatim}
164
165 Example:
166
167 \begin{verbatim}
168 .bvfs_versions client=localhost-fd pathid=1 fnid=47 jobid=1
169 1  47  52  12  gD HRid IGk D Po Po A P BAA I A   /uPgWaxMgKZlnMti7LChyA  Vol1  1
170 \end{verbatim}
171
172 \subsection*{List directories}
173
174 Bvfs allows you to list directories in a specific path.
175 \begin{verbatim}
176 .bvfs_lsdirs pathid=num path=/apath jobid=numlist limit=num offset=num
177 PathId  FilenameId  FileId  JobId  LStat  Path
178 PathId  FilenameId  FileId  JobId  LStat  Path
179 PathId  FilenameId  FileId  JobId  LStat  Path
180 ...
181 \end{verbatim}
182
183 You need to \texttt{pathid} or \texttt{path}. Using \texttt{path=""} will list
184 ``/'' on Unix and all drives on Windows.  If FilenameId is 0, the record
185 listed is a directory.
186
187 \begin{verbatim}
188 .bvfs_lsdirs pathid=4 jobid=1,11,12
189 4       0       0       0       A A A A A A A A A A A A A A     .
190 5       0       0       0       A A A A A A A A A A A A A A     ..
191 3       0       0       0       A A A A A A A A A A A A A A     regress/
192 \end{verbatim}
193
194 In this example, to list directories present in \texttt{regress/}, you can use
195 \begin{verbatim}
196 .bvfs_lsdirs pathid=3 jobid=1,11,12
197 3       0       0       0       A A A A A A A A A A A A A A     .
198 4       0       0       0       A A A A A A A A A A A A A A     ..
199 2       0       0       0       A A A A A A A A A A A A A A     tmp/
200 \end{verbatim}
201
202 \subsection*{List files}
203
204 Bvfs allows you to list files in a specific path.
205 \begin{verbatim}
206 .bvfs_lsfiles pathid=num path=/apath jobid=numlist limit=num offset=num
207 PathId  FilenameId  FileId  JobId  LStat  Path
208 PathId  FilenameId  FileId  JobId  LStat  Path
209 PathId  FilenameId  FileId  JobId  LStat  Path
210 ...
211 \end{verbatim}
212
213 You need to \texttt{pathid} or \texttt{path}. Using \texttt{path=""} will list
214 ``/'' on Unix and all drives on Windows. If FilenameId is 0, the record listed
215 is a directory.
216
217 \begin{verbatim}
218 .bvfs_lsfiles pathid=4 jobid=1,11,12
219 4       0       0       0       A A A A A A A A A A A A A A     .
220 5       0       0       0       A A A A A A A A A A A A A A     ..
221 1       0       0       0       A A A A A A A A A A A A A A     regress/
222 \end{verbatim}
223
224 In this example, to list files present in \texttt{regress/}, you can use
225 \begin{verbatim}
226 .bvfs_lsfiles pathid=1 jobid=1,11,12
227 1   47   52   12    gD HRid IGk BAA I BMqcPH BMqcPE BMqe+t A     titi
228 1   49   53   12    gD HRid IGk BAA I BMqe/K BMqcPE BMqe+t B     toto
229 1   48   54   12    gD HRie IGk BAA I BMqcPH BMqcPE BMqe+3 A     tutu
230 1   45   55   12    gD HRid IGk BAA I BMqe/K BMqcPE BMqe+t B     ficheriro1.txt
231 1   46   56   12    gD HRie IGk BAA I BMqe/K BMqcPE BMqe+3 D     ficheriro2.txt
232 \end{verbatim}
233
234 \subsection*{Restore set of files}
235
236 Bvfs allows you to create a SQL table that contains files that you want to
237 restore. This table can be provided to a restore command with the file option.
238
239 \begin{verbatim}
240 .bvfs_restore fileid=numlist dirid=numlist hardlink=numlist path=b2num
241 OK
242 restore file=?b2num ...
243 \end{verbatim}
244
245 To include a directory (with \texttt{dirid}), Bvfs needs to run a query to
246 select all files. This query could be time consuming.
247
248 \texttt{hardlink} list is always composed of a serie of two numbers (jobid,
249 fileindex). This information can be found in the LinkFI field of the LStat
250 packet.
251
252 The \texttt{path} argument represents the name of the table that Bvfs will
253 store results. The format of this table is \texttt{b2[0-9]+}. (Should start by
254 b2 and followed by digits).
255
256 Example:
257
258 \begin{verbatim}
259 .bvfs_restore fileid=1,2,3,4 hardlink=10,15,10,20 jobid=10 path=b20001
260 OK
261 \end{verbatim}
262
263 \subsection*{Cleanup after restore}
264
265 To drop the table used by the restore command, you can use the
266 \texttt{.bvfs\_cleanup} command.
267
268 \begin{verbatim}
269 .bvfs_cleanup path=b20001
270 \end{verbatim}
271
272 \section{Changes in the pruning algorithm}
273
274 We rewrote the job pruning algorithm in this version. Previously, in some users
275 reported that the pruning process at the end of jobs was very long. It should
276 not be longer the case. Now, Bacula won't prune automatically a Job if this
277 particular Job is needed to restore data. Example:
278
279 \begin{verbatim}
280 JobId: 1  Level: Full
281 JobId: 2  Level: Incremental
282 JobId: 3  Level: Incremental
283 JobId: 4  Level: Differential
284 .. Other incrementals up to now
285 \end{verbatim}
286
287 In this example, if the Job Retention defined in the Pool or in the Client
288 resource causes that Jobs with Jobid in 1,2,3,4 can be pruned, Bacula will
289 detect that JobId 1 and 4 are essential to restore data at the current state
290 and will prune only JobId 2 and 3.
291
292 \texttt{Important}, this change affect only the automatic pruning step after a
293 Job and the \texttt{prune jobs} Bconsole command. If a volume expires after the
294 \texttt{VolumeRetention} period, important jobs can be pruned.
295
296 \section{Ability to Verify any specified Job}
297 You now have the ability to tell Bacula which Job should verify instead of
298 automatically verify just the last one.
299
300 This feature can be used with VolumeToCatalog, DiskToCatalog and Catalog level.
301
302 To verify a given job, just specify the Job jobid in argument when starting the
303 job.
304 \begin{verbatim}
305 *run job=VerifyVolume jobid=1 level=VolumeToCatalog
306 Run Verify job
307 JobName:     VerifyVolume
308 Level:       VolumeToCatalog
309 Client:      127.0.0.1-fd
310 FileSet:     Full Set
311 Pool:        Default (From Job resource)
312 Storage:     File (From Job resource)
313 Verify Job:  VerifyVol.2010-09-08_14.17.17_03
314 Verify List: /tmp/regress/working/VerifyVol.bsr
315 When:        2010-09-08 14:17:31
316 Priority:    10
317 OK to run? (yes/mod/no):
318 \end{verbatim}
319
320 \medskip
321 This project was funded by Bacula Systems and is available with Bacula
322 Enterprise Edition and Community Edition.
323
324 \section{Additions to RunScript variables}
325 You can have access to JobBytes and JobFiles using \%b and \%f in your runscript
326 command. The Client address is now available through \%h.
327
328 \begin{verbatim}
329 RunAfterJob = "/bin/echo Job=%j JobBytes=%b JobFiles=%f ClientAddress=%h"
330 \end{verbatim}
331
332 %\section{Changes in drivetype.exe}
333 %
334 %Now the \texttt{drivetype.exe} program allows you to list all local hard
335 %drives. It can help to build dynamic FileSet on Windows.
336 %
337 %\begin{verbatim}
338 %File = "\\|\"c:/program files/bacula/bin32/drivetype\" -l -a"
339 %\end{verbatim}
340 %
341
342 \section{ACL/Extended Attributes}
343
344 We added support for NFSv4 ACLs on FreeBSD 8.1 and IRIX extended attributes.
345
346 This project was funded by Marco van Wieringen.
347
348 \section{Additions to the Plugin API}
349 The bfuncs structure has been extended to include a number of
350 new entrypoints.
351
352 \subsection{bfuncs}
353 The bFuncs structure defines the callback entry points within Bacula
354 that the plugin can use register events, get Bacula values, set
355 Bacula values, and send messages to the Job output or debug output.
356
357 The exact definition as of this writing is:
358 \begin{verbatim}
359 typedef struct s_baculaFuncs {
360    uint32_t size;
361    uint32_t version;
362    bRC (*registerBaculaEvents)(bpContext *ctx, ...);
363    bRC (*getBaculaValue)(bpContext *ctx, bVariable var, void *value);
364    bRC (*setBaculaValue)(bpContext *ctx, bVariable var, void *value);
365    bRC (*JobMessage)(bpContext *ctx, const char *file, int line,
366        int type, utime_t mtime, const char *fmt, ...);
367    bRC (*DebugMessage)(bpContext *ctx, const char *file, int line,
368        int level, const char *fmt, ...);
369    void *(*baculaMalloc)(bpContext *ctx, const char *file, int line,
370        size_t size);
371    void (*baculaFree)(bpContext *ctx, const char *file, int line, void *mem);
372    
373    /* New functions follow */
374    bRC (*AddExclude)(bpContext *ctx, const char *file);
375    bRC (*AddInclude)(bpContext *ctx, const char *file);
376    bRC (*AddIncludeOptions)(bpContext *ctx, const char *opts);
377    bRC (*AddRegex)(bpContext *ctx, const char *item, int type);
378    bRC (*AddWild)(bpContext *ctx, const char *item, int type);
379    bRC (*checkChanges)(bpContext *ctx, struct save_pkt *sp);
380
381 } bFuncs;
382 \end{verbatim}
383
384 \begin{description}
385 \item [AddExclude] can be called to exclude a file. The file
386   string passed may include wildcards that will be interpreted by
387   the {\bf fnmatch} subroutine. This function can be called 
388   multiple times, and each time the file specified will be added
389   to the list of files to be excluded. Note, this function only
390   permits adding excludes of specific file or directory names,
391   or files matched by the rather simple fnmatch mechanism.
392   See below for information on doing wild-card and regex excludes.
393
394 \item [NewInclude] can be called to create a new Include block. This
395   block will be added before any user defined Include blocks. This
396   function can be called multiple times, but each time, it will create
397   a new Include section (not normally needed). This function should
398   be called only if you want to add an entirely new Include block.
399
400 \item [AddInclude] can be called to add new files/directories to
401   be included.  They are added to the current Include block. If
402   NewInclude has not been included, the current Include block is
403   the last one that the user created. This function
404   should be used only if you want to add totally new files/directories
405   to be included in the backup. 
406
407 \item [NewOptions] adds a new Options block to the current Include
408   in front of any other Options blocks. This permits the plugin to
409   add exclude directives (wild-cards and regexes) in front of the
410   user Options, and thus prevent certain files from being backed up.
411   This can be useful if the plugin backs up files, and they should
412   not be also backed up by the main Bacula code.  This function
413   may be called multiple times, and each time, it creates a new
414   prepended Options block. Note: normally you want to call this 
415   entry point prior to calling AddOptions, AddRegex, or AddWild.
416   
417 \item [AddOptions] allows the plugin it set options in
418   the current Options block, which is normally created with the
419   NewOptions call just prior to adding Include Options.
420   The permitted options are passed as a character string, where
421   each character has a specific meaning as defined below:
422
423   \begin{description}
424   \item [a] always replace files (default).
425   \item [e] exclude rather than include.
426   \item [h] no recursion into subdirectories.
427   \item [H] do not handle hard links.
428   \item [i] ignore case in wildcard and regex matches.
429   \item [M] compute an MD5 sum.
430   \item [p] use a portable data format on Windows (not recommended).
431   \item [R] backup resource forks and Findr Info.
432   \item [r] read from a fifo
433   \item [S1] compute an SHA1 sum.
434   \item [S2] compute an SHA256 sum.
435   \item [S3] comput an SHA512 sum.
436   \item [s] handle sparse files.
437   \item [m] use st\_mtime only for file differences.
438   \item [k] restore the st\_atime after accessing a file.
439   \item [A] enable ACL backup.
440   \item [Vxxx:] specify verify options. Must terminate with :
441   \item [Cxxx:] specify accurate options. Must terminate with :
442   \item [Jxxx:] specify base job Options. Must terminate with :
443   \item [Pnnn:] specify integer nnn paths to strip. Must terminate with :
444   \item [w] if newer
445   \item [Zn] specify gzip compression level n.
446   \item [K] do not use st\_atime in backup decision.
447   \item [c] check if file changed during backup.
448   \item [N] honor no dump flag.
449   \item [X] enable backup of extended attributes.
450   \end{description}
451
452 \item [AddRegex] adds a regex expression to the current Options block.
453   The fillowing options are permitted:
454   \begin{description}
455   \item [ ] (a blank) regex applies to whole path and filename.
456   \item [F] regex applies only to the filename (directory or path stripped).
457   \item [D] regex applies only to the directory (path) part of the name.
458   \end{description}
459
460 \item [AddWild] adds a wildcard expression to the current Options block.
461   The fillowing options are permitted:
462   \begin{description}
463   \item [ ] (a blank) regex applies to whole path and filename.
464   \item [F] regex applies only to the filename (directory or path stripped).
465   \item [D] regex applies only to the directory (path) part of the name.
466   \end{description}
467
468 \item [checkChanges] call the \texttt{check\_changes()} function in Bacula code
469   that can use Accurate code to compare the file information in argument with
470   the previous file information. The \texttt{delta\_seq} attribute of the
471   \texttt{save\_pkt} will be updated, and the call will return
472   \texttt{bRC\_Seen} if the core code wouldn't decide to backup it.
473   
474 \end{description}
475   
476
477 \subsection{Bacula events}
478 The list of events has been extended to include:
479
480 \begin{verbatim}
481 typedef enum {
482   bEventJobStart        = 1,
483   bEventJobEnd          = 2,
484   bEventStartBackupJob  = 3,
485   bEventEndBackupJob    = 4,
486   bEventStartRestoreJob = 5,
487   bEventEndRestoreJob   = 6,
488   bEventStartVerifyJob  = 7,
489   bEventEndVerifyJob    = 8,
490   bEventBackupCommand   = 9,
491   bEventRestoreCommand  = 10,
492   bEventLevel           = 11,
493   bEventSince           = 12,
494    
495   /* New events */
496   bEventCancelCommand                   = 13,
497   bEventVssBackupAddComponents          = 14,
498   bEventVssRestoreLoadComponentMetadata = 15,
499   bEventVssRestoreSetComponentsSelected = 16,
500   bEventRestoreObject                   = 17,
501   bEventEndFileSet                      = 18,
502   bEventPluginCommand                   = 19,
503   bEventVssBeforeCloseRestore           = 20,
504   bEventVssPrepareSnapshot              = 21
505
506 } bEventType;
507 \end{verbatim}
508
509 \begin{description}
510 \item [bEventCancelCommand] is called whenever the currently
511   running Job is cancelled */
512
513 \item [bEventVssBackupAddComponents] 
514
515 \item [bEventVssPrepareSnapshot] is called before creating VSS snapshots, it
516   provides a char[27] table where the plugin can add Windows drives that will
517   be used during the Job. You need to add them without duplicates, and you can
518   use in \texttt{fd\_common.h} \texttt{add\_drive()} and \texttt{copy\_drives()}
519   for this purpose.
520 \end{description}
521
522 \chapter{Release Version 5.0.3}
523
524 There are no new features in version 5.0.2.  This version simply fixes a
525 number of bugs found in version 5.0.1 during the onging development
526 process.
527
528 \chapter{Release Version 5.0.2}
529
530 There are no new features in version 5.0.2.  This version simply fixes a
531 number of bugs found in version 5.0.1 during the onging development
532 process.
533
534 %%
535 %%
536
537 \chapter{New Features in 5.0.1}
538
539 This chapter presents the new features that are in the released Bacula version
540 5.0.1. This version mainly fixes a number of bugs found in version 5.0.0 during
541 the onging development process.
542
543 \section{Truncate Volume after Purge}
544 \label{sec:actiononpurge}
545
546 The Pool directive \textbf{ActionOnPurge=Truncate} instructs Bacula to truncate
547 the volume when it is purged with the new command \texttt{purge volume
548   action}. It is useful to prevent disk based volumes from consuming too much
549 space.
550
551 \begin{verbatim}
552 Pool {
553   Name = Default
554   Action On Purge = Truncate
555   ...
556 }
557 \end{verbatim}
558
559 As usual you can also set this property with the \texttt{update volume} command
560 \begin{verbatim}
561 *update volume=xxx ActionOnPurge=Truncate
562 *update volume=xxx actiononpurge=None
563 \end{verbatim}
564
565 To ask Bacula to truncate your \texttt{Purged} volumes, you need to use the
566 following command in interactive mode or in a RunScript as shown after:
567 \begin{verbatim}
568 *purge volume action=truncate storage=File allpools
569 # or by default, action=all
570 *purge volume action storage=File pool=Default
571 \end{verbatim}
572
573 This is possible to specify the volume name, the media type, the pool, the
574 storage, etc\dots (see \texttt{help purge}) Be sure that your storage device is
575 idle when you decide to run this command.
576
577 \begin{verbatim}
578 Job {
579  Name = CatalogBackup
580  ...
581  RunScript {
582    RunsWhen=After
583    RunsOnClient=No
584    Console = "purge volume action=all allpools storage=File"
585  }
586 }
587 \end{verbatim}
588
589 \textbf{Important note}: This feature doesn't work as
590 expected in version 5.0.0. Please do not use it before version 5.0.1.
591
592 \section{Allow Higher Duplicates}
593 This directive did not work correctly and has been depreciated
594 (disabled) in version 5.0.1. Please remove it from your bacula-dir.conf
595 file as it will be removed in a future rlease.
596
597 \section{Cancel Lower Level Duplicates}
598 This directive was added in Bacula version 5.0.1.  It compares the
599 level of a new backup job to old jobs of the same name, if any,
600 and will kill the job which has a lower level than the other one.
601 If the levels are the same (i.e. both are Full backups), then 
602 nothing is done and the other Cancel XXX Duplicate directives
603 will be examined.
604
605 \chapter{New Features in 5.0.0}
606
607 \section{Maximum Concurrent Jobs for Devices}
608 \label{sec:maximumconcurrentjobdevice}
609
610 {\bf Maximum Concurrent Jobs} is a new Device directive in the Storage
611 Daemon configuration permits setting the maximum number of Jobs that can
612 run concurrently on a specified Device.  Using this directive, it is
613 possible to have different Jobs using multiple drives, because when the
614 Maximum Concurrent Jobs limit is reached, the Storage Daemon will start new
615 Jobs on any other available compatible drive.  This facilitates writing to
616 multiple drives with multiple Jobs that all use the same Pool.
617
618 This project was funded by Bacula Systems.
619
620 \section{Restore from Multiple Storage Daemons}
621 \index[general]{Restore}
622
623 Previously, you were able to restore from multiple devices in a single Storage
624 Daemon. Now, Bacula is able to restore from multiple Storage Daemons. For
625 example, if your full backup runs on a Storage Daemon with an autochanger, and
626 your incremental jobs use another Storage Daemon with lots of disks, Bacula
627 will switch automatically from one Storage Daemon to an other within the same
628 Restore job.
629
630 You must upgrade your File Daemon to version 3.1.3 or greater to use this
631 feature.
632
633 This project was funded by Bacula Systems with the help of Equiinet.
634
635 \section{File Deduplication using Base Jobs}
636 A base job is sort of like a Full save except that you will want the FileSet to
637 contain only files that are unlikely to change in the future (i.e.  a snapshot
638 of most of your system after installing it).  After the base job has been run,
639 when you are doing a Full save, you specify one or more Base jobs to be used.
640 All files that have been backed up in the Base job/jobs but not modified will
641 then be excluded from the backup.  During a restore, the Base jobs will be
642 automatically pulled in where necessary.
643
644 This is something none of the competition does, as far as we know (except
645 perhaps BackupPC, which is a Perl program that saves to disk only).  It is big
646 win for the user, it makes Bacula stand out as offering a unique optimization
647 that immediately saves time and money.  Basically, imagine that you have 100
648 nearly identical Windows or Linux machine containing the OS and user files.
649 Now for the OS part, a Base job will be backed up once, and rather than making
650 100 copies of the OS, there will be only one.  If one or more of the systems
651 have some files updated, no problem, they will be automatically restored.
652
653 See the \ilink{Base Job Chapter}{basejobs} for more information.
654
655 This project was funded by Bacula Systems.
656
657 \section{AllowCompression = \lt{}yes\vb{}no\gt{}}
658 \index[dir]{AllowCompression}
659
660 This new directive may be added to Storage resource within the Director's
661 configuration to allow users to selectively disable the client compression for
662 any job which writes to this storage resource.
663
664 For example:
665 \begin{verbatim}
666 Storage {
667   Name = UltriumTape
668   Address = ultrium-tape
669   Password = storage_password # Password for Storage Daemon
670   Device = Ultrium
671   Media Type = LTO 3
672   AllowCompression = No # Tape drive has hardware compression
673 }
674 \end{verbatim}
675 The above example would cause any jobs running with the UltriumTape storage
676 resource to run without compression from the client file daemons.  This
677 effectively overrides any compression settings defined at the FileSet level.
678
679 This feature is probably most useful if you have a tape drive which supports
680 hardware compression.  By setting the \texttt{AllowCompression = No} directive
681 for your tape drive storage resource, you can avoid additional load on the file
682 daemon and possibly speed up tape backups.
683
684 This project was funded by Collaborative Fusion, Inc.
685
686 \section{Accurate Fileset Options}
687 \label{sec:accuratefileset}
688
689 In previous versions, the accurate code used the file creation and modification
690 times to determine if a file was modified or not. Now you can specify which
691 attributes to use (time, size, checksum, permission, owner, group, \dots),
692 similar to the Verify options.
693
694 \begin{verbatim}
695 FileSet {
696   Name = Full
697   Include = {
698     Options {
699        Accurate = mcs
700        Verify   = pin5
701     }
702     File = /
703   }
704 }
705 \end{verbatim}
706
707 \begin{description}  
708 \item {\bf i}  compare the inodes  
709 \item {\bf p}  compare the permission bits  
710 \item {\bf n}  compare the number of links  
711 \item {\bf u}  compare the user id  
712 \item {\bf g}  compare the group id  
713 \item {\bf s}  compare the size  
714 \item {\bf a}  compare the access time  
715 \item {\bf m}  compare the modification time (st\_mtime)  
716 \item {\bf c}  compare the change time (st\_ctime)  
717 \item {\bf d}  report file size decreases  
718 \item {\bf 5}  compare the MD5 signature  
719 \item {\bf 1}  compare the SHA1 signature  
720 \end{description}
721
722 \textbf{Important note:} If you decide to use checksum in Accurate jobs,
723 the File Daemon will have to read all files even if they normally would not
724 be saved.  This increases the I/O load, but also the accuracy of the
725 deduplication.  By default, Bacula will check modification/creation time
726 and size.
727
728 This project was funded by Bacula Systems.
729
730 \section{Tab-completion for Bconsole}
731 \label{sec:tabcompletion}
732
733 If you build \texttt{bconsole} with readline support, you will be able to use
734 the new auto-completion mode. This mode supports all commands, gives help
735 inside command, and lists resources when required. It works also in the restore
736 mode.
737
738 To use this feature, you should have readline development package loaded on
739 your system, and use the following option in configure.
740 \begin{verbatim}
741 ./configure --with-readline=/usr/include/readline --disable-conio ...
742 \end{verbatim}
743
744 The new bconsole won't be able to tab-complete with older directors.
745
746 This project was funded by Bacula Systems.
747
748 \section{Pool File and Job Retention}
749 \label{sec:poolfilejobretention}
750
751 We added two new Pool directives, \texttt{FileRetention} and
752 \texttt{JobRetention}, that take precedence over Client directives of the same
753 name. It allows you to control the Catalog pruning algorithm Pool by Pool. For
754 example, you can decide to increase Retention times for Archive or OffSite Pool.
755
756 It seems obvious to us, but apparently not to some users, that given the
757 definition above that the Pool File and Job Retention periods is a global
758 override for the normal Client based prunning, which means that when the
759 Job is prunned, the prunning will apply globally to that particular Job.
760
761 Currently, there is a bug in the implementation that causes any Pool 
762 retention periods specified to apply to {\bf all} Pools for that
763 particular Client.  Thus we suggest that you avoid using these two
764 directives until this implementation problem is corrected.
765
766 \section{Read-only File Daemon using capabilities}
767 \label{sec:fdreadonly}
768 This feature implements support of keeping \textbf{ReadAll} capabilities after
769 UID/GID switch, this allows FD to keep root read but drop write permission.
770
771 It introduces new \texttt{bacula-fd} option (\texttt{-k}) specifying that
772 \textbf{ReadAll} capabilities should be kept after UID/GID switch.
773
774 \begin{verbatim}
775 root@localhost:~# bacula-fd -k -u nobody -g nobody
776 \end{verbatim}
777
778 The code for this feature was contributed by our friends at AltLinux.
779
780 \section{Bvfs API}
781 \label{sec:bvfs}
782
783 To help developers of restore GUI interfaces, we have added new \textsl{dot
784   commands} that permit browsing the catalog in a very simple way.
785
786 \begin{itemize}
787 \item \texttt{.bvfs\_update [jobid=x,y,z]} This command is required to update
788   the Bvfs cache in the catalog. You need to run it before any access to the
789   Bvfs layer.
790
791 \item \texttt{.bvfs\_lsdirs jobid=x,y,z path=/path | pathid=101} This command
792   will list all directories in the specified \texttt{path} or
793   \texttt{pathid}. Using \texttt{pathid} avoids problems with character
794   encoding of path/filenames.
795
796 \item \texttt{.bvfs\_lsfiles jobid=x,y,z path=/path | pathid=101} This command
797   will list all files in the specified \texttt{path} or \texttt{pathid}. Using
798   \texttt{pathid} avoids problems with character encoding.
799 \end{itemize}
800
801 You can use \texttt{limit=xxx} and \texttt{offset=yyy} to limit the amount of
802 data that will be displayed.
803
804 \begin{verbatim}
805 * .bvfs_update jobid=1,2
806 * .bvfs_update
807 * .bvfs_lsdir path=/ jobid=1,2
808 \end{verbatim}
809
810 This project was funded by Bacula Systems.
811
812 \section{Testing your Tape Drive}
813 \label{sec:btapespeed}
814
815 To determine the best configuration of your tape drive, you can run the new
816 \texttt{speed} command available in the \texttt{btape} program.
817
818 This command can have the following arguments:
819 \begin{itemize}
820 \item[\texttt{file\_size=n}] Specify the Maximum File Size for this test
821   (between 1 and 5GB). This counter is in GB.
822 \item[\texttt{nb\_file=n}] Specify the number of file to be written. The amount
823   of data should be greater than your memory ($file\_size*nb\_file$).
824 \item[\texttt{skip\_zero}] This flag permits to skip tests with constant
825   data.
826 \item[\texttt{skip\_random}] This flag permits to skip tests with random
827   data.
828 \item[\texttt{skip\_raw}] This flag permits to skip tests with raw access.
829 \item[\texttt{skip\_block}] This flag permits to skip tests with Bacula block
830   access.
831 \end{itemize}
832
833 \begin{verbatim}
834 *speed file_size=3 skip_raw
835 btape.c:1078 Test with zero data and bacula block structure.
836 btape.c:956 Begin writing 3 files of 3.221 GB with blocks of 129024 bytes.
837 ++++++++++++++++++++++++++++++++++++++++++
838 btape.c:604 Wrote 1 EOF to "Drive-0" (/dev/nst0)
839 btape.c:406 Volume bytes=3.221 GB. Write rate = 44.128 MB/s
840 ...
841 btape.c:383 Total Volume bytes=9.664 GB. Total Write rate = 43.531 MB/s
842
843 btape.c:1090 Test with random data, should give the minimum throughput.
844 btape.c:956 Begin writing 3 files of 3.221 GB with blocks of 129024 bytes.
845 +++++++++++++++++++++++++++++++++++++++++++
846 btape.c:604 Wrote 1 EOF to "Drive-0" (/dev/nst0)
847 btape.c:406 Volume bytes=3.221 GB. Write rate = 7.271 MB/s
848 +++++++++++++++++++++++++++++++++++++++++++
849 ...
850 btape.c:383 Total Volume bytes=9.664 GB. Total Write rate = 7.365 MB/s
851
852 \end{verbatim}
853
854 When using compression, the random test will give your the minimum throughput
855 of your drive . The test using constant string will give you the maximum speed
856 of your hardware chain. (cpu, memory, scsi card, cable, drive, tape).
857
858 You can change the block size in the Storage Daemon configuration file.
859
860 \section{New {\bf Block Checksum} Device Directive}
861 You may now turn off the Block Checksum (CRC32) code
862 that Bacula uses when writing blocks to a Volume.  This is
863 done by adding:
864
865 \begin{verbatim}
866 Block Checksum = no
867 \end{verbatim}
868
869 doing so can reduce the Storage daemon CPU usage slightly.  It
870 will also permit Bacula to read a Volume that has corrupted data.
871
872 The default is {\bf yes} -- i.e. the checksum is computed on write
873 and checked on read. 
874
875 We do not recommend to turn this off particularly on older tape
876 drives or for disk Volumes where doing so may allow corrupted data
877 to go undetected.
878
879 \section{New Bat Features}
880
881 Those new features were funded by Bacula Systems.
882
883 \subsection{Media List View}
884
885 By clicking on ``Media'', you can see the list of all your volumes. You will be
886 able to filter by Pool, Media Type, Location,\dots And sort the result directly
887 in the table. The old ``Media'' view is now known as ``Pool''.
888 \begin{figure}[htbp]
889   \centering
890   \includegraphics[width=13cm]{\idir bat-mediaview.eps}
891   \label{fig:mediaview}
892 \end{figure}
893
894
895 \subsection{Media Information View}
896
897 By double-clicking on a volume (on the Media list, in the Autochanger content
898 or in the Job information panel), you can access a detailed overview of your
899 Volume. (cf \ref{fig:mediainfo}.)
900 \begin{figure}[htbp]
901   \centering
902   \includegraphics[width=13cm]{\idir bat11.eps}  
903   \caption{Media information}
904   \label{fig:mediainfo}
905 \end{figure}
906
907 \subsection{Job Information View}
908
909 By double-clicking on a Job record (on the Job run list or in the Media
910 information panel), you can access a detailed overview of your Job. (cf
911 \ref{fig:jobinfo}.)
912 \begin{figure}[htbp]
913   \centering
914   \includegraphics[width=13cm]{\idir bat12.eps}  
915   \caption{Job information}
916   \label{fig:jobinfo}
917 \end{figure}
918
919 \subsection{Autochanger Content View}
920
921 By double-clicking on a Storage record (on the Storage list panel), you can
922 access a detailed overview of your Autochanger. (cf \ref{fig:jobinfo}.)
923 \begin{figure}[htbp]
924   \centering
925   \includegraphics[width=13cm]{\idir bat13.eps}  
926   \caption{Autochanger content}
927   \label{fig:achcontent}
928 \end{figure}
929
930 To use this feature, you need to use the latest mtx-changer script
931 version. (With new \texttt{listall} and \texttt{transfer} commands)
932
933 \section{Bat on Windows}
934 We have ported {\bf bat} to Windows and it is now installed 
935 by default when the installer is run.  It works quite well 
936 on Win32, but has not had a lot of testing there, so your
937 feedback would be welcome.  Unfortunately, eventhough it is
938 installed by default, it does not yet work on 64 bit Windows
939 operating systems.
940
941 \section{New Win32 Installer}
942 The Win32 installer has been modified in several very important
943 ways.  
944 \begin{itemize}
945 \item You must deinstall any current version of the
946 Win32 File daemon before upgrading to the new one. 
947 If you forget to do so, the new installation will fail.
948 To correct this failure, you must manually shutdown 
949 and deinstall the old File daemon. 
950 \item All files (other than menu links) are installed
951 in {\bf c:/Program Files/Bacula}.  
952 \item The installer no longer sets this
953 file to require administrator privileges by default. If you want
954 to do so, please do it manually using the {\bf cacls} program.
955 For example:
956 \begin{verbatim}
957 cacls "C:\Program Files\Bacula" /T /G SYSTEM:F Administrators:F
958 \end{verbatim}
959 \item The server daemons (Director and Storage daemon) are
960 no longer included in the Windows installer.  If you want the
961 Windows servers, you will either need to build them yourself (note
962 they have not been ported to 64 bits), or you can contact 
963 Bacula Systems about this.
964 \end{itemize}
965
966 \section{Win64 Installer}
967 We have corrected a number of problems that required manual
968 editing of the conf files.  In most cases, it should now
969 install and work.  {\bf bat} is by default installed in
970 {\bf c:/Program Files/Bacula/bin32} rather than
971 {\bf c:/Program Files/Bacula} as is the case with the 32
972 bit Windows installer.
973
974 \section{Linux Bare Metal Recovery USB Key}
975 We have made a number of significant improvements in the
976 Bare Metal Recovery USB key.  Please see the README files
977 it the {\bf rescue} release for more details.  
978
979 We are working on an equivalent USB key for Windows bare
980 metal recovery, but it will take some time to develop it (best
981 estimate 3Q2010 or 4Q2010)
982
983
984 \section{bconsole Timeout Option}
985 You can now use the -u option of {\bf bconsole} to set a timeout in seconds
986 for commands. This is useful with GUI programs that use {\bf bconsole}
987 to interface to the Director.
988
989 \section{Important Changes}
990 \label{sec:importantchanges}
991
992 \begin{itemize}
993 \item You are now allowed to Migrate, Copy, and Virtual Full to read and write
994   to the same Pool. The Storage daemon ensures that you do not read and
995   write to the same Volume.
996 \item The \texttt{Device Poll Interval} is now 5 minutes. (previously did not
997   poll by default).
998 \item Virtually all the features of {\bf mtx-changer} have
999   now been parameterized, which allows you to configure
1000   mtx-changer without changing it. There is a new configuration file {\bf mtx-changer.conf} 
1001   that contains variables that you can set to configure mtx-changer.
1002   This configuration file will not be overwritten during upgrades.
1003   We encourage you to submit any changes
1004   that are made to mtx-changer and to parameterize it all in
1005   mtx-changer.conf so that all configuration will be done by
1006   changing only mtx-changer.conf.
1007 \item The new \texttt{mtx-changer} script has two new options, \texttt{listall}
1008   and \texttt{transfer}. Please configure them as appropriate
1009   in mtx-changer.conf.
1010 \item To enhance security of the \texttt{BackupCatalog} job, we provide a new
1011   script (\texttt{make\_catalog\_backup.pl}) that does not expose your catalog
1012   password. If you want to use the new script, you will need to 
1013   manually change the \texttt{BackupCatalog} Job definition.
1014 \item The \texttt{bconsole} \texttt{help} command now accepts
1015   an argument, which if provided produces information on that
1016   command (ex: \texttt{help run}).
1017 \end{itemize}
1018
1019
1020 \subsubsection*{Truncate volume after purge}
1021
1022 Note that the Truncate Volume after purge feature doesn't work as expected
1023 in 5.0.0 version. Please, don't use it before version 5.0.1.
1024
1025 \subsection{Custom Catalog queries}
1026
1027 If you wish to add specialized commands that list the contents of the catalog,
1028 you can do so by adding them to the \texttt{query.sql} file. This
1029 \texttt{query.sql} file is now empty by default.  The file
1030 \texttt{examples/sample-query.sql} has an a number of sample commands
1031 you might find useful.
1032
1033 \subsection{Deprecated parts}
1034
1035 The following items have been \textbf{deprecated} for a long time, and are now
1036 removed from the code.
1037 \begin{itemize}
1038 \item Gnome console
1039 \item Support for SQLite 2
1040 \end{itemize}
1041
1042 \section{Misc Changes}
1043 \label{sec:miscchanges}
1044
1045 \begin{itemize}
1046 \item Updated Nagios check\_bacula
1047 \item Updated man files
1048 \item Added OSX package generation script in platforms/darwin
1049 \item Added Spanish and Ukrainian Bacula translations
1050 \item Enable/disable command shows only Jobs that can change
1051 \item Added \texttt{show disabled} command to show disabled Jobs
1052 \item Many ACL improvements
1053 \item Added Level to FD status Job output
1054 \item Begin Ingres DB driver (not yet working)
1055 \item Split RedHat spec files into bacula, bat, mtx, and docs
1056 \item Reorganized the manuals (fewer separate manuals)
1057 \item Added lock/unlock order protection in lock manager
1058 \item Allow 64 bit sizes for a number of variables
1059 \item Fixed several deadlocks or potential race conditions in the SD
1060 \end{itemize}
1061
1062 \chapter{Released Version 3.0.3 and 3.0.3a}
1063
1064 There are no new features in version 3.0.3.  This version simply fixes a
1065 number of bugs found in version 3.0.2 during the onging development
1066 process.
1067
1068 \chapter{New Features in Released Version 3.0.2}
1069
1070 This chapter presents the new features added to the
1071 Released Bacula Version 3.0.2.
1072
1073 \section{Full Restore from a Given JobId}
1074 \index[general]{Restore menu}
1075
1076 This feature allows selecting a single JobId and having Bacula
1077 automatically select all the other jobs that comprise a full backup up to
1078 and including the selected date (through JobId).
1079
1080 Assume we start with the following jobs:
1081 \begin{verbatim}
1082 +-------+--------------+---------------------+-------+----------+------------+
1083 | jobid | client       | starttime           | level | jobfiles | jobbytes   |
1084 +-------+--------------+---------------------+-------+----------+------------
1085 | 6     | localhost-fd | 2009-07-15 11:45:49 | I     | 2        | 0          |
1086 | 5     | localhost-fd | 2009-07-15 11:45:45 | I     | 15       | 44143      |
1087 | 3     | localhost-fd | 2009-07-15 11:45:38 | I     | 1        | 10         |
1088 | 1     | localhost-fd | 2009-07-15 11:45:30 | F     | 1527     | 44143073   |
1089 +-------+--------------+---------------------+-------+----------+------------+
1090 \end{verbatim}
1091
1092 Below is an example of this new feature (which is number 12 in the
1093 menu).
1094
1095 \begin{verbatim}
1096 * restore
1097 To select the JobIds, you have the following choices:
1098      1: List last 20 Jobs run
1099      2: List Jobs where a given File is saved
1100 ...
1101     12: Select full restore to a specified Job date
1102     13: Cancel
1103
1104 Select item:  (1-13): 12
1105 Enter JobId to get the state to restore: 5
1106 Selecting jobs to build the Full state at 2009-07-15 11:45:45
1107 You have selected the following JobIds: 1,3,5
1108
1109 Building directory tree for JobId(s) 1,3,5 ...  +++++++++++++++++++
1110 1,444 files inserted into the tree.
1111 \end{verbatim}
1112
1113 This project was funded by Bacula Systems.
1114
1115 \section{Source Address}
1116 \index[general]{Source Address}
1117
1118 A feature has been added which allows the administrator to specify the address
1119 from which the Director and File daemons will establish connections.  This
1120 may be used to simplify system configuration overhead when working in complex
1121 networks utilizing multi-homing and policy-routing.
1122
1123 To accomplish this, two new configuration directives have been implemented:
1124 \begin{verbatim}
1125 FileDaemon {
1126   FDSourceAddress=10.0.1.20    # Always initiate connections from this address
1127 }
1128
1129 Director {
1130   DirSourceAddress=10.0.1.10   # Always initiate connections from this address
1131 }
1132 \end{verbatim}
1133
1134 Simply adding specific host routes on the OS
1135 would have an undesirable side-effect: any
1136 application trying to contact the destination host would be forced to use the
1137 more specific route possibly diverting management traffic onto a backup VLAN.
1138 Instead of adding host routes for each client connected to a multi-homed backup
1139 server (for example where there are management and backup VLANs), one can
1140 use the new directives to specify a specific source address at the application
1141 level.
1142
1143 Additionally, this allows the simplification and abstraction of firewall rules
1144 when dealing with a Hot-Standby director or storage daemon configuration.  The
1145 Hot-standby pair may share a CARP address, which connections must be sourced
1146 from, while system services listen and act from the unique interface addresses.
1147
1148 This project was funded by Collaborative Fusion, Inc.
1149
1150 \section{Show volume availability when doing restore}
1151
1152 When doing a restore the selection dialog ends by displaying this
1153 screen:
1154
1155 \begin{verbatim}
1156   The job will require the following
1157    Volume(s)                 Storage(s)                SD Device(s)
1158    ===========================================================================
1159    *000741L3                  LTO-4                     LTO3 
1160    *000866L3                  LTO-4                     LTO3 
1161    *000765L3                  LTO-4                     LTO3 
1162    *000764L3                  LTO-4                     LTO3 
1163    *000756L3                  LTO-4                     LTO3 
1164    *001759L3                  LTO-4                     LTO3 
1165    *001763L3                  LTO-4                     LTO3 
1166     001762L3                  LTO-4                     LTO3 
1167     001767L3                  LTO-4                     LTO3 
1168
1169 Volumes marked with ``*'' are online (in the autochanger).
1170 \end{verbatim}
1171
1172 This should help speed up large restores by minimizing the time spent
1173 waiting for the operator to discover that he must change tapes in the library.
1174
1175 This project was funded by Bacula Systems.
1176
1177 \section{Accurate estimate command}
1178
1179 The \texttt{estimate} command can now use the accurate code to detect changes
1180 and give a better estimation.
1181
1182 You can set the accurate behavior on the command line by using
1183 \texttt{accurate=yes\vb{}no} or use the Job setting as default value.
1184
1185 \begin{verbatim}
1186 * estimate listing accurate=yes level=incremental job=BackupJob
1187 \end{verbatim}
1188
1189 This project was funded by Bacula Systems.
1190
1191 \chapter{New Features in 3.0.0}
1192 \label{NewFeaturesChapter}
1193 \index[general]{New Features}
1194
1195 This chapter presents the new features added to the development 2.5.x
1196 versions to be released as Bacula version 3.0.0 sometime in April 2009.
1197
1198 \section{Accurate Backup}
1199 \index[general]{Accurate Backup}
1200
1201 As with most other backup programs, by default Bacula decides what files to
1202 backup for Incremental and Differental backup by comparing the change
1203 (st\_ctime) and modification (st\_mtime) times of the file to the time the last
1204 backup completed.  If one of those two times is later than the last backup
1205 time, then the file will be backed up.  This does not, however, permit tracking
1206 what files have been deleted and will miss any file with an old time that may
1207 have been restored to or moved onto the client filesystem.
1208
1209 \subsection{Accurate = \lt{}yes\vb{}no\gt{}}
1210 If the {\bf Accurate = \lt{}yes\vb{}no\gt{}} directive is enabled (default no) in
1211 the Job resource, the job will be run as an Accurate Job. For a {\bf Full}
1212 backup, there is no difference, but for {\bf Differential} and {\bf
1213   Incremental} backups, the Director will send a list of all previous files
1214 backed up, and the File daemon will use that list to determine if any new files
1215 have been added or or moved and if any files have been deleted. This allows
1216 Bacula to make an accurate backup of your system to that point in time so that
1217 if you do a restore, it will restore your system exactly.  
1218
1219 One note of caution
1220 about using Accurate backup is that it requires more resources (CPU and memory)
1221 on both the Director and the Client machines to create the list of previous
1222 files backed up, to send that list to the File daemon, for the File daemon to
1223 keep the list (possibly very big) in memory, and for the File daemon to do
1224 comparisons between every file in the FileSet and the list.  In particular,
1225 if your client has lots of files (more than a few million), you will need
1226 lots of memory on the client machine.
1227
1228 Accurate must not be enabled when backing up with a plugin that is not
1229 specially designed to work with Accurate. If you enable it, your restores
1230 will probably not work correctly.
1231
1232 This project was funded by Bacula Systems.
1233                                        
1234
1235
1236 \section{Copy Jobs}
1237 \index[general]{Copy Jobs}
1238
1239 A new {\bf Copy} job type 'C' has been implemented. It is similar to the
1240 existing Migration feature with the exception that the Job that is copied is
1241 left unchanged.  This essentially creates two identical copies of the same
1242 backup. However, the copy is treated as a copy rather than a backup job, and
1243 hence is not directly available for restore.  The {\bf restore} command lists
1244 copy jobs and allows selection of copies by using \texttt{jobid=}
1245 option. If the keyword {\bf copies} is present on the command line, Bacula will
1246 display the list of all copies for selected jobs.
1247
1248 \begin{verbatim}
1249 * restore copies
1250 [...]
1251 These JobIds have copies as follows:
1252 +-------+------------------------------------+-----------+------------------+
1253 | JobId | Job                                | CopyJobId | MediaType        |
1254 +-------+------------------------------------+-----------+------------------+
1255 | 2     | CopyJobSave.2009-02-17_16.31.00.11 | 7         | DiskChangerMedia |
1256 +-------+------------------------------------+-----------+------------------+
1257 +-------+-------+----------+----------+---------------------+------------------+
1258 | JobId | Level | JobFiles | JobBytes | StartTime           | VolumeName       |
1259 +-------+-------+----------+----------+---------------------+------------------+
1260 | 19    | F     | 6274     | 76565018 | 2009-02-17 16:30:45 | ChangerVolume002 |
1261 | 2     | I     | 1        | 5        | 2009-02-17 16:30:51 | FileVolume001    |
1262 +-------+-------+----------+----------+---------------------+------------------+
1263 You have selected the following JobIds: 19,2
1264
1265 Building directory tree for JobId(s) 19,2 ...  ++++++++++++++++++++++++++++++++++++++++++++
1266 5,611 files inserted into the tree.
1267 ...
1268 \end{verbatim}
1269
1270
1271 The Copy Job runs without using the File daemon by copying the data from the
1272 old backup Volume to a different Volume in a different Pool. See the Migration
1273 documentation for additional details. For copy Jobs there is a new selection
1274 directive named {\bf PoolUncopiedJobs} which selects all Jobs that were
1275 not already copied to another Pool. 
1276
1277 As with Migration, the Client, Volume, Job, or SQL query, are
1278 other possible ways of selecting the Jobs to be copied. Selection
1279 types like SmallestVolume, OldestVolume, PoolOccupancy and PoolTime also
1280 work, but are probably more suited for Migration Jobs. 
1281
1282 If Bacula finds a Copy of a job record that is purged (deleted) from the catalog,
1283 it will promote the Copy to a \textsl{real} backup job and will make it available for
1284 automatic restore. If more than one Copy is available, it will promote the copy
1285 with the smallest JobId.
1286
1287 A nice solution which can be built with the new Copy feature is often
1288 called disk-to-disk-to-tape backup (DTDTT). A sample config could
1289 look something like the one below:
1290
1291 \begin{verbatim}
1292 Pool {
1293   Name = FullBackupsVirtualPool
1294   Pool Type = Backup
1295   Purge Oldest Volume = Yes
1296   Storage = vtl
1297   NextPool = FullBackupsTapePool
1298 }
1299
1300 Pool {
1301   Name = FullBackupsTapePool
1302   Pool Type = Backup
1303   Recycle = Yes
1304   AutoPrune = Yes
1305   Volume Retention = 365 days
1306   Storage = superloader
1307 }
1308
1309 #
1310 # Fake fileset for copy jobs
1311 #
1312 Fileset {
1313   Name = None
1314   Include {
1315     Options {
1316       signature = MD5
1317     }
1318   }
1319 }
1320
1321 #
1322 # Fake client for copy jobs
1323 #
1324 Client {
1325   Name = None
1326   Address = localhost
1327   Password = "NoNe"
1328   Catalog = MyCatalog
1329 }
1330
1331 #
1332 # Default template for a CopyDiskToTape Job
1333 #
1334 JobDefs {
1335   Name = CopyDiskToTape
1336   Type = Copy
1337   Messages = StandardCopy
1338   Client = None
1339   FileSet = None
1340   Selection Type = PoolUncopiedJobs
1341   Maximum Concurrent Jobs = 10
1342   SpoolData = No
1343   Allow Duplicate Jobs = Yes
1344   Cancel Queued Duplicates = No
1345   Cancel Running Duplicates = No
1346   Priority = 13
1347 }
1348
1349 Schedule {
1350    Name = DaySchedule7:00
1351    Run = Level=Full daily at 7:00
1352 }
1353
1354 Job {
1355   Name = CopyDiskToTapeFullBackups
1356   Enabled = Yes
1357   Schedule = DaySchedule7:00
1358   Pool = FullBackupsVirtualPool
1359   JobDefs = CopyDiskToTape
1360 }
1361 \end{verbatim}
1362
1363 The example above had 2 pool which are copied using the PoolUncopiedJobs
1364 selection criteria. Normal Full backups go to the Virtual pool and are copied
1365 to the Tape pool the next morning.
1366
1367 The command \texttt{list copies [jobid=x,y,z]} lists copies for a given
1368 \textbf{jobid}.
1369
1370 \begin{verbatim}
1371 *list copies
1372 +-------+------------------------------------+-----------+------------------+
1373 | JobId | Job                                | CopyJobId | MediaType        |
1374 +-------+------------------------------------+-----------+------------------+
1375 |     9 | CopyJobSave.2008-12-20_22.26.49.05 |        11 | DiskChangerMedia |
1376 +-------+------------------------------------+-----------+------------------+
1377 \end{verbatim}
1378
1379 \section{ACL Updates}
1380 \index[general]{ACL Updates}
1381 The whole ACL code had been overhauled and in this version each platforms has
1382 different streams for each type of acl available on such an platform. As ACLs
1383 between platforms tend to be not that portable (most implement POSIX acls but
1384 some use an other draft or a completely different format) we currently only
1385 allow certain platform specific ACL streams to be decoded and restored on the
1386 same platform that they were created on.  The old code allowed to restore ACL
1387 cross platform but the comments already mention that not being to wise. For
1388 backward compatability the new code will accept the two old ACL streams and
1389 handle those with the platform specific handler. But for all new backups it
1390 will save the ACLs using the new streams.
1391
1392 Currently the following platforms support ACLs:
1393
1394 \begin{itemize}
1395  \item {\bf AIX}
1396  \item {\bf Darwin/OSX}
1397  \item {\bf FreeBSD}
1398  \item {\bf HPUX}
1399  \item {\bf IRIX}
1400  \item {\bf Linux}
1401  \item {\bf Tru64}
1402  \item {\bf Solaris}
1403 \end{itemize}
1404
1405 Currently we support the following ACL types (these ACL streams use a reserved
1406 part of the stream numbers):
1407
1408 \begin{itemize}
1409 \item {\bf STREAM\_ACL\_AIX\_TEXT} 1000 AIX specific string representation from
1410   acl\_get
1411  \item {\bf STREAM\_ACL\_DARWIN\_ACCESS\_ACL} 1001 Darwin (OSX) specific acl\_t
1412    string representation from acl\_to\_text (POSIX acl)
1413   \item {\bf STREAM\_ACL\_FREEBSD\_DEFAULT\_ACL} 1002 FreeBSD specific acl\_t
1414     string representation from acl\_to\_text (POSIX acl) for default acls.
1415   \item {\bf STREAM\_ACL\_FREEBSD\_ACCESS\_ACL} 1003 FreeBSD specific acl\_t
1416     string representation from acl\_to\_text (POSIX acl) for access acls.
1417   \item {\bf STREAM\_ACL\_HPUX\_ACL\_ENTRY} 1004 HPUX specific acl\_entry
1418     string representation from acltostr (POSIX acl)
1419   \item {\bf STREAM\_ACL\_IRIX\_DEFAULT\_ACL} 1005 IRIX specific acl\_t string
1420     representation from acl\_to\_text (POSIX acl) for default acls.
1421   \item {\bf STREAM\_ACL\_IRIX\_ACCESS\_ACL} 1006 IRIX specific acl\_t string
1422     representation from acl\_to\_text (POSIX acl) for access acls.
1423   \item {\bf STREAM\_ACL\_LINUX\_DEFAULT\_ACL} 1007 Linux specific acl\_t
1424     string representation from acl\_to\_text (POSIX acl) for default acls.
1425   \item {\bf STREAM\_ACL\_LINUX\_ACCESS\_ACL} 1008 Linux specific acl\_t string
1426     representation from acl\_to\_text (POSIX acl) for access acls.
1427   \item {\bf STREAM\_ACL\_TRU64\_DEFAULT\_ACL} 1009 Tru64 specific acl\_t
1428     string representation from acl\_to\_text (POSIX acl) for default acls.
1429   \item {\bf STREAM\_ACL\_TRU64\_DEFAULT\_DIR\_ACL} 1010 Tru64 specific acl\_t
1430     string representation from acl\_to\_text (POSIX acl) for default acls.
1431   \item {\bf STREAM\_ACL\_TRU64\_ACCESS\_ACL} 1011 Tru64 specific acl\_t string
1432     representation from acl\_to\_text (POSIX acl) for access acls.
1433   \item {\bf STREAM\_ACL\_SOLARIS\_ACLENT} 1012 Solaris specific aclent\_t
1434     string representation from acltotext or acl\_totext (POSIX acl)
1435   \item {\bf STREAM\_ACL\_SOLARIS\_ACE} 1013 Solaris specific ace\_t string
1436     representation from from acl\_totext (NFSv4 or ZFS acl)
1437 \end{itemize}
1438
1439 In future versions we might support conversion functions from one type of acl
1440 into an other for types that are either the same or easily convertable. For now
1441 the streams are seperate and restoring them on a platform that doesn't
1442 recognize them will give you a warning.
1443
1444 \section{Extended Attributes}
1445 \index[general]{Extended Attributes}
1446 Something that was on the project list for some time is now implemented for
1447 platforms that support a similar kind of interface. Its the support for backup
1448 and restore of so called extended attributes. As extended attributes are so
1449 platform specific these attributes are saved in seperate streams for each
1450 platform.  Restores of the extended attributes can only be performed on the
1451 same platform the backup was done.  There is support for all types of extended
1452 attributes, but restoring from one type of filesystem onto an other type of
1453 filesystem on the same platform may lead to supprises.  As extended attributes
1454 can contain any type of data they are stored as a series of so called
1455 value-pairs.  This data must be seen as mostly binary and is stored as such.
1456 As security labels from selinux are also extended attributes this option also
1457 stores those labels and no specific code is enabled for handling selinux
1458 security labels.
1459
1460 Currently the following platforms support extended attributes:
1461 \begin{itemize}
1462  \item {\bf Darwin/OSX}
1463  \item {\bf FreeBSD}
1464  \item {\bf Linux}
1465  \item {\bf NetBSD}
1466 \end{itemize}
1467
1468 On linux acls are also extended attributes, as such when you enable ACLs on a
1469 Linux platform it will NOT save the same data twice e.g. it will save the ACLs
1470 and not the same exteneded attribute.
1471
1472 To enable the backup of extended attributes please add the following to your
1473 fileset definition.
1474 \begin{verbatim}
1475   FileSet {
1476     Name = "MyFileSet"
1477     Include {
1478       Options {
1479         signature = MD5
1480         xattrsupport = yes
1481       }
1482       File = ...
1483     }
1484   }
1485 \end{verbatim}
1486
1487 \section{Shared objects}
1488 \index[general]{Shared objects}
1489 A default build of Bacula will now create the libraries as shared objects
1490 (.so) rather than static libraries as was previously the case.  
1491 The shared libraries are built using {\bf libtool} so it should be quite
1492 portable.
1493
1494 An important advantage of using shared objects is that on a machine with the
1495 Directory, File daemon, the Storage daemon, and a console, you will have only
1496 one copy of the code in memory rather than four copies.  Also the total size of
1497 the binary release is smaller since the library code appears only once rather
1498 than once for every program that uses it; this results in significant reduction
1499 in the size of the binaries particularly for the utility tools.
1500  
1501 In order for the system loader to find the shared objects when loading the
1502 Bacula binaries, the Bacula shared objects must either be in a shared object
1503 directory known to the loader (typically /usr/lib) or they must be in the
1504 directory that may be specified on the {\bf ./configure} line using the {\bf
1505   {-}{-}libdir} option as:
1506
1507 \begin{verbatim}
1508   ./configure --libdir=/full-path/dir
1509 \end{verbatim}
1510
1511 the default is /usr/lib. If {-}{-}libdir is specified, there should be
1512 no need to modify your loader configuration provided that
1513 the shared objects are installed in that directory (Bacula
1514 does this with the make install command). The shared objects
1515 that Bacula references are:
1516
1517 \begin{verbatim}
1518 libbaccfg.so
1519 libbacfind.so
1520 libbacpy.so
1521 libbac.so
1522 \end{verbatim}
1523
1524 These files are symbolically linked to the real shared object file,
1525 which has a version number to permit running multiple versions of
1526 the libraries if desired (not normally the case).
1527
1528 If you have problems with libtool or you wish to use the old
1529 way of building static libraries, or you want to build a static
1530 version of Bacula you may disable
1531 libtool on the configure command line with:
1532
1533 \begin{verbatim}
1534   ./configure --disable-libtool
1535 \end{verbatim}
1536
1537
1538 \section{Building Static versions of Bacula}
1539 \index[general]{Static linking}
1540 In order to build static versions of Bacula, in addition
1541 to configuration options that were needed you now must
1542 also add --disable-libtool.  Example
1543
1544 \begin{verbatim}
1545   ./configure --enable-static-client-only --disable-libtool
1546 \end{verbatim}
1547
1548
1549 \section{Virtual Backup (Vbackup)}
1550 \index[general]{Virtual Backup}
1551 \index[general]{Vbackup}
1552
1553 Bacula's virtual backup feature is often called Synthetic Backup or
1554 Consolidation in other backup products.  It permits you to consolidate the
1555 previous Full backup plus the most recent Differential backup and any
1556 subsequent Incremental backups into a new Full backup.  This new Full
1557 backup will then be considered as the most recent Full for any future
1558 Incremental or Differential backups.  The VirtualFull backup is
1559 accomplished without contacting the client by reading the previous backup
1560 data and writing it to a volume in a different pool.
1561
1562 In some respects the Vbackup feature works similar to a Migration job, in
1563 that Bacula normally reads the data from the pool specified in the 
1564 Job resource, and writes it to the {\bf Next Pool} specified in the 
1565 Job resource. Note, this means that usually the output from the Virtual
1566 Backup is written into a different pool from where your prior backups
1567 are saved. Doing it this way guarantees that you will not get a deadlock
1568 situation attempting to read and write to the same volume in the Storage
1569 daemon. If you then want to do subsequent backups, you may need to
1570 move the Virtual Full Volume back to your normal backup pool.
1571 Alternatively, you can set your {\bf Next Pool} to point to the current
1572 pool.  This will cause Bacula to read and write to Volumes in the
1573 current pool. In general, this will work, because Bacula will
1574 not allow reading and writing on the same Volume. In any case, once
1575 a VirtualFull has been created, and a restore is done involving the
1576 most current Full, it will read the Volume or Volumes by the VirtualFull 
1577 regardless of in which Pool the Volume is found.
1578
1579 The Vbackup is enabled on a Job by Job in the Job resource by specifying
1580 a level of {\bf VirtualFull}.
1581
1582 A typical Job resource definition might look like the following:
1583
1584 \begin{verbatim}
1585 Job {
1586   Name = "MyBackup"
1587   Type = Backup
1588   Client=localhost-fd
1589   FileSet = "Full Set"
1590   Storage = File
1591   Messages = Standard
1592   Pool = Default
1593   SpoolData = yes
1594 }
1595
1596 # Default pool definition
1597 Pool {
1598   Name = Default
1599   Pool Type = Backup
1600   Recycle = yes            # Automatically recycle Volumes
1601   AutoPrune = yes          # Prune expired volumes
1602   Volume Retention = 365d  # one year
1603   NextPool = Full
1604   Storage = File
1605 }
1606
1607 Pool {
1608   Name = Full
1609   Pool Type = Backup
1610   Recycle = yes            # Automatically recycle Volumes
1611   AutoPrune = yes          # Prune expired volumes
1612   Volume Retention = 365d  # one year
1613   Storage = DiskChanger
1614 }
1615
1616 # Definition of file storage device
1617 Storage {
1618   Name = File
1619   Address = localhost
1620   Password = "xxx"
1621   Device = FileStorage
1622   Media Type = File
1623   Maximum Concurrent Jobs = 5
1624 }
1625
1626 # Definition of DDS Virtual tape disk storage device
1627 Storage {
1628   Name = DiskChanger
1629   Address = localhost  # N.B. Use a fully qualified name here
1630   Password = "yyy"
1631   Device = DiskChanger
1632   Media Type = DiskChangerMedia
1633   Maximum Concurrent Jobs = 4
1634   Autochanger = yes
1635 }
1636 \end{verbatim}
1637
1638 Then in bconsole or via a Run schedule, you would run the job as:
1639
1640 \begin{verbatim}
1641 run job=MyBackup level=Full
1642 run job=MyBackup level=Incremental
1643 run job=MyBackup level=Differential
1644 run job=MyBackup level=Incremental
1645 run job=MyBackup level=Incremental
1646 \end{verbatim}
1647
1648 So providing there were changes between each of those jobs, you would end up
1649 with a Full backup, a Differential, which includes the first Incremental
1650 backup, then two Incremental backups.  All the above jobs would be written to
1651 the {\bf Default} pool.
1652
1653 To consolidate those backups into a new Full backup, you would run the
1654 following:
1655
1656 \begin{verbatim}
1657 run job=MyBackup level=VirtualFull
1658 \end{verbatim}
1659
1660 And it would produce a new Full backup without using the client, and the output
1661 would be written to the {\bf Full} Pool which uses the Diskchanger Storage.
1662
1663 If the Virtual Full is run, and there are no prior Jobs, the Virtual Full will
1664 fail with an error.
1665
1666 Note, the Start and End time of the Virtual Full backup is set to the
1667 values for the last job included in the Virtual Full (in the above example,
1668 it is an Increment). This is so that if another incremental is done, which
1669 will be based on the Virtual Full, it will backup all files from the
1670 last Job included in the Virtual Full rather than from the time the Virtual
1671 Full was actually run.
1672
1673
1674
1675 \section{Catalog Format}
1676 \index[general]{Catalog Format}
1677 Bacula 3.0 comes with some changes to the catalog format.  The upgrade
1678 operation will convert the FileId field of the File table from 32 bits (max 4
1679 billion table entries) to 64 bits (very large number of items).  The
1680 conversion process can take a bit of time and will likely DOUBLE THE SIZE of
1681 your catalog during the conversion.  Also you won't be able to run jobs during
1682 this conversion period.  For example, a 3 million file catalog will take 2
1683 minutes to upgrade on a normal machine.  Please don't forget to make a valid
1684 backup of your database before executing the upgrade script. See the 
1685 ReleaseNotes for additional details.
1686
1687 \section{64 bit Windows Client}
1688 \index[general]{Win64 Client}
1689 Unfortunately, Microsoft's implementation of Volume Shadown Copy (VSS) on
1690 their 64 bit OS versions is not compatible with a 32 bit Bacula Client.
1691 As a consequence, we are also releasing a 64 bit version of the Bacula 
1692 Windows Client (win64bacula-3.0.0.exe) that does work with VSS. 
1693 These binaries should only be installed on 64 bit Windows operating systems.
1694 What is important is not your hardware but whether or not you have
1695 a 64 bit version of the Windows OS.  
1696
1697 Compared to the Win32 Bacula Client, the 64 bit release contains a few differences:
1698 \begin{enumerate}
1699 \item Before installing the Win64 Bacula Client, you must totally
1700       deinstall any prior 2.4.x Client installation using the 
1701       Bacula deinstallation (see the menu item). You may want
1702       to save your .conf files first.
1703 \item Only the Client (File daemon) is ported to Win64, the Director
1704       and the Storage daemon are not in the 64 bit Windows installer.
1705 \item bwx-console is not yet ported.
1706 \item bconsole is ported but it has not been tested.
1707 \item The documentation is not included in the installer.
1708 \item Due to Vista security restrictions imposed on a default installation
1709       of Vista, before upgrading the Client, you must manually stop
1710       any prior version of Bacula from running, otherwise the install
1711       will fail.
1712 \item Due to Vista security restrictions imposed on a default installation
1713       of Vista, attempting to edit the conf files via the menu items
1714       will fail. You must directly edit the files with appropriate 
1715       permissions.  Generally double clicking on the appropriate .conf
1716       file will work providing you have sufficient permissions.
1717 \item All Bacula files are now installed in 
1718       {\bf C:/Program Files/Bacula} except the main menu items,
1719       which are installed as before. This vastly simplifies the installation.
1720 \item If you are running on a foreign language version of Windows, most
1721       likely {\bf C:/Program Files} does not exist, so you should use the
1722       Custom installation and enter an appropriate location to install
1723       the files.
1724 \item The 3.0.0 Win32 Client continues to install files in the locations used
1725       by prior versions. For the next version we will convert it to use
1726       the same installation conventions as the Win64 version.
1727 \end{enumerate}
1728
1729 This project was funded by Bacula Systems.
1730
1731
1732 \section{Duplicate Job Control}
1733 \index[general]{Duplicate Jobs}
1734 The new version of Bacula provides four new directives that
1735 give additional control over what Bacula does if duplicate jobs 
1736 are started.  A duplicate job in the sense we use it here means
1737 a second or subsequent job with the same name starts.  This
1738 happens most frequently when the first job runs longer than expected because no 
1739 tapes are available.
1740
1741 The four directives each take as an argument a {\bf yes} or {\bf no} value and
1742 are specified in the Job resource.
1743
1744 They are:
1745
1746 \subsection{Allow Duplicate Jobs = \lt{}yes\vb{}no\gt{}}
1747 \index[general]{Allow Duplicate Jobs}
1748   If this directive is set to {\bf yes}, duplicate jobs will be run.  If
1749   the directive is set to {\bf no} (default) then only one job of a given name
1750   may run at one time, and the action that Bacula takes to ensure only
1751   one job runs is determined by the other directives (see below).
1752  
1753   If {\bf Allow Duplicate Jobs} is set to {\bf no} and two jobs
1754   are present and none of the three directives given below permit
1755   cancelling a job, then the current job (the second one started)
1756   will be cancelled.
1757
1758 \subsection{Allow Higher Duplicates = \lt{}yes\vb{}no\gt{}}
1759 \index[general]{Allow Higher Duplicates}
1760   This directive was in version 5.0.0, but does not work as
1761   expected. If used, it should always be set to no.  In later versions
1762   of Bacula the directive is disabled (disregarded).
1763
1764 \subsection{Cancel Running Duplicates = \lt{}yes\vb{}no\gt{}}
1765 \index[general]{Cancel Running Duplicates}
1766   If {\bf Allow Duplicate Jobs} is set to {\bf no} and
1767   if this directive is set to {\bf yes} any job that is already running
1768   will be canceled.  The default is {\bf no}.
1769
1770 \subsection{Cancel Queued Duplicates = \lt{}yes\vb{}no\gt{}}
1771 \index[general]{Cancel Queued Duplicates}
1772   If {\bf Allow Duplicate Jobs} is set to {\bf no} and
1773   if this directive is set to {\bf yes} any job that is
1774   already queued to run but not yet running will be canceled.
1775   The default is {\bf no}. 
1776
1777
1778 \section{TLS Authentication}
1779 \index[general]{TLS Authentication}
1780 In Bacula version 2.5.x and later, in addition to the normal Bacula
1781 CRAM-MD5 authentication that is used to authenticate each Bacula
1782 connection, you can specify that you want TLS Authentication as well,
1783 which will provide more secure authentication.
1784
1785 This new feature uses Bacula's existing TLS code (normally used for
1786 communications encryption) to do authentication.  To use it, you must
1787 specify all the TLS directives normally used to enable communications
1788 encryption (TLS Enable, TLS Verify Peer, TLS Certificate, ...) and
1789 a new directive:
1790
1791 \subsection{TLS Authenticate = yes}
1792 \begin{verbatim}
1793 TLS Authenticate = yes
1794 \end{verbatim}
1795
1796 in the main daemon configuration resource (Director for the Director,
1797 Client for the File daemon, and Storage for the Storage daemon).
1798
1799 When {\bf TLS Authenticate} is enabled, after doing the CRAM-MD5
1800 authentication, Bacula will also do TLS authentication, then TLS 
1801 encryption will be turned off, and the rest of the communication between
1802 the two Bacula daemons will be done without encryption.
1803
1804 If you want to encrypt communications data, use the normal TLS directives
1805 but do not turn on {\bf TLS Authenticate}.
1806
1807 \section{bextract non-portable Win32 data}
1808 \index[general]{bextract handles Win32 non-portable data}
1809 {\bf bextract} has been enhanced to be able to restore
1810 non-portable Win32 data to any OS.  Previous versions were 
1811 unable to restore non-portable Win32 data to machines that
1812 did not have the Win32 BackupRead and BackupWrite API calls.
1813
1814 \section{State File updated at Job Termination}
1815 \index[general]{State File}
1816 In previous versions of Bacula, the state file, which provides a
1817 summary of previous jobs run in the {\bf status} command output was
1818 updated only when Bacula terminated, thus if the daemon crashed, the
1819 state file might not contain all the run data.  This version of
1820 the Bacula daemons updates the state file on each job termination.
1821
1822 \section{MaxFullInterval = \lt{}time-interval\gt{}}
1823 \index[general]{MaxFullInterval}
1824 The new Job resource directive {\bf Max Full Interval = \lt{}time-interval\gt{}}
1825 can be used to specify the maximum time interval between {\bf Full} backup
1826 jobs. When a job starts, if the time since the last Full backup is
1827 greater than the specified interval, and the job would normally be an
1828 {\bf Incremental} or {\bf Differential}, it will be automatically
1829 upgraded to a {\bf Full} backup.
1830
1831 \section{MaxDiffInterval = \lt{}time-interval\gt{}}
1832 \index[general]{MaxDiffInterval}
1833 The new Job resource directive {\bf Max Diff Interval = \lt{}time-interval\gt{}}
1834 can be used to specify the maximum time interval between {\bf Differential} backup
1835 jobs. When a job starts, if the time since the last Differential backup is
1836 greater than the specified interval, and the job would normally be an
1837 {\bf Incremental}, it will be automatically
1838 upgraded to a {\bf Differential} backup.
1839
1840 \section{Honor No Dump Flag = \lt{}yes\vb{}no\gt{}}
1841 \index[general]{MaxDiffInterval}
1842 On FreeBSD systems, each file has a {\bf no dump flag} that can be set
1843 by the user, and when it is set it is an indication to backup programs
1844 to not backup that particular file.  This version of Bacula contains a
1845 new Options directive within a FileSet resource, which instructs Bacula to
1846 obey this flag.  The new directive is:
1847
1848 \begin{verbatim}
1849   Honor No Dump Flag = yes\vb{}no
1850 \end{verbatim}
1851
1852 The default value is {\bf no}.
1853
1854
1855 \section{Exclude Dir Containing = \lt{}filename-string\gt{}}
1856 \index[general]{IgnoreDir}
1857 The {\bf ExcludeDirContaining = \lt{}filename\gt{}} is a new directive that
1858 can be added to the Include section of the FileSet resource.  If the specified
1859 filename ({\bf filename-string}) is found on the Client in any directory to be
1860 backed up, the whole directory will be ignored (not backed up).  For example:
1861
1862 \begin{verbatim}
1863   # List of files to be backed up
1864   FileSet {
1865     Name = "MyFileSet"
1866     Include {
1867       Options {
1868         signature = MD5
1869       }
1870       File = /home
1871       Exclude Dir Containing = .excludeme
1872     }
1873   }
1874 \end{verbatim}
1875
1876 But in /home, there may be hundreds of directories of users and some
1877 people want to indicate that they don't want to have certain
1878 directories backed up. For example, with the above FileSet, if
1879 the user or sysadmin creates a file named {\bf .excludeme} in 
1880 specific directories, such as
1881
1882 \begin{verbatim}
1883    /home/user/www/cache/.excludeme
1884    /home/user/temp/.excludeme
1885 \end{verbatim}
1886
1887 then Bacula will not backup the two directories named:
1888
1889 \begin{verbatim}
1890    /home/user/www/cache
1891    /home/user/temp
1892 \end{verbatim}
1893
1894 NOTE: subdirectories will not be backed up.  That is, the directive
1895 applies to the two directories in question and any children (be they
1896 files, directories, etc).
1897
1898
1899 \section{Bacula Plugins}
1900 \index[general]{Plugin}
1901 Support for shared object plugins has been implemented in the Linux, Unix
1902 and Win32 File daemons. The API will be documented separately in
1903 the Developer's Guide or in a new document.  For the moment, there is
1904 a single plugin named {\bf bpipe} that allows an external program to
1905 get control to backup and restore a file.
1906
1907 Plugins are also planned (partially implemented) in the Director and the
1908 Storage daemon.  
1909
1910 \subsection{Plugin Directory}
1911 \index[general]{Plugin Directory}
1912 Each daemon (DIR, FD, SD) has a new {\bf Plugin Directory} directive that may
1913 be added to the daemon definition resource. The directory takes a quoted 
1914 string argument, which is the name of the directory in which the daemon can
1915 find the Bacula plugins. If this directive is not specified, Bacula will not
1916 load any plugins. Since each plugin has a distinctive name, all the daemons
1917 can share the same plugin directory. 
1918
1919 \subsection{Plugin Options}
1920 \index[general]{Plugin Options}
1921 The {\bf Plugin Options} directive takes a quoted string
1922 arguement (after the equal sign) and may be specified in the
1923 Job resource.  The options specified will be passed to all plugins
1924 when they are run.  This each plugin must know what it is looking
1925 for. The value defined in the Job resource can be modified
1926 by the user when he runs a Job via the {\bf bconsole} command line 
1927 prompts.
1928
1929 Note: this directive may be specified, and there is code to modify
1930 the string in the run command, but the plugin options are not yet passed to
1931 the plugin (i.e. not fully implemented).
1932
1933 \subsection{Plugin Options ACL}
1934 \index[general]{Plugin Options ACL}
1935 The {\bf Plugin Options ACL} directive may be specified in the
1936 Director's Console resource. It functions as all the other ACL commands
1937 do by permitting users running restricted consoles to specify a 
1938 {\bf Plugin Options} that overrides the one specified in the Job
1939 definition. Without this directive restricted consoles may not modify
1940 the Plugin Options.
1941
1942 \subsection{Plugin = \lt{}plugin-command-string\gt{}}
1943 \index[general]{Plugin}
1944 The {\bf Plugin} directive is specified in the Include section of
1945 a FileSet resource where you put your {\bf File = xxx} directives.
1946 For example:
1947
1948 \begin{verbatim}
1949   FileSet {
1950     Name = "MyFileSet"
1951     Include {
1952       Options {
1953         signature = MD5
1954       }
1955       File = /home
1956       Plugin = "bpipe:..."
1957     }
1958   }
1959 \end{verbatim}
1960
1961 In the above example, when the File daemon is processing the directives
1962 in the Include section, it will first backup all the files in {\bf /home}
1963 then it will load the plugin named {\bf bpipe} (actually bpipe-dir.so) from
1964 the Plugin Directory.  The syntax and semantics of the Plugin directive
1965 require the first part of the string up to the colon (:) to be the name
1966 of the plugin. Everything after the first colon is ignored by the File daemon but
1967 is passed to the plugin. Thus the plugin writer may define the meaning of the
1968 rest of the string as he wishes.
1969
1970 Please see the next section for information about the {\bf bpipe} Bacula
1971 plugin.
1972
1973 \section{The bpipe Plugin}
1974 \index[general]{The bpipe Plugin}
1975 The {\bf bpipe} plugin is provided in the directory src/plugins/fd/bpipe-fd.c of
1976 the Bacula source distribution. When the plugin is compiled and linking into
1977 the resulting dynamic shared object (DSO), it will have the name {\bf bpipe-fd.so}.
1978 Please note that this is a very simple plugin that was written for
1979 demonstration and test purposes. It is and can be used in production, but
1980 that was never really intended.
1981
1982 The purpose of the plugin is to provide an interface to any system program for
1983 backup and restore. As specified above the {\bf bpipe} plugin is specified in
1984 the Include section of your Job's FileSet resource.  The full syntax of the
1985 plugin directive as interpreted by the {\bf bpipe} plugin (each plugin is free
1986 to specify the sytax as it wishes) is:
1987
1988 \begin{verbatim}
1989   Plugin = "<field1>:<field2>:<field3>:<field4>"
1990 \end{verbatim}
1991
1992 where
1993 \begin{description}
1994 \item {\bf field1} is the name of the plugin with the trailing {\bf -fd.so}
1995 stripped off, so in this case, we would put {\bf bpipe} in this field.
1996
1997 \item {\bf field2} specifies the namespace, which for {\bf bpipe} is the
1998 pseudo path and filename under which the backup will be saved. This pseudo
1999 path and filename will be seen by the user in the restore file tree.
2000 For example, if the value is {\bf /MYSQL/regress.sql}, the data
2001 backed up by the plugin will be put under that "pseudo" path and filename.
2002 You must be careful to choose a naming convention that is unique to avoid
2003 a conflict with a path and filename that actually exists on your system.
2004
2005 \item {\bf field3} for the {\bf bpipe} plugin 
2006 specifies the "reader" program that is called by the plugin during
2007 backup to read the data. {\bf bpipe} will call this program by doing a
2008 {\bf popen} on it. 
2009
2010 \item {\bf field4} for the {\bf bpipe} plugin
2011 specifies the "writer" program that is called by the plugin during
2012 restore to write the data back to the filesystem.  
2013 \end{description}
2014
2015 Please note that for two items above describing the "reader" and "writer"
2016 fields, these programs are "executed" by Bacula, which
2017 means there is no shell interpretation of any command line arguments
2018 you might use.  If you want to use shell characters (redirection of input
2019 or output, ...), then we recommend that you put your command or commands
2020 in a shell script and execute the script. In addition if you backup a
2021 file with the reader program, when running the writer program during
2022 the restore, Bacula will not automatically create the path to the file.
2023 Either the path must exist, or you must explicitly do so with your command
2024 or in a shell script.
2025
2026 Putting it all together, the full plugin directive line might look
2027 like the following:
2028
2029 \begin{verbatim}
2030 Plugin = "bpipe:/MYSQL/regress.sql:mysqldump -f 
2031           --opt --databases bacula:mysql"
2032 \end{verbatim}
2033
2034 The directive has been split into two lines, but within the {\bf bacula-dir.conf} file
2035 would be written on a single line.
2036
2037 This causes the File daemon to call the {\bf bpipe} plugin, which will write
2038 its data into the "pseudo" file {\bf /MYSQL/regress.sql} by calling the 
2039 program {\bf mysqldump -f --opt --database bacula} to read the data during
2040 backup. The mysqldump command outputs all the data for the database named
2041 {\bf bacula}, which will be read by the plugin and stored in the backup.
2042 During restore, the data that was backed up will be sent to the program
2043 specified in the last field, which in this case is {\bf mysql}.  When
2044 {\bf mysql} is called, it will read the data sent to it by the plugn
2045 then write it back to the same database from which it came ({\bf bacula}
2046 in this case).
2047
2048 The {\bf bpipe} plugin is a generic pipe program, that simply transmits 
2049 the data from a specified program to Bacula for backup, and then from Bacula to 
2050 a specified program for restore.
2051
2052 By using different command lines to {\bf bpipe},
2053 you can backup any kind of data (ASCII or binary) depending
2054 on the program called.
2055
2056 \section{Microsoft Exchange Server 2003/2007 Plugin}
2057 \index[general]{Microsoft Exchange Server 2003/2007 Plugin}
2058 \subsection{Background}
2059 The Exchange plugin was made possible by a funded development project
2060 between Equiinet Ltd -- www.equiinet.com (many thanks) and Bacula Systems.
2061 The code for the plugin was written by James Harper, and the Bacula core
2062 code by Kern Sibbald.  All the code for this funded development has become
2063 part of the Bacula project.  Thanks to everyone who made it happen.
2064
2065 \subsection{Concepts}
2066 Although it is possible to backup Exchange using Bacula VSS the Exchange 
2067 plugin adds a good deal of functionality, because while Bacula VSS
2068 completes a full backup (snapshot) of Exchange, it does
2069 not support Incremental or Differential backups, restoring is more
2070 complicated, and a single database restore is not possible.
2071
2072 Microsoft Exchange organises its storage into Storage Groups with
2073 Databases inside them. A default installation of Exchange will have a
2074 single Storage Group called 'First Storage Group', with two Databases
2075 inside it, "Mailbox Store (SERVER NAME)" and 
2076 "Public Folder Store (SERVER NAME)", 
2077 which hold user email and public folders respectively.
2078
2079 In the default configuration, Exchange logs everything that happens to
2080 log files, such that if you have a backup, and all the log files since,
2081 you can restore to the present time. Each Storage Group has its own set
2082 of log files and operates independently of any other Storage Groups. At
2083 the Storage Group level, the logging can be turned off by enabling a
2084 function called "Enable circular logging". At this time the Exchange
2085 plugin will not function if this option is enabled.
2086
2087 The plugin allows backing up of entire storage groups, and the restoring
2088 of entire storage groups or individual databases. Backing up and
2089 restoring at the individual mailbox or email item is not supported but
2090 can be simulated by use of the "Recovery" Storage Group (see below).
2091
2092 \subsection{Installing}
2093 The Exchange plugin requires a DLL that is shipped with Microsoft
2094 Exchanger Server called {\bf esebcli2.dll}. Assuming Exchange is installed
2095 correctly the Exchange plugin should find this automatically and run
2096 without any additional installation.
2097
2098 If the DLL can not be found automatically it will need to be copied into
2099 the Bacula installation
2100 directory (eg C:\verb+\+Program Files\verb+\+Bacula\verb+\+bin). The Exchange API DLL is
2101 named esebcli2.dll and is found in C:\verb+\+Program Files\verb+\+Exchsrvr\verb+\+bin on a
2102 default Exchange installation.
2103
2104 \subsection{Backing Up}
2105 To back up an Exchange server the Fileset definition must contain at
2106 least {\bf Plugin = "exchange:/@EXCHANGE/Microsoft Information Store"} for
2107 the backup to work correctly. The 'exchange:' bit tells Bacula to look
2108 for the exchange plugin, the '@EXCHANGE' bit makes sure all the backed
2109 up files are prefixed with something that isn't going to share a name
2110 with something outside the plugin, and the 'Microsoft Information Store'
2111 bit is required also. It is also possible to add the name of a storage
2112 group to the "Plugin =" line, eg \\
2113 {\bf Plugin = "exchange:/@EXCHANGE/Microsoft Information Store/First Storage Group"} \\
2114 if you want only a single storage group backed up.
2115
2116 Additionally, you can suffix the 'Plugin =' directive with
2117 ":notrunconfull" which will tell the plugin not to truncate the Exchange
2118 database at the end of a full backup.
2119
2120 An Incremental or Differential backup will backup only the database logs
2121 for each Storage Group by inspecting the "modified date" on each
2122 physical log file. Because of the way the Exchange API works, the last
2123 logfile backed up on each backup will always be backed up by the next
2124 Incremental or Differential backup too. This adds 5MB to each
2125 Incremental or Differential backup size but otherwise does not cause any
2126 problems.
2127
2128 By default, a normal VSS fileset containing all the drive letters will
2129 also back up the Exchange databases using VSS. This will interfere with
2130 the plugin and Exchange's shared ideas of when the last full backup was
2131 done, and may also truncate log files incorrectly. It is important,
2132 therefore, that the Exchange database files be excluded from the backup,
2133 although the folders the files are in should be included, or they will
2134 have to be recreated manually if a baremetal restore is done.
2135
2136 \begin{verbatim}
2137 FileSet {
2138    Include {
2139       File = C:/Program Files/Exchsrvr/mdbdata
2140       Plugin = "exchange:..."
2141    }
2142    Exclude {
2143       File = C:/Program Files/Exchsrvr/mdbdata/E00.chk
2144       File = C:/Program Files/Exchsrvr/mdbdata/E00.log
2145       File = C:/Program Files/Exchsrvr/mdbdata/E000000F.log
2146       File = C:/Program Files/Exchsrvr/mdbdata/E0000010.log
2147       File = C:/Program Files/Exchsrvr/mdbdata/E0000011.log
2148       File = C:/Program Files/Exchsrvr/mdbdata/E00tmp.log
2149       File = C:/Program Files/Exchsrvr/mdbdata/priv1.edb
2150    }
2151 }
2152 \end{verbatim}
2153
2154 The advantage of excluding the above files is that you can significantly
2155 reduce the size of your backup since all the important Exchange files
2156 will be properly saved by the Plugin.
2157
2158
2159 \subsection{Restoring}
2160 The restore operation is much the same as a normal Bacula restore, with
2161 the following provisos:
2162
2163 \begin{itemize}
2164 \item  The {\bf Where} restore option must not be specified
2165 \item Each Database directory must be marked as a whole. You cannot just
2166      select (say) the .edb file and not the others.
2167 \item If a Storage Group is restored, the directory of the Storage Group
2168      must be marked too.
2169 \item  It is possible to restore only a subset of the available log files,
2170      but they {\bf must} be contiguous. Exchange will fail to restore correctly
2171      if a log file is missing from the sequence of log files
2172 \item Each database to be restored must be dismounted and marked as "Can be
2173     overwritten by restore"
2174 \item If an entire Storage Group is to be restored (eg all databases and
2175    logs in the Storage Group), then it is best to manually delete the
2176    database files from the server (eg C:\verb+\+Program Files\verb+\+Exchsrvr\verb+\+mdbdata\verb+\+*)
2177    as Exchange can get confused by stray log files lying around.
2178 \end{itemize}
2179
2180 \subsection{Restoring to the Recovery Storage Group}
2181 The concept of the Recovery Storage Group is well documented by
2182 Microsoft 
2183 \elink{http://support.microsoft.com/kb/824126}{http://support.microsoft.com/kb/824126}, 
2184 but to briefly summarize...
2185
2186 Microsoft Exchange allows the creation of an additional Storage Group
2187 called the Recovery Storage Group, which is used to restore an older
2188 copy of a database (e.g. before a mailbox was deleted) into without
2189 messing with the current live data. This is required as the Standard and
2190 Small Business Server versions of Exchange can not ordinarily have more
2191 than one Storage Group.
2192
2193 To create the Recovery Storage Group, drill down to the Server in Exchange
2194 System Manager, right click, and select
2195 {\bf "New -> Recovery Storage Group..."}.  Accept or change the file
2196 locations and click OK. On the Recovery Storage Group, right click and
2197 select {\bf "Add Database to Recover..."} and select the database you will
2198 be restoring.
2199
2200 Restore only the single database nominated as the database in the
2201 Recovery Storage Group. Exchange will redirect the restore to the
2202 Recovery Storage Group automatically.
2203 Then run the restore.
2204
2205 \subsection{Restoring on Microsoft Server 2007}
2206 Apparently the {\bf Exmerge} program no longer exists in Microsoft Server
2207 2007, and henc you use a new proceedure for recovering a single mail box.
2208 This procedure is ducomented by Microsoft at:
2209 \elink{http://technet.microsoft.com/en-us/library/aa997694.aspx}{http://technet.microsoft.com/en-us/library/aa997694.aspx},
2210 and involves using the {\bf Restore-Mailbox} and {\bf
2211 Get-MailboxStatistics} shell commands.
2212
2213 \subsection{Caveats}
2214 This plugin is still being developed, so you should consider it
2215 currently in BETA test, and thus use in a production environment
2216 should be done only after very careful testing.
2217
2218 When doing a full backup, the Exchange database logs are truncated by
2219 Exchange as soon as the plugin has completed the backup. If the data
2220 never makes it to the backup medium (eg because of spooling) then the
2221 logs will still be truncated, but they will also not have been backed
2222 up. A solution to this is being worked on. You will have to schedule a
2223 new Full backup to ensure that your next backups will be usable.
2224
2225 The "Enable Circular Logging" option cannot be enabled or the plugin
2226 will fail.
2227
2228 Exchange insists that a successful Full backup must have taken place if
2229 an Incremental or Differential backup is desired, and the plugin will
2230 fail if this is not the case. If a restore is done, Exchange will
2231 require that a Full backup be done before an Incremental or Differential
2232 backup is done.
2233
2234 The plugin will most likely not work well if another backup application
2235 (eg NTBACKUP) is backing up the Exchange database, especially if the
2236 other backup application is truncating the log files.
2237
2238 The Exchange plugin has not been tested with the {\bf Accurate} option, so
2239 we recommend either carefully testing or that you avoid this option for
2240 the current time.
2241
2242 The Exchange plugin is not called during processing the bconsole {\bf
2243 estimate} command, and so anything that would be backed up by the plugin
2244 will not be added to the estimate total that is displayed.
2245
2246
2247 \section{libdbi Framework}
2248 \index[general]{libdbi Framework}
2249 As a general guideline, Bacula has support for a few catalog database drivers
2250 (MySQL, PostgreSQL, SQLite)
2251 coded natively by the Bacula team.  With the libdbi implementation, which is a
2252 Bacula driver that uses libdbi to access the catalog, we have an open field to
2253 use many different kinds database engines following the needs of users.
2254
2255 The according to libdbi (http://libdbi.sourceforge.net/) project: libdbi
2256 implements a database-independent abstraction layer in C, similar to the
2257 DBI/DBD layer in Perl. Writing one generic set of code, programmers can
2258 leverage the power of multiple databases and multiple simultaneous database
2259 connections by using this framework.
2260
2261 Currently the libdbi driver in Bacula project only supports the same drivers
2262 natively coded in Bacula.  However the libdbi project has support for many
2263 others database engines. You can view the list at
2264 http://libdbi-drivers.sourceforge.net/. In the future all those drivers can be
2265 supported by Bacula, however, they must be tested properly by the Bacula team.
2266
2267 Some of benefits of using libdbi are:
2268 \begin{itemize}
2269 \item The possibility to use proprietary databases engines in which your
2270   proprietary licenses prevent the Bacula team from developing the driver.
2271  \item The possibility to use the drivers written for the libdbi project.
2272  \item The possibility to use other database engines without recompiling Bacula
2273    to use them.  Just change one line in bacula-dir.conf
2274  \item Abstract Database access, this is, unique point to code and profiling
2275    catalog database access.
2276  \end{itemize}
2277  
2278  The following drivers have been tested:
2279  \begin{itemize}
2280  \item PostgreSQL, with and without batch insert
2281  \item Mysql, with and without batch insert
2282  \item SQLite
2283  \item SQLite3
2284  \end{itemize}
2285
2286  In the future, we will test and approve to use others databases engines
2287  (proprietary or not) like DB2, Oracle, Microsoft SQL.
2288
2289  To compile Bacula to support libdbi we need to configure the code with the
2290  --with-dbi and --with-dbi-driver=[database] ./configure options, where
2291  [database] is the database engine to be used with Bacula (of course we can
2292  change the driver in file bacula-dir.conf, see below).  We must configure the
2293  access port of the database engine with the option --with-db-port, because the
2294  libdbi framework doesn't know the default access port of each database.
2295
2296 The next phase is checking (or configuring) the bacula-dir.conf, example:
2297 \begin{verbatim}
2298 Catalog {
2299   Name = MyCatalog
2300   dbdriver = dbi:mysql; dbaddress = 127.0.0.1; dbport = 3306
2301   dbname = regress; user = regress; password = ""
2302 }
2303 \end{verbatim}
2304
2305 The parameter {\bf dbdriver} indicates that we will use the driver dbi with a
2306 mysql database.  Currently the drivers supported by Bacula are: postgresql,
2307 mysql, sqlite, sqlite3; these are the names that may be added to string "dbi:".
2308
2309 The following limitations apply when Bacula is set to use the libdbi framework:
2310  - Not tested on the Win32 platform
2311  - A little performance is lost if comparing with native database driver. 
2312    The reason is bound with the database driver provided by libdbi and the 
2313    simple fact that one more layer of code was added.
2314
2315 It is important to remember, when compiling Bacula with libdbi, the
2316 following packages are needed:
2317  \begin{itemize}
2318   \item libdbi version 1.0.0, http://libdbi.sourceforge.net/
2319   \item libdbi-drivers 1.0.0, http://libdbi-drivers.sourceforge.net/
2320  \end{itemize}
2321  
2322  You can download them and compile them on your system or install the packages
2323  from your OS distribution.
2324
2325 \section{Console Command Additions and Enhancements}
2326 \index[general]{Console Additions}                                 
2327
2328 \subsection{Display Autochanger Content}
2329 \index[general]{StatusSlots}
2330
2331 The {\bf status slots storage=\lt{}storage-name\gt{}} command displays
2332 autochanger content.
2333
2334 \footnotesize
2335 \begin{verbatim}
2336  Slot |  Volume Name  |  Status  |  Media Type       |   Pool     |
2337 ------+---------------+----------+-------------------+------------|
2338     1 |         00001 |   Append |  DiskChangerMedia |    Default |
2339     2 |         00002 |   Append |  DiskChangerMedia |    Default |
2340     3*|         00003 |   Append |  DiskChangerMedia |    Scratch |
2341     4 |               |          |                   |            |
2342 \end{verbatim}
2343 \normalsize
2344
2345 If you an asterisk ({\bf *}) appears after the slot number, you must run an
2346 {\bf update slots} command to synchronize autochanger content with your
2347 catalog.
2348
2349 \subsection{list joblog job=xxx or jobid=nnn}
2350 \index[general]{list joblog}
2351 A new list command has been added that allows you to list the contents
2352 of the Job Log stored in the catalog for either a Job Name (fully qualified)
2353 or for a particular JobId.  The {\bf llist} command will include a line with
2354 the time and date of the entry.
2355
2356 Note for the catalog to have Job Log entries, you must have a directive 
2357 such as:
2358
2359 \begin{verbatim}
2360   catalog = all
2361 \end{verbatim}
2362
2363 In your Director's {\bf Messages} resource.
2364
2365 \subsection{Use separator for multiple commands}
2366 \index[general]{Command Separator}
2367   When using bconsole with readline, you can set the command separator with 
2368   \textbf{@separator} command to one
2369   of those characters to write commands who require multiple input in one line.
2370 \begin{verbatim}
2371   !$%&'()*+,-/:;<>?[]^`{|}~
2372 \end{verbatim}
2373
2374 \subsection{Deleting Volumes}
2375 The delete volume bconsole command has been modified to
2376 require an asterisk (*) in front of a MediaId otherwise the
2377 value you enter is a taken to be a Volume name. This is so that
2378 users may delete numeric Volume names. The previous Bacula versions
2379 assumed that all input that started with a number was a MediaId.
2380
2381 This new behavior is indicated in the prompt if you read it
2382 carefully.
2383
2384 \section{Bare Metal Recovery}
2385 The old bare metal recovery project is essentially dead. One
2386 of the main features of it was that it would build a recovery
2387 CD based on the kernel on your system. The problem was that
2388 every distribution has a different boot procedure and different 
2389 scripts, and worse yet, the boot procedures and scripts change
2390 from one distribution to another.  This meant that maintaining
2391 (keeping up with the changes) the rescue CD was too much work.
2392
2393 To replace it, a new bare metal recovery USB boot stick has been developed
2394 by Bacula Systems.  This technology involves remastering a Ubuntu LiveCD to
2395 boot from a USB key.  
2396
2397 Advantages: 
2398 \begin{enumerate} 
2399 \item Recovery can be done from within graphical environment.  
2400 \item Recovery can be done in a shell.  
2401 \item Ubuntu boots on a large number of Linux systems.  
2402 \item The process of updating the system and adding new
2403    packages is not too difficult. 
2404 \item The USB key can easily be upgraded to newer Ubuntu versions.
2405 \item The USB key has writable partitions for modifications to
2406    the OS and for modification to your home directory.
2407 \item You can add new files/directories to the USB key very easily.
2408 \item You can save the environment from multiple machines on
2409    one USB key.
2410 \item Bacula Systems is funding its ongoing development.
2411 \end{enumerate}
2412
2413 The disadvantages are:
2414 \begin{enumerate}
2415 \item The USB key is usable but currently under development.
2416 \item Not everyone may be familiar with Ubuntu (no worse
2417   than using Knoppix)
2418 \item Some older OSes cannot be booted from USB. This can
2419    be resolved by first booting a Ubuntu LiveCD then plugging
2420    in the USB key.
2421 \item Currently the documentation is sketchy and not yet added
2422    to the main manual. See below ...
2423 \end{enumerate}
2424
2425 The documentation and the code can be found in the {\bf rescue} package
2426 in the directory {\bf linux/usb}.
2427
2428 \section{Miscellaneous}
2429 \index[general]{Misc New Features}
2430
2431 \subsection{Allow Mixed Priority = \lt{}yes\vb{}no\gt{}}
2432 \index[general]{Allow Mixed Priority}
2433    This directive is only implemented in version 2.5 and later.  When
2434    set to {\bf yes} (default {\bf no}), this job may run even if lower
2435    priority jobs are already running.  This means a high priority job
2436    will not have to wait for other jobs to finish before starting.
2437    The scheduler will only mix priorities when all running jobs have
2438    this set to true.
2439
2440    Note that only higher priority jobs will start early.  Suppose the
2441    director will allow two concurrent jobs, and that two jobs with
2442    priority 10 are running, with two more in the queue.  If a job with
2443    priority 5 is added to the queue, it will be run as soon as one of
2444    the running jobs finishes.  However, new priority 10 jobs will not
2445    be run until the priority 5 job has finished.
2446
2447 \subsection{Bootstrap File Directive -- FileRegex}
2448 \index[general]{Bootstrap File Directive}
2449   {\bf FileRegex} is a new command that can be added to the bootstrap
2450   (.bsr) file.  The value is a regular expression.  When specified, only
2451   matching filenames will be restored.
2452
2453   During a restore, if all File records are pruned from the catalog
2454   for a Job, normally Bacula can restore only all files saved. That
2455   is there is no way using the catalog to select individual files.
2456   With this new feature, Bacula will ask if you want to specify a Regex
2457   expression for extracting only a part of the full backup.
2458
2459 \begin{verbatim}
2460   Building directory tree for JobId(s) 1,3 ...
2461   There were no files inserted into the tree, so file selection
2462   is not possible.Most likely your retention policy pruned the files
2463   
2464   Do you want to restore all the files? (yes\vb{}no): no
2465   
2466   Regexp matching files to restore? (empty to abort): /tmp/regress/(bin|tests)/
2467   Bootstrap records written to /tmp/regress/working/zog4-dir.restore.1.bsr
2468 \end{verbatim}
2469
2470 \subsection{Bootstrap File Optimization Changes}
2471 In order to permit proper seeking on disk files, we have extended the bootstrap
2472 file format to include a {\bf VolStartAddr} and {\bf VolEndAddr} records. Each
2473 takes a 64 bit unsigned integer range (i.e. nnn-mmm) which defines the start
2474 address range and end address range respectively.  These two directives replace
2475 the {\bf VolStartFile}, {\bf VolEndFile}, {\bf VolStartBlock} and {\bf
2476   VolEndBlock} directives.  Bootstrap files containing the old directives will
2477 still work, but will not properly take advantage of proper disk seeking, and
2478 may read completely to the end of a disk volume during a restore.  With the new
2479 format (automatically generated by the new Director), restores will seek
2480 properly and stop reading the volume when all the files have been restored.
2481
2482 \subsection{Solaris ZFS/NFSv4 ACLs}
2483 This is an upgrade of the previous Solaris ACL backup code
2484 to the new library format, which will backup both the old
2485 POSIX(UFS) ACLs as well as the ZFS ACLs.
2486
2487 The new code can also restore POSIX(UFS) ACLs to a ZFS filesystem
2488 (it will translate the POSIX(UFS)) ACL into a ZFS/NFSv4 one) it can also
2489 be used to transfer from UFS to ZFS filesystems.
2490
2491
2492 \subsection{Virtual Tape Emulation}
2493 \index[general]{Virtual Tape Emulation}
2494 We now have a Virtual Tape emulator that allows us to run though 99.9\% of
2495 the tape code but actually reading and writing to a disk file. Used with the
2496 \textbf{disk-changer} script, you can now emulate an autochanger with 10 drives
2497 and 700 slots. This feature is most useful in testing.  It is enabled
2498 by using {\bf Device Type = vtape} in the Storage daemon's Device
2499 directive. This feature is only implemented on Linux machines and should not be
2500 used for production.
2501
2502 \subsection{Bat Enhancements}
2503 \index[general]{Bat Enhancements}
2504 Bat (the Bacula Administration Tool) GUI program has been significantly
2505 enhanced and stabilized. In particular, there are new table based status 
2506 commands; it can now be easily localized using Qt4 Linguist.
2507
2508 The Bat communications protocol has been significantly enhanced to improve
2509 GUI handling. Note, you {\bf must} use a the bat that is distributed with
2510 the Director you are using otherwise the communications protocol will not
2511 work.
2512
2513 \subsection{RunScript Enhancements}
2514 \index[general]{RunScript Enhancements}
2515 The {\bf RunScript} resource has been enhanced to permit multiple
2516 commands per RunScript.  Simply specify multiple {\bf Command} directives
2517 in your RunScript.
2518
2519 \begin{verbatim}
2520 Job {
2521   Name = aJob
2522   RunScript {
2523     Command = "/bin/echo test"
2524     Command = "/bin/echo an other test"
2525     Command = "/bin/echo 3 commands in the same runscript"
2526     RunsWhen = Before
2527   }
2528  ...
2529 }
2530 \end{verbatim}
2531
2532 A new Client RunScript {\bf RunsWhen} keyword of {\bf AfterVSS} has been
2533 implemented, which runs the command after the Volume Shadow Copy has been made.
2534
2535 Console commands can be specified within a RunScript by using:
2536 {\bf Console = \lt{}command\gt{}}, however, this command has not been 
2537 carefully tested and debugged and is known to easily crash the Director.
2538 We would appreciate feedback.  Due to the recursive nature of this command, we
2539 may remove it before the final release.
2540
2541 \subsection{Status Enhancements}
2542 \index[general]{Status Enhancements}
2543 The bconsole {\bf status dir} output has been enhanced to indicate
2544 Storage daemon job spooling and despooling activity.
2545
2546 \subsection{Connect Timeout}
2547 \index[general]{Connect Timeout}
2548 The default connect timeout to the File
2549 daemon has been set to 3 minutes. Previously it was 30 minutes.
2550
2551 \subsection{ftruncate for NFS Volumes}
2552 \index[general]{ftruncate for NFS Volumes}
2553 If you write to a Volume mounted by NFS (say on a local file server),
2554 in previous Bacula versions, when the Volume was recycled, it was not
2555 properly truncated because NFS does not implement ftruncate (file 
2556 truncate). This is now corrected in the new version because we have
2557 written code (actually a kind user) that deletes and recreates the Volume,
2558 thus accomplishing the same thing as a truncate.
2559
2560 \subsection{Support for Ubuntu}
2561 The new version of Bacula now recognizes the Ubuntu (and Kubuntu)
2562 version of Linux, and thus now provides correct autostart routines.
2563 Since Ubuntu officially supports Bacula, you can also obtain any
2564 recent release of Bacula from the Ubuntu repositories.
2565
2566 \subsection{Recycle Pool = \lt{}pool-name\gt{}}
2567 \index[general]{Recycle Pool}
2568 The new \textbf{RecyclePool} directive defines to which pool the Volume will
2569 be placed (moved) when it is recycled. Without this directive, a Volume will
2570 remain in the same pool when it is recycled. With this directive, it can be
2571 moved automatically to any existing pool during a recycle. This directive is
2572 probably most useful when defined in the Scratch pool, so that volumes will
2573 be recycled back into the Scratch pool.
2574
2575 \subsection{FD Version}
2576 \index[general]{FD Version}
2577 The File daemon to Director protocol now includes a version 
2578 number, which although there is no visible change for users, 
2579 will help us in future versions automatically determine
2580 if a File daemon is not compatible.
2581
2582 \subsection{Max Run Sched Time = \lt{}time-period-in-seconds\gt{}}
2583 \index[general]{Max Run Sched Time}
2584 The time specifies the maximum allowed time that a job may run, counted from
2585 when the job was scheduled. This can be useful to prevent jobs from running
2586 during working hours. We can see it like \texttt{Max Start Delay + Max Run
2587   Time}.
2588
2589 \subsection{Max Wait Time = \lt{}time-period-in-seconds\gt{}}
2590 \index[general]{Max Wait Time}
2591 Previous \textbf{MaxWaitTime} directives aren't working as expected, instead
2592 of checking the maximum allowed time that a job may block for a resource,
2593 those directives worked like \textbf{MaxRunTime}. Some users are reporting to
2594 use \textbf{Incr/Diff/Full Max Wait Time} to control the maximum run time of
2595 their job depending on the level. Now, they have to use
2596 \textbf{Incr/Diff/Full Max Run Time}.  \textbf{Incr/Diff/Full Max Wait Time}
2597 directives are now deprecated.
2598
2599 \subsection{Incremental|Differential Max Wait Time = \lt{}time-period-in-seconds\gt{}} 
2600 \index[general]{Incremental Max Wait Time}
2601 \index[general]{Differential Max Wait Time}
2602
2603 These directives have been deprecated in favor of
2604 \texttt{Incremental|Differential Max Run Time}.
2605
2606 \subsection{Max Run Time directives}
2607 \index[general]{Max Run Time directives}
2608 Using \textbf{Full/Diff/Incr Max Run Time}, it's now possible to specify the
2609 maximum allowed time that a job can run depending on the level.
2610
2611 \addcontentsline{lof}{figure}{Job time control directives}
2612 \includegraphics{\idir different_time.eps}
2613
2614 \subsection{Statistics Enhancements}
2615 \index[general]{Statistics Enhancements}
2616 If you (or probably your boss) want to have statistics on your backups to
2617 provide some \textit{Service Level Agreement} indicators, you could use a few
2618 SQL queries on the Job table to report how many:
2619
2620 \begin{itemize}
2621 \item jobs have run
2622 \item jobs have been successful
2623 \item files have been backed up
2624 \item ...
2625 \end{itemize}
2626
2627 However, these statistics are accurate only if your job retention is greater
2628 than your statistics period. Ie, if jobs are purged from the catalog, you won't
2629 be able to use them. 
2630
2631 Now, you can use the \textbf{update stats [days=num]} console command to fill
2632 the JobHistory table with new Job records. If you want to be sure to take in
2633 account only \textbf{good jobs}, ie if one of your important job has failed but
2634 you have fixed the problem and restarted it on time, you probably want to
2635 delete the first \textit{bad} job record and keep only the successful one. For
2636 that simply let your staff do the job, and update JobHistory table after two or
2637 three days depending on your organization using the \textbf{[days=num]} option.
2638
2639 These statistics records aren't used for restoring, but mainly for
2640 capacity planning, billings, etc.
2641
2642 The Bweb interface provides a statistics module that can use this feature. You
2643 can also use tools like Talend or extract information by yourself.
2644
2645 The \textbf{Statistics Retention = \lt{}time\gt{}} director directive defines
2646 the length of time that Bacula will keep statistics job records in the Catalog
2647 database after the Job End time. (In \texttt{JobHistory} table) When this time
2648 period expires, and if user runs \texttt{prune stats} command, Bacula will
2649 prune (remove) Job records that are older than the specified period.
2650
2651 You can use the following Job resource in your nightly \textbf{BackupCatalog}
2652 job to maintain statistics.
2653 \begin{verbatim}
2654 Job {
2655   Name = BackupCatalog
2656   ...
2657   RunScript {
2658     Console = "update stats days=3"
2659     Console = "prune stats yes"
2660     RunsWhen = After
2661     RunsOnClient = no
2662   }
2663 }
2664 \end{verbatim}
2665
2666 \subsection{ScratchPool = \lt{}pool-resource-name\gt{}}
2667 \index[general]{ScratchPool}
2668 This directive permits to specify a specific \textsl{Scratch} pool for the
2669 current pool. This is useful when using multiple storage sharing the same
2670 mediatype or when you want to dedicate volumes to a particular set of pool.
2671
2672 \subsection{Enhanced Attribute Despooling}
2673 \index[general]{Attribute Despooling}
2674 If the storage daemon and the Director are on the same machine, the spool file
2675 that contains attributes is read directly by the Director instead of being
2676 transmitted across the network. That should reduce load and speedup insertion.
2677
2678 \subsection{SpoolSize = \lt{}size-specification-in-bytes\gt{}}
2679 \index[general]{SpoolSize}
2680 A new Job directive permits to specify the spool size per job. This is used
2681 in advanced job tunning. {\bf SpoolSize={\it bytes}}
2682
2683 \subsection{MaximumConsoleConnections = \lt{}number\gt{}}
2684 \index[general]{MaximumConsoleConnections}
2685 A new director directive permits to specify the maximum number of Console
2686 Connections that could run concurrently. The default is set to 20, but you may
2687 set it to a larger number.
2688
2689 \subsection{VerId = \lt{}string\gt{}}
2690 \index[general]{VerId}
2691 A new director directive permits to specify a personnal identifier that will be
2692 displayed in the \texttt{version} command.
2693
2694 \subsection{dbcheck enhancements}
2695 \index[general]{dbcheck enhancements}
2696 If you are using Mysql, dbcheck will now ask you if you want to create
2697 temporary indexes to speed up orphaned Path and Filename elimination. 
2698
2699 A new \texttt{-B} option allows you to print catalog information in a simple
2700 text based format. This is useful to backup it in a secure way.
2701
2702 \begin{verbatim}
2703  $ dbcheck -B 
2704  catalog=MyCatalog
2705  db_type=SQLite
2706  db_name=regress
2707  db_driver=
2708  db_user=regress
2709  db_password=
2710  db_address=
2711  db_port=0
2712  db_socket=
2713 \end{verbatim} %$
2714
2715 You can now specify the database connection port in the command line.
2716
2717 \subsection{{-}{-}docdir configure option}
2718 \index[general]{{-}{-}docdir configure option}
2719 You can use {-}{-}docdir= on the ./configure command to
2720 specify the directory where you want Bacula to install the
2721 LICENSE, ReleaseNotes, ChangeLog, ... files.   The default is 
2722 {\bf /usr/share/doc/bacula}.
2723       
2724 \subsection{{-}{-}htmldir configure option}
2725 \index[general]{{-}{-}htmldir configure option}
2726 You can use {-}{-}htmldir= on the ./configure command to
2727 specify the directory where you want Bacula to install the bat html help
2728 files. The default is {\bf /usr/share/doc/bacula/html}
2729
2730 \subsection{{-}{-}with-plugindir configure option}
2731 \index[general]{{-}{-}plugindir configure option}
2732 You can use {-}{-}plugindir= on the ./configure command to
2733 specify the directory where you want Bacula to install
2734 the plugins (currently only bpipe-fd). The default is
2735 /usr/lib.