]> git.sur5r.net Git - bacula/docs/blob - docs/manuals/en/main/newfeatures.tex
954741903e135c9bec7180c8db4731eff2b0d670
[bacula/docs] / docs / manuals / en / main / newfeatures.tex
1 \chapter{Community Bacula New Features in 5.1.x}
2 This chapter presents the new features that have been added to the
3 current Community version of Bacula that is under development. This version will be
4 released at some later date, probably near the end of April 2011.
5
6 There are additional features (plugins) available in the Enterprise version
7 that are described in another chapter. A subscription to Bacula Systems
8 is required for the Enterprise version.
9
10 \section{Restart Incomplete Job}
11
12
13 \medskip
14 This project was funded by Bacula Systems and is available with Bacula
15 Enterprise Edition and Community Edition.
16
17 \section{New Tray Monitor}
18
19 Since the old integrated Windows tray monitor doesn't work anymore with
20 recent Windows versions, we have written a new Qt Tray Monitor that is available
21 for both Linux and Windows.  This new version allows you to run Backup from
22 the tray monitor menu.
23
24 \begin{figure}[htbp]
25   \centering
26   \includegraphics[width=10cm]{\idir tray-monitor}
27   \label{fig:traymonitor}
28   \caption{New tray monitor}
29 \end{figure}
30
31 \begin{figure}[htbp]
32   \centering
33   \includegraphics[width=10cm]{\idir tray-monitor1}
34   \label{fig:traymonitor1}
35   \caption{Run a Job through the new tray monitor}
36 \end{figure}
37
38 \medskip
39 This project was funded by Bacula Systems and is available with Bacula
40 the Enterprise Edition and the Community Edition.
41
42 \section{Purge Migration Job}
43
44 The new {\bf Purge Migration Job} directive may be added to the Migration
45 Job definition in the Director's configuration file. When it is enabled 
46 the Job that was migrated during a migration will be purged at
47 the end of the migration job.
48
49 For example:
50 \begin{verbatim}
51 Job {
52   Name = "migrate-job"
53   Type = Migrate
54   Level = Full
55   Client = localhost-fd
56   FileSet = "Full Set"
57   Messages = Standard
58   Storage = DiskChanger
59   Pool = Default
60   Selection Type = Job
61   Selection Pattern = ".*Save"
62 ...
63   Purge Migrated Job = yes
64 }
65 \end{verbatim}
66
67 \medskip
68
69 This project was submited by Dunlap Blake, testing and documentation was funded
70 by Bacula Systems.
71
72 \section{Job Bandwidth Limitation}
73
74 The new {\bf Job Bandwidth Limitation} directive may be added to the File
75 daemon's and/or Director's configuration to limit the bandwidth used by a Job on a
76 Client.  It can be set in the File daemon's conf file for all Jobs run
77 in that File daemon, or it can be set for each Job in the
78 Director's conf file.
79
80 For example:
81 \begin{verbatim}
82 FileDaemon {
83   Name = localhost-fd
84   Working Directory = /some/path
85   Pid Directory = /some/path
86   ...
87   Maximum Bandwidth Per Job = 5MB/s
88 }
89 \end{verbatim}
90
91 The above example would cause any jobs running with the FileDaemon to not
92 exceed 5MB/s of throughput when sending data to the Storage Daemon.
93
94 You can specify the speed parameter in k/s, KB/s, m/s, MB/s.
95
96 For example:
97 \begin{verbatim}
98 Job {
99   Name = locahost-data
100   FileSet = FS_localhost
101   Accurate = yes
102   ...
103   Maximum Bandwidth = 5MB/s
104   ...
105 }
106 \end{verbatim}
107
108 The above example would cause Job \texttt{localhost-data} to not exceed 5MB/s
109 of throughput when sending data from the File daemon to the Storage daemon.
110
111 A new console command \texttt{setbandwidth} permits to set dynamically the
112 maximum throughput of a running Job or for future jobs of a Client.
113
114 \begin{verbatim}
115 * setbandwidth limit=1000000 jobid=10
116 \end{verbatim}
117
118 The \texttt{limit} parameter is in KB/s.
119
120 \medskip
121 This project was funded by Bacula Systems and is available in
122 the Enterprise Edition and the Community Edition.
123
124
125 \section{SQL Catalog Enhancements}
126
127 % TODO: Marco can explain more things
128 Bacula uses a new catalog backend structure, it allows to build all SQL drivers
129 with the same \texttt{./configure ; make} session.
130
131 We also added cursor support for PostgreSQL backend, this improves memory usage
132 for large installation.
133
134 \section{Changes in Bvfs (Bacula Virtual FileSystem)}
135
136 Bat has now a bRestore panel that uses Bvfs to display files and
137 directories. It's still experimental.
138
139 \begin{figure}[htbp]
140   \centering
141   \includegraphics[width=12cm]{\idir bat-brestore}
142   \label{fig:batbrestore}
143   \caption{Bat Brestore Panel}
144 \end{figure}
145
146 \texttt{Important}, the Bvfs module is not currently compatible with BaseJobs,
147 Copy and Migration jobs.
148
149 \medskip
150 This project was funded by Bacula Systems.
151
152 \subsection*{General notes}
153
154 \begin{itemize}
155 \item All fields are separated by a tab
156 \item You can specify \texttt{limit=} and \texttt{offset=} to list smoothly
157   records in very big directories
158 \item All operations (except cache creation) are designed to run instantly
159 \item At this time, Bvfs works faster on PostgreSQL than MySQL catalog. If you
160   can contribute new faster SQL queries we will be happy, else don't complain
161   about speed.
162 \item The cache creation is dependent of the number of directories. As Bvfs
163   shares information accross jobs, the first creation can be slow
164 \item All fields are separated by a tab
165 \item Due to potential encoding problem, it's advised to allways use pathid in
166   queries.
167 \end{itemize}
168
169 \subsection*{Get dependent jobs from a given JobId}
170
171 Bvfs allows you to query the catalog against any combination of jobs. You
172 can combine all Jobs and all FileSet for a Client in a single session.
173
174 To get all JobId needed to restore a particular job, you can use the
175 \texttt{.bvfs\_get\_jobids} command.
176
177 \begin{verbatim}
178 .bvfs_get_jobids jobid=num [all]
179 \end{verbatim}
180
181 \begin{verbatim}
182 .bvfs_get_jobids jobid=10
183 1,2,5,10
184 .bvfs_get_jobids jobid=10 all
185 1,2,3,5,10
186 \end{verbatim}
187
188 In this example, a normal restore will need to use JobIds 1,2,5,10 to
189 compute a complete restore of the system.
190
191 With the \texttt{all} option, the Director will use all defined FileSet for
192 this client.
193
194 \subsection*{Generating Bvfs cache}
195
196 The \texttt{.bvfs\_update} command computes the directory cache for jobs
197 specified in argument, or for all jobs if unspecified.
198
199 \begin{verbatim}
200 .bvfs_update [jobid=numlist]
201 \end{verbatim}
202
203 Example:
204 \begin{verbatim}
205 .bvfs_update jobid=1,2,3
206 \end{verbatim}
207
208 You can run the cache update process in a RunScript after the catalog backup.
209
210 \subsection*{Get all versions of a specific file}
211
212 Bvfs allows you to find all versions of a specific file for a given Client with
213 the \texttt{.bvfs\_version} command. To avoid problems with encoding, this
214 function uses only PathId and FilenameId. The jobid argument is mandatory but
215 unused.
216
217 \begin{verbatim}
218 .bvfs_versions client=filedaemon pathid=num filenameid=num jobid=1
219 PathId FilenameId FileId JobId LStat Md5 VolName Inchanger
220 PathId FilenameId FileId JobId LStat Md5 VolName Inchanger
221 ...
222 \end{verbatim}
223
224 Example:
225
226 \begin{verbatim}
227 .bvfs_versions client=localhost-fd pathid=1 fnid=47 jobid=1
228 1  47  52  12  gD HRid IGk D Po Po A P BAA I A   /uPgWaxMgKZlnMti7LChyA  Vol1  1
229 \end{verbatim}
230
231 \subsection*{List directories}
232
233 Bvfs allows you to list directories in a specific path.
234 \begin{verbatim}
235 .bvfs_lsdirs pathid=num path=/apath jobid=numlist limit=num offset=num
236 PathId  FilenameId  FileId  JobId  LStat  Path
237 PathId  FilenameId  FileId  JobId  LStat  Path
238 PathId  FilenameId  FileId  JobId  LStat  Path
239 ...
240 \end{verbatim}
241
242 You need to \texttt{pathid} or \texttt{path}. Using \texttt{path=""} will list
243 ``/'' on Unix and all drives on Windows.  If FilenameId is 0, the record
244 listed is a directory.
245
246 \begin{verbatim}
247 .bvfs_lsdirs pathid=4 jobid=1,11,12
248 4       0       0       0       A A A A A A A A A A A A A A     .
249 5       0       0       0       A A A A A A A A A A A A A A     ..
250 3       0       0       0       A A A A A A A A A A A A A A     regress/
251 \end{verbatim}
252
253 In this example, to list directories present in \texttt{regress/}, you can use
254 \begin{verbatim}
255 .bvfs_lsdirs pathid=3 jobid=1,11,12
256 3       0       0       0       A A A A A A A A A A A A A A     .
257 4       0       0       0       A A A A A A A A A A A A A A     ..
258 2       0       0       0       A A A A A A A A A A A A A A     tmp/
259 \end{verbatim}
260
261 \subsection*{List files}
262
263 Bvfs allows you to list files in a specific path.
264 \begin{verbatim}
265 .bvfs_lsfiles pathid=num path=/apath jobid=numlist limit=num offset=num
266 PathId  FilenameId  FileId  JobId  LStat  Path
267 PathId  FilenameId  FileId  JobId  LStat  Path
268 PathId  FilenameId  FileId  JobId  LStat  Path
269 ...
270 \end{verbatim}
271
272 You need to \texttt{pathid} or \texttt{path}. Using \texttt{path=""} will list
273 ``/'' on Unix and all drives on Windows. If FilenameId is 0, the record listed
274 is a directory.
275
276 \begin{verbatim}
277 .bvfs_lsfiles pathid=4 jobid=1,11,12
278 4       0       0       0       A A A A A A A A A A A A A A     .
279 5       0       0       0       A A A A A A A A A A A A A A     ..
280 1       0       0       0       A A A A A A A A A A A A A A     regress/
281 \end{verbatim}
282
283 In this example, to list files present in \texttt{regress/}, you can use
284 \begin{verbatim}
285 .bvfs_lsfiles pathid=1 jobid=1,11,12
286 1   47   52   12    gD HRid IGk BAA I BMqcPH BMqcPE BMqe+t A     titi
287 1   49   53   12    gD HRid IGk BAA I BMqe/K BMqcPE BMqe+t B     toto
288 1   48   54   12    gD HRie IGk BAA I BMqcPH BMqcPE BMqe+3 A     tutu
289 1   45   55   12    gD HRid IGk BAA I BMqe/K BMqcPE BMqe+t B     ficheriro1.txt
290 1   46   56   12    gD HRie IGk BAA I BMqe/K BMqcPE BMqe+3 D     ficheriro2.txt
291 \end{verbatim}
292
293 \subsection*{Restore set of files}
294
295 Bvfs allows you to create a SQL table that contains files that you want to
296 restore. This table can be provided to a restore command with the file option.
297
298 \begin{verbatim}
299 .bvfs_restore fileid=numlist dirid=numlist hardlink=numlist path=b2num
300 OK
301 restore file=?b2num ...
302 \end{verbatim}
303
304 To include a directory (with \texttt{dirid}), Bvfs needs to run a query to
305 select all files. This query could be time consuming.
306
307 \texttt{hardlink} list is always composed of a serie of two numbers (jobid,
308 fileindex). This information can be found in the LinkFI field of the LStat
309 packet.
310
311 The \texttt{path} argument represents the name of the table that Bvfs will
312 store results. The format of this table is \texttt{b2[0-9]+}. (Should start by
313 b2 and followed by digits).
314
315 Example:
316
317 \begin{verbatim}
318 .bvfs_restore fileid=1,2,3,4 hardlink=10,15,10,20 jobid=10 path=b20001
319 OK
320 \end{verbatim}
321
322 \subsection*{Cleanup after restore}
323
324 To drop the table used by the restore command, you can use the
325 \texttt{.bvfs\_cleanup} command.
326
327 \begin{verbatim}
328 .bvfs_cleanup path=b20001
329 \end{verbatim}
330
331 \section{Changes in the pruning algorithm}
332
333 We rewrote the job pruning algorithm in this version. Previously, in some users
334 reported that the pruning process at the end of jobs was very long. It should
335 not be longer the case. Now, Bacula won't prune automatically a Job if this
336 particular Job is needed to restore data. Example:
337
338 \begin{verbatim}
339 JobId: 1  Level: Full
340 JobId: 2  Level: Incremental
341 JobId: 3  Level: Incremental
342 JobId: 4  Level: Differential
343 .. Other incrementals up to now
344 \end{verbatim}
345
346 In this example, if the Job Retention defined in the Pool or in the Client
347 resource causes that Jobs with Jobid in 1,2,3,4 can be pruned, Bacula will
348 detect that JobId 1 and 4 are essential to restore data at the current state
349 and will prune only JobId 2 and 3.
350
351 \texttt{Important}, this change affect only the automatic pruning step after a
352 Job and the \texttt{prune jobs} Bconsole command. If a volume expires after the
353 \texttt{VolumeRetention} period, important jobs can be pruned.
354
355 \section{Ability to Verify any specified Job}
356 You now have the ability to tell Bacula which Job should verify instead of
357 automatically verify just the last one.
358
359 This feature can be used with VolumeToCatalog, DiskToCatalog and Catalog level.
360
361 To verify a given job, just specify the Job jobid in argument when starting the
362 job.
363 \begin{verbatim}
364 *run job=VerifyVolume jobid=1 level=VolumeToCatalog
365 Run Verify job
366 JobName:     VerifyVolume
367 Level:       VolumeToCatalog
368 Client:      127.0.0.1-fd
369 FileSet:     Full Set
370 Pool:        Default (From Job resource)
371 Storage:     File (From Job resource)
372 Verify Job:  VerifyVol.2010-09-08_14.17.17_03
373 Verify List: /tmp/regress/working/VerifyVol.bsr
374 When:        2010-09-08 14:17:31
375 Priority:    10
376 OK to run? (yes/mod/no):
377 \end{verbatim}
378
379 \medskip
380 This project was funded by Bacula Systems and is available with Bacula
381 Enterprise Edition and Community Edition.
382
383 \section{Additions to RunScript variables}
384 You can have access to JobBytes and JobFiles using \%b and \%f in your runscript
385 command. The Client address is now available through \%h.
386
387 \begin{verbatim}
388 RunAfterJob = "/bin/echo Job=%j JobBytes=%b JobFiles=%f ClientAddress=%h"
389 \end{verbatim}
390
391 %\section{Changes in drivetype.exe}
392 %
393 %Now the \texttt{drivetype.exe} program allows you to list all local hard
394 %drives. It can help to build dynamic FileSet on Windows.
395 %
396 %\begin{verbatim}
397 %File = "\\|\"c:/program files/bacula/bin32/drivetype\" -l -a"
398 %\end{verbatim}
399 %
400
401 \section{ACL/Extended Attributes}
402
403 We added support for NFSv4 ACLs on FreeBSD 8.1 and IRIX extended attributes.
404
405 This project was funded by Marco van Wieringen.
406
407 \section{Additions to the Plugin API}
408 The bfuncs structure has been extended to include a number of
409 new entrypoints.
410
411 \subsection{bfuncs}
412 The bFuncs structure defines the callback entry points within Bacula
413 that the plugin can use register events, get Bacula values, set
414 Bacula values, and send messages to the Job output or debug output.
415
416 The exact definition as of this writing is:
417 \begin{verbatim}
418 typedef struct s_baculaFuncs {
419    uint32_t size;
420    uint32_t version;
421    bRC (*registerBaculaEvents)(bpContext *ctx, ...);
422    bRC (*getBaculaValue)(bpContext *ctx, bVariable var, void *value);
423    bRC (*setBaculaValue)(bpContext *ctx, bVariable var, void *value);
424    bRC (*JobMessage)(bpContext *ctx, const char *file, int line,
425        int type, utime_t mtime, const char *fmt, ...);
426    bRC (*DebugMessage)(bpContext *ctx, const char *file, int line,
427        int level, const char *fmt, ...);
428    void *(*baculaMalloc)(bpContext *ctx, const char *file, int line,
429        size_t size);
430    void (*baculaFree)(bpContext *ctx, const char *file, int line, void *mem);
431    
432    /* New functions follow */
433    bRC (*AddExclude)(bpContext *ctx, const char *file);
434    bRC (*AddInclude)(bpContext *ctx, const char *file);
435    bRC (*AddIncludeOptions)(bpContext *ctx, const char *opts);
436    bRC (*AddRegex)(bpContext *ctx, const char *item, int type);
437    bRC (*AddWild)(bpContext *ctx, const char *item, int type);
438    bRC (*checkChanges)(bpContext *ctx, struct save_pkt *sp);
439
440 } bFuncs;
441 \end{verbatim}
442
443 \begin{description}
444 \item [AddExclude] can be called to exclude a file. The file
445   string passed may include wildcards that will be interpreted by
446   the {\bf fnmatch} subroutine. This function can be called 
447   multiple times, and each time the file specified will be added
448   to the list of files to be excluded. Note, this function only
449   permits adding excludes of specific file or directory names,
450   or files matched by the rather simple fnmatch mechanism.
451   See below for information on doing wild-card and regex excludes.
452
453 \item [NewInclude] can be called to create a new Include block. This
454   block will be added before any user defined Include blocks. This
455   function can be called multiple times, but each time, it will create
456   a new Include section (not normally needed). This function should
457   be called only if you want to add an entirely new Include block.
458
459 \item [AddInclude] can be called to add new files/directories to
460   be included.  They are added to the current Include block. If
461   NewInclude has not been included, the current Include block is
462   the last one that the user created. This function
463   should be used only if you want to add totally new files/directories
464   to be included in the backup. 
465
466 \item [NewOptions] adds a new Options block to the current Include
467   in front of any other Options blocks. This permits the plugin to
468   add exclude directives (wild-cards and regexes) in front of the
469   user Options, and thus prevent certain files from being backed up.
470   This can be useful if the plugin backs up files, and they should
471   not be also backed up by the main Bacula code.  This function
472   may be called multiple times, and each time, it creates a new
473   prepended Options block. Note: normally you want to call this 
474   entry point prior to calling AddOptions, AddRegex, or AddWild.
475   
476 \item [AddOptions] allows the plugin it set options in
477   the current Options block, which is normally created with the
478   NewOptions call just prior to adding Include Options.
479   The permitted options are passed as a character string, where
480   each character has a specific meaning as defined below:
481
482   \begin{description}
483   \item [a] always replace files (default).
484   \item [e] exclude rather than include.
485   \item [h] no recursion into subdirectories.
486   \item [H] do not handle hard links.
487   \item [i] ignore case in wildcard and regex matches.
488   \item [M] compute an MD5 sum.
489   \item [p] use a portable data format on Windows (not recommended).
490   \item [R] backup resource forks and Findr Info.
491   \item [r] read from a fifo
492   \item [S1] compute an SHA1 sum.
493   \item [S2] compute an SHA256 sum.
494   \item [S3] comput an SHA512 sum.
495   \item [s] handle sparse files.
496   \item [m] use st\_mtime only for file differences.
497   \item [k] restore the st\_atime after accessing a file.
498   \item [A] enable ACL backup.
499   \item [Vxxx:] specify verify options. Must terminate with :
500   \item [Cxxx:] specify accurate options. Must terminate with :
501   \item [Jxxx:] specify base job Options. Must terminate with :
502   \item [Pnnn:] specify integer nnn paths to strip. Must terminate with :
503   \item [w] if newer
504   \item [Zn] specify gzip compression level n.
505   \item [K] do not use st\_atime in backup decision.
506   \item [c] check if file changed during backup.
507   \item [N] honor no dump flag.
508   \item [X] enable backup of extended attributes.
509   \end{description}
510
511 \item [AddRegex] adds a regex expression to the current Options block.
512   The fillowing options are permitted:
513   \begin{description}
514   \item [ ] (a blank) regex applies to whole path and filename.
515   \item [F] regex applies only to the filename (directory or path stripped).
516   \item [D] regex applies only to the directory (path) part of the name.
517   \end{description}
518
519 \item [AddWild] adds a wildcard expression to the current Options block.
520   The fillowing options are permitted:
521   \begin{description}
522   \item [ ] (a blank) regex applies to whole path and filename.
523   \item [F] regex applies only to the filename (directory or path stripped).
524   \item [D] regex applies only to the directory (path) part of the name.
525   \end{description}
526
527 \item [checkChanges] call the \texttt{check\_changes()} function in Bacula code
528   that can use Accurate code to compare the file information in argument with
529   the previous file information. The \texttt{delta\_seq} attribute of the
530   \texttt{save\_pkt} will be updated, and the call will return
531   \texttt{bRC\_Seen} if the core code wouldn't decide to backup it.
532   
533 \end{description}
534   
535
536 \subsection{Bacula events}
537 The list of events has been extended to include:
538
539 \begin{verbatim}
540 typedef enum {
541   bEventJobStart        = 1,
542   bEventJobEnd          = 2,
543   bEventStartBackupJob  = 3,
544   bEventEndBackupJob    = 4,
545   bEventStartRestoreJob = 5,
546   bEventEndRestoreJob   = 6,
547   bEventStartVerifyJob  = 7,
548   bEventEndVerifyJob    = 8,
549   bEventBackupCommand   = 9,
550   bEventRestoreCommand  = 10,
551   bEventLevel           = 11,
552   bEventSince           = 12,
553    
554   /* New events */
555   bEventCancelCommand                   = 13,
556   bEventVssBackupAddComponents          = 14,
557   bEventVssRestoreLoadComponentMetadata = 15,
558   bEventVssRestoreSetComponentsSelected = 16,
559   bEventRestoreObject                   = 17,
560   bEventEndFileSet                      = 18,
561   bEventPluginCommand                   = 19,
562   bEventVssBeforeCloseRestore           = 20,
563   bEventVssPrepareSnapshot              = 21
564
565 } bEventType;
566 \end{verbatim}
567
568 \begin{description}
569 \item [bEventCancelCommand] is called whenever the currently
570   running Job is cancelled */
571
572 \item [bEventVssBackupAddComponents] 
573
574 \item [bEventVssPrepareSnapshot] is called before creating VSS snapshots, it
575   provides a char[27] table where the plugin can add Windows drives that will
576   be used during the Job. You need to add them without duplicates, and you can
577   use in \texttt{fd\_common.h} \texttt{add\_drive()} and \texttt{copy\_drives()}
578   for this purpose.
579 \end{description}
580
581 \chapter{Release Version 5.0.3}
582
583 There are no new features in version 5.0.2.  This version simply fixes a
584 number of bugs found in version 5.0.1 during the onging development
585 process.
586
587 \chapter{Release Version 5.0.2}
588
589 There are no new features in version 5.0.2.  This version simply fixes a
590 number of bugs found in version 5.0.1 during the onging development
591 process.
592
593 %%
594 %%
595
596 \chapter{New Features in 5.0.1}
597
598 This chapter presents the new features that are in the released Bacula version
599 5.0.1. This version mainly fixes a number of bugs found in version 5.0.0 during
600 the onging development process.
601
602 \section{Truncate Volume after Purge}
603 \label{sec:actiononpurge}
604
605 The Pool directive \textbf{ActionOnPurge=Truncate} instructs Bacula to truncate
606 the volume when it is purged with the new command \texttt{purge volume
607   action}. It is useful to prevent disk based volumes from consuming too much
608 space.
609
610 \begin{verbatim}
611 Pool {
612   Name = Default
613   Action On Purge = Truncate
614   ...
615 }
616 \end{verbatim}
617
618 As usual you can also set this property with the \texttt{update volume} command
619 \begin{verbatim}
620 *update volume=xxx ActionOnPurge=Truncate
621 *update volume=xxx actiononpurge=None
622 \end{verbatim}
623
624 To ask Bacula to truncate your \texttt{Purged} volumes, you need to use the
625 following command in interactive mode or in a RunScript as shown after:
626 \begin{verbatim}
627 *purge volume action=truncate storage=File allpools
628 # or by default, action=all
629 *purge volume action storage=File pool=Default
630 \end{verbatim}
631
632 This is possible to specify the volume name, the media type, the pool, the
633 storage, etc\dots (see \texttt{help purge}) Be sure that your storage device is
634 idle when you decide to run this command.
635
636 \begin{verbatim}
637 Job {
638  Name = CatalogBackup
639  ...
640  RunScript {
641    RunsWhen=After
642    RunsOnClient=No
643    Console = "purge volume action=all allpools storage=File"
644  }
645 }
646 \end{verbatim}
647
648 \textbf{Important note}: This feature doesn't work as
649 expected in version 5.0.0. Please do not use it before version 5.0.1.
650
651 \section{Allow Higher Duplicates}
652 This directive did not work correctly and has been depreciated
653 (disabled) in version 5.0.1. Please remove it from your bacula-dir.conf
654 file as it will be removed in a future rlease.
655
656 \section{Cancel Lower Level Duplicates}
657 This directive was added in Bacula version 5.0.1.  It compares the
658 level of a new backup job to old jobs of the same name, if any,
659 and will kill the job which has a lower level than the other one.
660 If the levels are the same (i.e. both are Full backups), then 
661 nothing is done and the other Cancel XXX Duplicate directives
662 will be examined.
663
664 \chapter{New Features in 5.0.0}
665
666 \section{Maximum Concurent Jobs for Devices}
667 \label{sec:maximumconcurentjobdevice}
668
669 {\bf Maximum Concurrent Jobs} is a new Device directive in the Storage
670 Daemon configuration permits setting the maximum number of Jobs that can
671 run concurrently on a specified Device.  Using this directive, it is
672 possible to have different Jobs using multiple drives, because when the
673 Maximum Concurrent Jobs limit is reached, the Storage Daemon will start new
674 Jobs on any other available compatible drive.  This facilitates writing to
675 multiple drives with multiple Jobs that all use the same Pool.
676
677 This project was funded by Bacula Systems.
678
679 \section{Restore from Multiple Storage Daemons}
680 \index[general]{Restore}
681
682 Previously, you were able to restore from multiple devices in a single Storage
683 Daemon. Now, Bacula is able to restore from multiple Storage Daemons. For
684 example, if your full backup runs on a Storage Daemon with an autochanger, and
685 your incremental jobs use another Storage Daemon with lots of disks, Bacula
686 will switch automatically from one Storage Daemon to an other within the same
687 Restore job.
688
689 You must upgrade your File Daemon to version 3.1.3 or greater to use this
690 feature.
691
692 This project was funded by Bacula Systems with the help of Equiinet.
693
694 \section{File Deduplication using Base Jobs}
695 A base job is sort of like a Full save except that you will want the FileSet to
696 contain only files that are unlikely to change in the future (i.e.  a snapshot
697 of most of your system after installing it).  After the base job has been run,
698 when you are doing a Full save, you specify one or more Base jobs to be used.
699 All files that have been backed up in the Base job/jobs but not modified will
700 then be excluded from the backup.  During a restore, the Base jobs will be
701 automatically pulled in where necessary.
702
703 This is something none of the competition does, as far as we know (except
704 perhaps BackupPC, which is a Perl program that saves to disk only).  It is big
705 win for the user, it makes Bacula stand out as offering a unique optimization
706 that immediately saves time and money.  Basically, imagine that you have 100
707 nearly identical Windows or Linux machine containing the OS and user files.
708 Now for the OS part, a Base job will be backed up once, and rather than making
709 100 copies of the OS, there will be only one.  If one or more of the systems
710 have some files updated, no problem, they will be automatically restored.
711
712 See the \ilink{Base Job Chapter}{basejobs} for more information.
713
714 This project was funded by Bacula Systems.
715
716 \section{AllowCompression = \lt{}yes\vb{}no\gt{}}
717 \index[dir]{AllowCompression}
718
719 This new directive may be added to Storage resource within the Director's
720 configuration to allow users to selectively disable the client compression for
721 any job which writes to this storage resource.
722
723 For example:
724 \begin{verbatim}
725 Storage {
726   Name = UltriumTape
727   Address = ultrium-tape
728   Password = storage_password # Password for Storage Daemon
729   Device = Ultrium
730   Media Type = LTO 3
731   AllowCompression = No # Tape drive has hardware compression
732 }
733 \end{verbatim}
734 The above example would cause any jobs running with the UltriumTape storage
735 resource to run without compression from the client file daemons.  This
736 effectively overrides any compression settings defined at the FileSet level.
737
738 This feature is probably most useful if you have a tape drive which supports
739 hardware compression.  By setting the \texttt{AllowCompression = No} directive
740 for your tape drive storage resource, you can avoid additional load on the file
741 daemon and possibly speed up tape backups.
742
743 This project was funded by Collaborative Fusion, Inc.
744
745 \section{Accurate Fileset Options}
746 \label{sec:accuratefileset}
747
748 In previous versions, the accurate code used the file creation and modification
749 times to determine if a file was modified or not. Now you can specify which
750 attributes to use (time, size, checksum, permission, owner, group, \dots),
751 similar to the Verify options.
752
753 \begin{verbatim}
754 FileSet {
755   Name = Full
756   Include = {
757     Options {
758        Accurate = mcs
759        Verify   = pin5
760     }
761     File = /
762   }
763 }
764 \end{verbatim}
765
766 \begin{description}  
767 \item {\bf i}  compare the inodes  
768 \item {\bf p}  compare the permission bits  
769 \item {\bf n}  compare the number of links  
770 \item {\bf u}  compare the user id  
771 \item {\bf g}  compare the group id  
772 \item {\bf s}  compare the size  
773 \item {\bf a}  compare the access time  
774 \item {\bf m}  compare the modification time (st\_mtime)  
775 \item {\bf c}  compare the change time (st\_ctime)  
776 \item {\bf d}  report file size decreases  
777 \item {\bf 5}  compare the MD5 signature  
778 \item {\bf 1}  compare the SHA1 signature  
779 \end{description}
780
781 \textbf{Important note:} If you decide to use checksum in Accurate jobs,
782 the File Daemon will have to read all files even if they normally would not
783 be saved.  This increases the I/O load, but also the accuracy of the
784 deduplication.  By default, Bacula will check modification/creation time
785 and size.
786
787 This project was funded by Bacula Systems.
788
789 \section{Tab-completion for Bconsole}
790 \label{sec:tabcompletion}
791
792 If you build \texttt{bconsole} with readline support, you will be able to use
793 the new auto-completion mode. This mode supports all commands, gives help
794 inside command, and lists resources when required. It works also in the restore
795 mode.
796
797 To use this feature, you should have readline development package loaded on
798 your system, and use the following option in configure.
799 \begin{verbatim}
800 ./configure --with-readline=/usr/include/readline --disable-conio ...
801 \end{verbatim}
802
803 The new bconsole won't be able to tab-complete with older directors.
804
805 This project was funded by Bacula Systems.
806
807 \section{Pool File and Job Retention}
808 \label{sec:poolfilejobretention}
809
810 We added two new Pool directives, \texttt{FileRetention} and
811 \texttt{JobRetention}, that take precedence over Client directives of the same
812 name. It allows you to control the Catalog pruning algorithm Pool by Pool. For
813 example, you can decide to increase Retention times for Archive or OffSite Pool.
814
815 It seems obvious to us, but apparently not to some users, that given the
816 definition above that the Pool File and Job Retention periods is a global
817 override for the normal Client based prunning, which means that when the
818 Job is prunned, the prunning will apply globally to that particular Job.
819
820 Currently, there is a bug in the implementation that causes any Pool 
821 retention periods specified to apply to {\bf all} Pools for that
822 particular Client.  Thus we suggest that you avoid using these two
823 directives until this implementation problem is corrected.
824
825 \section{Read-only File Daemon using capabilities}
826 \label{sec:fdreadonly}
827 This feature implements support of keeping \textbf{ReadAll} capabilities after
828 UID/GID switch, this allows FD to keep root read but drop write permission.
829
830 It introduces new \texttt{bacula-fd} option (\texttt{-k}) specifying that
831 \textbf{ReadAll} capabilities should be kept after UID/GID switch.
832
833 \begin{verbatim}
834 root@localhost:~# bacula-fd -k -u nobody -g nobody
835 \end{verbatim}
836
837 The code for this feature was contributed by our friends at AltLinux.
838
839 \section{Bvfs API}
840 \label{sec:bvfs}
841
842 To help developers of restore GUI interfaces, we have added new \textsl{dot
843   commands} that permit browsing the catalog in a very simple way.
844
845 \begin{itemize}
846 \item \texttt{.bvfs\_update [jobid=x,y,z]} This command is required to update
847   the Bvfs cache in the catalog. You need to run it before any access to the
848   Bvfs layer.
849
850 \item \texttt{.bvfs\_lsdirs jobid=x,y,z path=/path | pathid=101} This command
851   will list all directories in the specified \texttt{path} or
852   \texttt{pathid}. Using \texttt{pathid} avoids problems with character
853   encoding of path/filenames.
854
855 \item \texttt{.bvfs\_lsfiles jobid=x,y,z path=/path | pathid=101} This command
856   will list all files in the specified \texttt{path} or \texttt{pathid}. Using
857   \texttt{pathid} avoids problems with character encoding.
858 \end{itemize}
859
860 You can use \texttt{limit=xxx} and \texttt{offset=yyy} to limit the amount of
861 data that will be displayed.
862
863 \begin{verbatim}
864 * .bvfs_update jobid=1,2
865 * .bvfs_update
866 * .bvfs_lsdir path=/ jobid=1,2
867 \end{verbatim}
868
869 This project was funded by Bacula Systems.
870
871 \section{Testing your Tape Drive}
872 \label{sec:btapespeed}
873
874 To determine the best configuration of your tape drive, you can run the new
875 \texttt{speed} command available in the \texttt{btape} program.
876
877 This command can have the following arguments:
878 \begin{itemize}
879 \item[\texttt{file\_size=n}] Specify the Maximum File Size for this test
880   (between 1 and 5GB). This counter is in GB.
881 \item[\texttt{nb\_file=n}] Specify the number of file to be written. The amount
882   of data should be greater than your memory ($file\_size*nb\_file$).
883 \item[\texttt{skip\_zero}] This flag permits to skip tests with constant
884   data.
885 \item[\texttt{skip\_random}] This flag permits to skip tests with random
886   data.
887 \item[\texttt{skip\_raw}] This flag permits to skip tests with raw access.
888 \item[\texttt{skip\_block}] This flag permits to skip tests with Bacula block
889   access.
890 \end{itemize}
891
892 \begin{verbatim}
893 *speed file_size=3 skip_raw
894 btape.c:1078 Test with zero data and bacula block structure.
895 btape.c:956 Begin writing 3 files of 3.221 GB with blocks of 129024 bytes.
896 ++++++++++++++++++++++++++++++++++++++++++
897 btape.c:604 Wrote 1 EOF to "Drive-0" (/dev/nst0)
898 btape.c:406 Volume bytes=3.221 GB. Write rate = 44.128 MB/s
899 ...
900 btape.c:383 Total Volume bytes=9.664 GB. Total Write rate = 43.531 MB/s
901
902 btape.c:1090 Test with random data, should give the minimum throughput.
903 btape.c:956 Begin writing 3 files of 3.221 GB with blocks of 129024 bytes.
904 +++++++++++++++++++++++++++++++++++++++++++
905 btape.c:604 Wrote 1 EOF to "Drive-0" (/dev/nst0)
906 btape.c:406 Volume bytes=3.221 GB. Write rate = 7.271 MB/s
907 +++++++++++++++++++++++++++++++++++++++++++
908 ...
909 btape.c:383 Total Volume bytes=9.664 GB. Total Write rate = 7.365 MB/s
910
911 \end{verbatim}
912
913 When using compression, the random test will give your the minimum throughput
914 of your drive . The test using constant string will give you the maximum speed
915 of your hardware chain. (cpu, memory, scsi card, cable, drive, tape).
916
917 You can change the block size in the Storage Daemon configuration file.
918
919 \section{New {\bf Block Checksum} Device Directive}
920 You may now turn off the Block Checksum (CRC32) code
921 that Bacula uses when writing blocks to a Volume.  This is
922 done by adding:
923
924 \begin{verbatim}
925 Block Checksum = no
926 \end{verbatim}
927
928 doing so can reduce the Storage daemon CPU usage slightly.  It
929 will also permit Bacula to read a Volume that has corrupted data.
930
931 The default is {\bf yes} -- i.e. the checksum is computed on write
932 and checked on read. 
933
934 We do not recommend to turn this off particularly on older tape
935 drives or for disk Volumes where doing so may allow corrupted data
936 to go undetected.
937
938 \section{New Bat Features}
939
940 Those new features were funded by Bacula Systems.
941
942 \subsection{Media List View}
943
944 By clicking on ``Media'', you can see the list of all your volumes. You will be
945 able to filter by Pool, Media Type, Location,\dots And sort the result directly
946 in the table. The old ``Media'' view is now known as ``Pool''.
947 \begin{figure}[htbp]
948   \centering
949   \includegraphics[width=13cm]{\idir bat-mediaview.eps}
950   \label{fig:mediaview}
951 \end{figure}
952
953
954 \subsection{Media Information View}
955
956 By double-clicking on a volume (on the Media list, in the Autochanger content
957 or in the Job information panel), you can access a detailed overview of your
958 Volume. (cf \ref{fig:mediainfo}.)
959 \begin{figure}[htbp]
960   \centering
961   \includegraphics[width=13cm]{\idir bat11.eps}  
962   \caption{Media information}
963   \label{fig:mediainfo}
964 \end{figure}
965
966 \subsection{Job Information View}
967
968 By double-clicking on a Job record (on the Job run list or in the Media
969 information panel), you can access a detailed overview of your Job. (cf
970 \ref{fig:jobinfo}.)
971 \begin{figure}[htbp]
972   \centering
973   \includegraphics[width=13cm]{\idir bat12.eps}  
974   \caption{Job information}
975   \label{fig:jobinfo}
976 \end{figure}
977
978 \subsection{Autochanger Content View}
979
980 By double-clicking on a Storage record (on the Storage list panel), you can
981 access a detailed overview of your Autochanger. (cf \ref{fig:jobinfo}.)
982 \begin{figure}[htbp]
983   \centering
984   \includegraphics[width=13cm]{\idir bat13.eps}  
985   \caption{Autochanger content}
986   \label{fig:achcontent}
987 \end{figure}
988
989 To use this feature, you need to use the latest mtx-changer script
990 version. (With new \texttt{listall} and \texttt{transfer} commands)
991
992 \section{Bat on Windows}
993 We have ported {\bf bat} to Windows and it is now installed 
994 by default when the installer is run.  It works quite well 
995 on Win32, but has not had a lot of testing there, so your
996 feedback would be welcome.  Unfortunately, eventhough it is
997 installed by default, it does not yet work on 64 bit Windows
998 operating systems.
999
1000 \section{New Win32 Installer}
1001 The Win32 installer has been modified in several very important
1002 ways.  
1003 \begin{itemize}
1004 \item You must deinstall any current version of the
1005 Win32 File daemon before upgrading to the new one. 
1006 If you forget to do so, the new installation will fail.
1007 To correct this failure, you must manually shutdown 
1008 and deinstall the old File daemon. 
1009 \item All files (other than menu links) are installed
1010 in {\bf c:/Program Files/Bacula}.  
1011 \item The installer no longer sets this
1012 file to require administrator privileges by default. If you want
1013 to do so, please do it manually using the {\bf cacls} program.
1014 For example:
1015 \begin{verbatim}
1016 cacls "C:\Program Files\Bacula" /T /G SYSTEM:F Administrators:F
1017 \end{verbatim}
1018 \item The server daemons (Director and Storage daemon) are
1019 no longer included in the Windows installer.  If you want the
1020 Windows servers, you will either need to build them yourself (note
1021 they have not been ported to 64 bits), or you can contact 
1022 Bacula Systems about this.
1023 \end{itemize}
1024
1025 \section{Win64 Installer}
1026 We have corrected a number of problems that required manual
1027 editing of the conf files.  In most cases, it should now
1028 install and work.  {\bf bat} is by default installed in
1029 {\bf c:/Program Files/Bacula/bin32} rather than
1030 {\bf c:/Program Files/Bacula} as is the case with the 32
1031 bit Windows installer.
1032
1033 \section{Linux Bare Metal Recovery USB Key}
1034 We have made a number of significant improvements in the
1035 Bare Metal Recovery USB key.  Please see the README files
1036 it the {\bf rescue} release for more details.  
1037
1038 We are working on an equivalent USB key for Windows bare
1039 metal recovery, but it will take some time to develop it (best
1040 estimate 3Q2010 or 4Q2010)
1041
1042
1043 \section{bconsole Timeout Option}
1044 You can now use the -u option of {\bf bconsole} to set a timeout in seconds
1045 for commands. This is useful with GUI programs that use {\bf bconsole}
1046 to interface to the Director.
1047
1048 \section{Important Changes}
1049 \label{sec:importantchanges}
1050
1051 \begin{itemize}
1052 \item You are now allowed to Migrate, Copy, and Virtual Full to read and write
1053   to the same Pool. The Storage daemon ensures that you do not read and
1054   write to the same Volume.
1055 \item The \texttt{Device Poll Interval} is now 5 minutes. (previously did not
1056   poll by default).
1057 \item Virtually all the features of {\bf mtx-changer} have
1058   now been parameterized, which allows you to configure
1059   mtx-changer without changing it. There is a new configuration file {\bf mtx-changer.conf} 
1060   that contains variables that you can set to configure mtx-changer.
1061   This configuration file will not be overwritten during upgrades.
1062   We encourage you to submit any changes
1063   that are made to mtx-changer and to parameterize it all in
1064   mtx-changer.conf so that all configuration will be done by
1065   changing only mtx-changer.conf.
1066 \item The new \texttt{mtx-changer} script has two new options, \texttt{listall}
1067   and \texttt{transfer}. Please configure them as appropriate
1068   in mtx-changer.conf.
1069 \item To enhance security of the \texttt{BackupCatalog} job, we provide a new
1070   script (\texttt{make\_catalog\_backup.pl}) that does not expose your catalog
1071   password. If you want to use the new script, you will need to 
1072   manually change the \texttt{BackupCatalog} Job definition.
1073 \item The \texttt{bconsole} \texttt{help} command now accepts
1074   an argument, which if provided produces information on that
1075   command (ex: \texttt{help run}).
1076 \end{itemize}
1077
1078
1079 \subsubsection*{Truncate volume after purge}
1080
1081 Note that the Truncate Volume after purge feature doesn't work as expected
1082 in 5.0.0 version. Please, don't use it before version 5.0.1.
1083
1084 \subsection{Custom Catalog queries}
1085
1086 If you wish to add specialized commands that list the contents of the catalog,
1087 you can do so by adding them to the \texttt{query.sql} file. This
1088 \texttt{query.sql} file is now empty by default.  The file
1089 \texttt{examples/sample-query.sql} has an a number of sample commands
1090 you might find useful.
1091
1092 \subsection{Deprecated parts}
1093
1094 The following items have been \textbf{deprecated} for a long time, and are now
1095 removed from the code.
1096 \begin{itemize}
1097 \item Gnome console
1098 \item Support for SQLite 2
1099 \end{itemize}
1100
1101 \section{Misc Changes}
1102 \label{sec:miscchanges}
1103
1104 \begin{itemize}
1105 \item Updated Nagios check\_bacula
1106 \item Updated man files
1107 \item Added OSX package generation script in platforms/darwin
1108 \item Added Spanish and Ukrainian Bacula translations
1109 \item Enable/disable command shows only Jobs that can change
1110 \item Added \texttt{show disabled} command to show disabled Jobs
1111 \item Many ACL improvements
1112 \item Added Level to FD status Job output
1113 \item Begin Ingres DB driver (not yet working)
1114 \item Split RedHat spec files into bacula, bat, mtx, and docs
1115 \item Reorganized the manuals (fewer separate manuals)
1116 \item Added lock/unlock order protection in lock manager
1117 \item Allow 64 bit sizes for a number of variables
1118 \item Fixed several deadlocks or potential race conditions in the SD
1119 \end{itemize}
1120
1121 \chapter{Released Version 3.0.3 and 3.0.3a}
1122
1123 There are no new features in version 3.0.3.  This version simply fixes a
1124 number of bugs found in version 3.0.2 during the onging development
1125 process.
1126
1127 \chapter{New Features in Released Version 3.0.2}
1128
1129 This chapter presents the new features added to the
1130 Released Bacula Version 3.0.2.
1131
1132 \section{Full Restore from a Given JobId}
1133 \index[general]{Restore menu}
1134
1135 This feature allows selecting a single JobId and having Bacula
1136 automatically select all the other jobs that comprise a full backup up to
1137 and including the selected date (through JobId).
1138
1139 Assume we start with the following jobs:
1140 \begin{verbatim}
1141 +-------+--------------+---------------------+-------+----------+------------+
1142 | jobid | client       | starttime           | level | jobfiles | jobbytes   |
1143 +-------+--------------+---------------------+-------+----------+------------
1144 | 6     | localhost-fd | 2009-07-15 11:45:49 | I     | 2        | 0          |
1145 | 5     | localhost-fd | 2009-07-15 11:45:45 | I     | 15       | 44143      |
1146 | 3     | localhost-fd | 2009-07-15 11:45:38 | I     | 1        | 10         |
1147 | 1     | localhost-fd | 2009-07-15 11:45:30 | F     | 1527     | 44143073   |
1148 +-------+--------------+---------------------+-------+----------+------------+
1149 \end{verbatim}
1150
1151 Below is an example of this new feature (which is number 12 in the
1152 menu).
1153
1154 \begin{verbatim}
1155 * restore
1156 To select the JobIds, you have the following choices:
1157      1: List last 20 Jobs run
1158      2: List Jobs where a given File is saved
1159 ...
1160     12: Select full restore to a specified Job date
1161     13: Cancel
1162
1163 Select item:  (1-13): 12
1164 Enter JobId to get the state to restore: 5
1165 Selecting jobs to build the Full state at 2009-07-15 11:45:45
1166 You have selected the following JobIds: 1,3,5
1167
1168 Building directory tree for JobId(s) 1,3,5 ...  +++++++++++++++++++
1169 1,444 files inserted into the tree.
1170 \end{verbatim}
1171
1172 This project was funded by Bacula Systems.
1173
1174 \section{Source Address}
1175 \index[general]{Source Address}
1176
1177 A feature has been added which allows the administrator to specify the address
1178 from which the Director and File daemons will establish connections.  This
1179 may be used to simplify system configuration overhead when working in complex
1180 networks utilizing multi-homing and policy-routing.
1181
1182 To accomplish this, two new configuration directives have been implemented:
1183 \begin{verbatim}
1184 FileDaemon {
1185   FDSourceAddress=10.0.1.20    # Always initiate connections from this address
1186 }
1187
1188 Director {
1189   DirSourceAddress=10.0.1.10   # Always initiate connections from this address
1190 }
1191 \end{verbatim}
1192
1193 Simply adding specific host routes on the OS
1194 would have an undesirable side-effect: any
1195 application trying to contact the destination host would be forced to use the
1196 more specific route possibly diverting management traffic onto a backup VLAN.
1197 Instead of adding host routes for each client connected to a multi-homed backup
1198 server (for example where there are management and backup VLANs), one can
1199 use the new directives to specify a specific source address at the application
1200 level.
1201
1202 Additionally, this allows the simplification and abstraction of firewall rules
1203 when dealing with a Hot-Standby director or storage daemon configuration.  The
1204 Hot-standby pair may share a CARP address, which connections must be sourced
1205 from, while system services listen and act from the unique interface addresses.
1206
1207 This project was funded by Collaborative Fusion, Inc.
1208
1209 \section{Show volume availability when doing restore}
1210
1211 When doing a restore the selection dialog ends by displaying this
1212 screen:
1213
1214 \begin{verbatim}
1215   The job will require the following
1216    Volume(s)                 Storage(s)                SD Device(s)
1217    ===========================================================================
1218    *000741L3                  LTO-4                     LTO3 
1219    *000866L3                  LTO-4                     LTO3 
1220    *000765L3                  LTO-4                     LTO3 
1221    *000764L3                  LTO-4                     LTO3 
1222    *000756L3                  LTO-4                     LTO3 
1223    *001759L3                  LTO-4                     LTO3 
1224    *001763L3                  LTO-4                     LTO3 
1225     001762L3                  LTO-4                     LTO3 
1226     001767L3                  LTO-4                     LTO3 
1227
1228 Volumes marked with ``*'' are online (in the autochanger).
1229 \end{verbatim}
1230
1231 This should help speed up large restores by minimizing the time spent
1232 waiting for the operator to discover that he must change tapes in the library.
1233
1234 This project was funded by Bacula Systems.
1235
1236 \section{Accurate estimate command}
1237
1238 The \texttt{estimate} command can now use the accurate code to detect changes
1239 and give a better estimation.
1240
1241 You can set the accurate behavior on the command line by using
1242 \texttt{accurate=yes\vb{}no} or use the Job setting as default value.
1243
1244 \begin{verbatim}
1245 * estimate listing accurate=yes level=incremental job=BackupJob
1246 \end{verbatim}
1247
1248 This project was funded by Bacula Systems.
1249
1250 \chapter{New Features in 3.0.0}
1251 \label{NewFeaturesChapter}
1252 \index[general]{New Features}
1253
1254 This chapter presents the new features added to the development 2.5.x
1255 versions to be released as Bacula version 3.0.0 sometime in April 2009.
1256
1257 \section{Accurate Backup}
1258 \index[general]{Accurate Backup}
1259
1260 As with most other backup programs, by default Bacula decides what files to
1261 backup for Incremental and Differental backup by comparing the change
1262 (st\_ctime) and modification (st\_mtime) times of the file to the time the last
1263 backup completed.  If one of those two times is later than the last backup
1264 time, then the file will be backed up.  This does not, however, permit tracking
1265 what files have been deleted and will miss any file with an old time that may
1266 have been restored to or moved onto the client filesystem.
1267
1268 \subsection{Accurate = \lt{}yes\vb{}no\gt{}}
1269 If the {\bf Accurate = \lt{}yes\vb{}no\gt{}} directive is enabled (default no) in
1270 the Job resource, the job will be run as an Accurate Job. For a {\bf Full}
1271 backup, there is no difference, but for {\bf Differential} and {\bf
1272   Incremental} backups, the Director will send a list of all previous files
1273 backed up, and the File daemon will use that list to determine if any new files
1274 have been added or or moved and if any files have been deleted. This allows
1275 Bacula to make an accurate backup of your system to that point in time so that
1276 if you do a restore, it will restore your system exactly.  
1277
1278 One note of caution
1279 about using Accurate backup is that it requires more resources (CPU and memory)
1280 on both the Director and the Client machines to create the list of previous
1281 files backed up, to send that list to the File daemon, for the File daemon to
1282 keep the list (possibly very big) in memory, and for the File daemon to do
1283 comparisons between every file in the FileSet and the list.  In particular,
1284 if your client has lots of files (more than a few million), you will need
1285 lots of memory on the client machine.
1286
1287 Accurate must not be enabled when backing up with a plugin that is not
1288 specially designed to work with Accurate. If you enable it, your restores
1289 will probably not work correctly.
1290
1291 This project was funded by Bacula Systems.
1292                                        
1293
1294
1295 \section{Copy Jobs}
1296 \index[general]{Copy Jobs}
1297
1298 A new {\bf Copy} job type 'C' has been implemented. It is similar to the
1299 existing Migration feature with the exception that the Job that is copied is
1300 left unchanged.  This essentially creates two identical copies of the same
1301 backup. However, the copy is treated as a copy rather than a backup job, and
1302 hence is not directly available for restore.  The {\bf restore} command lists
1303 copy jobs and allows selection of copies by using \texttt{jobid=}
1304 option. If the keyword {\bf copies} is present on the command line, Bacula will
1305 display the list of all copies for selected jobs.
1306
1307 \begin{verbatim}
1308 * restore copies
1309 [...]
1310 These JobIds have copies as follows:
1311 +-------+------------------------------------+-----------+------------------+
1312 | JobId | Job                                | CopyJobId | MediaType        |
1313 +-------+------------------------------------+-----------+------------------+
1314 | 2     | CopyJobSave.2009-02-17_16.31.00.11 | 7         | DiskChangerMedia |
1315 +-------+------------------------------------+-----------+------------------+
1316 +-------+-------+----------+----------+---------------------+------------------+
1317 | JobId | Level | JobFiles | JobBytes | StartTime           | VolumeName       |
1318 +-------+-------+----------+----------+---------------------+------------------+
1319 | 19    | F     | 6274     | 76565018 | 2009-02-17 16:30:45 | ChangerVolume002 |
1320 | 2     | I     | 1        | 5        | 2009-02-17 16:30:51 | FileVolume001    |
1321 +-------+-------+----------+----------+---------------------+------------------+
1322 You have selected the following JobIds: 19,2
1323
1324 Building directory tree for JobId(s) 19,2 ...  ++++++++++++++++++++++++++++++++++++++++++++
1325 5,611 files inserted into the tree.
1326 ...
1327 \end{verbatim}
1328
1329
1330 The Copy Job runs without using the File daemon by copying the data from the
1331 old backup Volume to a different Volume in a different Pool. See the Migration
1332 documentation for additional details. For copy Jobs there is a new selection
1333 directive named {\bf PoolUncopiedJobs} which selects all Jobs that were
1334 not already copied to another Pool. 
1335
1336 As with Migration, the Client, Volume, Job, or SQL query, are
1337 other possible ways of selecting the Jobs to be copied. Selection
1338 types like SmallestVolume, OldestVolume, PoolOccupancy and PoolTime also
1339 work, but are probably more suited for Migration Jobs. 
1340
1341 If Bacula finds a Copy of a job record that is purged (deleted) from the catalog,
1342 it will promote the Copy to a \textsl{real} backup job and will make it available for
1343 automatic restore. If more than one Copy is available, it will promote the copy
1344 with the smallest JobId.
1345
1346 A nice solution which can be built with the new Copy feature is often
1347 called disk-to-disk-to-tape backup (DTDTT). A sample config could
1348 look something like the one below:
1349
1350 \begin{verbatim}
1351 Pool {
1352   Name = FullBackupsVirtualPool
1353   Pool Type = Backup
1354   Purge Oldest Volume = Yes
1355   Storage = vtl
1356   NextPool = FullBackupsTapePool
1357 }
1358
1359 Pool {
1360   Name = FullBackupsTapePool
1361   Pool Type = Backup
1362   Recycle = Yes
1363   AutoPrune = Yes
1364   Volume Retention = 365 days
1365   Storage = superloader
1366 }
1367
1368 #
1369 # Fake fileset for copy jobs
1370 #
1371 Fileset {
1372   Name = None
1373   Include {
1374     Options {
1375       signature = MD5
1376     }
1377   }
1378 }
1379
1380 #
1381 # Fake client for copy jobs
1382 #
1383 Client {
1384   Name = None
1385   Address = localhost
1386   Password = "NoNe"
1387   Catalog = MyCatalog
1388 }
1389
1390 #
1391 # Default template for a CopyDiskToTape Job
1392 #
1393 JobDefs {
1394   Name = CopyDiskToTape
1395   Type = Copy
1396   Messages = StandardCopy
1397   Client = None
1398   FileSet = None
1399   Selection Type = PoolUncopiedJobs
1400   Maximum Concurrent Jobs = 10
1401   SpoolData = No
1402   Allow Duplicate Jobs = Yes
1403   Cancel Queued Duplicates = No
1404   Cancel Running Duplicates = No
1405   Priority = 13
1406 }
1407
1408 Schedule {
1409    Name = DaySchedule7:00
1410    Run = Level=Full daily at 7:00
1411 }
1412
1413 Job {
1414   Name = CopyDiskToTapeFullBackups
1415   Enabled = Yes
1416   Schedule = DaySchedule7:00
1417   Pool = FullBackupsVirtualPool
1418   JobDefs = CopyDiskToTape
1419 }
1420 \end{verbatim}
1421
1422 The example above had 2 pool which are copied using the PoolUncopiedJobs
1423 selection criteria. Normal Full backups go to the Virtual pool and are copied
1424 to the Tape pool the next morning.
1425
1426 The command \texttt{list copies [jobid=x,y,z]} lists copies for a given
1427 \textbf{jobid}.
1428
1429 \begin{verbatim}
1430 *list copies
1431 +-------+------------------------------------+-----------+------------------+
1432 | JobId | Job                                | CopyJobId | MediaType        |
1433 +-------+------------------------------------+-----------+------------------+
1434 |     9 | CopyJobSave.2008-12-20_22.26.49.05 |        11 | DiskChangerMedia |
1435 +-------+------------------------------------+-----------+------------------+
1436 \end{verbatim}
1437
1438 \section{ACL Updates}
1439 \index[general]{ACL Updates}
1440 The whole ACL code had been overhauled and in this version each platforms has
1441 different streams for each type of acl available on such an platform. As ACLs
1442 between platforms tend to be not that portable (most implement POSIX acls but
1443 some use an other draft or a completely different format) we currently only
1444 allow certain platform specific ACL streams to be decoded and restored on the
1445 same platform that they were created on.  The old code allowed to restore ACL
1446 cross platform but the comments already mention that not being to wise. For
1447 backward compatability the new code will accept the two old ACL streams and
1448 handle those with the platform specific handler. But for all new backups it
1449 will save the ACLs using the new streams.
1450
1451 Currently the following platforms support ACLs:
1452
1453 \begin{itemize}
1454  \item {\bf AIX}
1455  \item {\bf Darwin/OSX}
1456  \item {\bf FreeBSD}
1457  \item {\bf HPUX}
1458  \item {\bf IRIX}
1459  \item {\bf Linux}
1460  \item {\bf Tru64}
1461  \item {\bf Solaris}
1462 \end{itemize}
1463
1464 Currently we support the following ACL types (these ACL streams use a reserved
1465 part of the stream numbers):
1466
1467 \begin{itemize}
1468 \item {\bf STREAM\_ACL\_AIX\_TEXT} 1000 AIX specific string representation from
1469   acl\_get
1470  \item {\bf STREAM\_ACL\_DARWIN\_ACCESS\_ACL} 1001 Darwin (OSX) specific acl\_t
1471    string representation from acl\_to\_text (POSIX acl)
1472   \item {\bf STREAM\_ACL\_FREEBSD\_DEFAULT\_ACL} 1002 FreeBSD specific acl\_t
1473     string representation from acl\_to\_text (POSIX acl) for default acls.
1474   \item {\bf STREAM\_ACL\_FREEBSD\_ACCESS\_ACL} 1003 FreeBSD specific acl\_t
1475     string representation from acl\_to\_text (POSIX acl) for access acls.
1476   \item {\bf STREAM\_ACL\_HPUX\_ACL\_ENTRY} 1004 HPUX specific acl\_entry
1477     string representation from acltostr (POSIX acl)
1478   \item {\bf STREAM\_ACL\_IRIX\_DEFAULT\_ACL} 1005 IRIX specific acl\_t string
1479     representation from acl\_to\_text (POSIX acl) for default acls.
1480   \item {\bf STREAM\_ACL\_IRIX\_ACCESS\_ACL} 1006 IRIX specific acl\_t string
1481     representation from acl\_to\_text (POSIX acl) for access acls.
1482   \item {\bf STREAM\_ACL\_LINUX\_DEFAULT\_ACL} 1007 Linux specific acl\_t
1483     string representation from acl\_to\_text (POSIX acl) for default acls.
1484   \item {\bf STREAM\_ACL\_LINUX\_ACCESS\_ACL} 1008 Linux specific acl\_t string
1485     representation from acl\_to\_text (POSIX acl) for access acls.
1486   \item {\bf STREAM\_ACL\_TRU64\_DEFAULT\_ACL} 1009 Tru64 specific acl\_t
1487     string representation from acl\_to\_text (POSIX acl) for default acls.
1488   \item {\bf STREAM\_ACL\_TRU64\_DEFAULT\_DIR\_ACL} 1010 Tru64 specific acl\_t
1489     string representation from acl\_to\_text (POSIX acl) for default acls.
1490   \item {\bf STREAM\_ACL\_TRU64\_ACCESS\_ACL} 1011 Tru64 specific acl\_t string
1491     representation from acl\_to\_text (POSIX acl) for access acls.
1492   \item {\bf STREAM\_ACL\_SOLARIS\_ACLENT} 1012 Solaris specific aclent\_t
1493     string representation from acltotext or acl\_totext (POSIX acl)
1494   \item {\bf STREAM\_ACL\_SOLARIS\_ACE} 1013 Solaris specific ace\_t string
1495     representation from from acl\_totext (NFSv4 or ZFS acl)
1496 \end{itemize}
1497
1498 In future versions we might support conversion functions from one type of acl
1499 into an other for types that are either the same or easily convertable. For now
1500 the streams are seperate and restoring them on a platform that doesn't
1501 recognize them will give you a warning.
1502
1503 \section{Extended Attributes}
1504 \index[general]{Extended Attributes}
1505 Something that was on the project list for some time is now implemented for
1506 platforms that support a similar kind of interface. Its the support for backup
1507 and restore of so called extended attributes. As extended attributes are so
1508 platform specific these attributes are saved in seperate streams for each
1509 platform.  Restores of the extended attributes can only be performed on the
1510 same platform the backup was done.  There is support for all types of extended
1511 attributes, but restoring from one type of filesystem onto an other type of
1512 filesystem on the same platform may lead to supprises.  As extended attributes
1513 can contain any type of data they are stored as a series of so called
1514 value-pairs.  This data must be seen as mostly binary and is stored as such.
1515 As security labels from selinux are also extended attributes this option also
1516 stores those labels and no specific code is enabled for handling selinux
1517 security labels.
1518
1519 Currently the following platforms support extended attributes:
1520 \begin{itemize}
1521  \item {\bf Darwin/OSX}
1522  \item {\bf FreeBSD}
1523  \item {\bf Linux}
1524  \item {\bf NetBSD}
1525 \end{itemize}
1526
1527 On linux acls are also extended attributes, as such when you enable ACLs on a
1528 Linux platform it will NOT save the same data twice e.g. it will save the ACLs
1529 and not the same exteneded attribute.
1530
1531 To enable the backup of extended attributes please add the following to your
1532 fileset definition.
1533 \begin{verbatim}
1534   FileSet {
1535     Name = "MyFileSet"
1536     Include {
1537       Options {
1538         signature = MD5
1539         xattrsupport = yes
1540       }
1541       File = ...
1542     }
1543   }
1544 \end{verbatim}
1545
1546 \section{Shared objects}
1547 \index[general]{Shared objects}
1548 A default build of Bacula will now create the libraries as shared objects
1549 (.so) rather than static libraries as was previously the case.  
1550 The shared libraries are built using {\bf libtool} so it should be quite
1551 portable.
1552
1553 An important advantage of using shared objects is that on a machine with the
1554 Directory, File daemon, the Storage daemon, and a console, you will have only
1555 one copy of the code in memory rather than four copies.  Also the total size of
1556 the binary release is smaller since the library code appears only once rather
1557 than once for every program that uses it; this results in significant reduction
1558 in the size of the binaries particularly for the utility tools.
1559  
1560 In order for the system loader to find the shared objects when loading the
1561 Bacula binaries, the Bacula shared objects must either be in a shared object
1562 directory known to the loader (typically /usr/lib) or they must be in the
1563 directory that may be specified on the {\bf ./configure} line using the {\bf
1564   {-}{-}libdir} option as:
1565
1566 \begin{verbatim}
1567   ./configure --libdir=/full-path/dir
1568 \end{verbatim}
1569
1570 the default is /usr/lib. If {-}{-}libdir is specified, there should be
1571 no need to modify your loader configuration provided that
1572 the shared objects are installed in that directory (Bacula
1573 does this with the make install command). The shared objects
1574 that Bacula references are:
1575
1576 \begin{verbatim}
1577 libbaccfg.so
1578 libbacfind.so
1579 libbacpy.so
1580 libbac.so
1581 \end{verbatim}
1582
1583 These files are symbolically linked to the real shared object file,
1584 which has a version number to permit running multiple versions of
1585 the libraries if desired (not normally the case).
1586
1587 If you have problems with libtool or you wish to use the old
1588 way of building static libraries, or you want to build a static
1589 version of Bacula you may disable
1590 libtool on the configure command line with:
1591
1592 \begin{verbatim}
1593   ./configure --disable-libtool
1594 \end{verbatim}
1595
1596
1597 \section{Building Static versions of Bacula}
1598 \index[general]{Static linking}
1599 In order to build static versions of Bacula, in addition
1600 to configuration options that were needed you now must
1601 also add --disable-libtool.  Example
1602
1603 \begin{verbatim}
1604   ./configure --enable-static-client-only --disable-libtool
1605 \end{verbatim}
1606
1607
1608 \section{Virtual Backup (Vbackup)}
1609 \index[general]{Virtual Backup}
1610 \index[general]{Vbackup}
1611
1612 Bacula's virtual backup feature is often called Synthetic Backup or
1613 Consolidation in other backup products.  It permits you to consolidate the
1614 previous Full backup plus the most recent Differential backup and any
1615 subsequent Incremental backups into a new Full backup.  This new Full
1616 backup will then be considered as the most recent Full for any future
1617 Incremental or Differential backups.  The VirtualFull backup is
1618 accomplished without contacting the client by reading the previous backup
1619 data and writing it to a volume in a different pool.
1620
1621 In some respects the Vbackup feature works similar to a Migration job, in
1622 that Bacula normally reads the data from the pool specified in the 
1623 Job resource, and writes it to the {\bf Next Pool} specified in the 
1624 Job resource. Note, this means that usually the output from the Virtual
1625 Backup is written into a different pool from where your prior backups
1626 are saved. Doing it this way guarantees that you will not get a deadlock
1627 situation attempting to read and write to the same volume in the Storage
1628 daemon. If you then want to do subsequent backups, you may need to
1629 move the Virtual Full Volume back to your normal backup pool.
1630 Alternatively, you can set your {\bf Next Pool} to point to the current
1631 pool.  This will cause Bacula to read and write to Volumes in the
1632 current pool. In general, this will work, because Bacula will
1633 not allow reading and writing on the same Volume. In any case, once
1634 a VirtualFull has been created, and a restore is done involving the
1635 most current Full, it will read the Volume or Volumes by the VirtualFull 
1636 regardless of in which Pool the Volume is found.
1637
1638 The Vbackup is enabled on a Job by Job in the Job resource by specifying
1639 a level of {\bf VirtualFull}.
1640
1641 A typical Job resource definition might look like the following:
1642
1643 \begin{verbatim}
1644 Job {
1645   Name = "MyBackup"
1646   Type = Backup
1647   Client=localhost-fd
1648   FileSet = "Full Set"
1649   Storage = File
1650   Messages = Standard
1651   Pool = Default
1652   SpoolData = yes
1653 }
1654
1655 # Default pool definition
1656 Pool {
1657   Name = Default
1658   Pool Type = Backup
1659   Recycle = yes            # Automatically recycle Volumes
1660   AutoPrune = yes          # Prune expired volumes
1661   Volume Retention = 365d  # one year
1662   NextPool = Full
1663   Storage = File
1664 }
1665
1666 Pool {
1667   Name = Full
1668   Pool Type = Backup
1669   Recycle = yes            # Automatically recycle Volumes
1670   AutoPrune = yes          # Prune expired volumes
1671   Volume Retention = 365d  # one year
1672   Storage = DiskChanger
1673 }
1674
1675 # Definition of file storage device
1676 Storage {
1677   Name = File
1678   Address = localhost
1679   Password = "xxx"
1680   Device = FileStorage
1681   Media Type = File
1682   Maximum Concurrent Jobs = 5
1683 }
1684
1685 # Definition of DDS Virtual tape disk storage device
1686 Storage {
1687   Name = DiskChanger
1688   Address = localhost  # N.B. Use a fully qualified name here
1689   Password = "yyy"
1690   Device = DiskChanger
1691   Media Type = DiskChangerMedia
1692   Maximum Concurrent Jobs = 4
1693   Autochanger = yes
1694 }
1695 \end{verbatim}
1696
1697 Then in bconsole or via a Run schedule, you would run the job as:
1698
1699 \begin{verbatim}
1700 run job=MyBackup level=Full
1701 run job=MyBackup level=Incremental
1702 run job=MyBackup level=Differential
1703 run job=MyBackup level=Incremental
1704 run job=MyBackup level=Incremental
1705 \end{verbatim}
1706
1707 So providing there were changes between each of those jobs, you would end up
1708 with a Full backup, a Differential, which includes the first Incremental
1709 backup, then two Incremental backups.  All the above jobs would be written to
1710 the {\bf Default} pool.
1711
1712 To consolidate those backups into a new Full backup, you would run the
1713 following:
1714
1715 \begin{verbatim}
1716 run job=MyBackup level=VirtualFull
1717 \end{verbatim}
1718
1719 And it would produce a new Full backup without using the client, and the output
1720 would be written to the {\bf Full} Pool which uses the Diskchanger Storage.
1721
1722 If the Virtual Full is run, and there are no prior Jobs, the Virtual Full will
1723 fail with an error.
1724
1725 Note, the Start and End time of the Virtual Full backup is set to the
1726 values for the last job included in the Virtual Full (in the above example,
1727 it is an Increment). This is so that if another incremental is done, which
1728 will be based on the Virtual Full, it will backup all files from the
1729 last Job included in the Virtual Full rather than from the time the Virtual
1730 Full was actually run.
1731
1732
1733
1734 \section{Catalog Format}
1735 \index[general]{Catalog Format}
1736 Bacula 3.0 comes with some changes to the catalog format.  The upgrade
1737 operation will convert the FileId field of the File table from 32 bits (max 4
1738 billion table entries) to 64 bits (very large number of items).  The
1739 conversion process can take a bit of time and will likely DOUBLE THE SIZE of
1740 your catalog during the conversion.  Also you won't be able to run jobs during
1741 this conversion period.  For example, a 3 million file catalog will take 2
1742 minutes to upgrade on a normal machine.  Please don't forget to make a valid
1743 backup of your database before executing the upgrade script. See the 
1744 ReleaseNotes for additional details.
1745
1746 \section{64 bit Windows Client}
1747 \index[general]{Win64 Client}
1748 Unfortunately, Microsoft's implementation of Volume Shadown Copy (VSS) on
1749 their 64 bit OS versions is not compatible with a 32 bit Bacula Client.
1750 As a consequence, we are also releasing a 64 bit version of the Bacula 
1751 Windows Client (win64bacula-3.0.0.exe) that does work with VSS. 
1752 These binaries should only be installed on 64 bit Windows operating systems.
1753 What is important is not your hardware but whether or not you have
1754 a 64 bit version of the Windows OS.  
1755
1756 Compared to the Win32 Bacula Client, the 64 bit release contains a few differences:
1757 \begin{enumerate}
1758 \item Before installing the Win64 Bacula Client, you must totally
1759       deinstall any prior 2.4.x Client installation using the 
1760       Bacula deinstallation (see the menu item). You may want
1761       to save your .conf files first.
1762 \item Only the Client (File daemon) is ported to Win64, the Director
1763       and the Storage daemon are not in the 64 bit Windows installer.
1764 \item bwx-console is not yet ported.
1765 \item bconsole is ported but it has not been tested.
1766 \item The documentation is not included in the installer.
1767 \item Due to Vista security restrictions imposed on a default installation
1768       of Vista, before upgrading the Client, you must manually stop
1769       any prior version of Bacula from running, otherwise the install
1770       will fail.
1771 \item Due to Vista security restrictions imposed on a default installation
1772       of Vista, attempting to edit the conf files via the menu items
1773       will fail. You must directly edit the files with appropriate 
1774       permissions.  Generally double clicking on the appropriate .conf
1775       file will work providing you have sufficient permissions.
1776 \item All Bacula files are now installed in 
1777       {\bf C:/Program Files/Bacula} except the main menu items,
1778       which are installed as before. This vastly simplifies the installation.
1779 \item If you are running on a foreign language version of Windows, most
1780       likely {\bf C:/Program Files} does not exist, so you should use the
1781       Custom installation and enter an appropriate location to install
1782       the files.
1783 \item The 3.0.0 Win32 Client continues to install files in the locations used
1784       by prior versions. For the next version we will convert it to use
1785       the same installation conventions as the Win64 version.
1786 \end{enumerate}
1787
1788 This project was funded by Bacula Systems.
1789
1790
1791 \section{Duplicate Job Control}
1792 \index[general]{Duplicate Jobs}
1793 The new version of Bacula provides four new directives that
1794 give additional control over what Bacula does if duplicate jobs 
1795 are started.  A duplicate job in the sense we use it here means
1796 a second or subsequent job with the same name starts.  This
1797 happens most frequently when the first job runs longer than expected because no 
1798 tapes are available.
1799
1800 The four directives each take as an argument a {\bf yes} or {\bf no} value and
1801 are specified in the Job resource.
1802
1803 They are:
1804
1805 \subsection{Allow Duplicate Jobs = \lt{}yes\vb{}no\gt{}}
1806 \index[general]{Allow Duplicate Jobs}
1807   If this directive is set to {\bf yes}, duplicate jobs will be run.  If
1808   the directive is set to {\bf no} (default) then only one job of a given name
1809   may run at one time, and the action that Bacula takes to ensure only
1810   one job runs is determined by the other directives (see below).
1811  
1812   If {\bf Allow Duplicate Jobs} is set to {\bf no} and two jobs
1813   are present and none of the three directives given below permit
1814   cancelling a job, then the current job (the second one started)
1815   will be cancelled.
1816
1817 \subsection{Allow Higher Duplicates = \lt{}yes\vb{}no\gt{}}
1818 \index[general]{Allow Higher Duplicates}
1819   This directive was in version 5.0.0, but does not work as
1820   expected. If used, it should always be set to no.  In later versions
1821   of Bacula the directive is disabled (disregarded).
1822
1823 \subsection{Cancel Running Duplicates = \lt{}yes\vb{}no\gt{}}
1824 \index[general]{Cancel Running Duplicates}
1825   If {\bf Allow Duplicate Jobs} is set to {\bf no} and
1826   if this directive is set to {\bf yes} any job that is already running
1827   will be canceled.  The default is {\bf no}.
1828
1829 \subsection{Cancel Queued Duplicates = \lt{}yes\vb{}no\gt{}}
1830 \index[general]{Cancel Queued Duplicates}
1831   If {\bf Allow Duplicate Jobs} is set to {\bf no} and
1832   if this directive is set to {\bf yes} any job that is
1833   already queued to run but not yet running will be canceled.
1834   The default is {\bf no}. 
1835
1836
1837 \section{TLS Authentication}
1838 \index[general]{TLS Authentication}
1839 In Bacula version 2.5.x and later, in addition to the normal Bacula
1840 CRAM-MD5 authentication that is used to authenticate each Bacula
1841 connection, you can specify that you want TLS Authentication as well,
1842 which will provide more secure authentication.
1843
1844 This new feature uses Bacula's existing TLS code (normally used for
1845 communications encryption) to do authentication.  To use it, you must
1846 specify all the TLS directives normally used to enable communications
1847 encryption (TLS Enable, TLS Verify Peer, TLS Certificate, ...) and
1848 a new directive:
1849
1850 \subsection{TLS Authenticate = yes}
1851 \begin{verbatim}
1852 TLS Authenticate = yes
1853 \end{verbatim}
1854
1855 in the main daemon configuration resource (Director for the Director,
1856 Client for the File daemon, and Storage for the Storage daemon).
1857
1858 When {\bf TLS Authenticate} is enabled, after doing the CRAM-MD5
1859 authentication, Bacula will also do TLS authentication, then TLS 
1860 encryption will be turned off, and the rest of the communication between
1861 the two Bacula daemons will be done without encryption.
1862
1863 If you want to encrypt communications data, use the normal TLS directives
1864 but do not turn on {\bf TLS Authenticate}.
1865
1866 \section{bextract non-portable Win32 data}
1867 \index[general]{bextract handles Win32 non-portable data}
1868 {\bf bextract} has been enhanced to be able to restore
1869 non-portable Win32 data to any OS.  Previous versions were 
1870 unable to restore non-portable Win32 data to machines that
1871 did not have the Win32 BackupRead and BackupWrite API calls.
1872
1873 \section{State File updated at Job Termination}
1874 \index[general]{State File}
1875 In previous versions of Bacula, the state file, which provides a
1876 summary of previous jobs run in the {\bf status} command output was
1877 updated only when Bacula terminated, thus if the daemon crashed, the
1878 state file might not contain all the run data.  This version of
1879 the Bacula daemons updates the state file on each job termination.
1880
1881 \section{MaxFullInterval = \lt{}time-interval\gt{}}
1882 \index[general]{MaxFullInterval}
1883 The new Job resource directive {\bf Max Full Interval = \lt{}time-interval\gt{}}
1884 can be used to specify the maximum time interval between {\bf Full} backup
1885 jobs. When a job starts, if the time since the last Full backup is
1886 greater than the specified interval, and the job would normally be an
1887 {\bf Incremental} or {\bf Differential}, it will be automatically
1888 upgraded to a {\bf Full} backup.
1889
1890 \section{MaxDiffInterval = \lt{}time-interval\gt{}}
1891 \index[general]{MaxDiffInterval}
1892 The new Job resource directive {\bf Max Diff Interval = \lt{}time-interval\gt{}}
1893 can be used to specify the maximum time interval between {\bf Differential} backup
1894 jobs. When a job starts, if the time since the last Differential backup is
1895 greater than the specified interval, and the job would normally be an
1896 {\bf Incremental}, it will be automatically
1897 upgraded to a {\bf Differential} backup.
1898
1899 \section{Honor No Dump Flag = \lt{}yes\vb{}no\gt{}}
1900 \index[general]{MaxDiffInterval}
1901 On FreeBSD systems, each file has a {\bf no dump flag} that can be set
1902 by the user, and when it is set it is an indication to backup programs
1903 to not backup that particular file.  This version of Bacula contains a
1904 new Options directive within a FileSet resource, which instructs Bacula to
1905 obey this flag.  The new directive is:
1906
1907 \begin{verbatim}
1908   Honor No Dump Flag = yes\vb{}no
1909 \end{verbatim}
1910
1911 The default value is {\bf no}.
1912
1913
1914 \section{Exclude Dir Containing = \lt{}filename-string\gt{}}
1915 \index[general]{IgnoreDir}
1916 The {\bf ExcludeDirContaining = \lt{}filename\gt{}} is a new directive that
1917 can be added to the Include section of the FileSet resource.  If the specified
1918 filename ({\bf filename-string}) is found on the Client in any directory to be
1919 backed up, the whole directory will be ignored (not backed up).  For example:
1920
1921 \begin{verbatim}
1922   # List of files to be backed up
1923   FileSet {
1924     Name = "MyFileSet"
1925     Include {
1926       Options {
1927         signature = MD5
1928       }
1929       File = /home
1930       Exclude Dir Containing = .excludeme
1931     }
1932   }
1933 \end{verbatim}
1934
1935 But in /home, there may be hundreds of directories of users and some
1936 people want to indicate that they don't want to have certain
1937 directories backed up. For example, with the above FileSet, if
1938 the user or sysadmin creates a file named {\bf .excludeme} in 
1939 specific directories, such as
1940
1941 \begin{verbatim}
1942    /home/user/www/cache/.excludeme
1943    /home/user/temp/.excludeme
1944 \end{verbatim}
1945
1946 then Bacula will not backup the two directories named:
1947
1948 \begin{verbatim}
1949    /home/user/www/cache
1950    /home/user/temp
1951 \end{verbatim}
1952
1953 NOTE: subdirectories will not be backed up.  That is, the directive
1954 applies to the two directories in question and any children (be they
1955 files, directories, etc).
1956
1957
1958 \section{Bacula Plugins}
1959 \index[general]{Plugin}
1960 Support for shared object plugins has been implemented in the Linux, Unix
1961 and Win32 File daemons. The API will be documented separately in
1962 the Developer's Guide or in a new document.  For the moment, there is
1963 a single plugin named {\bf bpipe} that allows an external program to
1964 get control to backup and restore a file.
1965
1966 Plugins are also planned (partially implemented) in the Director and the
1967 Storage daemon.  
1968
1969 \subsection{Plugin Directory}
1970 \index[general]{Plugin Directory}
1971 Each daemon (DIR, FD, SD) has a new {\bf Plugin Directory} directive that may
1972 be added to the daemon definition resource. The directory takes a quoted 
1973 string argument, which is the name of the directory in which the daemon can
1974 find the Bacula plugins. If this directive is not specified, Bacula will not
1975 load any plugins. Since each plugin has a distinctive name, all the daemons
1976 can share the same plugin directory. 
1977
1978 \subsection{Plugin Options}
1979 \index[general]{Plugin Options}
1980 The {\bf Plugin Options} directive takes a quoted string
1981 arguement (after the equal sign) and may be specified in the
1982 Job resource.  The options specified will be passed to all plugins
1983 when they are run.  This each plugin must know what it is looking
1984 for. The value defined in the Job resource can be modified
1985 by the user when he runs a Job via the {\bf bconsole} command line 
1986 prompts.
1987
1988 Note: this directive may be specified, and there is code to modify
1989 the string in the run command, but the plugin options are not yet passed to
1990 the plugin (i.e. not fully implemented).
1991
1992 \subsection{Plugin Options ACL}
1993 \index[general]{Plugin Options ACL}
1994 The {\bf Plugin Options ACL} directive may be specified in the
1995 Director's Console resource. It functions as all the other ACL commands
1996 do by permitting users running restricted consoles to specify a 
1997 {\bf Plugin Options} that overrides the one specified in the Job
1998 definition. Without this directive restricted consoles may not modify
1999 the Plugin Options.
2000
2001 \subsection{Plugin = \lt{}plugin-command-string\gt{}}
2002 \index[general]{Plugin}
2003 The {\bf Plugin} directive is specified in the Include section of
2004 a FileSet resource where you put your {\bf File = xxx} directives.
2005 For example:
2006
2007 \begin{verbatim}
2008   FileSet {
2009     Name = "MyFileSet"
2010     Include {
2011       Options {
2012         signature = MD5
2013       }
2014       File = /home
2015       Plugin = "bpipe:..."
2016     }
2017   }
2018 \end{verbatim}
2019
2020 In the above example, when the File daemon is processing the directives
2021 in the Include section, it will first backup all the files in {\bf /home}
2022 then it will load the plugin named {\bf bpipe} (actually bpipe-dir.so) from
2023 the Plugin Directory.  The syntax and semantics of the Plugin directive
2024 require the first part of the string up to the colon (:) to be the name
2025 of the plugin. Everything after the first colon is ignored by the File daemon but
2026 is passed to the plugin. Thus the plugin writer may define the meaning of the
2027 rest of the string as he wishes.
2028
2029 Please see the next section for information about the {\bf bpipe} Bacula
2030 plugin.
2031
2032 \section{The bpipe Plugin}
2033 \index[general]{The bpipe Plugin}
2034 The {\bf bpipe} plugin is provided in the directory src/plugins/fd/bpipe-fd.c of
2035 the Bacula source distribution. When the plugin is compiled and linking into
2036 the resulting dynamic shared object (DSO), it will have the name {\bf bpipe-fd.so}.
2037 Please note that this is a very simple plugin that was written for
2038 demonstration and test purposes. It is and can be used in production, but
2039 that was never really intended.
2040
2041 The purpose of the plugin is to provide an interface to any system program for
2042 backup and restore. As specified above the {\bf bpipe} plugin is specified in
2043 the Include section of your Job's FileSet resource.  The full syntax of the
2044 plugin directive as interpreted by the {\bf bpipe} plugin (each plugin is free
2045 to specify the sytax as it wishes) is:
2046
2047 \begin{verbatim}
2048   Plugin = "<field1>:<field2>:<field3>:<field4>"
2049 \end{verbatim}
2050
2051 where
2052 \begin{description}
2053 \item {\bf field1} is the name of the plugin with the trailing {\bf -fd.so}
2054 stripped off, so in this case, we would put {\bf bpipe} in this field.
2055
2056 \item {\bf field2} specifies the namespace, which for {\bf bpipe} is the
2057 pseudo path and filename under which the backup will be saved. This pseudo
2058 path and filename will be seen by the user in the restore file tree.
2059 For example, if the value is {\bf /MYSQL/regress.sql}, the data
2060 backed up by the plugin will be put under that "pseudo" path and filename.
2061 You must be careful to choose a naming convention that is unique to avoid
2062 a conflict with a path and filename that actually exists on your system.
2063
2064 \item {\bf field3} for the {\bf bpipe} plugin 
2065 specifies the "reader" program that is called by the plugin during
2066 backup to read the data. {\bf bpipe} will call this program by doing a
2067 {\bf popen} on it. 
2068
2069 \item {\bf field4} for the {\bf bpipe} plugin
2070 specifies the "writer" program that is called by the plugin during
2071 restore to write the data back to the filesystem.  
2072 \end{description}
2073
2074 Please note that for two items above describing the "reader" and "writer"
2075 fields, these programs are "executed" by Bacula, which
2076 means there is no shell interpretation of any command line arguments
2077 you might use.  If you want to use shell characters (redirection of input
2078 or output, ...), then we recommend that you put your command or commands
2079 in a shell script and execute the script. In addition if you backup a
2080 file with the reader program, when running the writer program during
2081 the restore, Bacula will not automatically create the path to the file.
2082 Either the path must exist, or you must explicitly do so with your command
2083 or in a shell script.
2084
2085 Putting it all together, the full plugin directive line might look
2086 like the following:
2087
2088 \begin{verbatim}
2089 Plugin = "bpipe:/MYSQL/regress.sql:mysqldump -f 
2090           --opt --databases bacula:mysql"
2091 \end{verbatim}
2092
2093 The directive has been split into two lines, but within the {\bf bacula-dir.conf} file
2094 would be written on a single line.
2095
2096 This causes the File daemon to call the {\bf bpipe} plugin, which will write
2097 its data into the "pseudo" file {\bf /MYSQL/regress.sql} by calling the 
2098 program {\bf mysqldump -f --opt --database bacula} to read the data during
2099 backup. The mysqldump command outputs all the data for the database named
2100 {\bf bacula}, which will be read by the plugin and stored in the backup.
2101 During restore, the data that was backed up will be sent to the program
2102 specified in the last field, which in this case is {\bf mysql}.  When
2103 {\bf mysql} is called, it will read the data sent to it by the plugn
2104 then write it back to the same database from which it came ({\bf bacula}
2105 in this case).
2106
2107 The {\bf bpipe} plugin is a generic pipe program, that simply transmits 
2108 the data from a specified program to Bacula for backup, and then from Bacula to 
2109 a specified program for restore.
2110
2111 By using different command lines to {\bf bpipe},
2112 you can backup any kind of data (ASCII or binary) depending
2113 on the program called.
2114
2115 \section{Microsoft Exchange Server 2003/2007 Plugin}
2116 \index[general]{Microsoft Exchange Server 2003/2007 Plugin}
2117 \subsection{Background}
2118 The Exchange plugin was made possible by a funded development project
2119 between Equiinet Ltd -- www.equiinet.com (many thanks) and Bacula Systems.
2120 The code for the plugin was written by James Harper, and the Bacula core
2121 code by Kern Sibbald.  All the code for this funded development has become
2122 part of the Bacula project.  Thanks to everyone who made it happen.
2123
2124 \subsection{Concepts}
2125 Although it is possible to backup Exchange using Bacula VSS the Exchange 
2126 plugin adds a good deal of functionality, because while Bacula VSS
2127 completes a full backup (snapshot) of Exchange, it does
2128 not support Incremental or Differential backups, restoring is more
2129 complicated, and a single database restore is not possible.
2130
2131 Microsoft Exchange organises its storage into Storage Groups with
2132 Databases inside them. A default installation of Exchange will have a
2133 single Storage Group called 'First Storage Group', with two Databases
2134 inside it, "Mailbox Store (SERVER NAME)" and 
2135 "Public Folder Store (SERVER NAME)", 
2136 which hold user email and public folders respectively.
2137
2138 In the default configuration, Exchange logs everything that happens to
2139 log files, such that if you have a backup, and all the log files since,
2140 you can restore to the present time. Each Storage Group has its own set
2141 of log files and operates independently of any other Storage Groups. At
2142 the Storage Group level, the logging can be turned off by enabling a
2143 function called "Enable circular logging". At this time the Exchange
2144 plugin will not function if this option is enabled.
2145
2146 The plugin allows backing up of entire storage groups, and the restoring
2147 of entire storage groups or individual databases. Backing up and
2148 restoring at the individual mailbox or email item is not supported but
2149 can be simulated by use of the "Recovery" Storage Group (see below).
2150
2151 \subsection{Installing}
2152 The Exchange plugin requires a DLL that is shipped with Microsoft
2153 Exchanger Server called {\bf esebcli2.dll}. Assuming Exchange is installed
2154 correctly the Exchange plugin should find this automatically and run
2155 without any additional installation.
2156
2157 If the DLL can not be found automatically it will need to be copied into
2158 the Bacula installation
2159 directory (eg C:\verb+\+Program Files\verb+\+Bacula\verb+\+bin). The Exchange API DLL is
2160 named esebcli2.dll and is found in C:\verb+\+Program Files\verb+\+Exchsrvr\verb+\+bin on a
2161 default Exchange installation.
2162
2163 \subsection{Backing Up}
2164 To back up an Exchange server the Fileset definition must contain at
2165 least {\bf Plugin = "exchange:/@EXCHANGE/Microsoft Information Store"} for
2166 the backup to work correctly. The 'exchange:' bit tells Bacula to look
2167 for the exchange plugin, the '@EXCHANGE' bit makes sure all the backed
2168 up files are prefixed with something that isn't going to share a name
2169 with something outside the plugin, and the 'Microsoft Information Store'
2170 bit is required also. It is also possible to add the name of a storage
2171 group to the "Plugin =" line, eg \\
2172 {\bf Plugin = "exchange:/@EXCHANGE/Microsoft Information Store/First Storage Group"} \\
2173 if you want only a single storage group backed up.
2174
2175 Additionally, you can suffix the 'Plugin =' directive with
2176 ":notrunconfull" which will tell the plugin not to truncate the Exchange
2177 database at the end of a full backup.
2178
2179 An Incremental or Differential backup will backup only the database logs
2180 for each Storage Group by inspecting the "modified date" on each
2181 physical log file. Because of the way the Exchange API works, the last
2182 logfile backed up on each backup will always be backed up by the next
2183 Incremental or Differential backup too. This adds 5MB to each
2184 Incremental or Differential backup size but otherwise does not cause any
2185 problems.
2186
2187 By default, a normal VSS fileset containing all the drive letters will
2188 also back up the Exchange databases using VSS. This will interfere with
2189 the plugin and Exchange's shared ideas of when the last full backup was
2190 done, and may also truncate log files incorrectly. It is important,
2191 therefore, that the Exchange database files be excluded from the backup,
2192 although the folders the files are in should be included, or they will
2193 have to be recreated manually if a baremetal restore is done.
2194
2195 \begin{verbatim}
2196 FileSet {
2197    Include {
2198       File = C:/Program Files/Exchsrvr/mdbdata
2199       Plugin = "exchange:..."
2200    }
2201    Exclude {
2202       File = C:/Program Files/Exchsrvr/mdbdata/E00.chk
2203       File = C:/Program Files/Exchsrvr/mdbdata/E00.log
2204       File = C:/Program Files/Exchsrvr/mdbdata/E000000F.log
2205       File = C:/Program Files/Exchsrvr/mdbdata/E0000010.log
2206       File = C:/Program Files/Exchsrvr/mdbdata/E0000011.log
2207       File = C:/Program Files/Exchsrvr/mdbdata/E00tmp.log
2208       File = C:/Program Files/Exchsrvr/mdbdata/priv1.edb
2209    }
2210 }
2211 \end{verbatim}
2212
2213 The advantage of excluding the above files is that you can significantly
2214 reduce the size of your backup since all the important Exchange files
2215 will be properly saved by the Plugin.
2216
2217
2218 \subsection{Restoring}
2219 The restore operation is much the same as a normal Bacula restore, with
2220 the following provisos:
2221
2222 \begin{itemize}
2223 \item  The {\bf Where} restore option must not be specified
2224 \item Each Database directory must be marked as a whole. You cannot just
2225      select (say) the .edb file and not the others.
2226 \item If a Storage Group is restored, the directory of the Storage Group
2227      must be marked too.
2228 \item  It is possible to restore only a subset of the available log files,
2229      but they {\bf must} be contiguous. Exchange will fail to restore correctly
2230      if a log file is missing from the sequence of log files
2231 \item Each database to be restored must be dismounted and marked as "Can be
2232     overwritten by restore"
2233 \item If an entire Storage Group is to be restored (eg all databases and
2234    logs in the Storage Group), then it is best to manually delete the
2235    database files from the server (eg C:\verb+\+Program Files\verb+\+Exchsrvr\verb+\+mdbdata\verb+\+*)
2236    as Exchange can get confused by stray log files lying around.
2237 \end{itemize}
2238
2239 \subsection{Restoring to the Recovery Storage Group}
2240 The concept of the Recovery Storage Group is well documented by
2241 Microsoft 
2242 \elink{http://support.microsoft.com/kb/824126}{http://support.microsoft.com/kb/824126}, 
2243 but to briefly summarize...
2244
2245 Microsoft Exchange allows the creation of an additional Storage Group
2246 called the Recovery Storage Group, which is used to restore an older
2247 copy of a database (e.g. before a mailbox was deleted) into without
2248 messing with the current live data. This is required as the Standard and
2249 Small Business Server versions of Exchange can not ordinarily have more
2250 than one Storage Group.
2251
2252 To create the Recovery Storage Group, drill down to the Server in Exchange
2253 System Manager, right click, and select
2254 {\bf "New -> Recovery Storage Group..."}.  Accept or change the file
2255 locations and click OK. On the Recovery Storage Group, right click and
2256 select {\bf "Add Database to Recover..."} and select the database you will
2257 be restoring.
2258
2259 Restore only the single database nominated as the database in the
2260 Recovery Storage Group. Exchange will redirect the restore to the
2261 Recovery Storage Group automatically.
2262 Then run the restore.
2263
2264 \subsection{Restoring on Microsoft Server 2007}
2265 Apparently the {\bf Exmerge} program no longer exists in Microsoft Server
2266 2007, and henc you use a new proceedure for recovering a single mail box.
2267 This procedure is ducomented by Microsoft at:
2268 \elink{http://technet.microsoft.com/en-us/library/aa997694.aspx}{http://technet.microsoft.com/en-us/library/aa997694.aspx},
2269 and involves using the {\bf Restore-Mailbox} and {\bf
2270 Get-MailboxStatistics} shell commands.
2271
2272 \subsection{Caveats}
2273 This plugin is still being developed, so you should consider it
2274 currently in BETA test, and thus use in a production environment
2275 should be done only after very careful testing.
2276
2277 When doing a full backup, the Exchange database logs are truncated by
2278 Exchange as soon as the plugin has completed the backup. If the data
2279 never makes it to the backup medium (eg because of spooling) then the
2280 logs will still be truncated, but they will also not have been backed
2281 up. A solution to this is being worked on. You will have to schedule a
2282 new Full backup to ensure that your next backups will be usable.
2283
2284 The "Enable Circular Logging" option cannot be enabled or the plugin
2285 will fail.
2286
2287 Exchange insists that a successful Full backup must have taken place if
2288 an Incremental or Differential backup is desired, and the plugin will
2289 fail if this is not the case. If a restore is done, Exchange will
2290 require that a Full backup be done before an Incremental or Differential
2291 backup is done.
2292
2293 The plugin will most likely not work well if another backup application
2294 (eg NTBACKUP) is backing up the Exchange database, especially if the
2295 other backup application is truncating the log files.
2296
2297 The Exchange plugin has not been tested with the {\bf Accurate} option, so
2298 we recommend either carefully testing or that you avoid this option for
2299 the current time.
2300
2301 The Exchange plugin is not called during processing the bconsole {\bf
2302 estimate} command, and so anything that would be backed up by the plugin
2303 will not be added to the estimate total that is displayed.
2304
2305
2306 \section{libdbi Framework}
2307 \index[general]{libdbi Framework}
2308 As a general guideline, Bacula has support for a few catalog database drivers
2309 (MySQL, PostgreSQL, SQLite)
2310 coded natively by the Bacula team.  With the libdbi implementation, which is a
2311 Bacula driver that uses libdbi to access the catalog, we have an open field to
2312 use many different kinds database engines following the needs of users.
2313
2314 The according to libdbi (http://libdbi.sourceforge.net/) project: libdbi
2315 implements a database-independent abstraction layer in C, similar to the
2316 DBI/DBD layer in Perl. Writing one generic set of code, programmers can
2317 leverage the power of multiple databases and multiple simultaneous database
2318 connections by using this framework.
2319
2320 Currently the libdbi driver in Bacula project only supports the same drivers
2321 natively coded in Bacula.  However the libdbi project has support for many
2322 others database engines. You can view the list at
2323 http://libdbi-drivers.sourceforge.net/. In the future all those drivers can be
2324 supported by Bacula, however, they must be tested properly by the Bacula team.
2325
2326 Some of benefits of using libdbi are:
2327 \begin{itemize}
2328 \item The possibility to use proprietary databases engines in which your
2329   proprietary licenses prevent the Bacula team from developing the driver.
2330  \item The possibility to use the drivers written for the libdbi project.
2331  \item The possibility to use other database engines without recompiling Bacula
2332    to use them.  Just change one line in bacula-dir.conf
2333  \item Abstract Database access, this is, unique point to code and profiling
2334    catalog database access.
2335  \end{itemize}
2336  
2337  The following drivers have been tested:
2338  \begin{itemize}
2339  \item PostgreSQL, with and without batch insert
2340  \item Mysql, with and without batch insert
2341  \item SQLite
2342  \item SQLite3
2343  \end{itemize}
2344
2345  In the future, we will test and approve to use others databases engines
2346  (proprietary or not) like DB2, Oracle, Microsoft SQL.
2347
2348  To compile Bacula to support libdbi we need to configure the code with the
2349  --with-dbi and --with-dbi-driver=[database] ./configure options, where
2350  [database] is the database engine to be used with Bacula (of course we can
2351  change the driver in file bacula-dir.conf, see below).  We must configure the
2352  access port of the database engine with the option --with-db-port, because the
2353  libdbi framework doesn't know the default access port of each database.
2354
2355 The next phase is checking (or configuring) the bacula-dir.conf, example:
2356 \begin{verbatim}
2357 Catalog {
2358   Name = MyCatalog
2359   dbdriver = dbi:mysql; dbaddress = 127.0.0.1; dbport = 3306
2360   dbname = regress; user = regress; password = ""
2361 }
2362 \end{verbatim}
2363
2364 The parameter {\bf dbdriver} indicates that we will use the driver dbi with a
2365 mysql database.  Currently the drivers supported by Bacula are: postgresql,
2366 mysql, sqlite, sqlite3; these are the names that may be added to string "dbi:".
2367
2368 The following limitations apply when Bacula is set to use the libdbi framework:
2369  - Not tested on the Win32 platform
2370  - A little performance is lost if comparing with native database driver. 
2371    The reason is bound with the database driver provided by libdbi and the 
2372    simple fact that one more layer of code was added.
2373
2374 It is important to remember, when compiling Bacula with libdbi, the
2375 following packages are needed:
2376  \begin{itemize}
2377   \item libdbi version 1.0.0, http://libdbi.sourceforge.net/
2378   \item libdbi-drivers 1.0.0, http://libdbi-drivers.sourceforge.net/
2379  \end{itemize}
2380  
2381  You can download them and compile them on your system or install the packages
2382  from your OS distribution.
2383
2384 \section{Console Command Additions and Enhancements}
2385 \index[general]{Console Additions}                                 
2386
2387 \subsection{Display Autochanger Content}
2388 \index[general]{StatusSlots}
2389
2390 The {\bf status slots storage=\lt{}storage-name\gt{}} command displays
2391 autochanger content.
2392
2393 \footnotesize
2394 \begin{verbatim}
2395  Slot |  Volume Name  |  Status  |  Media Type       |   Pool     |
2396 ------+---------------+----------+-------------------+------------|
2397     1 |         00001 |   Append |  DiskChangerMedia |    Default |
2398     2 |         00002 |   Append |  DiskChangerMedia |    Default |
2399     3*|         00003 |   Append |  DiskChangerMedia |    Scratch |
2400     4 |               |          |                   |            |
2401 \end{verbatim}
2402 \normalsize
2403
2404 If you an asterisk ({\bf *}) appears after the slot number, you must run an
2405 {\bf update slots} command to synchronize autochanger content with your
2406 catalog.
2407
2408 \subsection{list joblog job=xxx or jobid=nnn}
2409 \index[general]{list joblog}
2410 A new list command has been added that allows you to list the contents
2411 of the Job Log stored in the catalog for either a Job Name (fully qualified)
2412 or for a particular JobId.  The {\bf llist} command will include a line with
2413 the time and date of the entry.
2414
2415 Note for the catalog to have Job Log entries, you must have a directive 
2416 such as:
2417
2418 \begin{verbatim}
2419   catalog = all
2420 \end{verbatim}
2421
2422 In your Director's {\bf Messages} resource.
2423
2424 \subsection{Use separator for multiple commands}
2425 \index[general]{Command Separator}
2426   When using bconsole with readline, you can set the command separator with 
2427   \textbf{@separator} command to one
2428   of those characters to write commands who require multiple input in one line.
2429 \begin{verbatim}
2430   !$%&'()*+,-/:;<>?[]^`{|}~
2431 \end{verbatim}
2432
2433 \subsection{Deleting Volumes}
2434 The delete volume bconsole command has been modified to
2435 require an asterisk (*) in front of a MediaId otherwise the
2436 value you enter is a taken to be a Volume name. This is so that
2437 users may delete numeric Volume names. The previous Bacula versions
2438 assumed that all input that started with a number was a MediaId.
2439
2440 This new behavior is indicated in the prompt if you read it
2441 carefully.
2442
2443 \section{Bare Metal Recovery}
2444 The old bare metal recovery project is essentially dead. One
2445 of the main features of it was that it would build a recovery
2446 CD based on the kernel on your system. The problem was that
2447 every distribution has a different boot procedure and different 
2448 scripts, and worse yet, the boot procedures and scripts change
2449 from one distribution to another.  This meant that maintaining
2450 (keeping up with the changes) the rescue CD was too much work.
2451
2452 To replace it, a new bare metal recovery USB boot stick has been developed
2453 by Bacula Systems.  This technology involves remastering a Ubuntu LiveCD to
2454 boot from a USB key.  
2455
2456 Advantages: 
2457 \begin{enumerate} 
2458 \item Recovery can be done from within graphical environment.  
2459 \item Recovery can be done in a shell.  
2460 \item Ubuntu boots on a large number of Linux systems.  
2461 \item The process of updating the system and adding new
2462    packages is not too difficult. 
2463 \item The USB key can easily be upgraded to newer Ubuntu versions.
2464 \item The USB key has writable partitions for modifications to
2465    the OS and for modification to your home directory.
2466 \item You can add new files/directories to the USB key very easily.
2467 \item You can save the environment from multiple machines on
2468    one USB key.
2469 \item Bacula Systems is funding its ongoing development.
2470 \end{enumerate}
2471
2472 The disadvantages are:
2473 \begin{enumerate}
2474 \item The USB key is usable but currently under development.
2475 \item Not everyone may be familiar with Ubuntu (no worse
2476   than using Knoppix)
2477 \item Some older OSes cannot be booted from USB. This can
2478    be resolved by first booting a Ubuntu LiveCD then plugging
2479    in the USB key.
2480 \item Currently the documentation is sketchy and not yet added
2481    to the main manual. See below ...
2482 \end{enumerate}
2483
2484 The documentation and the code can be found in the {\bf rescue} package
2485 in the directory {\bf linux/usb}.
2486
2487 \section{Miscellaneous}
2488 \index[general]{Misc New Features}
2489
2490 \subsection{Allow Mixed Priority = \lt{}yes\vb{}no\gt{}}
2491 \index[general]{Allow Mixed Priority}
2492    This directive is only implemented in version 2.5 and later.  When
2493    set to {\bf yes} (default {\bf no}), this job may run even if lower
2494    priority jobs are already running.  This means a high priority job
2495    will not have to wait for other jobs to finish before starting.
2496    The scheduler will only mix priorities when all running jobs have
2497    this set to true.
2498
2499    Note that only higher priority jobs will start early.  Suppose the
2500    director will allow two concurrent jobs, and that two jobs with
2501    priority 10 are running, with two more in the queue.  If a job with
2502    priority 5 is added to the queue, it will be run as soon as one of
2503    the running jobs finishes.  However, new priority 10 jobs will not
2504    be run until the priority 5 job has finished.
2505
2506 \subsection{Bootstrap File Directive -- FileRegex}
2507 \index[general]{Bootstrap File Directive}
2508   {\bf FileRegex} is a new command that can be added to the bootstrap
2509   (.bsr) file.  The value is a regular expression.  When specified, only
2510   matching filenames will be restored.
2511
2512   During a restore, if all File records are pruned from the catalog
2513   for a Job, normally Bacula can restore only all files saved. That
2514   is there is no way using the catalog to select individual files.
2515   With this new feature, Bacula will ask if you want to specify a Regex
2516   expression for extracting only a part of the full backup.
2517
2518 \begin{verbatim}
2519   Building directory tree for JobId(s) 1,3 ...
2520   There were no files inserted into the tree, so file selection
2521   is not possible.Most likely your retention policy pruned the files
2522   
2523   Do you want to restore all the files? (yes\vb{}no): no
2524   
2525   Regexp matching files to restore? (empty to abort): /tmp/regress/(bin|tests)/
2526   Bootstrap records written to /tmp/regress/working/zog4-dir.restore.1.bsr
2527 \end{verbatim}
2528
2529 \subsection{Bootstrap File Optimization Changes}
2530 In order to permit proper seeking on disk files, we have extended the bootstrap
2531 file format to include a {\bf VolStartAddr} and {\bf VolEndAddr} records. Each
2532 takes a 64 bit unsigned integer range (i.e. nnn-mmm) which defines the start
2533 address range and end address range respectively.  These two directives replace
2534 the {\bf VolStartFile}, {\bf VolEndFile}, {\bf VolStartBlock} and {\bf
2535   VolEndBlock} directives.  Bootstrap files containing the old directives will
2536 still work, but will not properly take advantage of proper disk seeking, and
2537 may read completely to the end of a disk volume during a restore.  With the new
2538 format (automatically generated by the new Director), restores will seek
2539 properly and stop reading the volume when all the files have been restored.
2540
2541 \subsection{Solaris ZFS/NFSv4 ACLs}
2542 This is an upgrade of the previous Solaris ACL backup code
2543 to the new library format, which will backup both the old
2544 POSIX(UFS) ACLs as well as the ZFS ACLs.
2545
2546 The new code can also restore POSIX(UFS) ACLs to a ZFS filesystem
2547 (it will translate the POSIX(UFS)) ACL into a ZFS/NFSv4 one) it can also
2548 be used to transfer from UFS to ZFS filesystems.
2549
2550
2551 \subsection{Virtual Tape Emulation}
2552 \index[general]{Virtual Tape Emulation}
2553 We now have a Virtual Tape emulator that allows us to run though 99.9\% of
2554 the tape code but actually reading and writing to a disk file. Used with the
2555 \textbf{disk-changer} script, you can now emulate an autochanger with 10 drives
2556 and 700 slots. This feature is most useful in testing.  It is enabled
2557 by using {\bf Device Type = vtape} in the Storage daemon's Device
2558 directive. This feature is only implemented on Linux machines and should not be
2559 used for production.
2560
2561 \subsection{Bat Enhancements}
2562 \index[general]{Bat Enhancements}
2563 Bat (the Bacula Administration Tool) GUI program has been significantly
2564 enhanced and stabilized. In particular, there are new table based status 
2565 commands; it can now be easily localized using Qt4 Linguist.
2566
2567 The Bat communications protocol has been significantly enhanced to improve
2568 GUI handling. Note, you {\bf must} use a the bat that is distributed with
2569 the Director you are using otherwise the communications protocol will not
2570 work.
2571
2572 \subsection{RunScript Enhancements}
2573 \index[general]{RunScript Enhancements}
2574 The {\bf RunScript} resource has been enhanced to permit multiple
2575 commands per RunScript.  Simply specify multiple {\bf Command} directives
2576 in your RunScript.
2577
2578 \begin{verbatim}
2579 Job {
2580   Name = aJob
2581   RunScript {
2582     Command = "/bin/echo test"
2583     Command = "/bin/echo an other test"
2584     Command = "/bin/echo 3 commands in the same runscript"
2585     RunsWhen = Before
2586   }
2587  ...
2588 }
2589 \end{verbatim}
2590
2591 A new Client RunScript {\bf RunsWhen} keyword of {\bf AfterVSS} has been
2592 implemented, which runs the command after the Volume Shadow Copy has been made.
2593
2594 Console commands can be specified within a RunScript by using:
2595 {\bf Console = \lt{}command\gt{}}, however, this command has not been 
2596 carefully tested and debugged and is known to easily crash the Director.
2597 We would appreciate feedback.  Due to the recursive nature of this command, we
2598 may remove it before the final release.
2599
2600 \subsection{Status Enhancements}
2601 \index[general]{Status Enhancements}
2602 The bconsole {\bf status dir} output has been enhanced to indicate
2603 Storage daemon job spooling and despooling activity.
2604
2605 \subsection{Connect Timeout}
2606 \index[general]{Connect Timeout}
2607 The default connect timeout to the File
2608 daemon has been set to 3 minutes. Previously it was 30 minutes.
2609
2610 \subsection{ftruncate for NFS Volumes}
2611 \index[general]{ftruncate for NFS Volumes}
2612 If you write to a Volume mounted by NFS (say on a local file server),
2613 in previous Bacula versions, when the Volume was recycled, it was not
2614 properly truncated because NFS does not implement ftruncate (file 
2615 truncate). This is now corrected in the new version because we have
2616 written code (actually a kind user) that deletes and recreates the Volume,
2617 thus accomplishing the same thing as a truncate.
2618
2619 \subsection{Support for Ubuntu}
2620 The new version of Bacula now recognizes the Ubuntu (and Kubuntu)
2621 version of Linux, and thus now provides correct autostart routines.
2622 Since Ubuntu officially supports Bacula, you can also obtain any
2623 recent release of Bacula from the Ubuntu repositories.
2624
2625 \subsection{Recycle Pool = \lt{}pool-name\gt{}}
2626 \index[general]{Recycle Pool}
2627 The new \textbf{RecyclePool} directive defines to which pool the Volume will
2628 be placed (moved) when it is recycled. Without this directive, a Volume will
2629 remain in the same pool when it is recycled. With this directive, it can be
2630 moved automatically to any existing pool during a recycle. This directive is
2631 probably most useful when defined in the Scratch pool, so that volumes will
2632 be recycled back into the Scratch pool.
2633
2634 \subsection{FD Version}
2635 \index[general]{FD Version}
2636 The File daemon to Director protocol now includes a version 
2637 number, which although there is no visible change for users, 
2638 will help us in future versions automatically determine
2639 if a File daemon is not compatible.
2640
2641 \subsection{Max Run Sched Time = \lt{}time-period-in-seconds\gt{}}
2642 \index[general]{Max Run Sched Time}
2643 The time specifies the maximum allowed time that a job may run, counted from
2644 when the job was scheduled. This can be useful to prevent jobs from running
2645 during working hours. We can see it like \texttt{Max Start Delay + Max Run
2646   Time}.
2647
2648 \subsection{Max Wait Time = \lt{}time-period-in-seconds\gt{}}
2649 \index[general]{Max Wait Time}
2650 Previous \textbf{MaxWaitTime} directives aren't working as expected, instead
2651 of checking the maximum allowed time that a job may block for a resource,
2652 those directives worked like \textbf{MaxRunTime}. Some users are reporting to
2653 use \textbf{Incr/Diff/Full Max Wait Time} to control the maximum run time of
2654 their job depending on the level. Now, they have to use
2655 \textbf{Incr/Diff/Full Max Run Time}.  \textbf{Incr/Diff/Full Max Wait Time}
2656 directives are now deprecated.
2657
2658 \subsection{Incremental|Differential Max Wait Time = \lt{}time-period-in-seconds\gt{}} 
2659 \index[general]{Incremental Max Wait Time}
2660 \index[general]{Differential Max Wait Time}
2661
2662 These directives have been deprecated in favor of
2663 \texttt{Incremental|Differential Max Run Time}.
2664
2665 \subsection{Max Run Time directives}
2666 \index[general]{Max Run Time directives}
2667 Using \textbf{Full/Diff/Incr Max Run Time}, it's now possible to specify the
2668 maximum allowed time that a job can run depending on the level.
2669
2670 \addcontentsline{lof}{figure}{Job time control directives}
2671 \includegraphics{\idir different_time.eps}
2672
2673 \subsection{Statistics Enhancements}
2674 \index[general]{Statistics Enhancements}
2675 If you (or probably your boss) want to have statistics on your backups to
2676 provide some \textit{Service Level Agreement} indicators, you could use a few
2677 SQL queries on the Job table to report how many:
2678
2679 \begin{itemize}
2680 \item jobs have run
2681 \item jobs have been successful
2682 \item files have been backed up
2683 \item ...
2684 \end{itemize}
2685
2686 However, these statistics are accurate only if your job retention is greater
2687 than your statistics period. Ie, if jobs are purged from the catalog, you won't
2688 be able to use them. 
2689
2690 Now, you can use the \textbf{update stats [days=num]} console command to fill
2691 the JobHistory table with new Job records. If you want to be sure to take in
2692 account only \textbf{good jobs}, ie if one of your important job has failed but
2693 you have fixed the problem and restarted it on time, you probably want to
2694 delete the first \textit{bad} job record and keep only the successful one. For
2695 that simply let your staff do the job, and update JobHistory table after two or
2696 three days depending on your organization using the \textbf{[days=num]} option.
2697
2698 These statistics records aren't used for restoring, but mainly for
2699 capacity planning, billings, etc.
2700
2701 The Bweb interface provides a statistics module that can use this feature. You
2702 can also use tools like Talend or extract information by yourself.
2703
2704 The \textbf{Statistics Retention = \lt{}time\gt{}} director directive defines
2705 the length of time that Bacula will keep statistics job records in the Catalog
2706 database after the Job End time. (In \texttt{JobHistory} table) When this time
2707 period expires, and if user runs \texttt{prune stats} command, Bacula will
2708 prune (remove) Job records that are older than the specified period.
2709
2710 You can use the following Job resource in your nightly \textbf{BackupCatalog}
2711 job to maintain statistics.
2712 \begin{verbatim}
2713 Job {
2714   Name = BackupCatalog
2715   ...
2716   RunScript {
2717     Console = "update stats days=3"
2718     Console = "prune stats yes"
2719     RunsWhen = After
2720     RunsOnClient = no
2721   }
2722 }
2723 \end{verbatim}
2724
2725 \subsection{ScratchPool = \lt{}pool-resource-name\gt{}}
2726 \index[general]{ScratchPool}
2727 This directive permits to specify a specific \textsl{Scratch} pool for the
2728 current pool. This is useful when using multiple storage sharing the same
2729 mediatype or when you want to dedicate volumes to a particular set of pool.
2730
2731 \subsection{Enhanced Attribute Despooling}
2732 \index[general]{Attribute Despooling}
2733 If the storage daemon and the Director are on the same machine, the spool file
2734 that contains attributes is read directly by the Director instead of being
2735 transmitted across the network. That should reduce load and speedup insertion.
2736
2737 \subsection{SpoolSize = \lt{}size-specification-in-bytes\gt{}}
2738 \index[general]{SpoolSize}
2739 A new Job directive permits to specify the spool size per job. This is used
2740 in advanced job tunning. {\bf SpoolSize={\it bytes}}
2741
2742 \subsection{MaximumConsoleConnections = \lt{}number\gt{}}
2743 \index[general]{MaximumConsoleConnections}
2744 A new director directive permits to specify the maximum number of Console
2745 Connections that could run concurrently. The default is set to 20, but you may
2746 set it to a larger number.
2747
2748 \subsection{VerId = \lt{}string\gt{}}
2749 \index[general]{VerId}
2750 A new director directive permits to specify a personnal identifier that will be
2751 displayed in the \texttt{version} command.
2752
2753 \subsection{dbcheck enhancements}
2754 \index[general]{dbcheck enhancements}
2755 If you are using Mysql, dbcheck will now ask you if you want to create
2756 temporary indexes to speed up orphaned Path and Filename elimination. 
2757
2758 A new \texttt{-B} option allows you to print catalog information in a simple
2759 text based format. This is useful to backup it in a secure way.
2760
2761 \begin{verbatim}
2762  $ dbcheck -B 
2763  catalog=MyCatalog
2764  db_type=SQLite
2765  db_name=regress
2766  db_driver=
2767  db_user=regress
2768  db_password=
2769  db_address=
2770  db_port=0
2771  db_socket=
2772 \end{verbatim} %$
2773
2774 You can now specify the database connection port in the command line.
2775
2776 \subsection{{-}{-}docdir configure option}
2777 \index[general]{{-}{-}docdir configure option}
2778 You can use {-}{-}docdir= on the ./configure command to
2779 specify the directory where you want Bacula to install the
2780 LICENSE, ReleaseNotes, ChangeLog, ... files.   The default is 
2781 {\bf /usr/share/doc/bacula}.
2782       
2783 \subsection{{-}{-}htmldir configure option}
2784 \index[general]{{-}{-}htmldir configure option}
2785 You can use {-}{-}htmldir= on the ./configure command to
2786 specify the directory where you want Bacula to install the bat html help
2787 files. The default is {\bf /usr/share/doc/bacula/html}
2788
2789 \subsection{{-}{-}with-plugindir configure option}
2790 \index[general]{{-}{-}plugindir configure option}
2791 You can use {-}{-}plugindir= on the ./configure command to
2792 specify the directory where you want Bacula to install
2793 the plugins (currently only bpipe-fd). The default is
2794 /usr/lib.