]> git.sur5r.net Git - bacula/docs/blob - docs/manuals/en/main/newfeatures.tex
fdf16b6803baaaf95f3e1a0d03f146fb13036b0c
[bacula/docs] / docs / manuals / en / main / newfeatures.tex
1 \chapter{New Features in 3.1.4 (Development Version)}
2 \label{NewFeaturesChapter}
3
4 This chapter presents the new features that are currently under development
5 in the 3.1.x versions to be released as Bacula version 5.0.0 sometime in
6 late 2009 or early 2010.
7
8 \section{Truncate volume after purge}
9 \label{sec:actiononpurge}
10
11 The Pool directive \textbf{ActionOnPurge=Truncate} instructs Bacula to truncate
12 the volume when it is purged. It is useful to prevent disk based volumes from
13 consuming too much space. 
14
15 \begin{verbatim}
16 Pool {
17   Name = Default
18   Action On Purge = Truncate
19   ...
20 }
21 \end{verbatim}
22
23 \section{Maximum Concurent Jobs for Devices}
24 \label{sec:maximumconcurentjobdevice}
25
26 {\bf Maximum Concurrent Jobs} is a new Device directive in the Storage
27 Daemon configuration permits setting the maximum number of Jobs that can
28 run concurrently on a specified Device.  Using this directive, it is
29 possible to have different Jobs using multiple drives, because when the
30 Maximum Concurrent Jobs limit is reached, the Storage Daemon will start new
31 Jobs on any other available compatible drive.  This facilitates writing to
32 multiple drives with multiple Jobs that all use the same Pool.
33
34 This project was funded by Bacula Systems.
35
36 \section{Restore from Multiple Storage Daemons}
37 \index[general]{Restore}
38
39 Previously, you were able to restore from multiple devices in a single Storage
40 Daemon. Now, Bacula is able to restore from multiple Storage Daemons. For
41 example, if your full backup runs on a Storage Daemon with an autochanger, and
42 your incremental jobs use another Storage Daemon with lots of disks, Bacula
43 will switch automatically from one Storage Daemon to an other within the same
44 Restore job.
45
46 You must upgrade your File Daemon to version 3.1.3 or greater to use this
47 feature.
48
49 This project was funded by Bacula Systems with the help of Equiinet.
50
51 \section{File Deduplication using Base Jobs}
52 A base job is sort of like a Full save except that you will want the FileSet to
53 contain only files that are unlikely to change in the future (i.e.  a snapshot
54 of most of your system after installing it).  After the base job has been run,
55 when you are doing a Full save, you specify one or more Base jobs to be used.
56 All files that have been backed up in the Base job/jobs but not modified will
57 then be excluded from the backup.  During a restore, the Base jobs will be
58 automatically pulled in where necessary.
59
60 This is something none of the competition does, as far as we know (except
61 perhaps BackupPC, which is a Perl program that saves to disk only).  It is big
62 win for the user, it makes Bacula stand out as offering a unique optimization
63 that immediately saves time and money.  Basically, imagine that you have 100
64 nearly identical Windows or Linux machine containing the OS and user files.
65 Now for the OS part, a Base job will be backed up once, and rather than making
66 100 copies of the OS, there will be only one.  If one or more of the systems
67 have some files updated, no problem, they will be automatically restored.
68
69 A new Job directive \texttt{Base=Jobx, Joby...} permits to specify the list of
70 files that will be used during Full backup as base.
71
72 \begin{verbatim}
73 Job {
74    Name = BackupLinux
75    Level= Base
76    ...
77 }
78
79 Job {
80    Name = BackupZog4
81    Base = BackupZog4, BackupLinux
82    Accurate = yes
83    ...
84 }
85 \end{verbatim}
86
87 In this example, the job \texttt{BackupZog4} will use the most recent version
88 of all files contained in \texttt{BackupZog4} and \texttt{BackupLinux}
89 jobs. Base jobs should have run with \texttt{level=Base} to be used.
90
91 By default, Bacula will compare permissions bits, user and group fields,
92 modification time, size and the checksum of the file to choose between the
93 current backup and the BaseJob file list. You can change this behavior with the
94 \texttt{BaseJob} FileSet option. This option works like the \texttt{verify=}
95 one, that is described in the \ilink{FileSet}{FileSetResource} chapter.
96
97 \begin{verbatim}
98 FileSet {
99   Name = Full
100   Include = {
101     Options {
102        BaseJob  = pmugcs5
103        Accurate = mcs5
104        Verify   = pin5
105     }
106     File = /
107   }
108 }
109 \end{verbatim}
110
111
112 This project was funded by Bacula Systems.
113
114 \section{AllowCompression = \lt{}yes\vb{}no\gt{}}
115 \index[dir]{AllowCompression}
116
117 This new directive may be added to Storage resource within the Director's
118 configuration to allow users to selectively disable the client compression for
119 any job which writes to this storage resource.
120
121 For example:
122 \begin{verbatim}
123 Storage {
124   Name = UltriumTape
125   Address = ultrium-tape
126   Password = storage_password # Password for Storage Daemon
127   Device = Ultrium
128   Media Type = LTO 3
129   AllowCompression = No # Tape drive has hardware compression
130 }
131 \end{verbatim}
132 The above example would cause any jobs running with the UltriumTape storage
133 resource to run without compression from the client file daemons.  This
134 effectively overrides any compression settings defined at the FileSet level.
135
136 This feature is probably most useful if you have a tape drive which supports
137 hardware compression.  By setting the \texttt{AllowCompression = No} directive
138 for your tape drive storage resource, you can avoid additional load on the file
139 daemon and possibly speed up tape backups.
140
141 This project was funded by Collaborative Fusion, Inc.
142
143 \section{Accurate Fileset Options}
144 \label{sec:accuratefileset}
145
146 In previous versions, the accurate code used the file creation and modification
147 times to determine if a file was modified or not. Now you can specify which
148 attributes to use (time, size, checksum, permission, owner, group, \dots),
149 similar to the Verify options.
150
151 \begin{verbatim}
152 FileSet {
153   Name = Full
154   Include = {
155     Options {
156        Accurate = mcs5
157        Verify   = pin5
158     }
159     File = /
160   }
161 }
162 \end{verbatim}
163
164 \begin{description}  
165 \item {\bf i}  compare the inodes  
166 \item {\bf p}  compare the permission bits  
167 \item {\bf n}  compare the number of links  
168 \item {\bf u}  compare the user id  
169 \item {\bf g}  compare the group id  
170 \item {\bf s}  compare the size  
171 \item {\bf a}  compare the access time  
172 \item {\bf m}  compare the modification time (st\_mtime)  
173 \item {\bf c}  compare the change time (st\_ctime)  
174 \item {\bf d}  report file size decreases  
175 \item {\bf 5}  compare the MD5 signature  
176 \item {\bf 1}  compare the SHA1 signature  
177 \end{description}
178
179 \textbf{Important note:} If you decide to use checksum in Accurate jobs,
180 the File Daemon will have to read all files even if they normally would not
181 be saved.  This increases the I/O load, but also the accuracy of the
182 deduplication.  By default, Bacula will check modification/creation time
183 and size.
184
185 This project was funded by Bacula Systems.
186
187 \section{Tab-completion for Bconsole}
188 \label{sec:tabcompletion}
189
190 If you build \texttt{bconsole} with readline support, you will be able to use
191 the new auto-completion mode. This mode supports all commands, gives help
192 inside command, and lists resources when required. It works also in the restore
193 mode.
194
195 To use this feature, you should have readline development package loaded on
196 your system, and use the following option in configure.
197 \begin{verbatim}
198 ./configure --with-readline=/usr/include/readline --disable-conio ...
199 \end{verbatim}
200
201 The new bconsole won't be able to tab-complete with older directors.
202
203 This project was funded by Bacula Systems.
204
205 \section{Pool File and Job retention}
206 \label{sec:poolfilejobretention}
207
208 % TODO check
209 We added two new Pool directives, \texttt{FileRetention} and
210 \texttt{JobRetention}, that take precedence over Client directives of the same
211 name. It allows you to control the Catalog pruning algorithm Pool by Pool.
212
213 \section{Read-only File Daemon using capabilities}
214 \label{sec:fdreadonly}
215 This feature implements support of keeping \textbf{ReadAll} capabilities after
216 UID/GID switch, this allows FD to keep root read but drop write permission.
217
218 It introduces new \texttt{bacula-fd} option (\texttt{-k}) specifying that
219 \textbf{ReadAll} capabilities should be kept after UID/GID switch.
220
221 \begin{verbatim}
222 root@localhost:~# bacula-fd -k -u nobody -g nobody
223 \end{verbatim}
224
225 The code for this feature was contributed by AltLinux.
226
227 \section{Bvfs API}
228 \label{sec:bvfs}
229
230 To help developers of restore GUI interfaces, we have added new \textsl{dot
231   commands} that permit browsing the catalog in a very simple way.
232
233 \begin{itemize}
234 \item \texttt{.bvfs\_update [jobid=x,y,z]} This command is required to update
235   the Bvfs cache in the catalog. You need to run it before any access to the
236   Bvfs layer.
237
238 \item \texttt{.bvfs\_lsdirs jobid=x,y,z path=/path | pathid=101} This command
239   will list all directories in the specified \texttt{path} or
240   \texttt{pathid}. Using \texttt{pathid} avoids problems with character
241   encoding of path/filenames.
242
243 \item \texttt{.bvfs\_lsfiles jobid=x,y,z path=/path | pathid=101} This command
244   will list all files in the specified \texttt{path} or \texttt{pathid}. Using
245   \texttt{pathid} avoids problems with character encoding.
246 \end{itemize}
247
248 You can use \texttt{limit=xxx} and \texttt{offset=yyy} to limit the amount of
249 data that will be displayed.
250
251 \begin{verbatim}
252 * .bvfs_update jobid=1,2
253 * .bvfs_update
254 * .bvfs_lsdir path=/ jobid=1,2
255 \end{verbatim}
256
257 This project was funded by Bacula Systems.
258
259 \section{Testing your Tape Drive}
260 \label{sec:btapespeed}
261
262 To determine the best configuration of your tape drive, you can run the new
263 \texttt{speed} command available in the \texttt{btape} program.
264
265 This command can have the following arguments:
266 \begin{itemize}
267 \item[\texttt{file\_size=n}] Specify the Maximum File Size for this test
268   (between 1 and 5GB). This counter is in GB.
269 \item[\texttt{nb\_file=n}] Specify the number of file to be written. The amount
270   of data should be greater than your memory ($file\_size*nb\_file$).
271 \item[\texttt{skip\_zero}] This flag permits to skip tests with constant
272   data.
273 \item[\texttt{skip\_random}] This flag permits to skip tests with random
274   data.
275 \item[\texttt{skip\_raw}] This flag permits to skip tests with raw access.
276 \item[\texttt{skip\_block}] This flag permits to skip tests with Bacula block
277   access.
278 \end{itemize}
279
280 \begin{verbatim}
281 *speed file_size=3 skip_raw
282 btape.c:1078 Test with zero data and bacula block structure.
283 btape.c:956 Begin writing 3 files of 3.221 GB with blocks of 129024 bytes.
284 ++++++++++++++++++++++++++++++++++++++++++
285 btape.c:604 Wrote 1 EOF to "Drive-0" (/dev/nst0)
286 btape.c:406 Volume bytes=3.221 GB. Write rate = 44.128 MB/s
287 ...
288 btape.c:383 Total Volume bytes=9.664 GB. Total Write rate = 43.531 MB/s
289
290 btape.c:1090 Test with random data, should give the minimum throughput.
291 btape.c:956 Begin writing 3 files of 3.221 GB with blocks of 129024 bytes.
292 +++++++++++++++++++++++++++++++++++++++++++
293 btape.c:604 Wrote 1 EOF to "Drive-0" (/dev/nst0)
294 btape.c:406 Volume bytes=3.221 GB. Write rate = 7.271 MB/s
295 +++++++++++++++++++++++++++++++++++++++++++
296 ...
297 btape.c:383 Total Volume bytes=9.664 GB. Total Write rate = 7.365 MB/s
298
299 \end{verbatim}
300
301 When using compression, the random test will give your the minimum throughput
302 of your drive . The test using constant string will give you the maximum speed
303 of your hardware chain. (cpu, memory, scsi card, cable, drive, tape).
304
305 You can change the block size in the Storage Daemon configuration file.
306
307 \section{New {\bf Block Checksum} Device Directive}
308 You may now turn off the Block Checksum (CRC32) code
309 that Bacula uses when writing blocks to a Volume.  This is
310 done by adding:
311
312 \begin{verbatim}
313 Block Checksum = no
314 \end{verbatim}
315
316 doing so can reduce the Storage daemon CPU usage slightly.  It
317 will also permit Bacula to read a Volume that has corrupted data.
318
319 The default is {\bf yes} -- i.e. the checksum is computed on write
320 and checked on read. 
321
322 We do not recommend to turn this off particularly on older tape
323 drives or for disk Volumes where doing so may allow corrupted data
324 to go undetected.
325
326 \section{New Bat Features}
327
328 Those new features were funded by Bacula Systems.
329
330 \subsection{Media List View}
331
332 By clicking on ``Media'', you can see the list of all your volumes. You will be
333 able to filter by Pool, Media Type, Location,\dots And sort the result directly
334 in the table. The old ``Media'' view is now known as ``Pool''.
335 \begin{figure}[htbp]
336   \centering
337   \includegraphics[width=13cm]{\idir bat-mediaview.eps}
338   \label{fig:mediaview}
339 \end{figure}
340
341
342 \subsection{Media Information View}
343
344 By double-clicking on a volume (on the Media list, in the Autochanger content
345 or in the Job information panel), you can access a detailed overview of your
346 Volume. (cf \ref{fig:mediainfo}.)
347 \begin{figure}[htbp]
348   \centering
349   \includegraphics[width=13cm]{\idir bat11.eps}  
350   \caption{Media information}
351   \label{fig:mediainfo}
352 \end{figure}
353
354 \subsection{Job Information View}
355
356 By double-clicking on a Job record (on the Job run list or in the Media
357 information panel), you can access a detailed overview of your Job. (cf
358 \ref{fig:jobinfo}.)
359 \begin{figure}[htbp]
360   \centering
361   \includegraphics[width=13cm]{\idir bat12.eps}  
362   \caption{Job information}
363   \label{fig:jobinfo}
364 \end{figure}
365
366 \subsection{Autochanger Content View}
367
368 By double-clicking on a Storage record (on the Storage list panel), you can
369 access a detailed overview of your Autochanger. (cf \ref{fig:jobinfo}.)
370 \begin{figure}[htbp]
371   \centering
372   \includegraphics[width=13cm]{\idir bat13.eps}  
373   \caption{Autochanger content}
374   \label{fig:achcontent}
375 \end{figure}
376
377 To use this feature, you need to use the latest mtx-changer script
378 version. (With new \texttt{listall} and \texttt{transfer} commands)
379
380 \subsection{Win32 version}
381
382 Compilation instructions are available in \texttt{src/qt-console/README.mingw32}
383
384 \section{Console Timeout Option}
385 You can now use the -u option of bconsole to set a timeout for each command.
386
387 \section{Important behavior changes}
388 \label{sec:importantchanges}
389
390 \begin{itemize}
391 \item You are now allowed to Migrate, Copy, and Virtual Full to read and write
392   to the same Pool
393 \item The \texttt{Device Poll Interval} is now 5 minutes. (previously did not
394   poll)
395 \item The new \texttt{mtx-changer} script has two new options, \texttt{listall}
396   and \texttt{transfer}. Be sure to report your custom changes on it to be able
397   to use new functions.
398 \item To enhance security in the \texttt{BackupCatalog} job, we provide a new
399   script (\texttt{make\_catalog\_backup.pl}) that no longer expose your catalog
400   password. If you want to use the new version after an upgrade, you need to
401   manually change the \texttt{BackupCatalog} job definition.
402 \item The new \texttt{bconsole} \texttt{help} command can take now 
403   the command that you want to explain as argument. (ex: \texttt{help run})
404 \end{itemize}
405
406 \subsection{Custom Catalog queries}
407
408 If you wish to add specialized commands that list the contents of the catalog,
409 you can do so by adding them to the \texttt{query.sql} file. This
410 \texttt{query.sql} file is now empty by default, and you can copy and past
411 examples from \texttt{examples/sample-query.sql} file.
412
413 \subsection{Deprecated parts}
414
415 The following items are \textbf{deprecated} for a long time, and are now
416 removed from the code.
417 \begin{itemize}
418 \item Gnome console
419 \item Support for SQLite 2
420 \end{itemize}
421
422 \section{Misc changes}
423 \label{sec:miscchanges}
424
425 \begin{itemize}
426 \item Updated Nagios check\_bacula
427 \item Updated man files
428 \item Added OSX package generation scripts
429 \item Added Spanish and Ukrainian Bacula translation
430 \item Enable/disable command shows only Jobs that can change
431 \item Added \texttt{show disabled} command to show disabled Jobs
432 \item Many ACL improvements
433 \item Added Level to FD status Job entry
434 \item Begin Ingres DB driver (not yet working)
435 \item Splited RedHat spec files into bacula, bat, mtx, and docs
436 \item Reorganized the manuals (fewer separate manuals)
437 \item Added lock/unlock order protection in lock manager
438 \item Allow 64 bit sizes for a number of variables
439 \item Fixed several deadlocks or potential race conditions from SD
440 \end{itemize}
441
442 \chapter{New Features in Released Version 3.0.2}
443
444 This chapter presents the new features added to the
445 Released Bacula Version 3.0.2.
446
447 \section{Full Restore from a Given JobId}
448 \index[general]{Restore menu}
449
450 This feature allows selecting a single JobId and having Bacula
451 automatically select all the other jobs that comprise a full backup up to
452 and including the selected date (through JobId).
453
454 Assume we start with the following jobs:
455 \begin{verbatim}
456 +-------+--------------+---------------------+-------+----------+------------+
457 | jobid | client       | starttime           | level | jobfiles | jobbytes   |
458 +-------+--------------+---------------------+-------+----------+------------
459 | 6     | localhost-fd | 2009-07-15 11:45:49 | I     | 2        | 0          |
460 | 5     | localhost-fd | 2009-07-15 11:45:45 | I     | 15       | 44143      |
461 | 3     | localhost-fd | 2009-07-15 11:45:38 | I     | 1        | 10         |
462 | 1     | localhost-fd | 2009-07-15 11:45:30 | F     | 1527     | 44143073   |
463 +-------+--------------+---------------------+-------+----------+------------+
464 \end{verbatim}
465
466 Below is an example of this new feature (which is number 12 in the
467 menu).
468
469 \begin{verbatim}
470 * restore
471 To select the JobIds, you have the following choices:
472      1: List last 20 Jobs run
473      2: List Jobs where a given File is saved
474 ...
475     12: Select full restore to a specified Job date
476     13: Cancel
477
478 Select item:  (1-13): 12
479 Enter JobId to get the state to restore: 5
480 Selecting jobs to build the Full state at 2009-07-15 11:45:45
481 You have selected the following JobIds: 1,3,5
482
483 Building directory tree for JobId(s) 1,3,5 ...  +++++++++++++++++++
484 1,444 files inserted into the tree.
485 \end{verbatim}
486
487 This project was funded by Bacula Systems.
488
489 \section{Source Address}
490 \index[general]{Source Address}
491
492 A feature has been added which allows the administrator to specify the address
493 from which the Director and File daemons will establish connections.  This
494 may be used to simplify system configuration overhead when working in complex
495 networks utilizing multi-homing and policy-routing.
496
497 To accomplish this, two new configuration directives have been implemented:
498 \begin{verbatim}
499 FileDaemon {
500   FDSourceAddress=10.0.1.20    # Always initiate connections from this address
501 }
502
503 Director {
504   DirSourceAddress=10.0.1.10   # Always initiate connections from this address
505 }
506 \end{verbatim}
507
508 Simply adding specific host routes on the OS
509 would have an undesirable side-effect: any
510 application trying to contact the destination host would be forced to use the
511 more specific route possibly diverting management traffic onto a backup VLAN.
512 Instead of adding host routes for each client connected to a multi-homed backup
513 server (for example where there are management and backup VLANs), one can
514 use the new directives to specify a specific source address at the application
515 level.
516
517 Additionally, this allows the simplification and abstraction of firewall rules
518 when dealing with a Hot-Standby director or storage daemon configuration.  The
519 Hot-standby pair may share a CARP address, which connections must be sourced
520 from, while system services listen and act from the unique interface addresses.
521
522 This project was funded by Collaborative Fusion, Inc.
523
524 \section{Show volume availability when doing restore}
525
526 When doing a restore the selection dialog ends by displaying this
527 screen:
528
529 \begin{verbatim}
530   The job will require the following
531    Volume(s)                 Storage(s)                SD Device(s)
532    ===========================================================================
533    *000741L3                  LTO-4                     LTO3 
534    *000866L3                  LTO-4                     LTO3 
535    *000765L3                  LTO-4                     LTO3 
536    *000764L3                  LTO-4                     LTO3 
537    *000756L3                  LTO-4                     LTO3 
538    *001759L3                  LTO-4                     LTO3 
539    *001763L3                  LTO-4                     LTO3 
540     001762L3                  LTO-4                     LTO3 
541     001767L3                  LTO-4                     LTO3 
542
543 Volumes marked with ``*'' are online (in the autochanger).
544 \end{verbatim}
545
546 This should help speed up large restores by minimizing the time spent
547 waiting for the operator to discover that he must change tapes in the library.
548
549 This project was funded by Bacula Systems.
550
551 \section{Accurate estimate command}
552
553 The \texttt{estimate} command can now use the accurate code to detect changes
554 and give a better estimation.
555
556 You can set the accurate behavior on the command line by using
557 \texttt{accurate=yes\vb{}no} or use the Job setting as default value.
558
559 \begin{verbatim}
560 * estimate listing accurate=yes level=incremental job=BackupJob
561 \end{verbatim}
562
563 This project was funded by Bacula Systems.
564
565 \chapter{New Features in 3.0.0}
566 \label{NewFeaturesChapter}
567 \index[general]{New Features}
568
569 This chapter presents the new features added to the development 2.5.x
570 versions to be released as Bacula version 3.0.0 sometime in April 2009.
571
572 \section{Accurate Backup}
573 \index[general]{Accurate Backup}
574
575 As with most other backup programs, by default Bacula decides what files to
576 backup for Incremental and Differental backup by comparing the change
577 (st\_ctime) and modification (st\_mtime) times of the file to the time the last
578 backup completed.  If one of those two times is later than the last backup
579 time, then the file will be backed up.  This does not, however, permit tracking
580 what files have been deleted and will miss any file with an old time that may
581 have been restored to or moved onto the client filesystem.
582
583 \subsection{Accurate = \lt{}yes\vb{}no\gt{}}
584 If the {\bf Accurate = \lt{}yes\vb{}no\gt{}} directive is enabled (default no) in
585 the Job resource, the job will be run as an Accurate Job. For a {\bf Full}
586 backup, there is no difference, but for {\bf Differential} and {\bf
587   Incremental} backups, the Director will send a list of all previous files
588 backed up, and the File daemon will use that list to determine if any new files
589 have been added or or moved and if any files have been deleted. This allows
590 Bacula to make an accurate backup of your system to that point in time so that
591 if you do a restore, it will restore your system exactly.  
592
593 One note of caution
594 about using Accurate backup is that it requires more resources (CPU and memory)
595 on both the Director and the Client machines to create the list of previous
596 files backed up, to send that list to the File daemon, for the File daemon to
597 keep the list (possibly very big) in memory, and for the File daemon to do
598 comparisons between every file in the FileSet and the list.  In particular,
599 if your client has lots of files (more than a few million), you will need
600 lots of memory on the client machine.
601
602 Accurate must not be enabled when backing up with a plugin that is not
603 specially designed to work with Accurate. If you enable it, your restores
604 will probably not work correctly.
605
606 This project was funded by Bacula Systems.
607                                        
608
609
610 \section{Copy Jobs}
611 \index[general]{Copy Jobs}
612
613 A new {\bf Copy} job type 'C' has been implemented. It is similar to the
614 existing Migration feature with the exception that the Job that is copied is
615 left unchanged.  This essentially creates two identical copies of the same
616 backup. However, the copy is treated as a copy rather than a backup job, and
617 hence is not directly available for restore.  The {\bf restore} command lists
618 copy jobs and allows selection of copies by using \texttt{jobid=}
619 option. If the keyword {\bf copies} is present on the command line, Bacula will
620 display the list of all copies for selected jobs.
621
622 \begin{verbatim}
623 * restore copies
624 [...]
625 These JobIds have copies as follows:
626 +-------+------------------------------------+-----------+------------------+
627 | JobId | Job                                | CopyJobId | MediaType        |
628 +-------+------------------------------------+-----------+------------------+
629 | 2     | CopyJobSave.2009-02-17_16.31.00.11 | 7         | DiskChangerMedia |
630 +-------+------------------------------------+-----------+------------------+
631 +-------+-------+----------+----------+---------------------+------------------+
632 | JobId | Level | JobFiles | JobBytes | StartTime           | VolumeName       |
633 +-------+-------+----------+----------+---------------------+------------------+
634 | 19    | F     | 6274     | 76565018 | 2009-02-17 16:30:45 | ChangerVolume002 |
635 | 2     | I     | 1        | 5        | 2009-02-17 16:30:51 | FileVolume001    |
636 +-------+-------+----------+----------+---------------------+------------------+
637 You have selected the following JobIds: 19,2
638
639 Building directory tree for JobId(s) 19,2 ...  ++++++++++++++++++++++++++++++++++++++++++++
640 5,611 files inserted into the tree.
641 ...
642 \end{verbatim}
643
644
645 The Copy Job runs without using the File daemon by copying the data from the
646 old backup Volume to a different Volume in a different Pool. See the Migration
647 documentation for additional details. For copy Jobs there is a new selection
648 directive named {\bf PoolUncopiedJobs} which selects all Jobs that were
649 not already copied to another Pool. 
650
651 As with Migration, the Client, Volume, Job, or SQL query, are
652 other possible ways of selecting the Jobs to be copied. Selection
653 types like SmallestVolume, OldestVolume, PoolOccupancy and PoolTime also
654 work, but are probably more suited for Migration Jobs. 
655
656 If Bacula finds a Copy of a job record that is purged (deleted) from the catalog,
657 it will promote the Copy to a \textsl{real} backup job and will make it available for
658 automatic restore. If more than one Copy is available, it will promote the copy
659 with the smallest JobId.
660
661 A nice solution which can be built with the new Copy feature is often
662 called disk-to-disk-to-tape backup (DTDTT). A sample config could
663 look something like the one below:
664
665 \begin{verbatim}
666 Pool {
667   Name = FullBackupsVirtualPool
668   Pool Type = Backup
669   Purge Oldest Volume = Yes
670   Storage = vtl
671   NextPool = FullBackupsTapePool
672 }
673
674 Pool {
675   Name = FullBackupsTapePool
676   Pool Type = Backup
677   Recycle = Yes
678   AutoPrune = Yes
679   Volume Retention = 365 days
680   Storage = superloader
681 }
682
683 #
684 # Fake fileset for copy jobs
685 #
686 Fileset {
687   Name = None
688   Include {
689     Options {
690       signature = MD5
691     }
692   }
693 }
694
695 #
696 # Fake client for copy jobs
697 #
698 Client {
699   Name = None
700   Address = localhost
701   Password = "NoNe"
702   Catalog = MyCatalog
703 }
704
705 #
706 # Default template for a CopyDiskToTape Job
707 #
708 JobDefs {
709   Name = CopyDiskToTape
710   Type = Copy
711   Messages = StandardCopy
712   Client = None
713   FileSet = None
714   Selection Type = PoolUncopiedJobs
715   Maximum Concurrent Jobs = 10
716   SpoolData = No
717   Allow Duplicate Jobs = Yes
718   Allow Higher Duplicates = No
719   Cancel Queued Duplicates = No
720   Cancel Running Duplicates = No
721   Priority = 13
722 }
723
724 Schedule {
725    Name = DaySchedule7:00
726    Run = Level=Full daily at 7:00
727 }
728
729 Job {
730   Name = CopyDiskToTapeFullBackups
731   Enabled = Yes
732   Schedule = DaySchedule7:00
733   Pool = FullBackupsVirtualPool
734   JobDefs = CopyDiskToTape
735 }
736 \end{verbatim}
737
738 The example above had 2 pool which are copied using the PoolUncopiedJobs
739 selection criteria. Normal Full backups go to the Virtual pool and are copied
740 to the Tape pool the next morning.
741
742 The command \texttt{list copies [jobid=x,y,z]} lists copies for a given
743 \textbf{jobid}.
744
745 \begin{verbatim}
746 *list copies
747 +-------+------------------------------------+-----------+------------------+
748 | JobId | Job                                | CopyJobId | MediaType        |
749 +-------+------------------------------------+-----------+------------------+
750 |     9 | CopyJobSave.2008-12-20_22.26.49.05 |        11 | DiskChangerMedia |
751 +-------+------------------------------------+-----------+------------------+
752 \end{verbatim}
753
754 \section{ACL Updates}
755 \index[general]{ACL Updates}
756 The whole ACL code had been overhauled and in this version each platforms has
757 different streams for each type of acl available on such an platform. As ACLs
758 between platforms tend to be not that portable (most implement POSIX acls but
759 some use an other draft or a completely different format) we currently only
760 allow certain platform specific ACL streams to be decoded and restored on the
761 same platform that they were created on.  The old code allowed to restore ACL
762 cross platform but the comments already mention that not being to wise. For
763 backward compatability the new code will accept the two old ACL streams and
764 handle those with the platform specific handler. But for all new backups it
765 will save the ACLs using the new streams.
766
767 Currently the following platforms support ACLs:
768
769 \begin{itemize}
770  \item {\bf AIX}
771  \item {\bf Darwin/OSX}
772  \item {\bf FreeBSD}
773  \item {\bf HPUX}
774  \item {\bf IRIX}
775  \item {\bf Linux}
776  \item {\bf Tru64}
777  \item {\bf Solaris}
778 \end{itemize}
779
780 Currently we support the following ACL types (these ACL streams use a reserved
781 part of the stream numbers):
782
783 \begin{itemize}
784 \item {\bf STREAM\_ACL\_AIX\_TEXT} 1000 AIX specific string representation from
785   acl\_get
786  \item {\bf STREAM\_ACL\_DARWIN\_ACCESS\_ACL} 1001 Darwin (OSX) specific acl\_t
787    string representation from acl\_to\_text (POSIX acl)
788   \item {\bf STREAM\_ACL\_FREEBSD\_DEFAULT\_ACL} 1002 FreeBSD specific acl\_t
789     string representation from acl\_to\_text (POSIX acl) for default acls.
790   \item {\bf STREAM\_ACL\_FREEBSD\_ACCESS\_ACL} 1003 FreeBSD specific acl\_t
791     string representation from acl\_to\_text (POSIX acl) for access acls.
792   \item {\bf STREAM\_ACL\_HPUX\_ACL\_ENTRY} 1004 HPUX specific acl\_entry
793     string representation from acltostr (POSIX acl)
794   \item {\bf STREAM\_ACL\_IRIX\_DEFAULT\_ACL} 1005 IRIX specific acl\_t string
795     representation from acl\_to\_text (POSIX acl) for default acls.
796   \item {\bf STREAM\_ACL\_IRIX\_ACCESS\_ACL} 1006 IRIX specific acl\_t string
797     representation from acl\_to\_text (POSIX acl) for access acls.
798   \item {\bf STREAM\_ACL\_LINUX\_DEFAULT\_ACL} 1007 Linux specific acl\_t
799     string representation from acl\_to\_text (POSIX acl) for default acls.
800   \item {\bf STREAM\_ACL\_LINUX\_ACCESS\_ACL} 1008 Linux specific acl\_t string
801     representation from acl\_to\_text (POSIX acl) for access acls.
802   \item {\bf STREAM\_ACL\_TRU64\_DEFAULT\_ACL} 1009 Tru64 specific acl\_t
803     string representation from acl\_to\_text (POSIX acl) for default acls.
804   \item {\bf STREAM\_ACL\_TRU64\_DEFAULT\_DIR\_ACL} 1010 Tru64 specific acl\_t
805     string representation from acl\_to\_text (POSIX acl) for default acls.
806   \item {\bf STREAM\_ACL\_TRU64\_ACCESS\_ACL} 1011 Tru64 specific acl\_t string
807     representation from acl\_to\_text (POSIX acl) for access acls.
808   \item {\bf STREAM\_ACL\_SOLARIS\_ACLENT} 1012 Solaris specific aclent\_t
809     string representation from acltotext or acl\_totext (POSIX acl)
810   \item {\bf STREAM\_ACL\_SOLARIS\_ACE} 1013 Solaris specific ace\_t string
811     representation from from acl\_totext (NFSv4 or ZFS acl)
812 \end{itemize}
813
814 In future versions we might support conversion functions from one type of acl
815 into an other for types that are either the same or easily convertable. For now
816 the streams are seperate and restoring them on a platform that doesn't
817 recognize them will give you a warning.
818
819 \section{Extended Attributes}
820 \index[general]{Extended Attributes}
821 Something that was on the project list for some time is now implemented for
822 platforms that support a similar kind of interface. Its the support for backup
823 and restore of so called extended attributes. As extended attributes are so
824 platform specific these attributes are saved in seperate streams for each
825 platform.  Restores of the extended attributes can only be performed on the
826 same platform the backup was done.  There is support for all types of extended
827 attributes, but restoring from one type of filesystem onto an other type of
828 filesystem on the same platform may lead to supprises.  As extended attributes
829 can contain any type of data they are stored as a series of so called
830 value-pairs.  This data must be seen as mostly binary and is stored as such.
831 As security labels from selinux are also extended attributes this option also
832 stores those labels and no specific code is enabled for handling selinux
833 security labels.
834
835 Currently the following platforms support extended attributes:
836 \begin{itemize}
837  \item {\bf Darwin/OSX}
838  \item {\bf FreeBSD}
839  \item {\bf Linux}
840  \item {\bf NetBSD}
841 \end{itemize}
842
843 On linux acls are also extended attributes, as such when you enable ACLs on a
844 Linux platform it will NOT save the same data twice e.g. it will save the ACLs
845 and not the same exteneded attribute.
846
847 To enable the backup of extended attributes please add the following to your
848 fileset definition.
849 \begin{verbatim}
850   FileSet {
851     Name = "MyFileSet"
852     Include {
853       Options {
854         signature = MD5
855         xattrsupport = yes
856       }
857       File = ...
858     }
859   }
860 \end{verbatim}
861
862 \section{Shared objects}
863 \index[general]{Shared objects}
864 A default build of Bacula will now create the libraries as shared objects
865 (.so) rather than static libraries as was previously the case.  
866 The shared libraries are built using {\bf libtool} so it should be quite
867 portable.
868
869 An important advantage of using shared objects is that on a machine with the
870 Directory, File daemon, the Storage daemon, and a console, you will have only
871 one copy of the code in memory rather than four copies.  Also the total size of
872 the binary release is smaller since the library code appears only once rather
873 than once for every program that uses it; this results in significant reduction
874 in the size of the binaries particularly for the utility tools.
875  
876 In order for the system loader to find the shared objects when loading the
877 Bacula binaries, the Bacula shared objects must either be in a shared object
878 directory known to the loader (typically /usr/lib) or they must be in the
879 directory that may be specified on the {\bf ./configure} line using the {\bf
880   {-}{-}libdir} option as:
881
882 \begin{verbatim}
883   ./configure --libdir=/full-path/dir
884 \end{verbatim}
885
886 the default is /usr/lib. If {-}{-}libdir is specified, there should be
887 no need to modify your loader configuration provided that
888 the shared objects are installed in that directory (Bacula
889 does this with the make install command). The shared objects
890 that Bacula references are:
891
892 \begin{verbatim}
893 libbaccfg.so
894 libbacfind.so
895 libbacpy.so
896 libbac.so
897 \end{verbatim}
898
899 These files are symbolically linked to the real shared object file,
900 which has a version number to permit running multiple versions of
901 the libraries if desired (not normally the case).
902
903 If you have problems with libtool or you wish to use the old
904 way of building static libraries, or you want to build a static
905 version of Bacula you may disable
906 libtool on the configure command line with:
907
908 \begin{verbatim}
909   ./configure --disable-libtool
910 \end{verbatim}
911
912
913 \section{Building Static versions of Bacula}
914 \index[general]{Static linking}
915 In order to build static versions of Bacula, in addition
916 to configuration options that were needed you now must
917 also add --disable-libtool.  Example
918
919 \begin{verbatim}
920   ./configure --enable-static-client-only --disable-libtool
921 \end{verbatim}
922
923
924 \section{Virtual Backup (Vbackup)}
925 \index[general]{Virtual Backup}
926 \index[general]{Vbackup}
927
928 Bacula's virtual backup feature is often called Synthetic Backup or
929 Consolidation in other backup products.  It permits you to consolidate the
930 previous Full backup plus the most recent Differential backup and any
931 subsequent Incremental backups into a new Full backup.  This new Full
932 backup will then be considered as the most recent Full for any future
933 Incremental or Differential backups.  The VirtualFull backup is
934 accomplished without contacting the client by reading the previous backup
935 data and writing it to a volume in a different pool.
936
937 In some respects the Vbackup feature works similar to a Migration job, in
938 that Bacula normally reads the data from the pool specified in the 
939 Job resource, and writes it to the {\bf Next Pool} specified in the 
940 Job resource. Note, this means that usually the output from the Virtual
941 Backup is written into a different pool from where your prior backups
942 are saved. Doing it this way guarantees that you will not get a deadlock
943 situation attempting to read and write to the same volume in the Storage
944 daemon. If you then want to do subsequent backups, you may need to
945 move the Virtual Full Volume back to your normal backup pool.
946 Alternatively, you can set your {\bf Next Pool} to point to the current
947 pool.  This will cause Bacula to read and write to Volumes in the
948 current pool. In general, this will work, because Bacula will
949 not allow reading and writing on the same Volume. In any case, once
950 a VirtualFull has been created, and a restore is done involving the
951 most current Full, it will read the Volume or Volumes by the VirtualFull 
952 regardless of in which Pool the Volume is found.
953
954 The Vbackup is enabled on a Job by Job in the Job resource by specifying
955 a level of {\bf VirtualFull}.
956
957 A typical Job resource definition might look like the following:
958
959 \begin{verbatim}
960 Job {
961   Name = "MyBackup"
962   Type = Backup
963   Client=localhost-fd
964   FileSet = "Full Set"
965   Storage = File
966   Messages = Standard
967   Pool = Default
968   SpoolData = yes
969 }
970
971 # Default pool definition
972 Pool {
973   Name = Default
974   Pool Type = Backup
975   Recycle = yes            # Automatically recycle Volumes
976   AutoPrune = yes          # Prune expired volumes
977   Volume Retention = 365d  # one year
978   NextPool = Full
979   Storage = File
980 }
981
982 Pool {
983   Name = Full
984   Pool Type = Backup
985   Recycle = yes            # Automatically recycle Volumes
986   AutoPrune = yes          # Prune expired volumes
987   Volume Retention = 365d  # one year
988   Storage = DiskChanger
989 }
990
991 # Definition of file storage device
992 Storage {
993   Name = File
994   Address = localhost
995   Password = "xxx"
996   Device = FileStorage
997   Media Type = File
998   Maximum Concurrent Jobs = 5
999 }
1000
1001 # Definition of DDS Virtual tape disk storage device
1002 Storage {
1003   Name = DiskChanger
1004   Address = localhost  # N.B. Use a fully qualified name here
1005   Password = "yyy"
1006   Device = DiskChanger
1007   Media Type = DiskChangerMedia
1008   Maximum Concurrent Jobs = 4
1009   Autochanger = yes
1010 }
1011 \end{verbatim}
1012
1013 Then in bconsole or via a Run schedule, you would run the job as:
1014
1015 \begin{verbatim}
1016 run job=MyBackup level=Full
1017 run job=MyBackup level=Incremental
1018 run job=MyBackup level=Differential
1019 run job=MyBackup level=Incremental
1020 run job=MyBackup level=Incremental
1021 \end{verbatim}
1022
1023 So providing there were changes between each of those jobs, you would end up
1024 with a Full backup, a Differential, which includes the first Incremental
1025 backup, then two Incremental backups.  All the above jobs would be written to
1026 the {\bf Default} pool.
1027
1028 To consolidate those backups into a new Full backup, you would run the
1029 following:
1030
1031 \begin{verbatim}
1032 run job=MyBackup level=VirtualFull
1033 \end{verbatim}
1034
1035 And it would produce a new Full backup without using the client, and the output
1036 would be written to the {\bf Full} Pool which uses the Diskchanger Storage.
1037
1038 If the Virtual Full is run, and there are no prior Jobs, the Virtual Full will
1039 fail with an error.
1040
1041 Note, the Start and End time of the Virtual Full backup is set to the
1042 values for the last job included in the Virtual Full (in the above example,
1043 it is an Increment). This is so that if another incremental is done, which
1044 will be based on the Virtual Full, it will backup all files from the
1045 last Job included in the Virtual Full rather than from the time the Virtual
1046 Full was actually run.
1047
1048
1049
1050 \section{Catalog Format}
1051 \index[general]{Catalog Format}
1052 Bacula 3.0 comes with some changes to the catalog format.  The upgrade
1053 operation will convert the FileId field of the File table from 32 bits (max 4
1054 billion table entries) to 64 bits (very large number of items).  The
1055 conversion process can take a bit of time and will likely DOUBLE THE SIZE of
1056 your catalog during the conversion.  Also you won't be able to run jobs during
1057 this conversion period.  For example, a 3 million file catalog will take 2
1058 minutes to upgrade on a normal machine.  Please don't forget to make a valid
1059 backup of your database before executing the upgrade script. See the 
1060 ReleaseNotes for additional details.
1061
1062 \section{64 bit Windows Client}
1063 \index[general]{Win64 Client}
1064 Unfortunately, Microsoft's implementation of Volume Shadown Copy (VSS) on
1065 their 64 bit OS versions is not compatible with a 32 bit Bacula Client.
1066 As a consequence, we are also releasing a 64 bit version of the Bacula 
1067 Windows Client (win64bacula-3.0.0.exe) that does work with VSS. 
1068 These binaries should only be installed on 64 bit Windows operating systems.
1069 What is important is not your hardware but whether or not you have
1070 a 64 bit version of the Windows OS.  
1071
1072 Compared to the Win32 Bacula Client, the 64 bit release contains a few differences:
1073 \begin{enumerate}
1074 \item Before installing the Win64 Bacula Client, you must totally
1075       deinstall any prior 2.4.x Client installation using the 
1076       Bacula deinstallation (see the menu item). You may want
1077       to save your .conf files first.
1078 \item Only the Client (File daemon) is ported to Win64, the Director
1079       and the Storage daemon are not in the 64 bit Windows installer.
1080 \item bwx-console is not yet ported.
1081 \item bconsole is ported but it has not been tested.
1082 \item The documentation is not included in the installer.
1083 \item Due to Vista security restrictions imposed on a default installation
1084       of Vista, before upgrading the Client, you must manually stop
1085       any prior version of Bacula from running, otherwise the install
1086       will fail.
1087 \item Due to Vista security restrictions imposed on a default installation
1088       of Vista, attempting to edit the conf files via the menu items
1089       will fail. You must directly edit the files with appropriate 
1090       permissions.  Generally double clicking on the appropriate .conf
1091       file will work providing you have sufficient permissions.
1092 \item All Bacula files are now installed in 
1093       {\bf C:/Program Files/Bacula} except the main menu items,
1094       which are installed as before. This vastly simplifies the installation.
1095 \item If you are running on a foreign language version of Windows, most
1096       likely {\bf C:/Program Files} does not exist, so you should use the
1097       Custom installation and enter an appropriate location to install
1098       the files.
1099 \item The 3.0.0 Win32 Client continues to install files in the locations used
1100       by prior versions. For the next version we will convert it to use
1101       the same installation conventions as the Win64 version.
1102 \end{enumerate}
1103
1104 This project was funded by Bacula Systems.
1105
1106
1107 \section{Duplicate Job Control}
1108 \index[general]{Duplicate Jobs}
1109 The new version of Bacula provides four new directives that
1110 give additional control over what Bacula does if duplicate jobs 
1111 are started.  A duplicate job in the sense we use it here means
1112 a second or subsequent job with the same name starts.  This
1113 happens most frequently when the first job runs longer than expected because no 
1114 tapes are available.
1115
1116 The four directives each take as an argument a {\bf yes} or {\bf no} value and
1117 are specified in the Job resource.
1118
1119 They are:
1120
1121 \subsection{Allow Duplicate Jobs = \lt{}yes\vb{}no\gt{}}
1122 \index[general]{Allow Duplicate Jobs}
1123   If this directive is enabled duplicate jobs will be run.  If
1124   the directive is set to {\bf no} (default) then only one job of a given name
1125   may run at one time, and the action that Bacula takes to ensure only
1126   one job runs is determined by the other directives (see below).
1127  
1128   If {\bf Allow Duplicate Jobs} is set to {\bf no} and two jobs
1129   are present and none of the three directives given below permit
1130   cancelling a job, then the current job (the second one started)
1131   will be cancelled.
1132
1133
1134 \subsection{Allow Higher Duplicates = \lt{}yes\vb{}no\gt{}}
1135 \index[general]{Allow Higher Duplicates}
1136   If this directive is set to {\bf yes} (default) the job with a higher
1137   priority (lower priority number) will be permitted to run, and
1138   the current job will be cancelled.  If the
1139   priorities of the two jobs are the same, the outcome is determined by
1140   other directives (see below).
1141
1142 \subsection{Cancel Queued Duplicates = \lt{}yes\vb{}no\gt{}}
1143 \index[general]{Cancel Queued Duplicates}
1144   If {\bf Allow Duplicate Jobs} is set to {\bf no} and
1145   if this directive is set to {\bf yes} any job that is
1146   already queued to run but not yet running will be canceled.
1147   The default is {\bf no}. 
1148
1149 \subsection{Cancel Running Duplicates = \lt{}yes\vb{}no\gt{}}
1150 \index[general]{Cancel Running Duplicates}
1151   If {\bf Allow Duplicate Jobs} is set to {\bf no} and
1152   if this directive is set to {\bf yes} any job that is already running
1153   will be canceled.  The default is {\bf no}.
1154
1155
1156 \section{TLS Authentication}
1157 \index[general]{TLS Authentication}
1158 In Bacula version 2.5.x and later, in addition to the normal Bacula
1159 CRAM-MD5 authentication that is used to authenticate each Bacula
1160 connection, you can specify that you want TLS Authentication as well,
1161 which will provide more secure authentication.
1162
1163 This new feature uses Bacula's existing TLS code (normally used for
1164 communications encryption) to do authentication.  To use it, you must
1165 specify all the TLS directives normally used to enable communications
1166 encryption (TLS Enable, TLS Verify Peer, TLS Certificate, ...) and
1167 a new directive:
1168
1169 \subsection{TLS Authenticate = yes}
1170 \begin{verbatim}
1171 TLS Authenticate = yes
1172 \end{verbatim}
1173
1174 in the main daemon configuration resource (Director for the Director,
1175 Client for the File daemon, and Storage for the Storage daemon).
1176
1177 When {\bf TLS Authenticate} is enabled, after doing the CRAM-MD5
1178 authentication, Bacula will also do TLS authentication, then TLS 
1179 encryption will be turned off, and the rest of the communication between
1180 the two Bacula daemons will be done without encryption.
1181
1182 If you want to encrypt communications data, use the normal TLS directives
1183 but do not turn on {\bf TLS Authenticate}.
1184
1185 \section{bextract non-portable Win32 data}
1186 \index[general]{bextract handles Win32 non-portable data}
1187 {\bf bextract} has been enhanced to be able to restore
1188 non-portable Win32 data to any OS.  Previous versions were 
1189 unable to restore non-portable Win32 data to machines that
1190 did not have the Win32 BackupRead and BackupWrite API calls.
1191
1192 \section{State File updated at Job Termination}
1193 \index[general]{State File}
1194 In previous versions of Bacula, the state file, which provides a
1195 summary of previous jobs run in the {\bf status} command output was
1196 updated only when Bacula terminated, thus if the daemon crashed, the
1197 state file might not contain all the run data.  This version of
1198 the Bacula daemons updates the state file on each job termination.
1199
1200 \section{MaxFullInterval = \lt{}time-interval\gt{}}
1201 \index[general]{MaxFullInterval}
1202 The new Job resource directive {\bf Max Full Interval = \lt{}time-interval\gt{}}
1203 can be used to specify the maximum time interval between {\bf Full} backup
1204 jobs. When a job starts, if the time since the last Full backup is
1205 greater than the specified interval, and the job would normally be an
1206 {\bf Incremental} or {\bf Differential}, it will be automatically
1207 upgraded to a {\bf Full} backup.
1208
1209 \section{MaxDiffInterval = \lt{}time-interval\gt{}}
1210 \index[general]{MaxDiffInterval}
1211 The new Job resource directive {\bf Max Diff Interval = \lt{}time-interval\gt{}}
1212 can be used to specify the maximum time interval between {\bf Differential} backup
1213 jobs. When a job starts, if the time since the last Differential backup is
1214 greater than the specified interval, and the job would normally be an
1215 {\bf Incremental}, it will be automatically
1216 upgraded to a {\bf Differential} backup.
1217
1218 \section{Honor No Dump Flag = \lt{}yes\vb{}no\gt{}}
1219 \index[general]{MaxDiffInterval}
1220 On FreeBSD systems, each file has a {\bf no dump flag} that can be set
1221 by the user, and when it is set it is an indication to backup programs
1222 to not backup that particular file.  This version of Bacula contains a
1223 new Options directive within a FileSet resource, which instructs Bacula to
1224 obey this flag.  The new directive is:
1225
1226 \begin{verbatim}
1227   Honor No Dump Flag = yes\vb{}no
1228 \end{verbatim}
1229
1230 The default value is {\bf no}.
1231
1232
1233 \section{Exclude Dir Containing = \lt{}filename-string\gt{}}
1234 \index[general]{IgnoreDir}
1235 The {\bf ExcludeDirContaining = \lt{}filename\gt{}} is a new directive that
1236 can be added to the Include section of the FileSet resource.  If the specified
1237 filename ({\bf filename-string}) is found on the Client in any directory to be
1238 backed up, the whole directory will be ignored (not backed up).  For example:
1239
1240 \begin{verbatim}
1241   # List of files to be backed up
1242   FileSet {
1243     Name = "MyFileSet"
1244     Include {
1245       Options {
1246         signature = MD5
1247       }
1248       File = /home
1249       Exclude Dir Containing = .excludeme
1250     }
1251   }
1252 \end{verbatim}
1253
1254 But in /home, there may be hundreds of directories of users and some
1255 people want to indicate that they don't want to have certain
1256 directories backed up. For example, with the above FileSet, if
1257 the user or sysadmin creates a file named {\bf .excludeme} in 
1258 specific directories, such as
1259
1260 \begin{verbatim}
1261    /home/user/www/cache/.excludeme
1262    /home/user/temp/.excludeme
1263 \end{verbatim}
1264
1265 then Bacula will not backup the two directories named:
1266
1267 \begin{verbatim}
1268    /home/user/www/cache
1269    /home/user/temp
1270 \end{verbatim}
1271
1272 NOTE: subdirectories will not be backed up.  That is, the directive
1273 applies to the two directories in question and any children (be they
1274 files, directories, etc).
1275
1276
1277 \section{Bacula Plugins}
1278 \index[general]{Plugin}
1279 Support for shared object plugins has been implemented in the Linux, Unix
1280 and Win32 File daemons. The API will be documented separately in
1281 the Developer's Guide or in a new document.  For the moment, there is
1282 a single plugin named {\bf bpipe} that allows an external program to
1283 get control to backup and restore a file.
1284
1285 Plugins are also planned (partially implemented) in the Director and the
1286 Storage daemon.  
1287
1288 \subsection{Plugin Directory}
1289 \index[general]{Plugin Directory}
1290 Each daemon (DIR, FD, SD) has a new {\bf Plugin Directory} directive that may
1291 be added to the daemon definition resource. The directory takes a quoted 
1292 string argument, which is the name of the directory in which the daemon can
1293 find the Bacula plugins. If this directive is not specified, Bacula will not
1294 load any plugins. Since each plugin has a distinctive name, all the daemons
1295 can share the same plugin directory. 
1296
1297 \subsection{Plugin Options}
1298 \index[general]{Plugin Options}
1299 The {\bf Plugin Options} directive takes a quoted string
1300 arguement (after the equal sign) and may be specified in the
1301 Job resource.  The options specified will be passed to all plugins
1302 when they are run.  This each plugin must know what it is looking
1303 for. The value defined in the Job resource can be modified
1304 by the user when he runs a Job via the {\bf bconsole} command line 
1305 prompts.
1306
1307 Note: this directive may be specified, and there is code to modify
1308 the string in the run command, but the plugin options are not yet passed to
1309 the plugin (i.e. not fully implemented).
1310
1311 \subsection{Plugin Options ACL}
1312 \index[general]{Plugin Options ACL}
1313 The {\bf Plugin Options ACL} directive may be specified in the
1314 Director's Console resource. It functions as all the other ACL commands
1315 do by permitting users running restricted consoles to specify a 
1316 {\bf Plugin Options} that overrides the one specified in the Job
1317 definition. Without this directive restricted consoles may not modify
1318 the Plugin Options.
1319
1320 \subsection{Plugin = \lt{}plugin-command-string\gt{}}
1321 \index[general]{Plugin}
1322 The {\bf Plugin} directive is specified in the Include section of
1323 a FileSet resource where you put your {\bf File = xxx} directives.
1324 For example:
1325
1326 \begin{verbatim}
1327   FileSet {
1328     Name = "MyFileSet"
1329     Include {
1330       Options {
1331         signature = MD5
1332       }
1333       File = /home
1334       Plugin = "bpipe:..."
1335     }
1336   }
1337 \end{verbatim}
1338
1339 In the above example, when the File daemon is processing the directives
1340 in the Include section, it will first backup all the files in {\bf /home}
1341 then it will load the plugin named {\bf bpipe} (actually bpipe-dir.so) from
1342 the Plugin Directory.  The syntax and semantics of the Plugin directive
1343 require the first part of the string up to the colon (:) to be the name
1344 of the plugin. Everything after the first colon is ignored by the File daemon but
1345 is passed to the plugin. Thus the plugin writer may define the meaning of the
1346 rest of the string as he wishes.
1347
1348 Please see the next section for information about the {\bf bpipe} Bacula
1349 plugin.
1350
1351 \section{The bpipe Plugin}
1352 \index[general]{The bpipe Plugin}
1353 The {\bf bpipe} plugin is provided in the directory src/plugins/fd/bpipe-fd.c of
1354 the Bacula source distribution. When the plugin is compiled and linking into
1355 the resulting dynamic shared object (DSO), it will have the name {\bf bpipe-fd.so}.
1356
1357 The purpose of the plugin is to provide an interface to any system program for
1358 backup and restore. As specified above the {\bf bpipe} plugin is specified in
1359 the Include section of your Job's FileSet resource.  The full syntax of the
1360 plugin directive as interpreted by the {\bf bpipe} plugin (each plugin is free
1361 to specify the sytax as it wishes) is:
1362
1363 \begin{verbatim}
1364   Plugin = "<field1>:<field2>:<field3>:<field4>"
1365 \end{verbatim}
1366
1367 where
1368 \begin{description}
1369 \item {\bf field1} is the name of the plugin with the trailing {\bf -fd.so}
1370 stripped off, so in this case, we would put {\bf bpipe} in this field.
1371
1372 \item {\bf field2} specifies the namespace, which for {\bf bpipe} is the
1373 pseudo path and filename under which the backup will be saved. This pseudo
1374 path and filename will be seen by the user in the restore file tree.
1375 For example, if the value is {\bf /MYSQL/regress.sql}, the data
1376 backed up by the plugin will be put under that "pseudo" path and filename.
1377 You must be careful to choose a naming convention that is unique to avoid
1378 a conflict with a path and filename that actually exists on your system.
1379
1380 \item {\bf field3} for the {\bf bpipe} plugin 
1381 specifies the "reader" program that is called by the plugin during
1382 backup to read the data. {\bf bpipe} will call this program by doing a
1383 {\bf popen} on it.
1384
1385 \item {\bf field4} for the {\bf bpipe} plugin
1386 specifies the "writer" program that is called by the plugin during
1387 restore to write the data back to the filesystem.  
1388 \end{description}
1389
1390 Putting it all together, the full plugin directive line might look
1391 like the following:
1392
1393 \begin{verbatim}
1394 Plugin = "bpipe:/MYSQL/regress.sql:mysqldump -f 
1395           --opt --databases bacula:mysql"
1396 \end{verbatim}
1397
1398 The directive has been split into two lines, but within the {\bf bacula-dir.conf} file
1399 would be written on a single line.
1400
1401 This causes the File daemon to call the {\bf bpipe} plugin, which will write
1402 its data into the "pseudo" file {\bf /MYSQL/regress.sql} by calling the 
1403 program {\bf mysqldump -f --opt --database bacula} to read the data during
1404 backup. The mysqldump command outputs all the data for the database named
1405 {\bf bacula}, which will be read by the plugin and stored in the backup.
1406 During restore, the data that was backed up will be sent to the program
1407 specified in the last field, which in this case is {\bf mysql}.  When
1408 {\bf mysql} is called, it will read the data sent to it by the plugn
1409 then write it back to the same database from which it came ({\bf bacula}
1410 in this case).
1411
1412 The {\bf bpipe} plugin is a generic pipe program, that simply transmits 
1413 the data from a specified program to Bacula for backup, and then from Bacula to 
1414 a specified program for restore.
1415
1416 By using different command lines to {\bf bpipe},
1417 you can backup any kind of data (ASCII or binary) depending
1418 on the program called.
1419
1420 \section{Microsoft Exchange Server 2003/2007 Plugin}
1421 \index[general]{Microsoft Exchange Server 2003/2007 Plugin}
1422 \subsection{Background}
1423 The Exchange plugin was made possible by a funded development project
1424 between Equiinet Ltd -- www.equiinet.com (many thanks) and Bacula Systems.
1425 The code for the plugin was written by James Harper, and the Bacula core
1426 code by Kern Sibbald.  All the code for this funded development has become
1427 part of the Bacula project.  Thanks to everyone who made it happen.
1428
1429 \subsection{Concepts}
1430 Although it is possible to backup Exchange using Bacula VSS the Exchange 
1431 plugin adds a good deal of functionality, because while Bacula VSS
1432 completes a full backup (snapshot) of Exchange, it does
1433 not support Incremental or Differential backups, restoring is more
1434 complicated, and a single database restore is not possible.
1435
1436 Microsoft Exchange organises its storage into Storage Groups with
1437 Databases inside them. A default installation of Exchange will have a
1438 single Storage Group called 'First Storage Group', with two Databases
1439 inside it, "Mailbox Store (SERVER NAME)" and 
1440 "Public Folder Store (SERVER NAME)", 
1441 which hold user email and public folders respectively.
1442
1443 In the default configuration, Exchange logs everything that happens to
1444 log files, such that if you have a backup, and all the log files since,
1445 you can restore to the present time. Each Storage Group has its own set
1446 of log files and operates independently of any other Storage Groups. At
1447 the Storage Group level, the logging can be turned off by enabling a
1448 function called "Enable circular logging". At this time the Exchange
1449 plugin will not function if this option is enabled.
1450
1451 The plugin allows backing up of entire storage groups, and the restoring
1452 of entire storage groups or individual databases. Backing up and
1453 restoring at the individual mailbox or email item is not supported but
1454 can be simulated by use of the "Recovery" Storage Group (see below).
1455
1456 \subsection{Installing}
1457 The Exchange plugin requires a DLL that is shipped with Microsoft
1458 Exchanger Server called {\bf esebcli2.dll}. Assuming Exchange is installed
1459 correctly the Exchange plugin should find this automatically and run
1460 without any additional installation.
1461
1462 If the DLL can not be found automatically it will need to be copied into
1463 the Bacula installation
1464 directory (eg C:\verb+\+Program Files\verb+\+Bacula\verb+\+bin). The Exchange API DLL is
1465 named esebcli2.dll and is found in C:\verb+\+Program Files\verb+\+Exchsrvr\verb+\+bin on a
1466 default Exchange installation.
1467
1468 \subsection{Backing Up}
1469 To back up an Exchange server the Fileset definition must contain at
1470 least {\bf Plugin = "exchange:/@EXCHANGE/Microsoft Information Store"} for
1471 the backup to work correctly. The 'exchange:' bit tells Bacula to look
1472 for the exchange plugin, the '@EXCHANGE' bit makes sure all the backed
1473 up files are prefixed with something that isn't going to share a name
1474 with something outside the plugin, and the 'Microsoft Information Store'
1475 bit is required also. It is also possible to add the name of a storage
1476 group to the "Plugin =" line, eg \\
1477 {\bf Plugin = "exchange:/@EXCHANGE/Microsoft Information Store/First Storage Group"} \\
1478 if you want only a single storage group backed up.
1479
1480 Additionally, you can suffix the 'Plugin =' directive with
1481 ":notrunconfull" which will tell the plugin not to truncate the Exchange
1482 database at the end of a full backup.
1483
1484 An Incremental or Differential backup will backup only the database logs
1485 for each Storage Group by inspecting the "modified date" on each
1486 physical log file. Because of the way the Exchange API works, the last
1487 logfile backed up on each backup will always be backed up by the next
1488 Incremental or Differential backup too. This adds 5MB to each
1489 Incremental or Differential backup size but otherwise does not cause any
1490 problems.
1491
1492 By default, a normal VSS fileset containing all the drive letters will
1493 also back up the Exchange databases using VSS. This will interfere with
1494 the plugin and Exchange's shared ideas of when the last full backup was
1495 done, and may also truncate log files incorrectly. It is important,
1496 therefore, that the Exchange database files be excluded from the backup,
1497 although the folders the files are in should be included, or they will
1498 have to be recreated manually if a baremetal restore is done.
1499
1500 \begin{verbatim}
1501 FileSet {
1502    Include {
1503       File = C:/Program Files/Exchsrvr/mdbdata
1504       Plugin = "exchange:..."
1505    }
1506    Exclude {
1507       File = C:/Program Files/Exchsrvr/mdbdata/E00.chk
1508       File = C:/Program Files/Exchsrvr/mdbdata/E00.log
1509       File = C:/Program Files/Exchsrvr/mdbdata/E000000F.log
1510       File = C:/Program Files/Exchsrvr/mdbdata/E0000010.log
1511       File = C:/Program Files/Exchsrvr/mdbdata/E0000011.log
1512       File = C:/Program Files/Exchsrvr/mdbdata/E00tmp.log
1513       File = C:/Program Files/Exchsrvr/mdbdata/priv1.edb
1514    }
1515 }
1516 \end{verbatim}
1517
1518 The advantage of excluding the above files is that you can significantly
1519 reduce the size of your backup since all the important Exchange files
1520 will be properly saved by the Plugin.
1521
1522
1523 \subsection{Restoring}
1524 The restore operation is much the same as a normal Bacula restore, with
1525 the following provisos:
1526
1527 \begin{itemize}
1528 \item  The {\bf Where} restore option must not be specified
1529 \item Each Database directory must be marked as a whole. You cannot just
1530      select (say) the .edb file and not the others.
1531 \item If a Storage Group is restored, the directory of the Storage Group
1532      must be marked too.
1533 \item  It is possible to restore only a subset of the available log files,
1534      but they {\bf must} be contiguous. Exchange will fail to restore correctly
1535      if a log file is missing from the sequence of log files
1536 \item Each database to be restored must be dismounted and marked as "Can be
1537     overwritten by restore"
1538 \item If an entire Storage Group is to be restored (eg all databases and
1539    logs in the Storage Group), then it is best to manually delete the
1540    database files from the server (eg C:\verb+\+Program Files\verb+\+Exchsrvr\verb+\+mdbdata\verb+\+*)
1541    as Exchange can get confused by stray log files lying around.
1542 \end{itemize}
1543
1544 \subsection{Restoring to the Recovery Storage Group}
1545 The concept of the Recovery Storage Group is well documented by
1546 Microsoft 
1547 \elink{http://support.microsoft.com/kb/824126}{http://support.microsoft.com/kb/824126}, 
1548 but to briefly summarize...
1549
1550 Microsoft Exchange allows the creation of an additional Storage Group
1551 called the Recovery Storage Group, which is used to restore an older
1552 copy of a database (e.g. before a mailbox was deleted) into without
1553 messing with the current live data. This is required as the Standard and
1554 Small Business Server versions of Exchange can not ordinarily have more
1555 than one Storage Group.
1556
1557 To create the Recovery Storage Group, drill down to the Server in Exchange
1558 System Manager, right click, and select
1559 {\bf "New -> Recovery Storage Group..."}.  Accept or change the file
1560 locations and click OK. On the Recovery Storage Group, right click and
1561 select {\bf "Add Database to Recover..."} and select the database you will
1562 be restoring.
1563
1564 Restore only the single database nominated as the database in the
1565 Recovery Storage Group. Exchange will redirect the restore to the
1566 Recovery Storage Group automatically.
1567 Then run the restore.
1568
1569 \subsection{Restoring on Microsoft Server 2007}
1570 Apparently the {\bf Exmerge} program no longer exists in Microsoft Server
1571 2007, and henc you use a new proceedure for recovering a single mail box.
1572 This procedure is ducomented by Microsoft at:
1573 \elink{http://technet.microsoft.com/en-us/library/aa997694.aspx}{http://technet.microsoft.com/en-us/library/aa997694.aspx},
1574 and involves using the {\bf Restore-Mailbox} and {\bf
1575 Get-MailboxStatistics} shell commands.
1576
1577 \subsection{Caveats}
1578 This plugin is still being developed, so you should consider it
1579 currently in BETA test, and thus use in a production environment
1580 should be done only after very careful testing.
1581
1582 When doing a full backup, the Exchange database logs are truncated by
1583 Exchange as soon as the plugin has completed the backup. If the data
1584 never makes it to the backup medium (eg because of spooling) then the
1585 logs will still be truncated, but they will also not have been backed
1586 up. A solution to this is being worked on. You will have to schedule a
1587 new Full backup to ensure that your next backups will be usable.
1588
1589 The "Enable Circular Logging" option cannot be enabled or the plugin
1590 will fail.
1591
1592 Exchange insists that a successful Full backup must have taken place if
1593 an Incremental or Differential backup is desired, and the plugin will
1594 fail if this is not the case. If a restore is done, Exchange will
1595 require that a Full backup be done before an Incremental or Differential
1596 backup is done.
1597
1598 The plugin will most likely not work well if another backup application
1599 (eg NTBACKUP) is backing up the Exchange database, especially if the
1600 other backup application is truncating the log files.
1601
1602 The Exchange plugin has not been tested with the {\bf Accurate} option, so
1603 we recommend either carefully testing or that you avoid this option for
1604 the current time.
1605
1606 The Exchange plugin is not called during processing the bconsole {\bf
1607 estimate} command, and so anything that would be backed up by the plugin
1608 will not be added to the estimate total that is displayed.
1609
1610
1611 \section{libdbi Framework}
1612 \index[general]{libdbi Framework}
1613 As a general guideline, Bacula has support for a few catalog database drivers
1614 (MySQL, PostgreSQL, SQLite)
1615 coded natively by the Bacula team.  With the libdbi implementation, which is a
1616 Bacula driver that uses libdbi to access the catalog, we have an open field to
1617 use many different kinds database engines following the needs of users.
1618
1619 The according to libdbi (http://libdbi.sourceforge.net/) project: libdbi
1620 implements a database-independent abstraction layer in C, similar to the
1621 DBI/DBD layer in Perl. Writing one generic set of code, programmers can
1622 leverage the power of multiple databases and multiple simultaneous database
1623 connections by using this framework.
1624
1625 Currently the libdbi driver in Bacula project only supports the same drivers
1626 natively coded in Bacula.  However the libdbi project has support for many
1627 others database engines. You can view the list at
1628 http://libdbi-drivers.sourceforge.net/. In the future all those drivers can be
1629 supported by Bacula, however, they must be tested properly by the Bacula team.
1630
1631 Some of benefits of using libdbi are:
1632 \begin{itemize}
1633 \item The possibility to use proprietary databases engines in which your
1634   proprietary licenses prevent the Bacula team from developing the driver.
1635  \item The possibility to use the drivers written for the libdbi project.
1636  \item The possibility to use other database engines without recompiling Bacula
1637    to use them.  Just change one line in bacula-dir.conf
1638  \item Abstract Database access, this is, unique point to code and profiling
1639    catalog database access.
1640  \end{itemize}
1641  
1642  The following drivers have been tested:
1643  \begin{itemize}
1644  \item PostgreSQL, with and without batch insert
1645  \item Mysql, with and without batch insert
1646  \item SQLite
1647  \item SQLite3
1648  \end{itemize}
1649
1650  In the future, we will test and approve to use others databases engines
1651  (proprietary or not) like DB2, Oracle, Microsoft SQL.
1652
1653  To compile Bacula to support libdbi we need to configure the code with the
1654  --with-dbi and --with-dbi-driver=[database] ./configure options, where
1655  [database] is the database engine to be used with Bacula (of course we can
1656  change the driver in file bacula-dir.conf, see below).  We must configure the
1657  access port of the database engine with the option --with-db-port, because the
1658  libdbi framework doesn't know the default access port of each database.
1659
1660 The next phase is checking (or configuring) the bacula-dir.conf, example:
1661 \begin{verbatim}
1662 Catalog {
1663   Name = MyCatalog
1664   dbdriver = dbi:mysql; dbaddress = 127.0.0.1; dbport = 3306
1665   dbname = regress; user = regress; password = ""
1666 }
1667 \end{verbatim}
1668
1669 The parameter {\bf dbdriver} indicates that we will use the driver dbi with a
1670 mysql database.  Currently the drivers supported by Bacula are: postgresql,
1671 mysql, sqlite, sqlite3; these are the names that may be added to string "dbi:".
1672
1673 The following limitations apply when Bacula is set to use the libdbi framework:
1674  - Not tested on the Win32 platform
1675  - A little performance is lost if comparing with native database driver. 
1676    The reason is bound with the database driver provided by libdbi and the 
1677    simple fact that one more layer of code was added.
1678
1679 It is important to remember, when compiling Bacula with libdbi, the
1680 following packages are needed:
1681  \begin{itemize}
1682   \item libdbi version 1.0.0, http://libdbi.sourceforge.net/
1683   \item libdbi-drivers 1.0.0, http://libdbi-drivers.sourceforge.net/
1684  \end{itemize}
1685  
1686  You can download them and compile them on your system or install the packages
1687  from your OS distribution.
1688
1689 \section{Console Command Additions and Enhancements}
1690 \index[general]{Console Additions}                                 
1691
1692 \subsection{Display Autochanger Content}
1693 \index[general]{StatusSlots}
1694
1695 The {\bf status slots storage=\lt{}storage-name\gt{}} command displays
1696 autochanger content.
1697
1698 \footnotesize
1699 \begin{verbatim}
1700  Slot |  Volume Name  |  Status  |  Media Type       |   Pool     |
1701 ------+---------------+----------+-------------------+------------|
1702     1 |         00001 |   Append |  DiskChangerMedia |    Default |
1703     2 |         00002 |   Append |  DiskChangerMedia |    Default |
1704     3*|         00003 |   Append |  DiskChangerMedia |    Scratch |
1705     4 |               |          |                   |            |
1706 \end{verbatim}
1707 \normalsize
1708
1709 If you an asterisk ({\bf *}) appears after the slot number, you must run an
1710 {\bf update slots} command to synchronize autochanger content with your
1711 catalog.
1712
1713 \subsection{list joblog job=xxx or jobid=nnn}
1714 \index[general]{list joblog}
1715 A new list command has been added that allows you to list the contents
1716 of the Job Log stored in the catalog for either a Job Name (fully qualified)
1717 or for a particular JobId.  The {\bf llist} command will include a line with
1718 the time and date of the entry.
1719
1720 Note for the catalog to have Job Log entries, you must have a directive 
1721 such as:
1722
1723 \begin{verbatim}
1724   catalog = all
1725 \end{verbatim}
1726
1727 In your Director's {\bf Messages} resource.
1728
1729 \subsection{Use separator for multiple commands}
1730 \index[general]{Command Separator}
1731   When using bconsole with readline, you can set the command separator with 
1732   \textbf{@separator} command to one
1733   of those characters to write commands who require multiple input in one line.
1734 \begin{verbatim}
1735   !$%&'()*+,-/:;<>?[]^`{|}~
1736 \end{verbatim}
1737
1738 \subsection{Deleting Volumes}
1739 The delete volume bconsole command has been modified to
1740 require an asterisk (*) in front of a MediaId otherwise the
1741 value you enter is a taken to be a Volume name. This is so that
1742 users may delete numeric Volume names. The previous Bacula versions
1743 assumed that all input that started with a number was a MediaId.
1744
1745 This new behavior is indicated in the prompt if you read it
1746 carefully.
1747
1748 \section{Bare Metal Recovery}
1749 The old bare metal recovery project is essentially dead. One
1750 of the main features of it was that it would build a recovery
1751 CD based on the kernel on your system. The problem was that
1752 every distribution has a different boot procedure and different 
1753 scripts, and worse yet, the boot procedures and scripts change
1754 from one distribution to another.  This meant that maintaining
1755 (keeping up with the changes) the rescue CD was too much work.
1756
1757 To replace it, a new bare metal recovery USB boot stick has been developed
1758 by Bacula Systems.  This technology involves remastering a Ubuntu LiveCD to
1759 boot from a USB key.  
1760
1761 Advantages: 
1762 \begin{enumerate} 
1763 \item Recovery can be done from within graphical environment.  
1764 \item Recovery can be done in a shell.  
1765 \item Ubuntu boots on a large number of Linux systems.  
1766 \item The process of updating the system and adding new
1767    packages is not too difficult. 
1768 \item The USB key can easily be upgraded to newer Ubuntu versions.
1769 \item The USB key has writable partitions for modifications to
1770    the OS and for modification to your home directory.
1771 \item You can add new files/directories to the USB key very easily.
1772 \item You can save the environment from multiple machines on
1773    one USB key.
1774 \item Bacula Systems is funding its ongoing development.
1775 \end{enumerate}
1776
1777 The disadvantages are:
1778 \begin{enumerate}
1779 \item The USB key is usable but currently under development.
1780 \item Not everyone may be familiar with Ubuntu (no worse
1781   than using Knoppix)
1782 \item Some older OSes cannot be booted from USB. This can
1783    be resolved by first booting a Ubuntu LiveCD then plugging
1784    in the USB key.
1785 \item Currently the documentation is sketchy and not yet added
1786    to the main manual. See below ...
1787 \end{enumerate}
1788
1789 The documentation and the code can be found in the {\bf rescue} package
1790 in the directory {\bf linux/usb}.
1791
1792 \section{Miscellaneous}
1793 \index[general]{Misc New Features}
1794
1795 \subsection{Allow Mixed Priority = \lt{}yes\vb{}no\gt{}}
1796 \index[general]{Allow Mixed Priority}
1797    This directive is only implemented in version 2.5 and later.  When
1798    set to {\bf yes} (default {\bf no}), this job may run even if lower
1799    priority jobs are already running.  This means a high priority job
1800    will not have to wait for other jobs to finish before starting.
1801    The scheduler will only mix priorities when all running jobs have
1802    this set to true.
1803
1804    Note that only higher priority jobs will start early.  Suppose the
1805    director will allow two concurrent jobs, and that two jobs with
1806    priority 10 are running, with two more in the queue.  If a job with
1807    priority 5 is added to the queue, it will be run as soon as one of
1808    the running jobs finishes.  However, new priority 10 jobs will not
1809    be run until the priority 5 job has finished.
1810
1811 \subsection{Bootstrap File Directive -- FileRegex}
1812 \index[general]{Bootstrap File Directive}
1813   {\bf FileRegex} is a new command that can be added to the bootstrap
1814   (.bsr) file.  The value is a regular expression.  When specified, only
1815   matching filenames will be restored.
1816
1817   During a restore, if all File records are pruned from the catalog
1818   for a Job, normally Bacula can restore only all files saved. That
1819   is there is no way using the catalog to select individual files.
1820   With this new feature, Bacula will ask if you want to specify a Regex
1821   expression for extracting only a part of the full backup.
1822
1823 \begin{verbatim}
1824   Building directory tree for JobId(s) 1,3 ...
1825   There were no files inserted into the tree, so file selection
1826   is not possible.Most likely your retention policy pruned the files
1827   
1828   Do you want to restore all the files? (yes\vb{}no): no
1829   
1830   Regexp matching files to restore? (empty to abort): /tmp/regress/(bin|tests)/
1831   Bootstrap records written to /tmp/regress/working/zog4-dir.restore.1.bsr
1832 \end{verbatim}
1833
1834 \subsection{Bootstrap File Optimization Changes}
1835 In order to permit proper seeking on disk files, we have extended the bootstrap
1836 file format to include a {\bf VolStartAddr} and {\bf VolEndAddr} records. Each
1837 takes a 64 bit unsigned integer range (i.e. nnn-mmm) which defines the start
1838 address range and end address range respectively.  These two directives replace
1839 the {\bf VolStartFile}, {\bf VolEndFile}, {\bf VolStartBlock} and {\bf
1840   VolEndBlock} directives.  Bootstrap files containing the old directives will
1841 still work, but will not properly take advantage of proper disk seeking, and
1842 may read completely to the end of a disk volume during a restore.  With the new
1843 format (automatically generated by the new Director), restores will seek
1844 properly and stop reading the volume when all the files have been restored.
1845
1846 \subsection{Solaris ZFS/NFSv4 ACLs}
1847 This is an upgrade of the previous Solaris ACL backup code
1848 to the new library format, which will backup both the old
1849 POSIX(UFS) ACLs as well as the ZFS ACLs.
1850
1851 The new code can also restore POSIX(UFS) ACLs to a ZFS filesystem
1852 (it will translate the POSIX(UFS)) ACL into a ZFS/NFSv4 one) it can also
1853 be used to transfer from UFS to ZFS filesystems.
1854
1855
1856 \subsection{Virtual Tape Emulation}
1857 \index[general]{Virtual Tape Emulation}
1858 We now have a Virtual Tape emulator that allows us to run though 99.9\% of
1859 the tape code but actually reading and writing to a disk file. Used with the
1860 \textbf{disk-changer} script, you can now emulate an autochanger with 10 drives
1861 and 700 slots. This feature is most useful in testing.  It is enabled
1862 by using {\bf Device Type = vtape} in the Storage daemon's Device
1863 directive. This feature is only implemented on Linux machines and should not be
1864 used for production.
1865
1866 \subsection{Bat Enhancements}
1867 \index[general]{Bat Enhancements}
1868 Bat (the Bacula Administration Tool) GUI program has been significantly
1869 enhanced and stabilized. In particular, there are new table based status 
1870 commands; it can now be easily localized using Qt4 Linguist.
1871
1872 The Bat communications protocol has been significantly enhanced to improve
1873 GUI handling. Note, you {\bf must} use a the bat that is distributed with
1874 the Director you are using otherwise the communications protocol will not
1875 work.
1876
1877 \subsection{RunScript Enhancements}
1878 \index[general]{RunScript Enhancements}
1879 The {\bf RunScript} resource has been enhanced to permit multiple
1880 commands per RunScript.  Simply specify multiple {\bf Command} directives
1881 in your RunScript.
1882
1883 \begin{verbatim}
1884 Job {
1885   Name = aJob
1886   RunScript {
1887     Command = "/bin/echo test"
1888     Command = "/bin/echo an other test"
1889     Command = "/bin/echo 3 commands in the same runscript"
1890     RunsWhen = Before
1891   }
1892  ...
1893 }
1894 \end{verbatim}
1895
1896 A new Client RunScript {\bf RunsWhen} keyword of {\bf AfterVSS} has been
1897 implemented, which runs the command after the Volume Shadow Copy has been made.
1898
1899 Console commands can be specified within a RunScript by using:
1900 {\bf Console = \lt{}command\gt{}}, however, this command has not been 
1901 carefully tested and debugged and is known to easily crash the Director.
1902 We would appreciate feedback.  Due to the recursive nature of this command, we
1903 may remove it before the final release.
1904
1905 \subsection{Status Enhancements}
1906 \index[general]{Status Enhancements}
1907 The bconsole {\bf status dir} output has been enhanced to indicate
1908 Storage daemon job spooling and despooling activity.
1909
1910 \subsection{Connect Timeout}
1911 \index[general]{Connect Timeout}
1912 The default connect timeout to the File
1913 daemon has been set to 3 minutes. Previously it was 30 minutes.
1914
1915 \subsection{ftruncate for NFS Volumes}
1916 \index[general]{ftruncate for NFS Volumes}
1917 If you write to a Volume mounted by NFS (say on a local file server),
1918 in previous Bacula versions, when the Volume was recycled, it was not
1919 properly truncated because NFS does not implement ftruncate (file 
1920 truncate). This is now corrected in the new version because we have
1921 written code (actually a kind user) that deletes and recreates the Volume,
1922 thus accomplishing the same thing as a truncate.
1923
1924 \subsection{Support for Ubuntu}
1925 The new version of Bacula now recognizes the Ubuntu (and Kubuntu)
1926 version of Linux, and thus now provides correct autostart routines.
1927 Since Ubuntu officially supports Bacula, you can also obtain any
1928 recent release of Bacula from the Ubuntu repositories.
1929
1930 \subsection{Recycle Pool = \lt{}pool-name\gt{}}
1931 \index[general]{Recycle Pool}
1932 The new \textbf{RecyclePool} directive defines to which pool the Volume will
1933 be placed (moved) when it is recycled. Without this directive, a Volume will
1934 remain in the same pool when it is recycled. With this directive, it can be
1935 moved automatically to any existing pool during a recycle. This directive is
1936 probably most useful when defined in the Scratch pool, so that volumes will
1937 be recycled back into the Scratch pool.
1938
1939 \subsection{FD Version}
1940 \index[general]{FD Version}
1941 The File daemon to Director protocol now includes a version 
1942 number, which although there is no visible change for users, 
1943 will help us in future versions automatically determine
1944 if a File daemon is not compatible.
1945
1946 \subsection{Max Run Sched Time = \lt{}time-period-in-seconds\gt{}}
1947 \index[general]{Max Run Sched Time}
1948 The time specifies the maximum allowed time that a job may run, counted from
1949 when the job was scheduled. This can be useful to prevent jobs from running
1950 during working hours. We can see it like \texttt{Max Start Delay + Max Run
1951   Time}.
1952
1953 \subsection{Max Wait Time = \lt{}time-period-in-seconds\gt{}}
1954 \index[general]{Max Wait Time}
1955 Previous \textbf{MaxWaitTime} directives aren't working as expected, instead
1956 of checking the maximum allowed time that a job may block for a resource,
1957 those directives worked like \textbf{MaxRunTime}. Some users are reporting to
1958 use \textbf{Incr/Diff/Full Max Wait Time} to control the maximum run time of
1959 their job depending on the level. Now, they have to use
1960 \textbf{Incr/Diff/Full Max Run Time}.  \textbf{Incr/Diff/Full Max Wait Time}
1961 directives are now deprecated.
1962
1963 \subsection{Incremental|Differential Max Wait Time = \lt{}time-period-in-seconds\gt{}} 
1964 \index[general]{Incremental Max Wait Time}
1965 \index[general]{Differential Max Wait Time}
1966
1967 These directives have been deprecated in favor of
1968 \texttt{Incremental|Differential Max Run Time}.
1969
1970 \subsection{Max Run Time directives}
1971 \index[general]{Max Run Time directives}
1972 Using \textbf{Full/Diff/Incr Max Run Time}, it's now possible to specify the
1973 maximum allowed time that a job can run depending on the level.
1974
1975 \addcontentsline{lof}{figure}{Job time control directives}
1976 \includegraphics{\idir different_time.eps}
1977
1978 \subsection{Statistics Enhancements}
1979 \index[general]{Statistics Enhancements}
1980 If you (or probably your boss) want to have statistics on your backups to
1981 provide some \textit{Service Level Agreement} indicators, you could use a few
1982 SQL queries on the Job table to report how many:
1983
1984 \begin{itemize}
1985 \item jobs have run
1986 \item jobs have been successful
1987 \item files have been backed up
1988 \item ...
1989 \end{itemize}
1990
1991 However, these statistics are accurate only if your job retention is greater
1992 than your statistics period. Ie, if jobs are purged from the catalog, you won't
1993 be able to use them. 
1994
1995 Now, you can use the \textbf{update stats [days=num]} console command to fill
1996 the JobHistory table with new Job records. If you want to be sure to take in
1997 account only \textbf{good jobs}, ie if one of your important job has failed but
1998 you have fixed the problem and restarted it on time, you probably want to
1999 delete the first \textit{bad} job record and keep only the successful one. For
2000 that simply let your staff do the job, and update JobHistory table after two or
2001 three days depending on your organization using the \textbf{[days=num]} option.
2002
2003 These statistics records aren't used for restoring, but mainly for
2004 capacity planning, billings, etc.
2005
2006 The Bweb interface provides a statistics module that can use this feature. You
2007 can also use tools like Talend or extract information by yourself.
2008
2009 The \textbf{Statistics Retention = \lt{}time\gt{}} director directive defines
2010 the length of time that Bacula will keep statistics job records in the Catalog
2011 database after the Job End time. (In \texttt{JobHistory} table) When this time
2012 period expires, and if user runs \texttt{prune stats} command, Bacula will
2013 prune (remove) Job records that are older than the specified period.
2014
2015 You can use the following Job resource in your nightly \textbf{BackupCatalog}
2016 job to maintain statistics.
2017 \begin{verbatim}
2018 Job {
2019   Name = BackupCatalog
2020   ...
2021   RunScript {
2022     Console = "update stats days=3"
2023     Console = "prune stats yes"
2024     RunsWhen = After
2025     RunsOnClient = no
2026   }
2027 }
2028 \end{verbatim}
2029
2030 \subsection{ScratchPool = \lt{}pool-resource-name\gt{}}
2031 \index[general]{ScratchPool}
2032 This directive permits to specify a specific \textsl{Scratch} pool for the
2033 current pool. This is useful when using multiple storage sharing the same
2034 mediatype or when you want to dedicate volumes to a particular set of pool.
2035
2036 \subsection{Enhanced Attribute Despooling}
2037 \index[general]{Attribute Despooling}
2038 If the storage daemon and the Director are on the same machine, the spool file
2039 that contains attributes is read directly by the Director instead of being
2040 transmitted across the network. That should reduce load and speedup insertion.
2041
2042 \subsection{SpoolSize = \lt{}size-specification-in-bytes\gt{}}
2043 \index[general]{SpoolSize}
2044 A new Job directive permits to specify the spool size per job. This is used
2045 in advanced job tunning. {\bf SpoolSize={\it bytes}}
2046
2047 \subsection{MaxConsoleConnections = \lt{}number\gt{}}
2048 \index[general]{MaxConsoleConnections}
2049 A new director directive permits to specify the maximum number of Console
2050 Connections that could run concurrently. The default is set to 20, but you may
2051 set it to a larger number.
2052
2053 \subsection{VerId = \lt{}string\gt{}}
2054 \index[general]{VerId}
2055 A new director directive permits to specify a personnal identifier that will be
2056 displayed in the \texttt{version} command.
2057
2058 \subsection{dbcheck enhancements}
2059 \index[general]{dbcheck enhancements}
2060 If you are using Mysql, dbcheck will now ask you if you want to create
2061 temporary indexes to speed up orphaned Path and Filename elimination. 
2062
2063 A new \texttt{-B} option allows you to print catalog information in a simple
2064 text based format. This is useful to backup it in a secure way.
2065
2066 \begin{verbatim}
2067  $ dbcheck -B 
2068  catalog=MyCatalog
2069  db_type=SQLite
2070  db_name=regress
2071  db_driver=
2072  db_user=regress
2073  db_password=
2074  db_address=
2075  db_port=0
2076  db_socket=
2077 \end{verbatim} %$
2078
2079 You can now specify the database connection port in the command line.
2080
2081 \subsection{{-}{-}docdir configure option}
2082 \index[general]{{-}{-}docdir configure option}
2083 You can use {-}{-}docdir= on the ./configure command to
2084 specify the directory where you want Bacula to install the
2085 LICENSE, ReleaseNotes, ChangeLog, ... files.   The default is 
2086 {\bf /usr/share/doc/bacula}.
2087       
2088 \subsection{{-}{-}htmldir configure option}
2089 \index[general]{{-}{-}htmldir configure option}
2090 You can use {-}{-}htmldir= on the ./configure command to
2091 specify the directory where you want Bacula to install the bat html help
2092 files. The default is {\bf /usr/share/doc/bacula/html}
2093
2094 \subsection{{-}{-}with-plugindir configure option}
2095 \index[general]{{-}{-}plugindir configure option}
2096 You can use {-}{-}plugindir= on the ./configure command to
2097 specify the directory where you want Bacula to install
2098 the plugins (currently only bpipe-fd). The default is
2099 /usr/lib.