]> git.sur5r.net Git - bacula/docs/blob - docs/manuals/en/install/fileset.tex
691bf6eeefb380f36056227b09033593f83db1d4
[bacula/docs] / docs / manuals / en / install / fileset.tex
1 -%
2 %%
3
4 \section{The FileSet Resource}
5 \label{FileSetResource}
6 \index[general]{Resource!FileSet}
7 \index[general]{FileSet Resource}
8
9 The FileSet resource defines what files are to be included or excluded in a
10 backup job.  A {\bf FileSet} resource is required for each backup Job.  It
11 consists of a list of files or directories to be included, a list of files
12 or directories to be excluded and the various backup options such as
13 compression, encryption, and signatures that are to be applied to each
14 file.
15
16 Any change to the list of the included files will cause Bacula to
17 automatically create a new FileSet (defined by the name and an MD5 checksum
18 of the Include/Exclude contents).  Each time a new FileSet is created,
19 Bacula will ensure that the next backup is always a Full save.
20
21 Bacula is designed to handle most character sets of the world,
22 US ASCII, German, French, Chinese, ...  However, it does this by
23 encoding everything in UTF-8, and it expects all configuration files
24 (including those read on Win32 machines) to be in UTF-8 format.
25 UTF-8 is typically the default on Linux machines, but not on all
26 Unix machines, nor on Windows, so you must take some care to ensure
27 that your locale is set properly before starting Bacula.  
28 On most modern Win32 machines, you can edit the conf files with {\bf
29 notebook} and choose output encoding UTF-8.
30
31 To ensure that Bacula configuration files can be correctly read including
32 foreign characters the {bf LANG} environment variable
33 must end in {\bf .UTF-8}. An full example is {\bf en\_US.UTF-8}. The
34 exact syntax may vary a bit from OS to OS, and exactly how you define
35 it will also vary.
36
37 Bacula assumes that all filenames are in UTF-8 format on Linux and
38 Unix machines. On Win32 they are in Unicode (UTF-16), and will
39 be automatically converted to UTF-8 format.
40
41
42 \begin{description}
43
44 \item [FileSet]
45 \index[dir]{FileSet}
46 \index[dir]{Directive!FileSet}
47 Start of the FileSet resource. One {\bf FileSet}  resource must be
48 defined for each Backup job.
49
50 \item [Name = \lt{}name\gt{}]
51 \index[dir]{Name}
52 \index[dir]{Directive!Name}
53    The name of the FileSet resource.  This directive is required. 
54
55 \item [Ignore FileSet Changes = \lt{}yes|no\gt{}]
56 \index[dir]{Ignore FileSet Changes}
57 \index[dir]{Directive!Ignore FileSet Changes}
58    Normally, if you modify the FileSet Include or Exclude lists,
59    the next backup will be forced to a Full so that Bacula can
60    guarantee that any additions or deletions are properly saved.
61
62    We strongly recommend against setting this directive to yes, 
63    since doing so may cause you to have an incomplete set of backups.
64
65    If this directive is set to {\bf yes}, any changes you make to the
66    FileSet Include or Exclude lists, will not force a Full during 
67    subsequent backups.
68
69    The default is {\bf no}, in which case, if you change the Include or
70    Exclude, Bacula will force a Full backup to ensure that everything is
71    properly backed up.
72
73 \item [Enable VSS = \lt{}yes|no\gt{}]
74 \index[dir]{Enable VSS}
75 \index[dir]{Directive!Enable VSS}
76   If this directive is set to {\bf yes} the File daemon will be notified
77   that the user wants to use a Volume Shadow Copy Service (VSS) backup
78   for this job. The default is {\bf yes}. This directive is effective
79   only for VSS enabled Win32 File daemons. It permits a consistent copy
80   of open files to be made for cooperating writer applications, and for
81   applications that are not VSS away, Bacula can at least copy open files.
82   For more information, please see the
83   \ilink{Windows}{VSS} chapter of this manual.
84
85
86 \item [Include \{ Options \{\lt{}file-options\gt{}\} ...;
87    \lt{}file-list\gt{} \} ]
88 \index[dir]{Include \{ [ Options \{\lt{}file-options\gt{}\} ...]
89    \lt{}file-list\gt{} \}  }
90 \index[dir]{Directive!Include}
91
92 \item [Options \{ \lt{}file-options\gt{} \} ]
93 \index[dir]{Options  \{ \lt{}file-options\gt{} \}  }
94
95 \item [Exclude \{ \lt{}file-list\gt{} \}]
96 \index[dir]{Exclude \{ \lt{}file-list\gt{} \} }
97 \index[dir]{Directive!Exclude}
98
99
100 \end{description}
101
102 The Include resource must contain a list of directories and/or files to be
103 processed in the backup job.  Normally, all files found in all
104 subdirectories of any directory in the Include File list will be backed up.
105 Note, see below for the definition of \lt{}file-list\gt{}. 
106 The Include resource may also contain one or more Options resources that
107 specify options such as compression to be applied to all or any subset of
108 the files found when processing the file-list for backup. Please see
109 below for more details concerning Options resources.
110
111 There can be any number of {\bf Include} resources within the FileSet, each
112 having its own list of directories or files to be backed up and the backup
113 options defined by one or more Options resources.  The {\bf file-list}
114 consists of one file or directory name per line.  Directory names should be
115 specified without a trailing slash with Unix path notation.
116
117 Windows users, please take note to specify directories (even c:/...) in
118 Unix path notation. If you use Windows conventions, you will most likely
119 not be able to restore your files due to the fact that the Windows
120 path separator was defined as an escape character long before Windows
121 existed, and Bacula adheres to that convention (i.e. \\  means the next character
122 appears as itself).
123
124 You should always specify a full path for every directory and file that you
125 list in the FileSet.  In addition, on Windows machines, you should {\bf
126 always} prefix the directory or filename with the drive specification
127 (e.g.  {\bf c:/xxx}) using Unix directory name separators
128 (forward slash).  The drive letter itself can be upper or lower case (e.g.
129 c:/xxx or C:/xxx).
130
131 Bacula's default for processing directories is to recursively descend in
132 the directory saving all files and subdirectories.  Bacula will not by
133 default cross filesystems (or mount points in Unix parlance).  This means
134 that if you specify the root partition (e.g.  {\bf /}), Bacula will save
135 only the root partition and not any of the other mounted filesystems.
136 Similarly on Windows systems, you must explicitly specify each of the
137 drives you want saved (e.g.
138 {\bf c:/} and {\bf d:/} ...). In addition, at least for Windows systems, you
139 will most likely want to enclose each specification within double quotes
140 particularly if the directory (or file) name contains spaces. The {\bf df}
141 command on Unix systems will show you which mount points you must specify to
142 save everything. See below for an example. 
143
144 Take special care not to include a directory twice or Bacula will backup
145 the same files two times wasting a lot of space on your archive device.
146 Including a directory twice is very easy to do.  For example:
147
148 \footnotesize
149 \begin{verbatim}
150   Include {
151     File = /
152     File = /usr
153     Options { compression=GZIP }
154   }
155 \end{verbatim}
156 \normalsize
157
158 on a Unix system where /usr is a subdirectory (rather than a mounted
159 filesystem) will cause /usr to be backed up twice. In this case, on Bacula
160 versions prior to 1.32f-5-09Mar04 due to a bug, you will not be able to
161 restore hard linked files that were backed up twice. 
162
163 If you have used Bacula prior to version 1.36.3, you will note three things in
164 the new FileSet syntax: 
165
166 \begin{enumerate}
167 \item There is no equal sign (=) after the Include and before the opening
168    brace (\{). The same is true for the Exclude. 
169 \item Each directory (or filename) to be included or excluded is preceded by a {\bf File
170    =}.  Previously they were simply listed on separate lines. 
171 \item The options that previously appeared on the Include line now must be
172    specified within their own Options resource.
173 \item The Exclude resource does not accept Options. 
174 \item When using wild-cards or regular expressions, directory names are
175    always terminated with a slash (/) and filenames have no trailing slash.
176 \end{enumerate}
177
178 The Options resource is optional, but when specified, it will contain a
179 list of {\bf keyword=value} options to be applied to the file-list.
180 See below for the definition of file-list.    
181 Multiple Options resources may be specified one after another.  As the
182 files are found in the specified directories, the Options will applied to
183 the filenames to determine if and how the file should be backed up.  The
184 wildcard and regular expression pattern matching parts of the
185 Options resources are checked in the order they are specified in the
186 FileSet until the first one that matches. Once one matches, the
187 compression and other flags within the Options specification will
188 apply to the pattern matched.
189
190 A key point is that in the absence of an Option or no other Option is
191 matched, every file is accepted for backing up. This means that if
192 you want to exclude something, you must explicitly specify an Option
193 with an {\bf exclude = yes} and some pattern matching.
194
195 Once Bacula determines that the Options resource matches the file under
196 consideration, that file will be saved without looking at any other Options
197 resources that may be present.  This means that any wild cards must appear
198 before an Options resource without wild cards.
199
200 If for some reason, Bacula checks all the Options resources to a file under
201 consideration for backup, but there are no matches (generally because of wild
202 cards that don't match), Bacula as a default will then backup the file.  This
203 is quite logical if you consider the case of no Options clause is specified,
204 where you want everything to be backed up, and it is important to keep in mind
205 when excluding as mentioned above.
206
207 However, one additional point is that in the case that no match was found,
208 Bacula will use the options found in the last Options resource.  As a
209 consequence, if you want a particular set of "default" options, you should put
210 them in an Options resource after any other Options.
211
212 It is a good idea to put all your wild-card and regex expressions inside
213 double quotes to prevent conf file scanning problems.
214
215 This is perhaps a bit overwhelming, so there are a number of examples included 
216 below to illustrate how this works.
217
218 You find yourself using a lot of Regex statements, which will cost quite a lot
219 of CPU time, we recommend you simplify them if you can, or better yet
220 convert them to Wild statements which are much more efficient.
221
222 The directives within an Options resource may be one of the following: 
223
224 \begin{description}
225
226 \item [compression=GZIP]
227 \index[dir]{compression}
228 \index[dir]{Directive!compression}
229    All files saved will be software compressed using the GNU ZIP
230    compression format.  The compression is done on a file by file basis by
231    the File daemon.  If there is a problem reading the tape in a single
232    record of a file, it will at most affect that file and none of the other
233    files on the tape.  Normally this option is {\bf not} needed if you have
234    a modern tape drive as the drive will do its own compression.  In fact,
235    if you specify software compression at the same time you have hardware
236    compression turned on, your files may actually take more space on the
237    volume.
238
239    Software compression is very important if you are writing your Volumes
240    to a file, and it can also be helpful if you have a fast computer but a
241    slow network, otherwise it is generally better to rely your tape drive's
242    hardware compression.  As noted above, it is not generally a good idea
243    to do both software and hardware compression.
244
245    Specifying {\bf GZIP} uses the default compression level 6 (i.e.  {\bf
246    GZIP} is identical to {\bf GZIP6}).  If you want a different compression
247    level (1 through 9), you can specify it by appending the level number
248    with no intervening spaces to {\bf GZIP}.  Thus {\bf compression=GZIP1}
249    would give minimum compression but the fastest algorithm, and {\bf
250    compression=GZIP9} would give the highest level of compression, but
251    requires more computation.  According to the GZIP documentation,
252    compression levels greater than six generally give very little extra
253    compression and are rather CPU intensive.
254
255 \item [signature=SHA1]
256 \index[dir]{signature}
257 \index[dir]{SHA1}
258 \index[dir]{Directive!signature}
259    An SHA1 signature will be computed for all The SHA1 algorithm is
260    purported to be some what slower than the MD5 algorithm, but at the same
261    time is significantly better from a cryptographic point of view (i.e.
262    much fewer collisions, much lower probability of being hacked.) It adds
263    four more bytes than the MD5 signature.  We strongly recommend that
264    either this option or MD5 be specified as a default for all files.
265    Note, only one of the two options MD5 or SHA1 can be computed for any
266    file.
267
268 \item [signature=MD5]
269 \index[dir]{signature}
270 \index[dir]{MD5}
271 \index[dir]{Directive!signature}
272    An MD5 signature will be computed for all files saved.  Adding this
273    option generates about 5\% extra overhead for each file saved.  In
274    addition to the additional CPU time, the MD5 signature adds 16 more
275    bytes per file to your catalog.  We strongly recommend that this option
276    or the SHA1 option be specified as a default for all files.
277
278 \item [verify=\lt{}options\gt{}]
279 \index[dir]{verify}
280 \index[dir]{Directive!verify}
281    The options letters specified are used  when running a {\bf Verify
282    Level=Catalog} as well as the  {\bf DiskToCatalog} level job. The options
283    letters may be any  combination of the following:  
284
285       \begin{description}
286
287       \item {\bf i}
288       compare the inodes  
289
290       \item {\bf p}
291       compare the permission bits  
292
293       \item {\bf n}
294       compare the number of links  
295
296       \item {\bf u}
297       compare the user id  
298
299       \item {\bf g}
300       compare the group id  
301
302       \item {\bf s}
303       compare the size  
304
305       \item {\bf a}
306       compare the access time  
307
308       \item {\bf m}
309       compare the modification time (st\_mtime)  
310
311       \item {\bf c}
312       compare the change time (st\_ctime)  
313
314       \item {\bf d}
315       report file size decreases  
316
317       \item {\bf 5}
318       compare the MD5 signature  
319
320       \item {\bf 1}
321       compare the SHA1 signature  
322       \end{description}
323
324    A useful set of general options on the {\bf Level=Catalog}  or {\bf
325    Level=DiskToCatalog}  verify is {\bf pins5} i.e. compare permission bits,
326    inodes, number  of links, size, and MD5 changes. 
327
328 \item [onefs=yes|no]
329 \index[dir]{onefs}
330 \index[dir]{Directive!onefs}
331    If set to {\bf yes} (the default), {\bf Bacula} will remain on a single
332    file system.  That is it will not backup file systems that are mounted
333    on a subdirectory.  If you are using a *nix system, you may not even be
334    aware that there are several different filesystems as they are often
335    automatically mounted by the OS (e.g.  /dev, /net, /sys, /proc, ...).
336    With Bacula 1.38.0 or later, it will inform you when it decides not to
337    traverse into another filesystem.  This can be very useful if you forgot
338    to backup a particular partition.  An example of the informational
339    message in the job report is:
340
341 \footnotesize
342 \begin{verbatim}
343 rufus-fd: /misc is a different filesystem. Will not descend from / into /misc
344 rufus-fd: /net is a different filesystem. Will not descend from / into /net
345 rufus-fd: /var/lib/nfs/rpc_pipefs is a different filesystem. Will not descend from /var/lib/nfs into /var/lib/nfs/rpc_pipefs
346 rufus-fd: /selinux is a different filesystem. Will not descend from / into /selinux
347 rufus-fd: /sys is a different filesystem. Will not descend from / into /sys
348 rufus-fd: /dev is a different filesystem. Will not descend from / into /dev
349 rufus-fd: /home is a different filesystem. Will not descend from / into /home
350 \end{verbatim}
351 \normalsize
352
353    Note: in previous versions of Bacula, the above message was of the form: 
354
355 \footnotesize
356 \begin{verbatim}
357 Filesystem change prohibited. Will not descend into /misc
358 \end{verbatim}
359 \normalsize
360
361    If you wish to backup multiple filesystems, you can  explicitly
362    list each filesystem you want saved.  Otherwise, if you set the onefs option
363    to {\bf no}, Bacula will backup  all mounted file systems (i.e. traverse mount
364    points) that  are found within the {\bf FileSet}. Thus if  you have NFS or
365    Samba file systems mounted on a directory listed  in your FileSet, they will
366    also be backed up. Normally, it is  preferable to set {\bf onefs=yes} and to
367    explicitly name  each filesystem you want backed up. Explicitly naming  the
368    filesystems you want backed up avoids the possibility  of getting into a
369    infinite loop recursing filesystems.  Another possibility is to 
370    use {\bf onefs=no} and to set {\bf fstype=ext2, ...}.             
371    See the example below for more details. 
372
373    If you think that Bacula should be backing up a particular directory
374    and it is not, and you have {\bf onefs=no} set, before you complain,
375    please do:
376
377 \footnotesize
378 \begin{verbatim}
379   stat /
380   stat <filesystem>
381 \end{verbatim}
382 \normalsize
383
384 where you replace {\bf filesystem} with the one in question.  If the 
385 {\bf Device:} number is different for / and for your filesystem, then they
386 are on different filesystems.  E.g.
387 \footnotesize
388 \begin{verbatim}
389 stat /
390   File: `/'
391   Size: 4096            Blocks: 16         IO Block: 4096   directory
392 Device: 302h/770d       Inode: 2           Links: 26
393 Access: (0755/drwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
394 Access: 2005-11-10 12:28:01.000000000 +0100
395 Modify: 2005-09-27 17:52:32.000000000 +0200
396 Change: 2005-09-27 17:52:32.000000000 +0200
397
398 stat /net
399   File: `/home'
400   Size: 4096            Blocks: 16         IO Block: 4096   directory
401 Device: 308h/776d       Inode: 2           Links: 7
402 Access: (0755/drwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
403 Access: 2005-11-10 12:28:02.000000000 +0100
404 Modify: 2005-11-06 12:36:48.000000000 +0100
405 Change: 2005-11-06 12:36:48.000000000 +0100
406 \end{verbatim}
407 \normalsize
408
409    Also be aware that even if you include {\bf /home} in your list
410    of files to backup, as you most likely should, you will get the
411    informational message that  "/home is a different filesystem" when 
412    Bacula is processing the {\bf /} directory.  This message does not
413    indicate an error. This message means that while examining the 
414    {\bf File =} referred to in the second part of the message, Bacula will 
415    not descend into the directory mentioned in the first part of the message.
416    However, it is possible that the separate filesystem will be backed up 
417    despite the message. For example, consider the following FileSet:
418
419 \footnotesize
420 \begin{verbatim}
421   File = /
422   File = /var
423 \end{verbatim}
424 \normalsize
425
426    where {\bf /var} is a separate filesystem.  In this example, you will get a
427    message saying that Bacula will not decend from {\bf /} into {\bf /var}.  But 
428    it is important to realise that Bacula will descend into {\bf /var} from the 
429    second File directive shown above.  In effect, the warning is bogus,
430    but it is supplied to alert you to possible omissions from your FileSet. In 
431    this example, {\bf /var} will be backed up.  If you changed the FileSet such 
432    that it did not specify {\bf /var}, then {\bf /var} will not be backed up.
433
434    
435 \item [honor nodump flag=\lt{}yes|no\gt{}]
436 \index[dir]{honornodumpflag}
437 \index[dir]{Directive!honornodumpflag}
438         If your file system supports the {\bf nodump} flag (e. g. most
439         BSD-derived systems) Bacula will honor the setting of the flag
440         when this option is set to {\bf yes}. Files having this flag set
441         will not be included in the backup and will not show up in the
442         catalog. For directories with the {\bf nodump} flag set recursion
443         is turned off and the directory will be listed in the catalog.
444         If the {\bf honor nodump flag} option is not defined
445         or set to {\bf no} every file and directory will be eligible for
446         backup.
447
448
449 \label{portable}
450 \item [portable=yes|no]
451 \index[dir]{portable}
452 \index[dir]{Directive!portable}
453    If set to {\bf yes} (default is {\bf no}), the Bacula File daemon will
454    backup Win32 files in a portable format, but not all Win32 file
455    attributes will be saved and restored.  By default, this option is set
456    to {\bf no}, which means that on Win32 systems, the data will be backed
457    up using Windows API calls and on WinNT/2K/XP, all the security and
458    ownership attributes will be properly backed up (and restored).  However
459    this format is not portable to other systems -- e.g.  Unix, Win95/98/Me.
460    When backing up Unix systems, this option is ignored, and unless you
461    have a specific need to have portable backups, we recommend accept the
462    default ({\bf no}) so that the maximum information concerning your files
463    is saved.
464
465 \item [recurse=yes|no]
466 \index[dir]{recurse}
467 \index[dir]{Directive!recurse}
468    If set to {\bf yes} (the default), Bacula will recurse (or descend) into
469    all subdirectories found unless the directory is explicitly excluded
470    using an {\bf exclude} definition.  If you set {\bf recurse=no}, Bacula
471    will save the subdirectory entries, but not descend into the
472    subdirectories, and thus will not save the files or directories
473    contained in the subdirectories.  Normally, you will want the default
474    ({\bf yes}).
475
476 \item [sparse=yes|no]
477 \index[dir]{sparse}
478 \index[dir]{Directive!sparse}
479    Enable special code that checks for sparse files such as created by
480    ndbm.  The default is {\bf no}, so no checks are made for sparse files.
481    You may specify {\bf sparse=yes} even on files that are not sparse file.
482    No harm will be done, but there will be a small additional overhead to
483    check for buffers of all zero, and a small additional amount of space on
484    the output archive will be used to save the seek address of each
485    non-zero record read.
486
487    {\bf Restrictions:} Bacula reads files in 32K buffers.  If the whole
488    buffer is zero, it will be treated as a sparse block and not written to
489    tape.  However, if any part of the buffer is non-zero, the whole buffer
490    will be written to tape, possibly including some disk sectors (generally
491    4098 bytes) that are all zero.  As a consequence, Bacula's detection of
492    sparse blocks is in 32K increments rather than the system block size.
493    If anyone considers this to be a real problem, please send in a request
494    for change with the reason.
495
496    If you are not familiar with sparse files, an example is say a file
497    where you wrote 512 bytes at address zero, then 512 bytes at address 1
498    million.  The operating system will allocate only two blocks, and the
499    empty space or hole will have nothing allocated.  However, when you read
500    the sparse file and read the addresses where nothing was written, the OS
501    will return all zeros as if the space were allocated, and if you backup
502    such a file, a lot of space will be used to write zeros to the volume.
503    Worse yet, when you restore the file, all the previously empty space
504    will now be allocated using much more disk space.  By turning on the
505    {\bf sparse} option, Bacula will specifically look for empty space in
506    the file, and any empty space will not be written to the Volume, nor
507    will it be restored.  The price to pay for this is that Bacula must
508    search each block it reads before writing it.  On a slow system, this
509    may be important.  If you suspect you have sparse files, you should
510    benchmark the difference or set sparse for only those files that are
511    really sparse.
512
513 \label{readfifo}
514 \item [readfifo=yes|no]
515 \index[dir]{readfifo}
516 \index[dir]{Directive!readfifo}
517    If enabled, tells the Client to read the data on a backup and write the
518    data on a restore to any FIFO (pipe) that is explicitly mentioned in the
519    FileSet.  In this case, you must have a program already running that
520    writes into the FIFO for a backup or reads from the FIFO on a restore.
521    This can be accomplished with the {\bf RunBeforeJob} directive.  If this
522    is not the case, Bacula will hang indefinitely on reading/writing the
523    FIFO. When this is not enabled (default), the Client simply saves the
524    directory entry for the FIFO.
525
526    Unfortunately, when Bacula runs a RunBeforeJob, it waits until that
527    script terminates, and if the script accesses the FIFO to write   
528    into the it, the Bacula job will block and everything will stall.
529    However, Vladimir Stavrinov as supplied tip that allows this feature   
530    to work correctly.  He simply adds the following to the beginning
531    of the RunBeforeJob script:
532
533 \begin{verbatim}
534    exec > /dev/null
535 \end{verbatim}
536
537 \item [noatime=yes|no]
538 \index[dir]{noatime}
539 \index[dir]{Directive!noatime}
540    If enabled, and if your Operating System supports the O\_NOATIME file
541    open flag, Bacula will open all files to be backed up with this option.
542    It makes it possible to read a file without updating the inode atime
543    (and also without the inode ctime update which happens if you try to set
544    the atime back to its previous value).  It also prevents a race
545    condition when two programs are reading the same file, but only one does
546    not want to change the atime.  It's most useful for backup programs and
547    file integrity checkers (and bacula can fit on both categories).
548
549    This option is particularly useful for sites where users are sensitive
550    to their MailBox file access time.  It replaces both the {\bf keepatime}
551    option without the inconveniences of that option (see below).
552
553    If your Operating System does not support this option, it will be
554    silently ignored by Bacula.
555
556
557 \item [mtimeonly=yes|no]
558 \index[dir]{mtimeonly}
559 \index[dir]{Directive!mtimeonly}
560    If enabled, tells the Client that the selection of files during
561    Incremental and Differential backups should based only on the st\_mtime
562    value in the stat() packet.  The default is {\bf no} which means that
563    the selection of files to be backed up will be based on both the
564    st\_mtime and the st\_ctime values.  In general, it is not recommended
565    to use this option.
566
567 \item [keepatime=yes|no]
568 \index[dir]{keepatime}
569 \index[dir]{Directive!keepatime}
570    The default is {\bf no}.  When enabled, Bacula will reset the st\_atime
571    (access time) field of files that it backs up to their value prior to
572    the backup.  This option is not generally recommended as there are very
573    few programs that use st\_atime, and the backup overhead is increased
574    because of the additional system call necessary to reset the times.
575    However, for some files, such as mailboxes, when Bacula backs up the
576    file, the user will notice that someone (Bacula) has accessed the
577    file. In this, case keepatime can be useful.
578    (I'm not sure this works on Win32).
579
580    Note, if you use this feature, when Bacula resets the access time, the
581    change time (st\_ctime) will automatically be modified by the system,
582    so on the next incremental job, the file will be backed up even if
583    it has not changed. As a consequence, you will probably also want
584    to use {\bf mtimeonly = yes} as well as keepatime (thanks to
585    Rudolf Cejka for this tip).
586
587 \item [checkfilechanges=yes|no]
588 \index[dir]{checkfilechanges}
589 \index[dir]{Directive!checkfilechanges}
590    On versions 2.0.4 or greater, 
591    if enabled, the Client will checks size, age of each file after 
592    their backup to see if they have changed during backup. If time 
593    or size mismatch, an error will raise.
594
595 \begin{verbatim}
596  zog-fd: Client1.2007-03-31_09.46.21 Error: /tmp/test mtime changed during backup.
597 \end{verbatim}
598
599    In general, it is recommended to use this option.
600
601 \item [hardlinks=yes|no]
602 \index[dir]{hardlinks}
603 \index[dir]{Directive!hardlinks}
604    When enabled (default), this directive will cause hard links to be 
605    backed up. However, the File daemon keeps track of hard linked files and
606    will backup the data only once. The process of keeping track of the 
607    hard links can be quite expensive if you have lots of them (tens of
608    thousands or more). This doesn't occur on normal Unix systems, but if
609    you use a program like BackupPC, it can create hundreds of thousands, or
610    even millions of hard links. Backups become very long and the File daemon
611    will consume a lot of CPU power checking hard links.  In such a case,
612    set {\bf hardlinks=no} and hard links will not be backed up.  Note, using
613    this option will most likely backup more data and on a restore the file
614    system will not be restored identically to the original.
615
616 \item [wild=\lt{}string\gt{}]
617 \index[dir]{wild}
618 \index[dir]{Directive!wild}
619    Specifies a wild-card string to be applied to the filenames and
620    directory names.  Note, if {\bf Exclude} is not enabled, the wild-card
621    will select which files are to be included.  If {\bf Exclude=yes} is
622    specified, the wild-card will select which files are to be excluded.
623    Multiple wild-card directives may be specified, and they will be applied
624    in turn until the first one that matches.  Note, if you exclude a
625    directory, no files or directories below it will be matched.
626
627    You may want to test your expressions prior to running your
628    backup by using the bwild program. Please see the
629    \ilink{Utilities}{bwild} chapter of this manual for
630    more. You can also test your full FileSet definition by using
631    the \ilink{estimate}{estimate} command in the Console        
632    chapter of this manual.
633    It is recommended to enclose the string in double quotes.
634
635 \item [wilddir=\lt{}string\gt{}]
636 \index[dir]{wilddir}
637 \index[dir]{Directive!wilddir}
638    Specifies a wild-card string to be applied to directory names only.  No
639    filenames will be matched by this directive.  Note, if {\bf Exclude} is
640    not enabled, the wild-card will select directories to be
641    included.  If {\bf Exclude=yes} is specified, the wild-card will select
642    which directories are to be excluded.  Multiple wild-card directives may be
643    specified, and they will be applied in turn until the first one that
644    matches.  Note, if you exclude a directory, no files or directories
645    below it will be matched.
646
647    It is recommended to enclose the string in double quotes.
648
649    You may want to test your expressions prior to running your
650    backup by using the bwild program. Please see the
651    \ilink{Utilities}{bwild} chapter of this manual for
652    more. You can also test your full FileSet definition by using
653    the \ilink{estimate}{estimate} command in the Console        
654    chapter of this manual.
655    An example of excluding with the WildDir option on Win32 machines is    
656    presented below.
657
658 \item [wildfile=\lt{}string\gt{}]
659 \index[dir]{wildfile}
660 \index[dir]{Directive!wildfile}
661    Specifies a wild-card string to be applied to non-directories. That
662    is no directory entries will be matched by this directive.
663    However, note that the match is done against the full path and filename,
664    so your wild-card string must take into account that filenames
665    are preceded by the full path.
666    If {\bf Exclude}
667    is not enabled, the wild-card will select which files are to be
668    included.  If {\bf Exclude=yes} is specified, the wild-card will select
669    which files are to be excluded.  Multiple wild-card directives may be
670    specified, and they will be applied in turn until the first one that
671    matches.
672
673    It is recommended to enclose the string in double quotes.
674
675    You may want to test your expressions prior to running your
676    backup by using the bwild program. Please see the
677    \ilink{Utilities}{bwild} chapter of this manual for
678    more. You can also test your full FileSet definition by using
679    the \ilink{estimate}{estimate} command in the Console        
680    chapter of this manual.
681    An example of excluding with the WildFile option on Win32 machines is    
682    presented below.
683
684
685 \item [regex=\lt{}string\gt{}]
686 \index[dir]{regex}
687 \index[dir]{Directive!regex}
688    Specifies a POSIX extended regular expression to be applied to the
689    filenames and directory names, which include the full path.  If {\bf
690    Exclude} is not enabled, the regex will select which files are to be
691    included.  If {\bf Exclude=yes} is specified, the regex will select
692    which files are to be excluded.  Multiple regex directives may be
693    specified within an Options resource, and they will be applied in turn
694    until the first one that matches.  Note, if you exclude a directory, no
695    files or directories below it will be matched.
696
697    It is recommended to enclose the string in double quotes.
698
699    The regex libraries differ from one operating system to
700    another, and in addition, regular expressions are complicated,
701    so you may want to test your expressions prior to running your
702    backup by using the bregex program. Please see the
703    \ilink{Utilities}{bwild} chapter of this manual for
704    more. You can also test your full FileSet definition by using
705    the \ilink{estimate}{estimate} command in the Console        
706    chapter of this manual.
707
708    You find yourself using a lot of Regex statements, which will cost quite a lot
709    of CPU time, we recommend you simplify them if you can, or better yet
710    convert them to Wild statements which are much more efficient.
711
712
713 \item [regexfile=\lt{}string\gt{}]
714 \index[dir]{regexfile}
715 \index[dir]{Directive!regexfile}
716    Specifies a POSIX extended regular expression to be applied to
717    non-directories. No directories will be matched by this directive.  
718    However, note that the match is done against the full path and
719    filename, so your regex string must take into account that filenames
720    are preceded by the full path.
721    If {\bf Exclude} is not enabled, the regex will select which files are
722    to be included.  If {\bf Exclude=yes} is specified, the regex will
723    select which files are to be excluded.  Multiple regex directives may be
724    specified, and they will be applied in turn until the first one that
725    matches.
726
727    It is recommended to enclose the string in double quotes.
728
729    The regex libraries differ from one operating system to
730    another, and in addition, regular expressions are complicated,
731    so you may want to test your expressions prior to running your
732    backup by using the bregex program. Please see the
733    \ilink{Utilities}{bregex} chapter of this manual for
734    more.
735
736
737 \item [regexdir=\lt{}string\gt{}]
738 \index[dir]{regexdir}
739 \index[dir]{Directive!regexdir}
740    Specifies a POSIX extended regular expression to be applied to directory
741    names only.  No filenames will be matched by this directive.  Note, if
742    {\bf Exclude} is not enabled, the regex will select directories
743    files are to be included.  If {\bf Exclude=yes} is specified, the
744    regex will select which files are to be excluded.  Multiple
745    regex directives may be specified, and they will be applied in turn
746    until the first one that matches.  Note, if you exclude a directory, no
747    files or directories below it will be matched.
748
749    It is recommended to enclose the string in double quotes.
750
751    The regex libraries differ from one operating system to
752    another, and in addition, regular expressions are complicated,
753    so you may want to test your expressions prior to running your
754    backup by using the bregex program. Please see the
755    \ilink{Utilities}{bregex} chapter of this manual for
756    more.
757
758
759 \item [exclude=yes|no]
760 \index[dir]{exclude}
761 \index[dir]{Directive!exclude}
762    The default is {\bf no}.  When enabled, any files matched within the
763    Options will be excluded from the backup.
764
765 \label{ACLSupport}
766 \item [aclsupport=yes|no]
767 \index[dir]{aclsupport}
768 \index[dir]{Directive!aclsupport}
769    The default is {\bf no}.  If this option is set to yes, and you have the
770    POSIX {\bf libacl} installed on your system, Bacula will backup the file
771    and directory UNIX Access Control Lists (ACL) as defined in IEEE Std
772    1003.1e draft 17 and "POSIX.1e" (abandoned).  This feature is
773    available on UNIX only and depends on the ACL library.  Bacula is
774    automatically compiled with ACL support if the {\bf libacl} library is
775    installed on your system (shown in config.out).  While restoring the
776    files Bacula will try to restore the ACLs, if there is no ACL support
777    available on the system, Bacula restores the files and directories but
778    not the ACL information.  Please note, if you backup an EXT3 or XFS
779    filesystem with ACLs, then you restore them to a different filesystem
780    (perhaps reiserfs) that does not have ACLs, the ACLs will be ignored.
781
782 \item [ignore case=yes|no]
783 \index[dir]{ignore case}
784 \index[dir]{Directive!ignore case}
785    The default is {\bf no}.  On Windows systems, you will almost surely
786    want to set this to {\bf yes}.  When this directive is set to {\bf yes}
787    all the case of character will be ignored in wild-card and regex
788    comparisons.  That is an uppercase A will match a lowercase a.
789
790 \item [fstype=filesystem-type]
791 \index[dir]{fstype}
792 \index[dir]{Directive!fstype}
793    This option allows you to select files and directories by the
794    filesystem type.  The permitted filesystem-type names are:
795
796    ext2, jfs, ntfs, proc, reiserfs, xfs, usbdevfs, sysfs, smbfs,
797    iso9660.  For ext3 systems, use ext2.
798
799    You may have multiple Fstype directives, and thus permit matching
800    of multiple filesystem types within a single Options resource.  If
801    the type specified on the fstype directive does not match the
802    filesystem for a particular directive, that directory will not be
803    backed up.  This directive can be used to prevent backing up
804    non-local filesystems. Normally, when you use this directive, you
805    would also set {\bf onefs=no} so that Bacula will traverse filesystems.
806
807    This option is not implemented in Win32 systems.
808
809 \item [DriveType=Windows-drive-type]
810 \index[dir]{DriveType}
811 \index[dir]{Directive!DriveType}
812    This option is effective only on Windows machines and is
813    somewhat similar to the Unix/Linux {\bf fstype} described
814    above, except that it allows you to select what Windows
815    drive types you want to allow.  By default all drive
816    types are accepted.
817
818    The permitted drivetype names are:
819
820    removable, fixed, remote, cdrom, ramdisk
821
822    You may have multiple Driveype directives, and thus permit matching
823    of multiple drive types within a single Options resource.  If
824    the type specified on the drivetype directive does not match the
825    filesystem for a particular directive, that directory will not be
826    backed up.  This directive can be used to prevent backing up
827    non-local filesystems. Normally, when you use this directive, you
828    would also set {\bf onefs=no} so that Bacula will traverse filesystems.
829
830    This option is not implemented in Unix/Linux systems.
831
832
833 \item [hfsplussupport=yes|no]
834 \index[dir]{hfsplussupport}
835 \index[dir]{Directive!hfsplussupport}
836    This option allows you to turn on support for Mac OSX HFS plus 
837    finder information.
838
839 \item [strippath=\lt{}integer\gt{}]
840 \index[dir]{strippath}
841 \index[dir]{Directive!strippath}
842    This option will cause {\bf integer} paths to be stripped from
843    the front of the full path/filename being backed up. This can
844    be useful if you are migrating data from another vendor or if
845    you have taken a snapshot into some subdirectory.  This directive
846    can cause your filenames to be overlayed with regular backup data,
847    so should be used only by experts and with great care.
848 \end{description}
849
850 {\bf \lt{}file-list\gt{}} is a list of directory and/or filename names
851 specified with a {\bf File =} directive. To include names containing spaces,
852 enclose the name between double-quotes. Wild-cards are not interpreted
853 in file-lists. They can only be specified in Options resources.
854
855 There are a number of special cases when specifying directories and files in a
856 {\bf file-list}. They are: 
857
858 \begin{itemize}
859 \item Any name preceded by an at-sign (@) is assumed to be the  name of a
860    file, which contains a list of files each preceded by a "File =".  The
861    named file is read once when the configuration file is parsed during the
862    Director startup.  Note, that the file is read on the Director's machine
863    and not on the Client's.  In fact, the @filename can appear anywhere
864    within the conf file where a token would be read, and the contents of
865    the named file will be logically inserted in the place of the @filename.
866    What must be in the file depends on the location the @filename is
867    specified in the conf file.  For example:
868
869 \footnotesize
870 \begin{verbatim}
871 Include {
872   Options { compression=GZIP }
873   @/home/files/my-files
874 }
875 \end{verbatim}
876 \normalsize
877
878 \item Any name beginning with a vertical bar (|) is  assumed to be the name of
879    a program.  This program will be executed on the Director's machine at
880    the time the Job starts (not when the Director reads the configuration
881    file), and any output from that program will be assumed to be a list of
882    files or directories, one per line, to be included. Before submitting the 
883    specified command bacula will performe 
884    \ilink{character substitution}{character substitution}.
885
886    This allows you to have a job that, for example, includes all the local
887    partitions even if you change the partitioning by adding a disk.  The
888    examples below show you how to do this.  However, please note two
889    things: \\
890    1.  if you want the local filesystems, you probably should be
891    using the new {\bf fstype} directive, which was added in version 1.36.3 
892    and set {\bf onefs=no}.
893    \\
894
895    2.  the exact syntax of the command needed in the examples below is very
896    system dependent.  For example, on recent Linux systems, you may need to
897    add the -P option, on FreeBSD systems, the options will be different as
898    well.
899
900    In general, you will need to prefix your command or commands with a {\bf
901    sh -c} so that they are invoked by a shell.  This will not be the case
902    if you are invoking a script as in the second example below.  Also, you
903    must take care to escape (precede with a \textbackslash{}) wild-cards,
904    shell character, and to ensure that any spaces in your command are
905    escaped as well.  If you use a single quotes (') within a double quote
906    ("), Bacula will treat everything between the single quotes as one field
907    so it will not be necessary to escape the spaces.  In general, getting
908    all the quotes and escapes correct is a real pain as you can see by the
909    next example.  As a consequence, it is often easier to put everything in
910    a file and simply use the file name within Bacula.  In that case the
911    {\bf sh -c} will not be necessary providing the first line of the file
912    is {\bf \#!/bin/sh}.
913
914    As an  example: 
915
916 \footnotesize
917 \begin{verbatim}
918  
919 Include {
920    Options { signature = SHA1 }
921    File = "|sh -c 'df -l | grep \"^/dev/hd[ab]\" | grep -v \".*/tmp\" \
922       | awk \"{print \\$6}\"'"
923 }
924 \end{verbatim}
925 \normalsize
926
927    will produce a list of all the local partitions on a Red Hat Linux system.
928    Note, the above line was split, but should normally  be written on one line. 
929    Quoting is a real problem because you must quote for Bacula  which consists of
930    preceding every \textbackslash{} and every " with a \textbackslash{}, and 
931    you must also quote for the shell command. In the end, it is probably  easier
932    just to execute a small file with: 
933
934
935 \footnotesize
936 \begin{verbatim}
937 Include {
938   Options {
939     signature=MD5
940   }
941   File = "|my_partitions"
942 }
943 \end{verbatim}
944 \normalsize
945
946    where my\_partitions has: 
947
948 \footnotesize
949 \begin{verbatim}
950 #!/bin/sh
951 df -l | grep "^/dev/hd[ab]" | grep -v ".*/tmp" \
952       | awk "{print \$6}"
953 \end{verbatim}
954 \normalsize
955
956    If the vertical bar (|) in front of my\_partitions is preceded by a
957    backslash as in \textbackslash{}|, the program will be executed on the
958    Client's machine instead of on the Director's machine.
959    Please note that if the filename is given within quotes, you
960    will need to use two slashes.  An example, provided by John Donagher,
961    that backs up all the local UFS partitions on a remote system is:
962
963 \footnotesize
964 \begin{verbatim}
965 FileSet {
966   Name = "All local partitions"
967   Include {
968     Options { signature=SHA1; onefs=yes; }
969     File = "\\|bash -c \"df -klF ufs | tail +2 | awk '{print \$6}'\""
970   }
971 }
972 \end{verbatim}
973 \normalsize
974
975    The above requires two backslash characters after the double quote (one
976    preserves  the next one). If you are a Linux user, just change the {\bf ufs}
977    to  {\bf ext3} (or your preferred filesystem type), and you will be in 
978    business.  
979
980    If you know what filesystems you have mounted on your system, e.g. 
981    for Red Hat Linux normally only ext2 and ext3, you can backup
982    all local filesystems using something like:
983
984 \footnotesize
985 \begin{verbatim}
986  
987 Include {
988    Options { signature = SHA1; onfs=no; fstype=ext2 }
989    File = /
990 }
991 \end{verbatim}
992 \normalsize
993
994
995 \item Any file-list item preceded by a less-than sign (\lt{})  will be taken
996    to be a file. This file will be read on the Director's machine (see
997    below for doing it on the Client machine) at the time
998    the Job starts, and the  data will be assumed to be a list of directories or
999    files,  one per line, to be included. The names should start in  column 1 and
1000    should not be quoted even if they contain  spaces. This feature allows you to
1001    modify the external  file and change what will be saved without stopping and 
1002    restarting Bacula as would be necessary if using the @  modifier noted above.
1003    For example: 
1004
1005 \footnotesize
1006 \begin{verbatim}
1007 Include {
1008   Options { signature = SHA1 }
1009   File = "</home/files/local-filelist"
1010 }
1011 \end{verbatim}
1012 \normalsize
1013
1014    If you precede the less-than sign (\lt{}) with a backslash as in
1015    \textbackslash{}\lt{}, the file-list will be read on the Client machine
1016    instead of on the Director's machine.  Please note that if the filename
1017    is given within quotes, you will need to use two slashes.
1018
1019 \footnotesize
1020 \begin{verbatim}
1021 Include {
1022   Options { signature = SHA1 }
1023   File = "\\</home/xxx/filelist-on-client"
1024 }
1025 \end{verbatim}
1026 \normalsize
1027
1028 \item If you explicitly specify a block device such as {\bf /dev/hda1},  then
1029    Bacula (starting with version 1.28) will assume that this  is a raw partition
1030    to be backed up. In this case, you are strongly  urged to specify a {\bf
1031    sparse=yes} include option, otherwise, you  will save the whole partition
1032    rather than just the actual data that  the partition contains. For example: 
1033
1034 \footnotesize
1035 \begin{verbatim}
1036 Include {
1037   Options { signature=MD5; sparse=yes }
1038   File = /dev/hd6
1039 }
1040 \end{verbatim}
1041 \normalsize
1042
1043    will backup the data in device /dev/hd6. Note, the {bf /dev/hd6} must be
1044    the raw partition itself. Bacula will not back it up as a raw device if
1045    you specify a symbolic link to a raw device such as my be created by the
1046    LVM Snapshot utilities.
1047
1048    Ludovic Strappazon has pointed out that this feature can be  used to backup a
1049    full Microsoft Windows disk. Simply boot into  the system using a Linux Rescue
1050    disk, then load a statically  linked Bacula as described in the 
1051    \ilink{ Disaster Recovery Using Bacula}{RescueChapter} chapter of
1052    this manual. Then  save the whole disk partition. In the case of a disaster,
1053    you  can then restore the desired partition by again booting with  the rescue
1054    disk and doing a restore of the partition. 
1055    \item If you explicitly specify a FIFO device name (created with mkfifo),  and
1056    you add the option {\bf readfifo=yes} as an option, Bacula  will read the FIFO
1057    and back its data up to the Volume. For  example: 
1058
1059 \footnotesize
1060 \begin{verbatim}
1061 Include {
1062   Options {
1063     signature=SHA1
1064     readfifo=yes
1065   }
1066   File = /home/abc/fifo
1067 }
1068 \end{verbatim}
1069 \normalsize
1070
1071    if {\bf /home/abc/fifo} is a fifo device, Bacula will open the fifo,
1072    read it, and store all data thus obtained on the Volume.  Please note,
1073    you must have a process on the system that is writing into the fifo, or
1074    Bacula will hang, and after one minute of waiting, Bacula will give up
1075    and go on to the next file.  The data read can be anything since Bacula
1076    treats it as a stream.
1077
1078    This feature can be an excellent way to do a "hot" backup of a very
1079    large database.  You can use the {\bf RunBeforeJob} to create the fifo
1080    and to start a program that dynamically reads your database and writes
1081    it to the fifo.  Bacula will then write it to the Volume.  Be sure to
1082    read the \ilink{readfifo section}{readfifo} that gives a
1083    tip to ensure that the RunBeforeJob does not block Bacula.
1084
1085    During the restore operation, the inverse is true, after Bacula creates
1086    the fifo if there was any data stored with it (no need to explicitly
1087    list it or add any options), that data will be written back to the fifo.
1088    As a consequence, if any such FIFOs exist in the fileset to be restored,
1089    you must ensure that there is a reader program or Bacula will block, and
1090    after one minute, Bacula will time out the write to the fifo and move on
1091    to the next file.
1092
1093 \item A file-list may not contain wild-cards. Use directives in the
1094    Options resource if you wish to specify wild-cards or regular expression
1095    matching.
1096 \end{itemize}
1097
1098 \section{FileSet Examples}
1099 \index[general]{Examples!FileSet }
1100 \index[general]{FileSet Examples}
1101
1102 The following is an example of a valid FileSet resource definition.  Note,
1103 the first Include pulls in the contents of the file {\bf /etc/backup.list}
1104 when Bacula is started (i.e.  the @), and that file must have each filename
1105 to be backed up preceded by a {\bf File =} and on a separate line.
1106
1107 \footnotesize
1108 \begin{verbatim}
1109 FileSet {
1110   Name = "Full Set"
1111   Include {
1112     Options {
1113       Compression=GZIP
1114       signature=SHA1
1115       Sparse = yes
1116     }
1117     @/etc/backup.list
1118   }
1119   Include {
1120      Options {
1121         wildfile = "*.o"
1122         wildfile = "*.exe"
1123         Exclude = yes
1124      }
1125      File = /root/myfile
1126      File = /usr/lib/another_file
1127   }
1128 }
1129 \end{verbatim}
1130 \normalsize
1131
1132 In the above example, all the files contained in /etc/backup.list will
1133 be compressed with GZIP compression, an SHA1 signature will be computed on the
1134 file's contents (its data), and sparse file handling will apply. 
1135
1136 The two directories /root/myfile and /usr/lib/another\_file will also be saved
1137 without any options, but all files in those directories with the extensions
1138 {\bf .o} and {\bf .exe} will be excluded. 
1139
1140 Let's say that you now want to exclude the directory /tmp. The simplest way
1141 to do so is to add an exclude directive that lists /tmp.  The example
1142 above would then become:
1143
1144 \footnotesize 
1145 \begin{verbatim}
1146 FileSet {
1147   Name = "Full Set"
1148   Include {
1149     Options {
1150       Compression=GZIP
1151       signature=SHA1
1152       Sparse = yes
1153     }
1154     @/etc/backup.list
1155   }
1156   Include {
1157      Options {
1158         wildfile = "*.o"
1159         wildfile = "*.exe"
1160         Exclude = yes
1161      }
1162      File = /root/myfile
1163      File = /usr/lib/another_file
1164   }
1165   Exclude {
1166      File = /tmp
1167   }
1168 }
1169 \end{verbatim}
1170 \normalsize
1171
1172
1173 You can add wild-cards to the File directives listed in the Exclude
1174 directory, but you need to take care because if you exclude a directory,
1175 it and all files and directories below it will also be excluded.
1176
1177 Now lets take a slight variation on the above and suppose
1178 you want to save all your whole filesystem except {\bf /tmp}. 
1179 The problem that comes up is that Bacula will not normally
1180 cross from one filesystem to another.
1181 Doing a {\bf df} command, you get the following output: 
1182
1183 \footnotesize
1184 \begin{verbatim}
1185 [kern@rufus k]$ df
1186 Filesystem      1k-blocks      Used Available Use% Mounted on
1187 /dev/hda5         5044156    439232   4348692  10% /
1188 /dev/hda1           62193      4935     54047   9% /boot
1189 /dev/hda9        20161172   5524660  13612372  29% /home
1190 /dev/hda2           62217      6843     52161  12% /rescue
1191 /dev/hda8         5044156     42548   4745376   1% /tmp
1192 /dev/hda6         5044156   2613132   2174792  55% /usr
1193 none               127708         0    127708   0% /dev/shm
1194 //minimatou/c$   14099200   9895424   4203776  71% /mnt/mmatou
1195 lmatou:/          1554264    215884   1258056  15% /mnt/matou
1196 lmatou:/home      2478140   1589952    760072  68% /mnt/matou/home
1197 lmatou:/usr       1981000   1199960    678628  64% /mnt/matou/usr
1198 lpmatou:/          995116    484112    459596  52% /mnt/pmatou
1199 lpmatou:/home    19222656   2787880  15458228  16% /mnt/pmatou/home
1200 lpmatou:/usr      2478140   2038764    311260  87% /mnt/pmatou/usr
1201 deuter:/          4806936     97684   4465064   3% /mnt/deuter
1202 deuter:/home      4806904    280100   4282620   7% /mnt/deuter/home
1203 deuter:/files    44133352  27652876  14238608  67% /mnt/deuter/files
1204 \end{verbatim}
1205 \normalsize
1206
1207 And we see that there are a number of separate filesystems (/ /boot
1208 /home /rescue /tmp and /usr not to mention mounted systems).
1209 If you specify only {\bf /} in your Include list, Bacula will only save the
1210 Filesystem {\bf /dev/hda5}. To save all filesystems except {\bf /tmp} with
1211 out including any of the Samba or NFS mounted systems, and explicitly
1212 excluding a /tmp, /proc, .journal, and .autofsck, which you will not want to
1213 be saved and restored, you can use the following: 
1214
1215 \footnotesize
1216 \begin{verbatim}
1217 FileSet {
1218   Name = Include_example
1219   Include {
1220     Options {
1221        wilddir = /proc
1222        wilddir = /tmp
1223        wildfile = "/.journal"
1224        wildfile = "/.autofsck"
1225        exclude = yes
1226     }
1227     File = /
1228     File = /boot
1229     File = /home
1230     File = /rescue
1231     File = /usr
1232   }
1233 }
1234 \end{verbatim}
1235 \normalsize
1236
1237 Since /tmp is on its own filesystem and it was not explicitly named in the
1238 Include list, it is not really needed in the exclude list. It is better to
1239 list it in the Exclude list for clarity, and in case the disks are changed so
1240 that it is no longer in its own partition. 
1241
1242 Now, lets assume you only want to backup .Z and .gz files and nothing 
1243 else. This is a bit trickier because Bacula by default will select 
1244 everything to backup, so we must exclude everything but .Z and .gz files.
1245 If we take the first example above and make the obvious modifications
1246 to it, we might come up with a FileSet that looks like this:
1247
1248 \footnotesize 
1249 \begin{verbatim}
1250 FileSet {
1251   Name = "Full Set"
1252   Include {                    !!!!!!!!!!!!
1253      Options {                    This
1254         wildfile = "*.Z"          example
1255         wildfile = "*.gz"         doesn't
1256                                   work
1257      }                          !!!!!!!!!!!!
1258      File = /myfile
1259   }
1260 }
1261 \end{verbatim}
1262 \normalsize
1263
1264 The *.Z and *.gz files will indeed be backed up, but all other files
1265 that are not matched by the Options directives will automatically
1266 be backed up too (i.e. that is the default rule).
1267
1268 To accomplish what we want, we must explicitly exclude all other files.
1269 We do this with the following:
1270
1271 \footnotesize
1272 \begin{verbatim}
1273 FileSet {
1274   Name = "Full Set"
1275   Include {
1276      Options {
1277         wildfile = "*.Z"
1278         wildfile = "*.gz"
1279      }
1280      Options {
1281         Exclude = yes
1282         RegexFile = ".*"
1283      }
1284      File = /myfile
1285   }
1286 }
1287 \end{verbatim}
1288 \normalsize
1289
1290 The "trick" here was to add a RegexFile expression that matches
1291 all files. It does not match directory names, so all directories in
1292 /myfile will be backed up (the directory entry) and any *.Z and *.gz
1293 files contained in them. If you know that certain directories do
1294 not contain any *.Z or *.gz files and you do not want the directory
1295 entries backed up, you will need to explicitly exclude those directories.
1296 Backing up a directory entries is not very expensive.
1297
1298 Bacula uses the system regex library and some of them are
1299 different on different OSes. The above has been reported not to work
1300 on FreeBSD. This can be tested by using the {\bf estimate job=job-name
1301 listing} command in the console and adapting the RegexFile expression
1302 appropriately. In a future version of Bacula, we will supply our own
1303 Regex code to avoid such system dependencies.
1304
1305 Please be aware that allowing Bacula to traverse or change file systems can be
1306 {\bf very} dangerous. For example, with the following: 
1307
1308 \footnotesize
1309 \begin{verbatim}
1310 FileSet {
1311   Name = "Bad example"
1312   Include {
1313     Options { onefs=no }
1314     File = /mnt/matou
1315   }
1316 }
1317 \end{verbatim}
1318 \normalsize
1319
1320 you will be backing up an NFS mounted partition ({\bf /mnt/matou}), and since
1321 {\bf onefs} is set to {\bf no}, Bacula will traverse file systems. Now if {\bf
1322 /mnt/matou} has the current machine's file systems mounted, as is often the
1323 case, you will get yourself into a recursive loop and the backup will never
1324 end. 
1325
1326 As a final example, let's say that you have only one or two 
1327 subdirectories of /home that you want to backup.  For example,
1328 you want to backup only subdirectories beginning with the letter
1329 a and the letter b -- i.e. /home/a* and /home/b*.  Now, you might first
1330 try:
1331 \footnotesize
1332 \begin{verbatim}
1333 FileSet {
1334   Name = "Full Set"
1335   Include {
1336      Options {
1337         wilddir = "/home/a*"
1338         wilddir = "/home/b*"
1339      }
1340      File = /home
1341   }
1342 }
1343 \end{verbatim}
1344 \normalsize
1345
1346 The problem is that the above will include everything in /home.  To get
1347 things to work correctly, you need to start with the idea of exclusion
1348 instead of inclusion.  So, you could simply exclude all directories
1349 except the two you want to use:
1350 \footnotesize
1351 \begin{verbatim}
1352 FileSet {
1353   Name = "Full Set"
1354   Include {
1355      Options {
1356         RegexDir = "^/home/[c-z]"
1357         exclude = yes
1358      }
1359      File = /home
1360   }
1361 }
1362 \end{verbatim}
1363 \normalsize
1364
1365 And assuming that all subdirectories start with a lowercase letter, this
1366 would work.
1367
1368 An alternative would be to include the two subdirectories desired and
1369 exclude everything else:
1370 \footnotesize
1371 \begin{verbatim}
1372 FileSet {
1373   Name = "Full Set"
1374   Include {
1375      Options {
1376         wilddir = "/home/a*"
1377         wilddir = "/home/b*"
1378      }
1379      Options {
1380         RegexDir = ".*"
1381         exclude = yes
1382      }
1383      File = /home
1384   }
1385 }
1386 \end{verbatim}
1387 \normalsize
1388
1389 \section{Backing up Raw Partitions}
1390 \index[general]{Backing up!Partitions }
1391 \index[general]{Backing up Raw Partitions }
1392
1393 The following FileSet definition will backup a raw partition: 
1394
1395 \footnotesize
1396 \begin{verbatim}
1397 FileSet {
1398   Name = "RawPartition"
1399   Include {
1400     Options { sparse=yes }
1401     File = /dev/hda2
1402   }
1403 }
1404 \end{verbatim}
1405 \normalsize
1406
1407 While backing up and restoring a raw partition, you should ensure that no
1408 other process including the system is writing to that partition. As a
1409 precaution, you are strongly urged to ensure that the raw partition is not
1410 mounted or is mounted read-only. If necessary, this can be done using the {\bf
1411 RunBeforeJob} directive. 
1412
1413
1414 \section{Excluding Files and Directories}
1415 \index[general]{Directories!Excluding Files and }
1416 \index[general]{Excluding Files and Directories }
1417
1418 You may also include full filenames or directory names in addition to using
1419 wild-cards and {\bf Exclude=yes} in the Options resource as specified above by
1420 simply including the files to be excluded in an Exclude resource within the
1421 FileSet. For example: 
1422
1423 \footnotesize
1424 \begin{verbatim}
1425 FileSet {
1426   Name = Exclusion_example
1427   Include {
1428     Options {
1429       Signature = SHA1
1430     }
1431     File = /
1432     File = /boot
1433     File = /home
1434     File = /rescue
1435     File = /usr
1436   }
1437   Exclude {
1438     File = /proc
1439     File = /tmp
1440     File = .journal
1441     File = .autofsck
1442   }
1443 }
1444 \end{verbatim}
1445 \normalsize
1446
1447 \label{win32}
1448 \section{Windows FileSets}
1449 \index[general]{Windows FileSets }
1450 \index[general]{FileSets!Windows }
1451 If you are entering Windows file names, the directory path may be preceded by
1452 the drive and a colon (as in c:). However, the path separators must be
1453 specified in Unix convention (i.e. forward slash (/)). If you wish to include
1454 a quote in a file name, precede the quote with a backslash
1455 (\textbackslash{}). For example you might use the following
1456 for a Windows machine to backup the "My Documents" directory: 
1457
1458 \footnotesize
1459 \begin{verbatim}
1460 FileSet {
1461   Name = "Windows Set"
1462   Include {
1463     Options {
1464        WildFile = "*.obj"
1465        WildFile = "*.exe"
1466        exclude = yes
1467      }
1468      File = "c:/My Documents"
1469   }
1470 }
1471 \end{verbatim}
1472 \normalsize
1473
1474 For exclude lists to work correctly on Windows, you must observe the following
1475 rules: 
1476
1477 \begin{itemize}
1478 \item Filenames are case sensitive, so you must use the correct case.  
1479 \item To exclude a directory, you must not have a trailing slash on the 
1480    directory name.  
1481 \item If you have spaces in your filename, you must enclose the entire name 
1482    in double-quote characters ("). Trying to use a backslash before  the space
1483    will not work.  
1484 \item If you are using the old Exclude syntax (noted below), you may not
1485    specify a drive letter in the exclude.  The new syntax noted above
1486    should work fine including driver letters.
1487 \end{itemize}
1488
1489 Thanks to Thiago Lima for summarizing the above items for us. If you are
1490 having difficulties getting includes or excludes to work, you might want to
1491 try using the {\bf estimate job=xxx listing} command documented in the 
1492 \ilink{Console chapter}{estimate} of this manual. 
1493
1494 On Win32 systems, if you move a directory or file or rename a file into the
1495 set of files being backed up, and a Full backup has already been made, Bacula
1496 will not know there are new files to be saved during an Incremental or
1497 Differential backup (blame Microsoft, not me). To avoid this problem, please
1498 {\bf copy} any new directory or files into the backup area. If you do not have
1499 enough disk to copy the directory or files, move them, but then initiate a
1500 Full backup. 
1501
1502
1503 \paragraph*{A Windows Example FileSet}
1504 \index[general]{FileSet!Windows Example }
1505 \index[general]{Windows Example FileSet }
1506
1507 The following example was contributed by Russell Howe. Please note that
1508 for presentation purposes, the lines beginning with Data and Internet 
1509 have been wrapped and should included on the previous line with one
1510 space.
1511
1512 \footnotesize
1513 \begin{verbatim}
1514 This is my Windows 2000 fileset:
1515 FileSet {
1516  Name = "Windows 2000"
1517  Include {
1518   Options {
1519    signature = MD5
1520    Exclude = yes
1521    IgnoreCase = yes
1522    # Exclude Mozilla-based programs' file caches
1523    WildDir = "[A-Z]:/Documents and Settings/*/Application 
1524 Data/*/Profiles/*/*/Cache"
1525    WildDir = "[A-Z]:/Documents and Settings/*/Application 
1526 Data/*/Profiles/*/*/Cache.Trash"
1527    WildDir = "[A-Z]:/Documents and Settings/*/Application
1528 Data/*/Profiles/*/*/ImapMail"
1529
1530    # Exclude user's registry files - they're always in use anyway.
1531    WildFile = "[A-Z]:/Documents and Settings/*/Local Settings/Application
1532 Data/Microsoft/Windows/usrclass.*"
1533    WildFile = "[A-Z]:/Documents and Settings/*/ntuser.*"
1534
1535    # Exclude directories full of lots and lots of useless little files
1536    WildDir = "[A-Z]:/Documents and Settings/*/Cookies"
1537    WildDir = "[A-Z]:/Documents and Settings/*/Recent"
1538    WildDir = "[A-Z]:/Documents and Settings/*/Local Settings/History"
1539    WildDir = "[A-Z]:/Documents and Settings/*/Local Settings/Temp"
1540    WildDir = "[A-Z]:/Documents and Settings/*/Local Settings/Temporary
1541 Internet Files"
1542
1543    # These are always open and unable to be backed up
1544    WildFile = "[A-Z]:/Documents and Settings/All Users/Application
1545 Data/Microsoft/Network/Downloader/qmgr[01].dat"
1546
1547    # Some random bits of Windows we want to ignore
1548    WildFile = "[A-Z]:/WINNT/security/logs/scepol.log"
1549    WildDir = "[A-Z]:/WINNT/system32/config"
1550    WildDir = "[A-Z]:/WINNT/msdownld.tmp"
1551    WildDir = "[A-Z]:/WINNT/Internet Logs"
1552    WildDir = "[A-Z]:/WINNT/$Nt*Uninstall*"
1553    WildDir = "[A-Z]:/WINNT/sysvol"
1554    WildFile = "[A-Z]:/WINNT/cluster/CLUSDB"
1555    WildFile = "[A-Z]:/WINNT/cluster/CLUSDB.LOG"
1556    WildFile = "[A-Z]:/WINNT/NTDS/edb.log"
1557    WildFile = "[A-Z]:/WINNT/NTDS/ntds.dit"
1558    WildFile = "[A-Z]:/WINNT/NTDS/temp.edb"
1559    WildFile = "[A-Z]:/WINNT/ntfrs/jet/log/edb.log"
1560    WildFile = "[A-Z]:/WINNT/ntfrs/jet/ntfrs.jdb"
1561    WildFile = "[A-Z]:/WINNT/ntfrs/jet/temp/tmp.edb"
1562    WildFile = "[A-Z]:/WINNT/system32/CPL.CFG"
1563    WildFile = "[A-Z]:/WINNT/system32/dhcp/dhcp.mdb"
1564    WildFile = "[A-Z]:/WINNT/system32/dhcp/j50.log"
1565    WildFile = "[A-Z]:/WINNT/system32/dhcp/tmp.edb"
1566    WildFile = "[A-Z]:/WINNT/system32/LServer/edb.log"
1567    WildFile = "[A-Z]:/WINNT/system32/LServer/TLSLic.edb"
1568    WildFile = "[A-Z]:/WINNT/system32/LServer/tmp.edb"
1569    WildFile = "[A-Z]:/WINNT/system32/wins/j50.log"
1570    WildFile = "[A-Z]:/WINNT/system32/wins/wins.mdb"
1571    WildFile = "[A-Z]:/WINNT/system32/wins/winstmp.mdb"
1572
1573    # Temporary directories & files
1574    WildDir = "[A-Z]:/WINNT/Temp"
1575    WildDir = "[A-Z]:/temp"
1576    WildFile = "*.tmp"
1577    WildDir = "[A-Z]:/tmp"
1578    WildDir = "[A-Z]:/var/tmp"
1579
1580    # Recycle bins
1581    WildDir = "[A-Z]:/RECYCLER"
1582
1583    # Swap files
1584    WildFile = "[A-Z]:/pagefile.sys"
1585
1586    # These are programs and are easier to reinstall than restore from
1587    # backup
1588    WildDir = "[A-Z]:/cygwin"
1589    WildDir = "[A-Z]:/Program Files/Grisoft"
1590    WildDir = "[A-Z]:/Program Files/Java"
1591    WildDir = "[A-Z]:/Program Files/Java Web Start"
1592    WildDir = "[A-Z]:/Program Files/JavaSoft"
1593    WildDir = "[A-Z]:/Program Files/Microsoft Office"
1594    WildDir = "[A-Z]:/Program Files/Mozilla Firefox"
1595    WildDir = "[A-Z]:/Program Files/Mozilla Thunderbird"
1596    WildDir = "[A-Z]:/Program Files/mozilla.org"
1597    WildDir = "[A-Z]:/Program Files/OpenOffice*"
1598   }
1599
1600   # Our Win2k boxen all have C: and D: as the main hard drives.
1601   File = "C:/"
1602   File = "D:/"
1603  }
1604 }
1605 \end{verbatim}
1606 \normalsize
1607
1608 Note, the three line of the above Exclude were split to fit on the document
1609 page, they should be written on a single line in real use. 
1610
1611 \paragraph*{Windows NTFS Naming Considerations}
1612 \index[general]{Windows NTFS Naming Considerations }
1613 \index[general]{Considerations!Windows NTFS Naming }
1614
1615 NTFS filenames containing Unicode characters should now be supported
1616 as of version 1.37.30 or later.
1617
1618 \section{Testing Your FileSet}
1619 \index[general]{FileSet!Testing Your }
1620 \index[general]{Testing Your FileSet }
1621
1622 If you wish to get an idea of what your FileSet will really backup or if your
1623 exclusion rules will work correctly, you can test it by using the {\bf
1624 estimate} command in the Console program. See the 
1625 \ilink{estimate}{estimate} in the Console chapter of this
1626 manual.
1627
1628 As an example, suppose you add the following test FileSet:
1629
1630 \footnotesize
1631 \begin{verbatim}
1632 FileSet {
1633   Name = Test
1634   Include {
1635     File = /home/xxx/test
1636     Options {
1637        regex = ".*\.c$"
1638     }
1639   }
1640 }
1641 \end{verbatim}
1642 \normalsize
1643
1644 You could then add some test files to the directory {\bf /home/xxx/test}
1645 and use the following command in the console:
1646
1647 \footnotesize
1648 \begin{verbatim}
1649 estimate job=<any-job-name> listing client=<desired-client> fileset=Test
1650 \end{verbatim}
1651 \normalsize
1652
1653 to give you a listing of all files that match.