]> git.sur5r.net Git - bacula/docs/blob - docs/manual/fileset.tex
Updates
[bacula/docs] / docs / manual / fileset.tex
1 -%
2 %%
3
4 \subsection*{The FileSet Resource}
5 \label{FileSetResource}
6 \index[general]{Resource!FileSet}
7 \index[general]{FileSet Resource}
8 \addcontentsline{toc}{subsection}{FileSet Resource}
9
10 The FileSet resource defines what files are to be included or excluded in a
11 backup job.  A {\bf FileSet} resource is required for each backup Job.  It
12 consists of a list of files or directories to be included, a list of files
13 or directories to be excluded and the various backup options such as
14 compression, encryption, and signatures that are to be applied to each
15 file.
16
17 Any change to the list of the included files will cause Bacula to
18 automatically create a new FileSet (defined by the name and an MD5 checksum
19 of the Include/Exclude contents).  Each time a new FileSet is created,
20 Bacula will ensure that the next backup is always a Full save.
21
22 \begin{description}
23
24 \item [FileSet]
25 \index[dir]{FileSet}
26 \index[dir]{Directive!FileSet}
27 Start of the FileSet resource. One {\bf FileSet}  resource must be
28 defined for each Backup job.
29
30 \item [Name = \lt{}name\gt{}]
31 \index[dir]{Name}
32 \index[dir]{Directive!Name}
33    The name of the FileSet resource.  This directive is required. 
34
35 \item [Ignore FileSet Changes = \lt{}yes|no\gt{}]
36 \index[dir]{Ignore FileSet Changes}
37 \index[dir]{Directive!Ignore FileSet Changes}
38    Normally, if you modify the FileSet Include or Exclude lists,
39    the next backup will be forced to a Full so that Bacula can
40    guarantee that any additions or deletions are properly backed
41    up.
42    If this directive is set to {\bf yes}, any changes you make to the
43    FileSet Include or Exclude lists will be ignored and not cause Bacula to
44    immediately perform a Full backup.  The default is {\bf no}, in which
45    case, if you change the Include or Exclude, Bacula will force a Full
46    backup to ensure that everything is properly backed up.  It is not
47    recommended to set this directive to yes.
48
49 \item [Enable VSS = \lt{}yes|no\gt{}]
50 \index[dir]{Enable VSS}
51 \index[dir]{Directive!Enable VSS}
52   If this directive is set to {\bf yes} the File daemon will be notified
53   that the user wants to use a Volume Shadow Copy Service (VSS) backup
54   for this job. The default is {\bf no}. This directive is effective
55   only for VSS enabled Win32 File daemons. It permits a consistent copy
56   of open files to be made for cooperating writer applications, and for
57   applications that are not VSS away, Bacula can at least copy open files.
58   For more information, please see the
59   \ilink{Windows}{VSS} chapter of this manual.
60
61 \item [Include \{ Options \{\lt{}file-options\gt{}\} ...;
62    \lt{}file-list\gt{} \} ]
63 \index[dir]{Include \{ [ Options \{\lt{}file-options\gt{}\} ...]
64    \lt{}file-list\gt{} \}  }
65 \index[dir]{Directive!Include}
66
67 \item [Options \{ \lt{}file-options\gt{} \} ]
68 \index[dir]{Options  \{ \lt{}file-options\gt{} \}  }
69
70 \item [Exclude \{ \lt{}file-list\gt{} \}]
71 \index[dir]{Exclude \{ \lt{}file-list\gt{} \} }
72 \index[dir]{Directive!Exclude}
73
74 \end{description}
75
76 The Include resource must contain a list of directories and/or files to be
77 processed in the backup job.  Normally, all files found in all
78 subdirectories of any directory in the Include File list will be backed up.
79 Note, see below for the definition of \lt{}file-list\gt{}. 
80 The Include resource may also contain one or more Options resources that
81 specify options such as compression to be applied to all or any subset of
82 the files found when processing the file-list for backup. Please see
83 below for more details concerning Options resources.
84
85 There can be any number of {\bf Include} resources within the FileSet, each
86 having its own list of directories or files to be backed up and the backup
87 options defined by one or more Options resources.  The {\bf file-list}
88 consists of one file or directory name per line.  Directory names should be
89 specified without a trailing slash with Unix path notation.
90
91 Windows users, please take note to specify directories (even c:/...) in
92 Unix path notation. If you use Windows conventions, you will most likely
93 not be able to restore your files due to the fact that the Windows
94 path separator was defined as an escape character long before Windows
95 existed, and Bacula adheres to that convention (i.e. \\  means the next character
96 appears as itself).
97
98 You should always specify a full path for every directory and file that you
99 list in the FileSet.  In addition, on Windows machines, you should {\bf
100 always} prefix the directory or filename with the drive specification in
101 lower case (e.g.  {\bf c:/xxx}) using Unix directory name separators
102 (forward slash).
103
104 Bacula's default for processing directories is to recursively descend in
105 the directory saving all files and subdirectories.  Bacula will not by
106 default cross filesystems (or mount points in Unix parlance).  This means
107 that if you specify the root partition (e.g.  {\bf /}), Bacula will save
108 only the root partition and not any of the other mounted filesystems.
109 Similarly on Windows systems, you must explicitly specify each of the
110 drives you want saved (e.g.
111 {\bf c:/} and {\bf d:/} ...). In addition, at least for Windows systems, you
112 will most likely want to enclose each specification within double quotes
113 particularly if the directory (or file) name contains spaces. The {\bf df}
114 command on Unix systems will show you which mount points you must specify to
115 save everything. See below for an example. 
116
117 Take special care not to include a directory twice or Bacula will backup
118 the same files two times wasting a lot of space on your archive device.
119 Including a directory twice is very easy to do.  For example:
120
121 \footnotesize
122 \begin{verbatim}
123   Include {
124     File = /
125     File = /usr
126     Options { compression=GZIP }
127   }
128 \end{verbatim}
129 \normalsize
130
131 on a Unix system where /usr is a subdirectory (rather than a mounted
132 filesystem) will cause /usr to be backed up twice. In this case, on Bacula
133 versions prior to 1.32f-5-09Mar04 due to a bug, you will not be able to
134 restore hard linked files that were backed up twice. 
135
136 If you have used Bacula prior to version 1.36.3, you will note three things in
137 the new FileSet syntax: 
138
139 \begin{enumerate}
140 \item There is no equal sign (=) after the Include and before the opening
141    brace (\{). The same is true for the Exclude. 
142 \item Each directory (or filename) to be included or excluded is preceded by a {\bf File
143    =}.  Previously they were simply listed on separate lines. 
144 \item The options that previously appeared on the Include line now must be
145    specified within their own Options resource.
146 \item The Exclude resource does not accept Options. 
147 \item When using wild-cards or regular expressions, directory names are
148    always terminated with a slash (/) and filenames have no trailing slash.
149 \end{enumerate}
150
151 The Options resource is optional, but when specified, it will contain a
152 list of {\bf keyword=value} options to be applied to the file-list.
153 See below for the definition of file-list.    
154 Multiple Options resources may be specified one after another.  As the
155 files are found in the specified directories, the Options will applied to
156 the filenames to determine if and how the file should be backed up.  The
157 wildcard and regular expression pattern matching parts of the
158 Options resources are checked in the order they are specified in the
159 FileSet until the first one that matches. Once one matches, the
160 compression and other flags within the Options specification will
161 apply to the pattern matched.
162
163 A key point is that in the absence of an Option or no other Option is
164 matched, every file is accepted for backing up. This means that if
165 you want to exclude something, you must explicitly specify an Option
166 with an {\bf exclude = yes} and some pattern matching.
167
168 Once Bacula determines that the Options resource matches the file under
169 consideration, that file will be saved without looking at any other Options
170 resources that may be present.  This means that any wild cards must appear
171 before an Options resource without wild cards.
172
173 If for some reason, Bacula checks all the Options resources to a file under
174 consideration for backup, but there are no matches (generally because of wild
175 cards that don't match), Bacula as a default will then backup the file.  This
176 is quite logical if you consider the case of no Options clause is specified,
177 where you want everything to be backed up, and it is important to keep in mind
178 when excluding as mentioned above.
179
180 However, one additional point is that in the case that no match was found,
181 Bacula will use the options found in the last Options resource.  As a
182 consequence, if you want a particular set of "default" options, you should put
183 them in an Options resource after any other Options.
184
185 It is a good idea to put all your wild-card and regex expressions inside
186 double quotes to prevent conf file scanning problems.
187
188 This is perhaps a bit overwhelming, so there are a number of examples included 
189 below to illustrate how this works.
190
191 The directives within an Options resource may be one of the following: 
192
193 \begin{description}
194
195 \item [compression=GZIP]
196 \index[dir]{compression}
197 \index[dir]{Directive!compression}
198    All files saved will be software compressed using the GNU ZIP
199    compression format.  The compression is done on a file by file basis by
200    the File daemon.  If there is a problem reading the tape in a single
201    record of a file, it will at most affect that file and none of the other
202    files on the tape.  Normally this option is {\bf not} needed if you have
203    a modern tape drive as the drive will do its own compression.  In fact,
204    if you specify software compression at the same time you have hardware
205    compression turned on, your files may actually take more space on the
206    volume.
207
208    Software compression is very important if you are writing your Volumes
209    to a file, and it can also be helpful if you have a fast computer but a
210    slow network, otherwise it is generally better to rely your tape drive's
211    hardware compression.  As noted above, it is not generally a good idea
212    to do both software and hardware compression.
213
214    Specifying {\bf GZIP} uses the default compression level six (i.e.  {\bf
215    GZIP} is identical to {\bf GZIP6}).  If you want a different compression
216    level (1 through 9), you can specify it by appending the level number
217    with no intervening spaces to {\bf GZIP}.  Thus {\bf compression=GZIP1}
218    would give minimum compression but the fastest algorithm, and {\bf
219    compression=GZIP9} would give the highest level of compression, but
220    requires more computation.  According to the GZIP documentation,
221    compression levels greater than 6 generally give very little extra
222    compression and are rather CPU intensive.
223
224 \item [signature=SHA1]
225 \index[dir]{signature}
226 \index[dir]{SHA1}
227 \index[dir]{Directive!signature}
228    An SHA1 signature will be computed for all The SHA1 algorithm is
229    purported to be some what slower than the MD5 algorithm, but at the same
230    time is significantly better from a cryptographic point of view (i.e.
231    much fewer collisions, much lower probability of being hacked.) It adds
232    four more bytes than the MD5 signature.  We strongly recommend that
233    either this option or MD5 be specified as a default for all files.
234    Note, only one of the two options MD5 or SHA1 can be computed for any
235    file.
236
237 \item [signature=MD5]
238 \index[dir]{signature}
239 \index[dir]{MD5}
240 \index[dir]{Directive!signature}
241    An MD5 signature will be computed for all files saved.  Adding this
242    option generates about 5\% extra overhead for each file saved.  In
243    addition to the additional CPU time, the MD5 signature adds 16 more
244    bytes per file to your catalog.  We strongly recommend that this option
245    or the SHA1 option be specified as a default for all files.
246
247 \item [verify=\lt{}options\gt{}]
248 \index[dir]{verify}
249 \index[dir]{Directive!verify}
250    The options letters specified are used  when running a {\bf Verify
251    Level=Catalog} as well as the  {\bf DiskToCatalog} level job. The options
252    letters may be any  combination of the following:  
253
254       \begin{description}
255
256       \item {\bf i}
257       compare the inodes  
258
259       \item {\bf p}
260       compare the permission bits  
261
262       \item {\bf n}
263       compare the number of links  
264
265       \item {\bf u}
266       compare the user id  
267
268       \item {\bf g}
269       compare the group id  
270
271       \item {\bf s}
272       compare the size  
273
274       \item {\bf a}
275       compare the access time  
276
277       \item {\bf m}
278       compare the modification time (st\_mtime)  
279
280       \item {\bf c}
281       compare the change time (st\_ctime)  
282
283       \item {\bf s}
284       report file size decreases  
285
286       \item {\bf 5}
287       compare the MD5 signature  
288
289       \item {\bf 1}
290       compare the SHA1 signature  
291       \end{description}
292
293    A useful set of general options on the {\bf Level=Catalog}  or {\bf
294    Level=DiskToCatalog}  verify is {\bf pins5} i.e. compare permission bits,
295    inodes, number  of links, size, and MD5 changes. 
296
297 \item [onefs=yes|no]
298 \index[dir]{onefs}
299 \index[dir]{Directive!onefs}
300    If set to {\bf yes} (the default), {\bf Bacula} will remain on a single
301    file system.  That is it will not backup file systems that are mounted
302    on a subdirectory.  If you are using a *nix system, you may not even be
303    aware that there are several different filesystems as they are often
304    automatically mounted by the OS (e.g.  /dev, /net, /sys, /proc, ...).
305    With Bacula 1.38.0 or later, it will inform you when it decides not to
306    traverse into another filesystem.  This can be very useful if you forgot
307    to backup a particular partition.  An example of the informational
308    message in the job report is:
309
310 \footnotesize
311 \begin{verbatim}
312 rufus-fd: Filesystem change prohibited. Will not descend into /misc
313 rufus-fd: Filesystem change prohibited. Will not descend into /net
314 rufus-fd: Filesystem change prohibited. Will not descend into /var/lib/nfs/rpc_pipefs
315 rufus-fd: Filesystem change prohibited. Will not descend into /selinux
316 rufus-fd: Filesystem change prohibited. Will not descend into /sys
317 rufus-fd: Filesystem change prohibited. Will not descend into /dev
318 rufus-fd: Filesystem change prohibited. Will not descend into /home
319 \end{verbatim}
320 \normalsize
321    If you wish to backup multiple filesystems, you can  explicitly
322    list each filesystem you want saved.  Otherwise, if you set the onefs option
323    to {\bf no}, Bacula will backup  all mounted file systems (i.e. traverse mount
324    points) that  are found within the {\bf FileSet}. Thus if  you have NFS or
325    Samba file systems mounted on a directory listed  in your FileSet, they will
326    also be backed up. Normally, it is  preferable to set {\bf onefs=yes} and to
327    explicitly name  each filesystem you want backed up. Explicitly naming  the
328    filesystems you want backed up avoids the possibility  of getting into a
329    infinite loop recursing filesystems.  Another possibility is to 
330    use {\bf onefs=no} and to set {\bs fstype=ext2, ...}.             
331    See the example below for more details. 
332
333    If you think that Bacula should be backing up a particular directory
334    and it is not, and you have {\bf onefs=no} set, before you complain,
335    please do:
336
337 \footnotesize
338 \begin{verbatim}
339   stat /
340   stat <filesystem>
341 \end{verbatim}
342 \normalsize
343
344 where you replace {\bf filesystem} with the one in question.  If the 
345 {\bf Device:} number is different for / and for your filesystem, then they
346 are on different filesystems.  E.g.
347 \footnotesize
348 \begin{verbatim}
349 stat /
350   File: `/'
351   Size: 4096            Blocks: 16         IO Block: 4096   directory
352 Device: 302h/770d       Inode: 2           Links: 26
353 Access: (0755/drwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
354 Access: 2005-11-10 12:28:01.000000000 +0100
355 Modify: 2005-09-27 17:52:32.000000000 +0200
356 Change: 2005-09-27 17:52:32.000000000 +0200
357
358 stat /net
359   File: `/home'
360   Size: 4096            Blocks: 16         IO Block: 4096   directory
361 Device: 308h/776d       Inode: 2           Links: 7
362 Access: (0755/drwxr-xr-x)  Uid: (    0/    root)   Gid: (    0/    root)
363 Access: 2005-11-10 12:28:02.000000000 +0100
364 Modify: 2005-11-06 12:36:48.000000000 +0100
365 Change: 2005-11-06 12:36:48.000000000 +0100
366 \end{verbatim}
367 \normalsize
368
369    Also be aware that even if you include {\bf /home} in your list
370    of files to backup, as you most likely should, you will get the
371    informational message about Filesystem change prohibited when Bacula is
372    processing the {\bf /} directory.
373
374
375 \label{portable}
376 \item [portable=yes|no]
377 \index[dir]{portable}
378 \index[dir]{Directive!portable}
379    If set to {\bf yes} (default is {\bf no}), the Bacula File daemon will
380    backup Win32 files in a portable format, but not all Win32 file
381    attributes will be saved and restored.  By default, this option is set
382    to {\bf no}, which means that on Win32 systems, the data will be backed
383    up using Windows API calls and on WinNT/2K/XP, all the security and
384    ownership attributes will be properly backed up (and restored).  However
385    this format is not portable to other systems -- e.g.  Unix, Win95/98/Me.
386    When backing up Unix systems, this option is ignored, and unless you
387    have a specific need to have portable backups, we recommend accept the
388    default ({\bf no}) so that the maximum information concerning your files
389    is saved.
390
391 \item [recurse=yes|no]
392 \index[dir]{recurse}
393 \index[dir]{Directive!recurse}
394    If set to {\bf yes} (the default), Bacula will recurse (or descend) into
395    all subdirectories found unless the directory is explicitly excluded
396    using an {\bf exclude} definition.  If you set {\bf recurse=no}, Bacula
397    will save the subdirectory entries, but not descend into the
398    subdirectories, and thus will not save the files or directories
399    contained in the subdirectories.  Normally, you will want the default
400    ({\bf yes}).
401
402 \item [sparse=yes|no]
403 \index[dir]{sparse}
404 \index[dir]{Directive!sparse}
405    Enable special code that checks for sparse files such as created by
406    ndbm.  The default is {\bf no}, so no checks are made for sparse files.
407    You may specify {\bf sparse=yes} even on files that are not sparse file.
408    No harm will be done, but there will be a small additional overhead to
409    check for buffers of all zero, and a small additional amount of space on
410    the output archive will be used to save the seek address of each
411    non-zero record read.
412
413    {\bf Restrictions:} Bacula reads files in 32K buffers.  If the whole
414    buffer is zero, it will be treated as a sparse block and not written to
415    tape.  However, if any part of the buffer is non-zero, the whole buffer
416    will be written to tape, possibly including some disk sectors (generally
417    4098 bytes) that are all zero.  As a consequence, Bacula's detection of
418    sparse blocks is in 32K increments rather than the system block size.
419    If anyone considers this to be a real problem, please send in a request
420    for change with the reason.
421
422    If you are not familiar with sparse files, an example is say a file
423    where you wrote 512 bytes at address zero, then 512 bytes at address 1
424    million.  The operating system will allocate only two blocks, and the
425    empty space or hole will have nothing allocated.  However, when you read
426    the sparse file and read the addresses where nothing was written, the OS
427    will return all zeros as if the space were allocated, and if you backup
428    such a file, a lot of space will be used to write zeros to the volume.
429    Worse yet, when you restore the file, all the previously empty space
430    will now be allocated using much more disk space.  By turning on the
431    {\bf sparse} option, Bacula will specifically look for empty space in
432    the file, and any empty space will not be written to the Volume, nor
433    will it be restored.  The price to pay for this is that Bacula must
434    search each block it reads before writing it.  On a slow system, this
435    may be important.  If you suspect you have sparse files, you should
436    benchmark the difference or set sparse for only those files that are
437    really sparse.
438
439 \label{readfifo}
440 \item [readfifo=yes|no]
441 \index[dir]{readfifo}
442 \index[dir]{Directive!readfifo}
443    If enabled, tells the Client to read the data on a backup and write the
444    data on a restore to any FIFO (pipe) that is explicitly mentioned in the
445    FileSet.  In this case, you must have a program already running that
446    writes into the FIFO for a backup or reads from the FIFO on a restore.
447    This can be accomplished with the {\bf RunBeforeJob} directive.  If this
448    is not the case, Bacula will hang indefinitely on reading/writing the
449    FIFO. When this is not enabled (default), the Client simply saves the
450    directory entry for the FIFO.
451
452    Unfortunately, when Bacula runs a RunBeforeJob, it waits until that
453    script terminates, and if the script accesses the FIFO to write   
454    into the it, the Bacula job will block and everything will stall.
455    However, Vladimir Stavrinov as supplied tip that allows this feature   
456    to work correctly.  He simply adds the following to the beginning
457    of the RunBeforeJob script:
458
459 \begin{verbatim}
460    exec > /dev/null
461 \end{verbatim}
462
463
464 \item [mtimeonly=yes|no]
465 \index[dir]{mtimeonly}
466 \index[dir]{Directive!mtimeonly}
467    If enabled, tells the Client that the selection of files during
468    Incremental and Differential backups should based only on the st\_mtime
469    value in the stat() packet.  The default is {\bf no} which means that
470    the selection of files to be backed up will be based on both the
471    st\_mtime and the st\_ctime values.  In general, it is not recommended
472    to use this option.
473
474 \item [keepatime=yes|no]
475 \index[dir]{keepatime}
476 \index[dir]{Directive!keepatime}
477    The default is {\bf no}.  When enabled, Bacula will reset the st\_atime
478    (access time) field of files that it backs up to their value prior to
479    the backup.  This option is not generally recommended as there are very
480    few programs that use st\_atime, and the backup overhead is increased
481    because of the additional system call necessary to reset the times.
482    However, for some files, such as mailboxes, when Bacula backs up the
483    file, the user will notice that someone (Bacula) has accessed the
484    file. In this, case keepatime can be useful.
485    (I'm not sure this works on Win32).
486
487    Note, if you use this feature, when Bacula resets the access time, the
488    change time (st\_ctime) will automatically be modified by the system,
489    so on the next incremental job, the file will be backed up even if
490    it has not changed. As a consequence, you will probably also want
491    to use {\bf mtimeonly = yes} as well as keepatime (thanks to
492    Rudolf Cejka for this tip).
493
494 \item [hardlinks=yes|no]
495 \index[dir]{hardlinks}
496 \index[dir]{Directive!hardlinks}
497    When enabled (default), this directive will cause hard inks to be 
498    backed up. However, the File daemon keeps track of hard linked files and
499    will backup the data only once. The process of keeping track of the 
500    hard links can be quite expensive if you have lots of them (tens of
501    thousands or more). This doesn't occur on normal Unix systems, but if
502    you use a program like BackupPC, it can create hundreds of thousands, or
503    even millions of hard links. Backups become very long and the File daemon
504    will consume a lot of CPU power checking hard links.  In such a case,
505    set {\bf hardlinks=no} and hard links will not be backed up.  Note, using
506    this option will most likely backup more data and on a restore the file
507    system will not be restored identically to the original.
508
509 \item [wild=\lt{}string\gt{}]
510 \index[dir]{wild}
511 \index[dir]{Directive!wild}
512    Specifies a wild-card string to be applied to the filenames and
513    directory names.  Note, if {\bf Exclude} is not enabled, the wild-card
514    will select which files are to be included.  If {\bf Exclude=yes} is
515    specified, the wild-card will select which files are to be excluded.
516    Multiple wild-card directives may be specified, and they will be applied
517    in turn until the first one that matches.  Note, if you exclude a
518    directory, no files or directories below it will be matched.
519
520    You may want to test your expressions prior to running your
521    backup by using the bwild program. Please see the
522    \ilink{UtilitiesChapter}{Utilities} chapter of this manual for
523    more. You can also test your full FileSet definition by using
524    the \ilink{estimate}{Estimate} command in the Console        
525    chapter of this manual.
526    It is recommended to enclose the string in double quotes.
527
528 \item [wilddir=\lt{}string\gt{}]
529 \index[dir]{wilddir}
530 \index[dir]{Directive!wilddir}
531    Specifies a wild-card string to be applied to directory names only.  No
532    filenames will be matched by this directive.  Note, if {\bf Exclude} is
533    not enabled, the wild-card will select directories files are to be
534    included.  If {\bf Exclude=yes} is specified, the wild-card will select
535    which files are to be excluded.  Multiple wild-card directives may be
536    specified, and they will be applied in turn until the first one that
537    matches.  Note, if you exclude a directory, no files or directories
538    below it will be matched.
539
540    It is recommended to enclose the string in double quotes.
541
542    You may want to test your expressions prior to running your
543    backup by using the bwild program. Please see the
544    \ilink{UtilitiesChapter}{Utilities} chapter of this manual for
545    more. You can also test your full FileSet definition by using
546    the \ilink{estimate}{Estimate} command in the Console        
547    chapter of this manual.
548    An example of excluding with the WildDir option on Win32 machines is    
549    presented below.
550
551 \item [wildfile=\lt{}string\gt{}]
552 \index[dir]{wildfile}
553 \index[dir]{Directive!wildfile}
554    Specifies a wild-card string to be applied to non-directories. That
555    is no directory entries will be matched by this directive.
556    However, note that the match is done against the full path and filename,
557    so your wild-card string must take into account that filenames
558    are preceded by the full path.
559    If {\bf Exclude}
560    is not enabled, the wild-card will select which files are to be
561    included.  If {\bf Exclude=yes} is specified, the wild-card will select
562    which files are to be excluded.  Multiple wild-card directives may be
563    specified, and they will be applied in turn until the first one that
564    matches.
565
566    It is recommended to enclose the string in double quotes.
567
568    You may want to test your expressions prior to running your
569    backup by using the bwild program. Please see the
570    \ilink{UtilitiesChapter}{Utilities} chapter of this manual for
571    more. You can also test your full FileSet definition by using
572    the \ilink{estimate}{Estimate} command in the Console        
573    chapter of this manual.
574    An example of excluding with the WildFile option on Win32 machines is    
575    presented below.
576
577
578 \item [regex=\lt{}string\gt{}]
579 \index[dir]{regex}
580 \index[dir]{Directive!regex}
581    Specifies a POSIX extended regular expression to be applied to the
582    filenames and directory names, which include the full path.  If {\bf
583    Exclude} is not enabled, the regex will select which files are to be
584    included.  If {\bf Exclude=yes} is specified, the regex will select
585    which files are to be excluded.  Multiple regex directives may be
586    specified within an Options resource, and they will be applied in turn
587    until the first one that matches.  Note, if you exclude a directory, no
588    files or directories below it will be matched.
589
590    It is recommended to enclose the string in double quotes.
591
592    The regex libraries differ from one operating system to
593    another, and in addition, regular expressions are complicated,
594    so you may want to test your expressions prior to running your
595    backup by using the bregex program. Please see the
596    \ilink{UtilitiesChapter}{Utilities} chapter of this manual for
597    more. You can also test your full FileSet definition by using
598    the \ilink{estimate}{Estimate} command in the Console        
599    chapter of this manual.
600
601
602 \item [regexfile=\lt{}string\gt{}]
603 \index[dir]{regexfile}
604 \index[dir]{Directive!regexfile}
605    Specifies a POSIX extended regular expression to be applied to
606    non-directories. No directories will be matched by this directive.  
607    However, note that the match is done against the full path and
608    filename, so your regex string must take into account that filenames
609    are preceded by the full path.
610    If {\bf Exclude} is not enabled, the regex will select which files are
611    to be included.  If {\bf Exclude=yes} is specified, the regex will
612    select which files are to be excluded.  Multiple regex directives may be
613    specified, and they will be applied in turn until the first one that
614    matches.
615
616    It is recommended to enclose the string in double quotes.
617
618    The regex libraries differ from one operating system to
619    another, and in addition, regular expressions are complicated,
620    so you may want to test your expressions prior to running your
621    backup by using the bregex program. Please see the
622    \ilink{UtilitiesChapter}{Utilities} chapter of this manual for
623    more.
624
625
626 \item [regexdir=\lt{}string\gt{}]
627 \index[dir]{regexdir}
628 \index[dir]{Directive!regexdir}
629    Specifies a POSIX extended regular expression to be applied to directory
630    names only.  No filenames will be matched by this directive.  Note, if
631    {\bf Exclude} is not enabled, the regex will select directories
632    files are to be included.  If {\bf Exclude=yes} is specified, the
633    regex will select which files are to be excluded.  Multiple
634    regex directives may be specified, and they will be applied in turn
635    until the first one that matches.  Note, if you exclude a directory, no
636    files or directories below it will be matched.
637
638    It is recommended to enclose the string in double quotes.
639
640    The regex libraries differ from one operating system to
641    another, and in addition, regular expressions are complicated,
642    so you may want to test your expressions prior to running your
643    backup by using the bregex program. Please see the
644    \ilink{UtilitiesChapter}{Utilities} chapter of this manual for
645    more.
646
647
648 \item [exclude=yes|no]
649 \index[dir]{exclude}
650 \index[dir]{Directive!exclude}
651    The default is {\bf no}.  When enabled, any files matched within the
652    Options will be excluded from the backup.
653
654 \label{ACLSupport}
655
656 \item [aclsupport=yes|no]
657 \index[dir]{aclsupport}
658 \index[dir]{Directive!aclsupport}
659    The default is {\bf no}.  If this option is set to yes, and you have the
660    POSIX {\bf libacl} installed on your system, Bacula will backup the file
661    and directory UNIX Access Control Lists (ACL) as defined in IEEE Std
662    1003.1e draft 17 and "POSIX.1e" (abandoned).  This feature is
663    available on UNIX only and depends on the ACL library.  Bacula is
664    automatically compiled with ACL support if the {\bf libacl} library is
665    installed on your system (shown in config.out).  While restoring the
666    files Bacula will try to restore the ACLs, if there is no ACL support
667    available on the system, Bacula restores the files and directories but
668    not the ACL information.  Please note, if you backup an EXT3 or XFS
669    filesystem with ACLs, then you restore them to a different filesystem
670    (perhaps reiserfs) that does not have ACLs, the ACLs will be ignored.
671
672 \item [ignore case=yes|no]
673 \index[dir]{ignore case}
674 \index[dir]{Directive!ignore case}
675    The default is {\bf no}.  On Windows systems, you will almost surely
676    want to set this to {\bf yes}.  When this directive is set to {\bf yes}
677    all the case of character will be ignored in wild-card and regex
678    comparisons.  That is an uppercase A will match a lowercase a.
679
680 \item [fstype=filesystem-type]
681 \index[dir]{fstype}
682 \index[dir]{Directive!fstype}
683    This option allows you to select files and directories by the
684    filesystem type.  The permitted filesystem-type names are:
685
686    ext2, jfs, ntfs, proc, reiserfs, xfs, usbdevfs, sysfs, smbfs,
687    iso9660.  For ext3 systems, use ext2.
688
689    You may have multiple Fstype directives, and thus permit matching
690    of multiple filesystem types within a single Options resource.  If
691    the type specified on the fstype directive does not match the
692    filesystem for a particular directive, that directory will not be
693    backed up.  This directive can be used to prevent backing up
694    non-local filesystems. Normally, when you use this directive, you
695    would also set {\bf onefs=no} so that Bacula will traverse filesystems.
696
697    This option is not implemented in Win32 systems.
698
699
700 \item [hfsplussupport=yes|no]
701 \index[dir]{hfsplussupport}
702 \index[dir]{Directive!hfsplussupport}
703    This option allows you to turn on support for Mac OSX HFS plus 
704    finder information.
705
706 \end{description}
707
708 {\bf \lt{}file-list\gt{}} is a list of directory and/or filename names
709 specified with a {\bf File =} directive. To include names containing spaces,
710 enclose the name between double-quotes. Wild-cards are not interpreted
711 in file-lists. They can only be specified in Options resources.
712
713 There are a number of special cases when specifying directories and files in a
714 {\bf file-list}. They are: 
715
716 \begin{itemize}
717 \item Any name preceded by an at-sign (@) is assumed to be the  name of a
718    file, which contains a list of files each preceded by a "File =".  The
719    named file is read once when the configuration file is parsed during the
720    Director startup.  Note, that the file is read on the Director's machine
721    and not on the Client's.  In fact, the @filename can appear anywhere
722    within the conf file where a token would be read, and the contents of
723    the named file will be logically inserted in the place of the @filename.
724    What must be in the file depends on the location the @filename is
725    specified in the conf file.  For example:
726
727 \footnotesize
728 \begin{verbatim}
729 Include {
730   Options { compression=GZIP }
731   @/home/files/my-files
732 }
733 \end{verbatim}
734 \normalsize
735
736 \item Any name beginning with a vertical bar (|) is  assumed to be the name of
737    a program.  This program will be executed on the Director's machine at
738    the time the Job starts (not when the Director reads the configuration
739    file), and any output from that program will be assumed to be a list of
740    files or directories, one per line, to be included.  
741
742    This allows you to have a job that, for example, includes all the local
743    partitions even if you change the partitioning by adding a disk.  The
744    examples below show you how to do this.  However, please note two
745    things: \\
746    1.  if you want the local filesystems, you probably should be
747    using the new {\bf fstype} directive, which was added in version 1.36.3 
748    and set {\bf onefs=no}.
749    \\
750
751    2.  the exact syntax of the command needed in the examples below is very
752    system dependent.  For example, on recent Linux systems, you may need to
753    add the -P option, on FreeBSD systems, the options will be different as
754    well.
755
756    In general, you will need to prefix your command or commands with a {\bf
757    sh -c} so that they are invoked by a shell.  This will not be the case
758    if you are invoking a script as in the second example below.  Also, you
759    must take care to escape (precede with a \textbackslash{}) wild-cards,
760    shell character, and to ensure that any spaces in your command are
761    escaped as well.  If you use a single quotes (') within a double quote
762    ("), Bacula will treat everything between the single quotes as one field
763    so it will not be necessary to escape the spaces.  In general, getting
764    all the quotes and escapes correct is a real pain as you can see by the
765    next example.  As a consequence, it is often easier to put everything in
766    a file and simply use the file name within Bacula.  In that case the
767    {\bf sh -c} will not be necessary providing the first line of the file
768    is {\bf \#!/bin/sh}.
769
770    As an  example: 
771
772 \footnotesize
773 \begin{verbatim}
774  
775 Include {
776    Options { signature = SHA1 }
777    File = "|sh -c 'df -l | grep \"^/dev/hd[ab]\" | grep -v \".*/tmp\" \
778       | awk \"{print \\$6}\"'"
779 }
780 \end{verbatim}
781 \normalsize
782
783    will produce a list of all the local partitions on a RedHat Linux  system.
784    Note, the above line was split, but should normally  be written on one line. 
785    Quoting is a real problem because you must quote for Bacula  which consists of
786    preceding every \textbackslash{} and every " with a \textbackslash{}, and 
787    you must also quote for the shell command. In the end, it is probably  easier
788    just to execute a small file with: 
789
790
791 \footnotesize
792 \begin{verbatim}
793 Include {
794   Options {
795     signature=MD5
796   }
797   File = "|my_partitions"
798 }
799 \end{verbatim}
800 \normalsize
801
802    where my\_partitions has: 
803
804 \footnotesize
805 \begin{verbatim}
806 #!/bin/sh
807 df -l | grep "^/dev/hd[ab]" | grep -v ".*/tmp" \
808       | awk "{print \$6}"
809 \end{verbatim}
810 \normalsize
811
812    If the vertical bar (|) in front of my\_partitions is preceded by a
813    backslash as in \textbackslash{}|, the program will be executed on the
814    Client's machine instead of on the Director's machine.
815    Please note that if the filename is given within quotes, you
816    will need to use two slashes.  An example, provided by John Donagher,
817    that backs up all the local UFS partitions on a remote system is:
818
819 \footnotesize
820 \begin{verbatim}
821 FileSet {
822   Name = "All local partitions"
823   Include {
824     Options { signature=SHA1; onefs=yes; }
825     File = "\\|bash -c \"df -klF ufs | tail +2 | awk '{print \$6}'\""
826   }
827 }
828 \end{verbatim}
829 \normalsize
830
831    The above requires two backslash characters after the double quote (one
832    preserves  the next one). If you are a Linux user, just change the {\bf ufs}
833    to  {\bf ext3} (or your preferred filesystem type), and you will be in 
834    business.  
835
836    If you know what filesystems you have mounted on your system, e.g. 
837    for RedHat Linux normally only ext2 and ext3, you can backup
838    all local fileystems using something like:
839
840 \footnotesize
841 \begin{verbatim}
842  
843 Include {
844    Options { signature = SHA1; onfs=no; fstype=ext2 }
845    File = /
846 }
847 \end{verbatim}
848 \normalsize
849
850
851 \item Any file-list item preceded by a less-than sign (\lt{})  will be taken
852    to be a file. This file will be read on the  Director's machine at the time
853    the Job starts, and the  data will be assumed to be a list of directories or
854    files,  one per line, to be included. The names should start in  column 1 and
855    should not be quoted even if they contain  spaces. This feature allows you to
856    modify the external  file and change what will be saved without stopping and 
857    restarting Bacula as would be necessary if using the @  modifier noted above.
858    For example: 
859
860 \footnotesize
861 \begin{verbatim}
862 Include {
863   Options { signature = SHA1 }
864   File = "</home/files/local-filelist"
865 }
866 \end{verbatim}
867 \normalsize
868
869    If you precede the less-than sign (\lt{}) with a backslash as in
870    \textbackslash{}\lt{}, the file-list will be read on the Client machine
871    instead of on the Director's machine.  Please note that if the filename
872    is given within quotes, you will need to use two slashes.
873
874 \footnotesize
875 \begin{verbatim}
876 Include {
877   Options { signature = SHA1 }
878   File = "\\</home/xxx/filelist-on-client"
879 }
880 \end{verbatim}
881 \normalsize
882
883 \item If you explicitly specify a block device such as {\bf /dev/hda1},  then
884    Bacula (starting with version 1.28) will assume that this  is a raw partition
885    to be backed up. In this case, you are strongly  urged to specify a {\bf
886    sparse=yes} include option, otherwise, you  will save the whole partition
887    rather than just the actual data that  the partition contains. For example: 
888
889 \footnotesize
890 \begin{verbatim}
891 Include {
892   Options { signature=MD5; sparse=yes }
893   File = /dev/hd6
894 }
895 \end{verbatim}
896 \normalsize
897
898    will backup the data in device /dev/hd6.  
899
900    Ludovic Strappazon has pointed out that this feature can be  used to backup a
901    full Microsoft Windows disk. Simply boot into  the system using a Linux Rescue
902    disk, then load a statically  linked Bacula as described in the 
903    \ilink{ Disaster Recovery Using Bacula}{_ChapterRescue} chapter of
904    this manual. Then  save the whole disk partition. In the case of a disaster,
905    you  can then restore the desired partition by again booting with  the rescue
906    disk and doing a restore of the partition. 
907    \item If you explicitly specify a FIFO device name (created with mkfifo),  and
908    you add the option {\bf readfifo=yes} as an option, Bacula  will read the FIFO
909    and back its data up to the Volume. For  example: 
910
911 \footnotesize
912 \begin{verbatim}
913 Include {
914   Options {
915     signature=SHA1
916     readfifo=yes
917   }
918   File = /home/abc/fifo
919 }
920 \end{verbatim}
921 \normalsize
922
923    if {\bf /home/abc/fifo} is a fifo device, Bacula will open the fifo,
924    read it, and store all data thus obtained on the Volume.  Please note,
925    you must have a process on the system that is writing into the fifo, or
926    Bacula will hang, and after one minute of waiting, Bacula will give up
927    and go on to the next file.  The data read can be anything since Bacula
928    treats it as a stream.
929
930    This feature can be an excellent way to do a "hot" backup of a very
931    large database.  You can use the {\bf RunBeforeJob} to create the fifo
932    and to start a program that dynamically reads your database and writes
933    it to the fifo.  Bacula will then write it to the Volume.  Be sure to
934    read the \ilink{readfifo section}{readfifo} that gives a
935    tip to ensure that the RunBeforeJob does not block Bacula.
936
937    During the restore operation, the inverse is true, after Bacula creates
938    the fifo if there was any data stored with it (no need to explicitly
939    list it or add any options), that data will be written back to the fifo.
940    As a consequence, if any such FIFOs exist in the fileset to be restored,
941    you must ensure that there is a reader program or Bacula will block, and
942    after one minute, Bacula will time out the write to the fifo and move on
943    to the next file.
944
945 \item A file-list may not contain wild-cards. Use directives in the
946    Options resource if you wish to specify wild-cards or regular expression
947    matching.
948 \end{itemize}
949
950 \subsubsection*{FileSet Examples}
951 \index[general]{Examples!FileSet }
952 \index[general]{FileSet Examples}
953 \addcontentsline{toc}{subsection}{FileSet Examples}
954
955 The following is an example of a valid FileSet resource definition.  Note,
956 the first Include pulls in the contents of the file {\bf /etc/backup.list}
957 when Bacula is started (i.e.  the @), and that file must have each filename
958 to be backed up preceded by a {\bf File =} and on a separate line.
959
960 \footnotesize
961 \begin{verbatim}
962 FileSet {
963   Name = "Full Set"
964   Include {
965     Options {
966       Compression=GZIP
967       signature=SHA1
968       Sparse = yes
969     }
970     @/etc/backup.list
971   }
972   Include {
973      Options {
974         wildfile = "*.o"
975         wildfile = "*.exe"
976         Exclude = yes
977      }
978      File = /root/myfile
979      File = /usr/lib/another_file
980   }
981 }
982 \end{verbatim}
983 \normalsize
984
985 In the above example, all the files contained in /etc/backup.list will
986 be compressed with GZIP compression, an SHA1 signature will be computed on the
987 file's contents (its data), and sparse file handling will apply. 
988
989 The two directories /root/myfile and /usr/lib/another\_file will also be saved
990 without any options, but all files in those directories with the extensions
991 {\bf .o} and {\bf .exe} will be excluded. 
992
993 Let's say that you now want to exclude the directory /tmp. The simplest way
994 to do so is to add an exclude directive that lists /tmp.  The example
995 above would then become:
996
997 \footnotesize 
998 \begin{verbatim}
999 FileSet {
1000   Name = "Full Set"
1001   Include {
1002     Options {
1003       Compression=GZIP
1004       signature=SHA1
1005       Sparse = yes
1006     }
1007     @/etc/backup.list
1008   }
1009   Include {
1010      Options {
1011         wildfile = "*.o"
1012         wildfile = "*.exe"
1013         Exclude = yes
1014      }
1015      File = /root/myfile
1016      File = /usr/lib/another_file
1017   }
1018   Exclude {
1019      File = /tmp
1020   }
1021 }
1022 \end{verbatim}
1023 \normalsize
1024
1025
1026 You can add wild-cards to the File directives listed in the Exclude
1027 directory, but you need to take care because if you exclude a directory,
1028 it and all files and directories below it will also be excluded.
1029
1030 Now lets take a slight variation on the above and suppose
1031 you want to save all your whole filesystem except {\bf /tmp}. 
1032 The problem that comes up is that Bacula will not normally
1033 cross from one filesystem to another.
1034 Doing a {\bf df} command, you get the following output: 
1035
1036 \footnotesize
1037 \begin{verbatim}
1038 [kern@rufus k]$ df
1039 Filesystem      1k-blocks      Used Available Use% Mounted on
1040 /dev/hda5         5044156    439232   4348692  10% /
1041 /dev/hda1           62193      4935     54047   9% /boot
1042 /dev/hda9        20161172   5524660  13612372  29% /home
1043 /dev/hda2           62217      6843     52161  12% /rescue
1044 /dev/hda8         5044156     42548   4745376   1% /tmp
1045 /dev/hda6         5044156   2613132   2174792  55% /usr
1046 none               127708         0    127708   0% /dev/shm
1047 //minimatou/c$   14099200   9895424   4203776  71% /mnt/mmatou
1048 lmatou:/          1554264    215884   1258056  15% /mnt/matou
1049 lmatou:/home      2478140   1589952    760072  68% /mnt/matou/home
1050 lmatou:/usr       1981000   1199960    678628  64% /mnt/matou/usr
1051 lpmatou:/          995116    484112    459596  52% /mnt/pmatou
1052 lpmatou:/home    19222656   2787880  15458228  16% /mnt/pmatou/home
1053 lpmatou:/usr      2478140   2038764    311260  87% /mnt/pmatou/usr
1054 deuter:/          4806936     97684   4465064   3% /mnt/deuter
1055 deuter:/home      4806904    280100   4282620   7% /mnt/deuter/home
1056 deuter:/files    44133352  27652876  14238608  67% /mnt/deuter/files
1057 \end{verbatim}
1058 \normalsize
1059
1060 And we see that there are a number of separate filesystems (/ /boot
1061 /home /rescue /tmp and /usr not to mention mounted systems).
1062 If you specify only {\bf /} in your Include list, Bacula will only save the
1063 Filesystem {\bf /dev/hda5}. To save all filesystems except {\bf /tmp} with
1064 out including any of the Samba or NFS mounted systems, and explicitly
1065 excluding a /tmp, /proc, .journal, and .autofsck, which you will not want to
1066 be saved and restored, you can use the following: 
1067
1068 \footnotesize
1069 \begin{verbatim}
1070 FileSet {
1071   Name = Include_example
1072   Include {
1073     Options {
1074        wilddir = /proc
1075        wilddir = /tmp
1076        wildfile = "/.journal"
1077        wildfile = "/.autofsck"
1078        exclude = yes
1079     }
1080     File = /
1081     File = /boot
1082     File = /home
1083     File = /rescue
1084     File = /usr
1085   }
1086 }
1087 \end{verbatim}
1088 \normalsize
1089
1090 Since /tmp is on its own filesystem and it was not explicitly named in the
1091 Include list, it is not really needed in the exclude list. It is better to
1092 list it in the Exclude list for clarity, and in case the disks are changed so
1093 that it is no longer in its own partition. 
1094
1095 Now, lets assume you only want to backup .Z and .gz files and nothing 
1096 else. This is a bit trickier because Bacula by default will select 
1097 everything to backup, so we must exclude everything but .Z and .gz files.
1098 If we take the first example above and make the obvious modifications
1099 to it, we might come up with a FileSet that looks like this:
1100
1101 \footnotesize 
1102 \begin{verbatim}
1103 FileSet {
1104   Name = "Full Set"
1105   Include {                    !!!!!!!!!!!!
1106      Options {                    This
1107         wildfile = "*.Z"          example
1108         wildfile = "*.gz"         doesn't
1109                                   work
1110      }                          !!!!!!!!!!!!
1111      File = /myfile
1112   }
1113 }
1114 \end{verbatim}
1115 \normalsize
1116
1117 The *.Z and *.gz files will indeed be backed up, but all other files
1118 that are not matched by the Options directives will automatically
1119 be backed up too (i.e. that is the default rule).
1120
1121 To accomplish what we want, we must explicitly exclude all other files.
1122 We do this with the following:
1123
1124 \footnotesize
1125 \begin{verbatim}
1126 FileSet {
1127   Name = "Full Set"
1128   Include {
1129      Options {
1130         wildfile = "*.Z"
1131         wildfile = "*.gz"
1132      }
1133      Options {
1134         Exclude = yes
1135         RegexFile = ".*"
1136      }
1137      File = /myfile
1138   }
1139 }
1140 \end{verbatim}
1141 \normalsize
1142
1143 The "trick" here was to add a RegexFile expression that matches
1144 all files. It does not match directory names, so all directories in
1145 /myfile will be backed up (the directory entry) and any *.Z and *.gz
1146 files contained in them. If you know that certain directories do
1147 not contain any *.Z or *.gz files and you do not want the directory
1148 entries backed up, you will need to explicitly exclude those directories.
1149 Backing up a directory entries is not very expensive.
1150
1151 Bacula uses the system regex library and some of them are
1152 different on different OSes. The above has been reported not to work
1153 on FreeBSD. This can be tested by using the {\bf estimate job=job-name
1154 listing} command in the console and adapting the RegexFile expression
1155 appropriately. In a future version of Bacula, we will supply our own
1156 Regex code to avoid such system dependencies.
1157
1158 Please be aware that allowing Bacula to traverse or change file systems can be
1159 {\bf very} dangerous. For example, with the following: 
1160
1161 \footnotesize
1162 \begin{verbatim}
1163 FileSet {
1164   Name = "Bad example"
1165   Include {
1166     Options { onefs=no }
1167     File = /mnt/matou
1168   }
1169 }
1170 \end{verbatim}
1171 \normalsize
1172
1173 you will be backing up an NFS mounted partition ({\bf /mnt/matou}), and since
1174 {\bf onefs} is set to {\bf no}, Bacula will traverse file systems. Now if {\bf
1175 /mnt/matou} has the current machine's file systems mounted, as is often the
1176 case, you will get yourself into a recursive loop and the backup will never
1177 end. 
1178
1179 As a final example, let's say that you have only one or two 
1180 subdirectories of /home that you want to backup.  For example,
1181 you want to backup only subdirectories beginning with the letter
1182 a and the letter b -- i.e. /home/a* and /home/b*.  Now, you might first
1183 try:
1184 \footnotesize
1185 \begin{verbatim}
1186 FileSet {
1187   Name = "Full Set"
1188   Include {
1189      Options {
1190         wilddir = "/home/a*"
1191         wilddir = "/home/b*"
1192      }
1193      File = /home
1194   }
1195 }
1196 \end{verbatim}
1197 \normalsize
1198
1199 The problem is that the above will include everything in /home.  To get
1200 things to work correctly, you need to start with the idea of exclusion
1201 instead of inclusion.  So, you could simply exclude all directories
1202 except the two you want to use:
1203 \footnotesize
1204 \begin{verbatim}
1205 FileSet {
1206   Name = "Full Set"
1207   Include {
1208      Options {
1209         RegexDir = "^/home/[c-z]"
1210         exclude = yes
1211      }
1212      File = /home
1213   }
1214 }
1215 \end{verbatim}
1216 \normalsize
1217
1218 And assuming that all subdirectories start with a lowercase letter, this
1219 would work.
1220
1221 An alternative would be to include the two subdirectories desired and
1222 exclude everything else:
1223 \footnotesize
1224 \begin{verbatim}
1225 FileSet {
1226   Name = "Full Set"
1227   Include {
1228      Options {
1229         wilddir = "/home/a*"
1230         wilddir = "/home/b*"
1231      }
1232      Options {
1233         RegexDir = ".*"
1234         exclude = yes
1235      }
1236      File = /home
1237   }
1238 }
1239 \end{verbatim}
1240 \normalsize
1241
1242 \subsubsection*{Backing up Raw Partitions}
1243 \index[general]{Backing up!Partitions }
1244 \index[general]{Backing up Raw Partitions }
1245 \addcontentsline{toc}{subsection}{Backing up Raw Partitions}
1246
1247 The following FileSet definition will backup a raw partition: 
1248
1249 \footnotesize
1250 \begin{verbatim}
1251 FileSet {
1252   Name = "RawPartition"
1253   Include {
1254     Options { sparse=yes }
1255     File = /dev/hda2
1256   }
1257 }
1258 \end{verbatim}
1259 \normalsize
1260
1261 While backing up and restoring a raw partition, you should ensure that no
1262 other process including the system is writing to that partition. As a
1263 precaution, you are strongly urged to ensure that the raw partition is not
1264 mounted or is mounted read-only. If necessary, this can be done using the {\bf
1265 RunBeforeJob} directive. 
1266
1267
1268 \subsubsection*{Excluding Files and Directories}
1269 \index[general]{Directories!Excluding Files and }
1270 \index[general]{Excluding Files and Directories }
1271 \addcontentsline{toc}{subsubsection}{Excluding Files and Directories}
1272
1273 You may also include full filenames or directory names in addition to using
1274 wild-cards and {\bf Exclude=yes} in the Options resource as specified above by
1275 simply including the files to be excluded in an Exclude resource within the
1276 FileSet. For example: 
1277
1278 \footnotesize
1279 \begin{verbatim}
1280 FileSet {
1281   Name = Exclusion_example
1282   Include {
1283     Options {
1284       Signature = SHA1
1285     }
1286     File = /
1287     File = /boot
1288     File = /home
1289     File = /rescue
1290     File = /usr
1291   }
1292   Exclude {
1293     File = /proc
1294     File = /tmp
1295     File = .journal
1296     File = .autofsck
1297   }
1298 }
1299 \end{verbatim}
1300 \normalsize
1301
1302 \label{win32}
1303 \subsubsection*{Windows FileSets}
1304 \index[general]{Windows FileSets }
1305 \index[general]{FileSets!Windows }
1306 \addcontentsline{toc}{subsection}{Windows FileSets}
1307 If you are entering Windows file names, the directory path may be preceded by
1308 the drive and a colon (as in c:). However, the path separators must be
1309 specified in Unix convention (i.e. forward slash (/)). If you wish to include
1310 a quote in a file name, precede the quote with a backslash
1311 (\textbackslash{}). For example you might use the following
1312 for a Windows machine to backup the "My Documents" directory: 
1313
1314 \footnotesize
1315 \begin{verbatim}
1316 FileSet {
1317   Name = "Windows Set"
1318   Include {
1319     Options {
1320        WildFile = "*.obj"
1321        WildFile = "*.exe"
1322        exclude = yes
1323      }
1324      File = "c:/My Documents"
1325   }
1326 }
1327 \end{verbatim}
1328 \normalsize
1329
1330 For exclude lists to work correctly on Windows, you must observe the following
1331 rules: 
1332
1333 \begin{itemize}
1334 \item Filenames are case sensitive, so you must use the correct case.  
1335 \item To 2~exclude a directory, you must not have a trailing slash on the 
1336    directory name.  
1337 \item I2~f you have spaces in your filename, you must enclose the entire name 
1338    in double-quote characters ("). Trying to use a backslash before  the space
1339    will not work.  
1340 \item If you are using the old Exclude syntax (noted below), you may not
1341    specify a drive letter in the exclude.  The new syntax noted above
1342    should work fine including driver letters.
1343 \end{itemize}
1344
1345 Thanks to Thiago Lima for summarizing the above items for us. If you are
1346 having difficulties getting includes or excludes to work, you might want to
1347 try using the {\bf estimate job=xxx listing} command documented in the 
1348 \ilink{Console chapter}{estimate} of this manual. 
1349
1350 On Win32 systems, if you move a directory or file or rename a file into the
1351 set of files being backed up, and a Full backup has already been made, Bacula
1352 will not know there are new files to be saved during an Incremental or
1353 Differential backup (blame Microsoft, not me). To avoid this problem, please
1354 {\bf copy} any new directory or files into the backup area. If you do not have
1355 enough disk to copy the directory or files, move them, but then initiate a
1356 Full backup. 
1357
1358
1359 \paragraph*{A Windows Example FileSet}
1360 \index[general]{FileSet!Windows Example }
1361 \index[general]{Windows Example FileSet }
1362 \addcontentsline{toc}{paragraph}{Windows Example FileSet}
1363
1364 The following example was contributed by Russell Howe. Please note that
1365 for presentation purposes, the lines beginning with Data and Internet 
1366 have been wrapped and should included on the previous line with one
1367 space.
1368
1369 \footnotesize
1370 \begin{verbatim}
1371 This is my Windows 2000 fileset:
1372 FileSet {
1373  Name = "Windows 2000"
1374  Include {
1375   Options {
1376    signature = MD5
1377    Exclude = yes
1378    IgnoreCase = yes
1379    # Exclude Mozilla-based programs' file caches
1380    WildDir = "[A-Z]:/Documents and Settings/*/Application 
1381 Data/*/Profiles/*/*/Cache"
1382    WildDir = "[A-Z]:/Documents and Settings/*/Application 
1383 Data/*/Profiles/*/*/Cache.Trash"
1384    WildDir = "[A-Z]:/Documents and Settings/*/Application
1385 Data/*/Profiles/*/*/ImapMail"
1386
1387    # Exclude user's registry files - they're always in use anyway.
1388    WildFile = "[A-Z]:/Documents and Settings/*/Local Settings/Application
1389 Data/Microsoft/Windows/usrclass.*"
1390    WildFile = "[A-Z]:/Documents and Settings/*/ntuser.*"
1391
1392    # Exclude directories full of lots and lots of useless little files
1393    WildDir = "[A-Z]:/Documents and Settings/*/Cookies"
1394    WildDir = "[A-Z]:/Documents and Settings/*/Recent"
1395    WildDir = "[A-Z]:/Documents and Settings/*/Local Settings/History"
1396    WildDir = "[A-Z]:/Documents and Settings/*/Local Settings/Temp"
1397    WildDir = "[A-Z]:/Documents and Settings/*/Local Settings/Temporary
1398 Internet Files"
1399
1400    # These are always open and unable to be backed up
1401    WildFile = "[A-Z]:/Documents and Settings/All Users/Application
1402 Data/Microsoft/Network/Downloader/qmgr[01].dat"
1403
1404    # Some random bits of Windows we want to ignore
1405    WildFile = "[A-Z]:/WINNT/security/logs/scepol.log"
1406    WildDir = "[A-Z]:/WINNT/system32/config"
1407    WildDir = "[A-Z]:/WINNT/msdownld.tmp"
1408    WildDir = "[A-Z]:/WINNT/Internet Logs"
1409    WildDir = "[A-Z]:/WINNT/$Nt*Uninstall*"
1410    WildDir = "[A-Z]:/WINNT/sysvol"
1411    WildFile = "[A-Z]:/WINNT/cluster/CLUSDB"
1412    WildFile = "[A-Z]:/WINNT/cluster/CLUSDB.LOG"
1413    WildFile = "[A-Z]:/WINNT/NTDS/edb.log"
1414    WildFile = "[A-Z]:/WINNT/NTDS/ntds.dit"
1415    WildFile = "[A-Z]:/WINNT/NTDS/temp.edb"
1416    WildFile = "[A-Z]:/WINNT/ntfrs/jet/log/edb.log"
1417    WildFile = "[A-Z]:/WINNT/ntfrs/jet/ntfrs.jdb"
1418    WildFile = "[A-Z]:/WINNT/ntfrs/jet/temp/tmp.edb"
1419    WildFile = "[A-Z]:/WINNT/system32/CPL.CFG"
1420    WildFile = "[A-Z]:/WINNT/system32/dhcp/dhcp.mdb"
1421    WildFile = "[A-Z]:/WINNT/system32/dhcp/j50.log"
1422    WildFile = "[A-Z]:/WINNT/system32/dhcp/tmp.edb"
1423    WildFile = "[A-Z]:/WINNT/system32/LServer/edb.log"
1424    WildFile = "[A-Z]:/WINNT/system32/LServer/TLSLic.edb"
1425    WildFile = "[A-Z]:/WINNT/system32/LServer/tmp.edb"
1426    WildFile = "[A-Z]:/WINNT/system32/wins/j50.log"
1427    WildFile = "[A-Z]:/WINNT/system32/wins/wins.mdb"
1428    WildFile = "[A-Z]:/WINNT/system32/wins/winstmp.mdb"
1429
1430    # Temporary directories & files
1431    WildDir = "[A-Z]:/WINNT/Temp"
1432    WildDir = "[A-Z]:/temp"
1433    WildFile = "*.tmp"
1434    WildDir = "[A-Z]:/tmp"
1435    WildDir = "[A-Z]:/var/tmp"
1436
1437    # Recycle bins
1438    WildDir = "[A-Z]:/RECYCLER"
1439
1440    # Swap files
1441    WildFile = "[A-Z]:/pagefile.sys"
1442
1443    # These are programs and are easier to reinstall than restore from
1444    # backup
1445    WildDir = "[A-Z]:/cygwin"
1446    WildDir = "[A-Z]:/Program Files/Grisoft"
1447    WildDir = "[A-Z]:/Program Files/Java"
1448    WildDir = "[A-Z]:/Program Files/Java Web Start"
1449    WildDir = "[A-Z]:/Program Files/JavaSoft"
1450    WildDir = "[A-Z]:/Program Files/Microsoft Office"
1451    WildDir = "[A-Z]:/Program Files/Mozilla Firefox"
1452    WildDir = "[A-Z]:/Program Files/Mozilla Thunderbird"
1453    WildDir = "[A-Z]:/Program Files/mozilla.org"
1454    WildDir = "[A-Z]:/Program Files/OpenOffice*"
1455   }
1456
1457   # Our Win2k boxen all have C: and D: as the main hard drives.
1458   File = "C:/"
1459   File = "D:/"
1460  }
1461 }
1462 \end{verbatim}
1463 \normalsize
1464
1465 Note, the three line of the above Exclude were split to fit on the document
1466 page, they should be written on a single line in real use. 
1467
1468 \paragraph*{Windows NTFS Naming Considerations}
1469 \index[general]{Windows NTFS Naming Considerations }
1470 \index[general]{Considerations!Windows NTFS Naming }
1471 \addcontentsline{toc}{paragraph}{Windows NTFS Naming Considerations}
1472
1473 NTFS filenames containing Unicode characters should now be supported
1474 as of version 1.37.30 or later.
1475
1476 \subsubsection*{Testing Your FileSet}
1477 \index[general]{FileSet!Testing Your }
1478 \index[general]{Testing Your FileSet }
1479 \addcontentsline{toc}{subsection}{Testing Your FileSet}
1480
1481 If you wish to get an idea of what your FileSet will really backup or if your
1482 exclusion rules will work correctly, you can test it by using the {\bf
1483 estimate} command in the Console program. See the 
1484 \ilink{estimate command}{estimate} in the Console chapter of this
1485 manual.
1486
1487 As an example, suppose you add the following test FileSet:
1488
1489 \footnotesize
1490 \begin{verbatim}
1491 FileSet {
1492   Name = Test
1493   Include {
1494     File = /home/xxx/test
1495     Options {
1496        regex = ".*\.c$"
1497     }
1498   }
1499 }
1500 \end{verbatim}
1501 \normalsize
1502
1503 You could then add some test files to the directory {\bf /home/xxx/test}
1504 and use the following command in the console:
1505
1506 \footnotesize
1507 \begin{verbatim}
1508 estimate job=<any-job-name> listing client=<desired-client> fileset=Test
1509 \end{verbatim}
1510 \normalsize
1511
1512 to give you a listing of all files that match.