]> git.sur5r.net Git - bacula/docs/blob - docs/manual/progs.tex
updates
[bacula/docs] / docs / manual / progs.tex
1 %%
2 %%
3
4 \chapter{Volume Utility Tools}
5 \label{_UtilityChapter}
6 \index[general]{Volume Utility Tools}
7 \index[general]{Tools!Volume Utility}
8
9 This document describes the utility programs written to aid Bacula users and
10 developers in dealing with Volumes external to Bacula. 
11
12 \section{Specifying the Configuration File}
13 \index[general]{Specifying the Configuration File}
14
15 Starting with version 1.27, each of the following programs requires a valid
16 Storage daemon configuration file (actually, the only part of the
17 configuration file that these programs need is the {\bf Device} resource
18 definitions). This permits the programs to find the configuration parameters
19 for your archive device (generally a tape drive). By default, they read {\bf
20 bacula-sd.conf} in the current directory, but you may specify a different
21 configuration file using the {\bf -c} option. 
22
23
24 \section{Specifying a Device Name For a Tape}
25 \index[general]{Tape!Specifying a Device Name For a}
26 \index[general]{Specifying a Device Name For a Tape}
27
28 Each of these programs require a {\bf device-name} where the Volume can be
29 found. In the case of a tape, this is the physical device name such as {\bf
30 /dev/nst0} or {\bf /dev/rmt/0ubn} depending on your system. For the program to
31 work, it must find the identical name in the Device resource of the
32 configuration file. See below for specifying Volume names. 
33
34 Please note that if you have Bacula running and you ant to use
35 one of these programs, you will either need to stop the Storage daemon, or
36 {\bf unmount} any tape drive you want to use, otherwise the drive
37 will {\bf busy} because Bacula is using it.
38
39
40 \section{Specifying a Device Name For a File}
41 \index[general]{File!Specifying a Device Name For a}
42 \index[general]{Specifying a Device Name For a File}
43
44 If you are attempting to read or write an archive file rather than a tape, the
45 {\bf device-name} should be the full path to the archive location including
46 the filename. The filename (last part of the specification) will be stripped
47 and used as the Volume name, and the path (first part before the filename)
48 must have the same entry in the configuration file. So, the path is equivalent
49 to the archive device name, and the filename is equivalent to the volume name.
50
51
52 \section{Specifying Volumes}
53 \index[general]{Volumes!Specifying}
54 \index[general]{Specifying Volumes}
55
56 In general, you must specify the Volume name to each of the programs below
57 (with the exception of {\bf btape}). The best method to do so is to specify a
58 {\bf bootstrap} file on the command line with the {\bf -b} option. As part of
59 the bootstrap file, you will then specify the Volume name or Volume names if
60 more than one volume is needed. For example, suppose you want to read tapes
61 {\bf tape1} and {\bf tape2}. First construct a {\bf bootstrap} file named say,
62 {\bf list.bsr} which contains: 
63
64 \footnotesize
65 \begin{verbatim}
66 Volume=test1|test2
67 \end{verbatim}
68 \normalsize
69
70 where each Volume is separated by a vertical bar. Then simply use: 
71
72 \footnotesize
73 \begin{verbatim}
74 ./bls -b list.bsr /dev/nst0
75 \end{verbatim}
76 \normalsize
77
78 In the case of Bacula Volumes that are on files, you may simply append volumes
79 as follows: 
80
81 \footnotesize
82 \begin{verbatim}
83 ./bls /tmp/test1\|test2
84 \end{verbatim}
85 \normalsize
86
87 where the backslash (\textbackslash{}) was necessary as a shell escape to
88 permit entering the vertical bar (|). 
89
90 And finally, if you feel that specifying a Volume name is a bit complicated
91 with a bootstrap file, you can use the {\bf -V} option (on all programs except
92 {\bf bcopy}) to specify one or more Volume names separated by the vertical bar
93 (|). For example, 
94
95 \footnotesize
96 \begin{verbatim}
97 ./bls -V Vol001 /dev/nst0
98 \end{verbatim}
99 \normalsize
100
101 You may also specify an asterisk (*) to indicate that the program should
102 accept any volume. For example: 
103
104 \footnotesize
105 \begin{verbatim}
106 ./bls -V* /dev/nst0
107 \end{verbatim}
108 \normalsize
109
110 \section{bls}
111 \label{bls}
112 \index[general]{bls}
113 \index[general]{program!bls}
114
115 {\bf bls} can be used to do an {\bf ls} type listing of a {\bf Bacula} tape or
116 file. It is called: 
117
118 \footnotesize
119 \begin{verbatim}
120 Usage: bls [options] <device-name>
121        -b <file>       specify a bootstrap file
122        -c <file>       specify a config file
123        -d <level>      specify debug level
124        -e <file>       exclude list
125        -i <file>       include list
126        -j              list jobs
127        -k              list blocks
128     (no j or k option) list saved files
129        -L              dump label
130        -p              proceed inspite of errors
131        -v              be verbose
132        -V              specify Volume names (separated by |)
133        -?              print this message
134 \end{verbatim}
135 \normalsize
136
137 For example, to list the contents of a tape: 
138
139 \footnotesize
140 \begin{verbatim}
141 ./bls -V Volume-name /dev/nst0
142 \end{verbatim}
143 \normalsize
144
145 Or to list the contents of a file: 
146
147 \footnotesize
148 \begin{verbatim}
149 ./bls /tmp/Volume-name
150 or
151 ./bls -V Volume-name /tmp
152 \end{verbatim}
153 \normalsize
154
155 Note that, in the case of a file, the Volume name becomes the filename, so in
156 the above example, you will replace the {\bf xxx} with the name of the volume
157 (file) you wrote. 
158
159 Normally if no options are specified, {\bf bls} will produce the equivalent
160 output to the {\bf ls -l} command for each file on the tape. Using other
161 options listed above, it is possible to display only the Job records, only the
162 tape blocks, etc. For example: 
163
164 \footnotesize
165 \begin{verbatim}
166  
167 ./bls /tmp/File002
168 bls: butil.c:148 Using device: /tmp
169 drwxrwxr-x   3 k  k  4096 02-10-19 21:08  /home/kern/bacula/k/src/dird/
170 drwxrwxr-x   2 k  k  4096 02-10-10 18:59  /home/kern/bacula/k/src/dird/CVS/
171 -rw-rw-r--   1 k  k    54 02-07-06 18:02  /home/kern/bacula/k/src/dird/CVS/Root
172 -rw-rw-r--   1 k  k    16 02-07-06 18:02  /home/kern/bacula/k/src/dird/CVS/Repository
173 -rw-rw-r--   1 k  k  1783 02-10-10 18:59  /home/kern/bacula/k/src/dird/CVS/Entries
174 -rw-rw-r--   1 k  k 97506 02-10-18 21:07  /home/kern/bacula/k/src/dird/Makefile
175 -rw-r--r--   1 k  k  3513 02-10-18 21:02  /home/kern/bacula/k/src/dird/Makefile.in
176 -rw-rw-r--   1 k  k  4669 02-07-06 18:02  /home/kern/bacula/k/src/dird/README-config
177 -rw-r--r--   1 k  k  4391 02-09-14 16:51  /home/kern/bacula/k/src/dird/authenticate.c
178 -rw-r--r--   1 k  k  3609 02-07-07 16:41  /home/kern/bacula/k/src/dird/autoprune.c
179 -rw-rw-r--   1 k  k  4418 02-10-18 21:03  /home/kern/bacula/k/src/dird/bacula-dir.conf
180 ...
181 -rw-rw-r--   1 k  k    83 02-08-31 19:19  /home/kern/bacula/k/src/dird/.cvsignore
182 bls: Got EOF on device /tmp
183 84 files found.
184 \end{verbatim}
185 \normalsize
186
187 \subsection{Listing Jobs}
188 \index[general]{Listing Jobs with bls}
189 \index[general]{bls!Listing Jobs}
190
191 If you are listing a Volume to determine what Jobs to restore, normally the
192 {\bf -j} option provides you with most of what you will need as long as you
193 don't have multiple clients. For example, 
194
195 \footnotesize
196 \begin{verbatim}
197 ./bls -j -V Test1 -c stored.conf DDS-4
198 bls: butil.c:258 Using device: "DDS-4" for reading.
199 11-Jul 11:54 bls: Ready to read from volume "Test1" on device "DDS-4" (/dev/nst0).
200 Volume Record: File:blk=0:1 SessId=4 SessTime=1121074625 JobId=0 DataLen=165
201 Begin Job Session Record: File:blk=0:2 SessId=4 SessTime=1121074625 JobId=1 Level=F Type=B
202 Begin Job Session Record: File:blk=0:3 SessId=5 SessTime=1121074625 JobId=5 Level=F Type=B
203 Begin Job Session Record: File:blk=0:6 SessId=3 SessTime=1121074625 JobId=2 Level=F Type=B
204 Begin Job Session Record: File:blk=0:13 SessId=2 SessTime=1121074625 JobId=4 Level=F Type=B
205 End Job Session Record: File:blk=0:99 SessId=3 SessTime=1121074625 JobId=2 Level=F Type=B
206    Files=168 Bytes=1,732,978 Errors=0 Status=T
207 End Job Session Record: File:blk=0:101 SessId=2 SessTime=1121074625 JobId=4 Level=F Type=B
208    Files=168 Bytes=1,732,978 Errors=0 Status=T
209 End Job Session Record: File:blk=0:108 SessId=5 SessTime=1121074625 JobId=5 Level=F Type=B
210    Files=168 Bytes=1,732,978 Errors=0 Status=T
211 End Job Session Record: File:blk=0:109 SessId=4 SessTime=1121074625 JobId=1 Level=F Type=B
212    Files=168 Bytes=1,732,978 Errors=0 Status=T
213 11-Jul 11:54 bls: End of Volume at file 1 on device "DDS-4" (/dev/nst0), Volume "Test1"
214 11-Jul 11:54 bls: End of all volumes.
215 \end{verbatim}
216 \normalsize
217
218 shows a full save followed by two incremental saves. 
219
220 Adding the {\bf -v} option will display virtually all information that is
221 available for each record: 
222
223 \subsection{Listing Blocks}
224 \index[general]{Listing Blocks with bls}
225 \index[general]{bls!Listing Blocks}
226
227 Normally, except for debugging purposes, you will not need to list Bacula
228 blocks (the "primitive" unit of Bacula data on the Volume). However, you can
229 do so with: 
230
231 \footnotesize
232 \begin{verbatim}
233 ./bls -k /tmp/File002
234 bls: butil.c:148 Using device: /tmp
235 Block: 1 size=64512
236 Block: 2 size=64512
237 ...
238 Block: 65 size=64512
239 Block: 66 size=19195
240 bls: Got EOF on device /tmp
241 End of File on device
242 \end{verbatim}
243 \normalsize
244
245 By adding the {\bf -v} option, you can get more information, which can be
246 useful in knowing what sessions were written to the volume: 
247
248 \footnotesize
249 \begin{verbatim}
250 ./bls -k -v /tmp/File002
251 Volume Label:
252 Id                : Bacula 0.9 mortal
253 VerNo             : 10
254 VolName           : File002
255 PrevVolName       :
256 VolFile           : 0
257 LabelType         : VOL_LABEL
258 LabelSize         : 147
259 PoolName          : Default
260 MediaType         : File
261 PoolType          : Backup
262 HostName          :
263 Date label written: 2002-10-19 at 21:16
264 Block: 1 blen=64512 First rec FI=VOL_LABEL SessId=1 SessTim=1035062102 Strm=0 rlen=147
265 Block: 2 blen=64512 First rec FI=6 SessId=1 SessTim=1035062102 Strm=DATA rlen=4087
266 Block: 3 blen=64512 First rec FI=12 SessId=1 SessTim=1035062102 Strm=DATA rlen=5902
267 Block: 4 blen=64512 First rec FI=19 SessId=1 SessTim=1035062102 Strm=DATA rlen=28382
268 ...
269 Block: 65 blen=64512 First rec FI=83 SessId=1 SessTim=1035062102 Strm=DATA rlen=1873
270 Block: 66 blen=19195 First rec FI=83 SessId=1 SessTim=1035062102 Strm=DATA rlen=2973
271 bls: Got EOF on device /tmp
272 End of File on device
273 \end{verbatim}
274 \normalsize
275
276 Armed with the SessionId and the SessionTime, you can extract just about
277 anything. 
278
279 If you want to know even more, add a second {\bf -v} to the command line to
280 get a dump of every record in every block. 
281
282 \footnotesize
283 \begin{verbatim}
284 ./bls -k -v -v /tmp/File002
285 bls: block.c:79 Dump block  80f8ad0: size=64512 BlkNum=1
286                Hdrcksum=b1bdfd6d cksum=b1bdfd6d
287 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=VOL_LABEL Strm=0 len=147 p=80f8b40
288 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=SOS_LABEL Strm=-7 len=122 p=80f8be7
289 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=1 Strm=UATTR len=86 p=80f8c75
290 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=2 Strm=UATTR len=90 p=80f8cdf
291 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=3 Strm=UATTR len=92 p=80f8d4d
292 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=3 Strm=DATA len=54 p=80f8dbd
293 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=3 Strm=MD5 len=16 p=80f8e07
294 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=4 Strm=UATTR len=98 p=80f8e2b
295 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=4 Strm=DATA len=16 p=80f8ea1
296 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=4 Strm=MD5 len=16 p=80f8ec5
297 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=5 Strm=UATTR len=96 p=80f8ee9
298 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=5 Strm=DATA len=1783 p=80f8f5d
299 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=5 Strm=MD5 len=16 p=80f9668
300 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=6 Strm=UATTR len=95 p=80f968c
301 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=6 Strm=DATA len=32768 p=80f96ff
302 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=6 Strm=DATA len=32768 p=8101713
303 bls: block.c:79 Dump block  80f8ad0: size=64512 BlkNum=2
304                Hdrcksum=9acc1e7f cksum=9acc1e7f
305 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=6 Strm=contDATA len=4087 p=80f8b40
306 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=6 Strm=DATA len=31970 p=80f9b4b
307 bls: block.c:92    Rec: VId=1 VT=1035062102 FI=6 Strm=MD5 len=16 p=8101841
308 ...
309 \end{verbatim}
310 \normalsize
311
312 \section{bextract}
313 \label{bextract}
314 \index[general]{Bextract}
315 \index[general]{program!bextract}
316
317 If you find yourself using {\bf bextract}, you probably have done
318 something wrong. For example, if you are trying to recover a file
319 but are having problems, please see the \ilink {Restoring When Things Go
320 Wrong}{database_restore} section of the Restore chapter of this manual.
321
322 Normally, you will restore files by running a {\bf Restore} Job from the {\bf
323 Console} program. However, {\bf bextract} can be used to extract a single file
324 or a list of files from a Bacula tape or file. In fact, {\bf bextract} can be
325 a useful tool to restore files to an empty system assuming you are able to
326 boot, you have statically linked {\bf bextract} and you have an appropriate
327 {\bf bootstrap} file. 
328
329 Please note that one of the current limitations of bextract is that it
330 will not restore access control lists (ACL) that have been backed up along
331 with the file data, also the command line length is relatively limited,
332 which means that you cannot enter a huge number of volumes.  If you need to
333 enter more volumes than the command line supports, please use a bootstrap
334 file (see below).
335
336 It is called: 
337
338 \footnotesize
339 \begin{verbatim}
340  
341 Usage: bextract [-d debug_level] <device-name> <directory-to-store-files>
342        -b <file>       specify a bootstrap file
343        -dnn            set debug level to nn
344        -e <file>       exclude list
345        -i <file>       include list
346        -p              proceed inspite of I/O errors
347        -V              specify Volume names (separated by |)
348        -?              print this message
349 \end{verbatim}
350 \normalsize
351
352 where {\bf device-name} is the Archive Device (raw device name or full
353 filename) of the device to be read, and {\bf directory-to-store-files} is a
354 path prefix to prepend to all the files restored. 
355
356 NOTE: On Windows systems, if you specify a prefix of say d:/tmp, any file that
357 would have been restored to {\bf c:/My Documents} will be restored to {\bf
358 d:/tmp/My Documents}. That is, the original drive specification will be
359 stripped. If no prefix is specified, the file will be restored to the original
360 drive. 
361
362 \subsection{Extracting with Include or Exclude Lists}
363 \index[general]{Lists!Extracting with Include or Exclude}
364 \index[general]{Extracting with Include or Exclude Lists}
365
366 Using the {\bf -e} option, you can specify a file containing a list of files
367 to be excluded. Wildcards can be used in the exclusion list. This option will
368 normally be used in conjunction with the {\bf -i} option (see below). Both the
369 {\bf -e} and the {\bf -i} options may be specified at the same time as the
370 {\bf -b} option. The bootstrap filters will be applied first, then the include
371 list, then the exclude list. 
372
373 Likewise, and probably more importantly, with the {\bf -i} option, you can
374 specify a file that contains a list (one file per line) of files and
375 directories to include to be restored. The list must contain the full filename
376 with the path. If you specify a path name only, all files and subdirectories
377 of that path will be restored. If you specify a line containing only the
378 filename (e.g. {\bf my-file.txt}) it probably will not be extracted because
379 you have not specified the full path. 
380
381 For example, if the file {\bf include-list} contains: 
382
383 \footnotesize
384 \begin{verbatim}
385 /home/kern/bacula
386 /usr/local/bin
387 \end{verbatim}
388 \normalsize
389
390 Then the command: 
391
392 \footnotesize
393 \begin{verbatim}
394 ./bextract -i include-list -V Volume /dev/nst0 /tmp
395 \end{verbatim}
396 \normalsize
397
398 will restore from the Bacula archive {\bf /dev/nst0} all files and directories
399 in the backup from {\bf /home/kern/bacula} and from {\bf /usr/local/bin}. The
400 restored files will be placed in a file of the original name under the
401 directory {\bf /tmp} (i.e. /tmp/home/kern/bacula/... and
402 /tmp/usr/local/bin/...). 
403
404 \subsection{Extracting With a Bootstrap File}
405 \index[general]{File!Extracting With a Bootstrap}
406 \index[general]{Extracting With a Bootstrap File}
407
408 The {\bf -b} option is used to specify a {\bf bootstrap} file containing the
409 information needed to restore precisely the files you want. Specifying a {\bf
410 bootstrap} file is optional but recommended because it gives you the most
411 control over which files will be restored. For more details on the {\bf
412 bootstrap} file, please see 
413 \ilink{Restoring Files with the Bootstrap File}{BootstrapChapter}
414 chapter of this document. Note, you may also use a bootstrap file produced by
415 the {\bf restore} command. For example: 
416
417 \footnotesize
418 \begin{verbatim}
419 ./bextract -b bootstrap-file /dev/nst0 /tmp
420 \end{verbatim}
421 \normalsize
422
423 The bootstrap file allows detailed specification of what files you want
424 restored (extracted). You may specify a bootstrap file and include and/or
425 exclude files at the same time. The bootstrap conditions will first be
426 applied, and then each file record seen will be compared to the include and
427 exclude lists. 
428
429 \subsection{Extracting From Multiple Volumes}
430 \index[general]{Volumes!Extracting From Multiple}
431 \index[general]{Extracting From Multiple Volumes}
432
433 If you wish to extract files that span several Volumes, you can specify the
434 Volume names in the bootstrap file or you may specify the Volume names on the
435 command line by separating them with a vertical bar. See the section above
436 under the {\bf bls} program entitled {\bf Listing Multiple Volumes} for more
437 information. The same techniques apply equally well to the {\bf bextract}
438 program or read the \ilink{Bootstrap}{BootstrapChapter}
439 chapter of this document.
440
441 \section{bscan}
442 \label{bscan}
443 \index[general]{bscan}
444 \index[general]{program!bscan}
445
446 If you find yourself using this program, you have probably done something
447 wrong. For example, the best way to recover a lost or damaged Bacula
448 database is to reload the database from using the bootstrap file that
449 was written when you saved it.  
450
451 The {\bf bscan} program can be used to re-create a database (catalog)
452 records from the backup information written to one or more Volumes.  
453 This is normally
454 needed only if one or more Volumes have been pruned or purged from your
455 catalog so that the records on the Volume are no longer in the catalog, or
456 for Volumes that you have archived.
457
458 With some care, it can also be used to synchronize your existing catalog with
459 a Volume. Although we have never seen a case of bscan damaging a
460 catalog, since bscan modifies your catalog, we recommend that
461 you do a simple ASCII backup of your database before running {\bf bscan} just
462 to be sure. See 
463 \ilink{Compacting Your Database}{CompactingMySQL}. 
464
465 {\bf bscan} can also be useful in a disaster recovery situation, after the
466 loss of a hard disk, if you do not have a valid {\bf bootstrap} file for
467 reloading your system, or if a Volume has been recycled but not overwritten,
468 you can use {\bf bscan} to re-create your database, which can then be used to
469 {\bf restore} your system or a file to its previous state. 
470
471 It is called: 
472
473 \footnotesize
474 \begin{verbatim}
475  
476 Usage: bscan [options] <bacula-archive>
477        -b bootstrap   specify a bootstrap file
478        -c <file>      specify configuration file
479        -d <nn>        set debug level to nn
480        -m             update media info in database
481        -n <name>      specify the database name (default bacula)
482        -u <user>      specify database user name (default bacula)
483        -P <password>  specify database password (default none)
484        -h <host>      specify database host (default NULL)
485        -p             proceed inspite of I/O errors
486        -r             list records
487        -s             synchronize or store in database
488        -v             verbose
489        -V <Volumes>   specify Volume names (separated by |)
490        -w <dir>       specify working directory (default from conf file)
491        -?             print this message
492 \end{verbatim}
493 \normalsize
494
495 If you are using MySQL or PostgreSQL, there is no need to supply a working
496 directory since in that case, bscan knows where the databases are. However, if
497 you have provided security on your database, you may need to supply either the
498 database name ({\bf -b} option), the user name ({\bf -u} option), and/or the
499 password ({\bf -p}) options. 
500
501 As an example, let's suppose that you did a backup to Volumes "Vol001" 
502 and "Vol002", then sometime later all records of one or both those
503 Volumes
504 were pruned or purged from the
505 database. By using {\bf bscan} you can recreate the catalog entries for
506 those Volumes and then use the {\bf restore} command in the Console to restore
507 whatever you want. A command something like: 
508
509 \footnotesize
510 \begin{verbatim}
511 bscan -c bacula-sd.conf -v -V Vol001\|Vol002 /dev/nst0
512 \end{verbatim}
513 \normalsize
514
515 will give you an idea of what is going to happen without changing
516 your catalog. Of course, you may need to change the path to the Storage
517 daemon's conf file, the Volume name, and your tape (or disk) device name. This
518 command must read the entire tape, so if it has a lot of data, it may take a
519 long time, and thus you might want to immediately use the command listed
520 below. Note, if you are writing to a disk file, replace the device name with
521 the path to the directory that contains the Volumes. This must correspond to
522 the Archive Device in the conf file. 
523
524 Then to actually write or store the records in the catalog, add the {\bf -s}
525 option as follows: 
526
527 \footnotesize
528 \begin{verbatim}
529  bscan -s -m -c bacula-sd.conf -v -V Vol001\|Vol002 /dev/nst0
530 \end{verbatim}
531 \normalsize
532
533 When writing to the database, if bscan finds existing records, it will
534 generally either update them if something is wrong or leave them alone. Thus
535 if the Volumes you are scanning are all or partially in the catalog already, no
536 harm will be done to that existing data. Any missing data will simply be
537 added. 
538
539 If you have multiple tapes, you should scan them with: 
540
541 \footnotesize
542 \begin{verbatim}
543  bscan -s -m -c bacula-sd.conf -v -V Vol001\|Vol002\|Vol003 /dev/nst0
544 \end{verbatim}
545 \normalsize
546
547 You should, always try to specify the tapes in the order they are written.
548 However, bscan can handle scanning tapes that are not sequential.  Any
549 incomplete records at the end of the tape will simply be ignored in that
550 case.  If you are simply repairing an existing catalog, this may be OK, but
551 if you are creating a new catalog from scratch, it will leave your database
552 in an incorrect state.  If you do not specify all necessary Volumes on a
553 single bscan command, bscan will not be able to correctly restore the
554 records that span two volumes.  In other words, it is much better to
555 specify two or three volumes on a single bscan command rather than run
556 bscan two or three times, each with a single volume.
557
558
559 Note, the restoration process using bscan is not identical to the original
560 creation of the catalog data. This is because certain data such as Client
561 records and other non-essential data such
562 as volume reads, volume mounts, etc is not stored on the Volume, and thus is
563 not restored by bscan. The results of bscanning are, however, perfectly valid,
564 and will permit restoration of any or all the files in the catalog using the
565 normal Bacula console commands.  If you are starting with an empty catalog
566 and expecting bscan to reconstruct it, you may be a bit disappointed, but
567 at a minimum, you must ensure that your bacula-dir.conf file is the same
568 as what it previously was -- that is, it must contain all the appropriate
569 Client resources so that they will be recreated in your new database {\bf
570 before} running bscan. Normally when the Director starts, it will recreate
571 any missing Client records in the catalog.  Another problem you will have
572 is that even if the Volumes (Media records) are recreated in the database,
573 they will not have their autochanger status and slots properly set. As a
574 result, you will need to repair that by using the {\bf update slots}
575 command.  There may be other considerations as well.  Rather than
576 bscanning, you should always attempt to recover you previous catalog
577 backup.
578
579
580 \subsection{Using bscan to Compare a Volume to an existing Catalog}
581 \index[general]{Catalog!Using bscan to Compare a Volume to an existing}
582 \index[general]{Using bscan to Compare a Volume to an existing Catalog}
583
584 If you wish to compare the contents of a Volume to an existing catalog without
585 changing the catalog, you can safely do so if and only if you do {\bf not}
586 specify either the {\bf -m} or the {\bf -s} options. However, at this time
587 (Bacula version 1.26), the comparison routines are not as good or as thorough
588 as they should be, so we don't particularly recommend this mode other than for
589 testing. 
590
591 \subsection{Using bscan to Recreate a Catalog from a Volume}
592 \index[general]{Volume!Using bscan to Recreate a Catalog from a Volume}
593 \index[general]{Using bscan to Recreate a Catalog from a Volume}
594
595 This is the mode for which {\bf bscan} is most useful. You can either {\bf
596 bscan} into a freshly created catalog, or directly into your existing catalog
597 (after having made an ASCII copy as described above). Normally, you should
598 start with a freshly created catalog that contains no data. 
599
600 Starting with a single Volume named {\bf TestVolume1}, you run a command such
601 as: 
602
603 \footnotesize
604 \begin{verbatim}
605 ./bscan -V TestVolume1 -v -s -m -c bacula-sd.conf /dev/nst0
606 \end{verbatim}
607 \normalsize
608
609 If there is more than one volume, simply append it to the first one separating
610 it with a vertical bar. You may need to precede the vertical bar with a
611 forward slash escape the shell -- e.g. {\bf
612 TestVolume1\textbackslash{}|TestVolume2}. The {\bf -v} option was added for
613 verbose output (this can be omitted if desired). The {\bf -s} option that
614 tells {\bf bscan} to store information in the database. The physical device
615 name {\bf /dev/nst0} is specified after all the options. 
616
617 {\bf} For example, after having done a full backup of a directory, then two
618 incrementals, I reinitialized the SQLite database as described above, and
619 using the bootstrap.bsr file noted above, I entered the following command: 
620
621 \footnotesize
622 \begin{verbatim}
623 ./bscan -b bootstrap.bsr -v -s -c bacula-sd.conf /dev/nst0
624 \end{verbatim}
625 \normalsize
626
627 which produced the following output: 
628
629 \footnotesize
630 \begin{verbatim}
631 bscan: bscan.c:182 Using Database: bacula, User: bacula
632 bscan: bscan.c:673 Created Pool record for Pool: Default
633 bscan: bscan.c:271 Pool type "Backup" is OK.
634 bscan: bscan.c:632 Created Media record for Volume: TestVolume1
635 bscan: bscan.c:298 Media type "DDS-4" is OK.
636 bscan: bscan.c:307 VOL_LABEL: OK for Volume: TestVolume1
637 bscan: bscan.c:693 Created Client record for Client: Rufus
638 bscan: bscan.c:769 Created new JobId=1 record for original JobId=2
639 bscan: bscan.c:717 Created FileSet record "Kerns Files"
640 bscan: bscan.c:819 Updated Job termination record for new JobId=1
641 bscan: bscan.c:905 Created JobMedia record JobId 1, MediaId 1
642 bscan: Got EOF on device /dev/nst0
643 bscan: bscan.c:693 Created Client record for Client: Rufus
644 bscan: bscan.c:769 Created new JobId=2 record for original JobId=3
645 bscan: bscan.c:708 Fileset "Kerns Files" already exists.
646 bscan: bscan.c:819 Updated Job termination record for new JobId=2
647 bscan: bscan.c:905 Created JobMedia record JobId 2, MediaId 1
648 bscan: Got EOF on device /dev/nst0
649 bscan: bscan.c:693 Created Client record for Client: Rufus
650 bscan: bscan.c:769 Created new JobId=3 record for original JobId=4
651 bscan: bscan.c:708 Fileset "Kerns Files" already exists.
652 bscan: bscan.c:819 Updated Job termination record for new JobId=3
653 bscan: bscan.c:905 Created JobMedia record JobId 3, MediaId 1
654 bscan: Got EOF on device /dev/nst0
655 bscan: bscan.c:652 Updated Media record at end of Volume: TestVolume1
656 bscan: bscan.c:428 End of Volume. VolFiles=3 VolBlocks=57 VolBytes=10,027,437
657 \end{verbatim}
658 \normalsize
659
660 The key points to note are that {\bf bscan} prints a line when each major
661 record is created. Due to the volume of output, it does not print a line for
662 each file record unless you supply the {\bf -v} option twice or more on the
663 command line. 
664
665 In the case of a Job record, the new JobId will not normally be the same as
666 the original Jobid. For example, for the first JobId above, the new JobId is
667 1, but the original JobId is 2. This is nothing to be concerned about as it is
668 the normal nature of databases. {\bf bscan} will keep everything straight. 
669
670 Although {\bf bscan} claims that it created a Client record for Client: Rufus
671 three times, it was actually only created the first time. This is normal. 
672
673 You will also notice that it read an end of file after each Job (Got EOF on
674 device ...). Finally the last line gives the total statistics for the bscan. 
675
676 If you had added a second {\bf -v} option to the command line, Bacula would
677 have been even more verbose, dumping virtually all the details of each Job
678 record it encountered. 
679
680 Now if you start Bacula and enter a {\bf list jobs} command to the console
681 program, you will get: 
682
683 \footnotesize
684 \begin{verbatim}
685 +-------+----------+------------------+------+-----+----------+----------+---------+
686 | JobId | Name     | StartTime        | Type | Lvl | JobFiles | JobBytes | JobStat |
687 +-------+----------+------------------+------+-----+----------+----------+---------+
688 | 1     | kernsave | 2002-10-07 14:59 | B    | F   | 84       | 4180207  | T       |
689 | 2     | kernsave | 2002-10-07 15:00 | B    | I   | 15       | 2170314  | T       |
690 | 3     | kernsave | 2002-10-07 15:01 | B    | I   | 33       | 3662184  | T       |
691 +-------+----------+------------------+------+-----+----------+----------+---------+
692 \end{verbatim}
693 \normalsize
694
695 which corresponds virtually identically with what the database contained
696 before it was re-initialized and restored with bscan. All the Jobs and Files
697 found on the tape are restored including most of the Media record. The Volume
698 (Media) records restored will be marked as {\bf Full} so that they cannot be
699 rewritten without operator intervention. 
700
701 It should be noted that {\bf bscan} cannot restore a database to the exact
702 condition it was in previously because a lot of the less important information
703 contained in the database is not saved to the tape. Nevertheless, the
704 reconstruction is sufficiently complete, that you can run {\bf restore}
705 against it and get valid results. 
706
707 An interesting aspect of restoring a catalog backup using {\bf bscan} is
708 that the backup was made while Bacula was running and writing to a tape. At
709 the point the backup of the catalog is made, the tape Bacula is writing to
710 will have say 10 files on it, but after the catalog backup is made, there
711 will be 11 files on the tape Bacula is writing.  This there is a difference
712 between what is contained in the backed up catalog and what is actually on
713 the tape.  If after restoring a catalog, you attempt to write on the same
714 tape that was used to backup the catalog, Bacula will detect the difference
715 in the number of files registered in the catalog compared to what is on the
716 tape, and will mark the tape in error.  
717
718 There are two solutions to this problem. The first is possibly the simplest
719 and is to mark the volume as Used before doing any backups.  The second is
720 to manually correct the number of files listed in the Media record of the
721 catalog.  This procedure is documented elsewhere in the manual and involves
722 using the {\bf update volume} command in {\bf bconsole}.
723
724 \subsection{Using bscan to Correct the Volume File Count}
725 \index[general]{Using bscan to Correct the Volume File Count}
726 \index[general]{Count!Using bscan to Correct the Volume File Count}
727
728 If the Storage daemon crashes during a backup Job, the catalog will not be
729 properly updated for the Volume being used at the time of the crash. This
730 means that the Storage daemon will have written say 20 files on the tape, but
731 the catalog record for the Volume indicates only 19 files. 
732
733 Bacula refuses to write on a tape that contains a different number of files
734 from what is in the catalog. To correct this situation, you may run a {\bf
735 bscan} with the {\bf -m} option (but {\bf without} the {\bf -s} option) to
736 update only the final Media record for the Volumes read. 
737
738 \subsection{After bscan}
739 \index[general]{After bscan}
740 \index[general]{Bscan!After}
741
742 If you use {\bf bscan} to enter the contents of the Volume into an existing
743 catalog, you should be aware that the records you entered may be immediately
744 pruned during the next job, particularly if the Volume is very old or had been
745 previously purged. To avoid this, after running {\bf bscan}, you can manually
746 set the volume status (VolStatus) to {\bf Read-Only} by using the {\bf update}
747 command in the catalog. This will allow you to restore from the volume without
748 having it immediately purged. When you have restored and backed up the data,
749 you can reset the VolStatus to {\bf Used} and the Volume will be purged from
750 the catalog. 
751
752 \section{bcopy}
753 \label{bcopy}
754 \index[general]{Bcopy}
755 \index[general]{program!bcopy}
756
757 The {\bf bcopy} program can be used to copy one {\bf Bacula} archive file to
758 another. For example, you may copy a tape to a file, a file to a tape, a file
759 to a file, or a tape to a tape. For tape to tape, you will need two tape
760 drives. (a later version is planned that will buffer it to disk). In the
761 process of making the copy, no record of the information written to the new
762 Volume is stored in the catalog. This means that the new Volume, though it
763 contains valid backup data, cannot be accessed directly from existing catalog
764 entries. If you wish to be able to use the Volume with the Console restore
765 command, for example, you must first bscan the new Volume into the catalog. 
766
767 \subsection{bcopy Command Options}
768 \index[general]{Options!bcopy Command}
769 \index[general]{Bcopy Command Options}
770
771 \footnotesize
772 \begin{verbatim}
773 Usage: bcopy [-d debug_level] <input-archive> <output-archive>
774        -b bootstrap      specify a bootstrap file
775        -c <file>         specify configuration file
776        -dnn              set debug level to nn
777        -i                specify input Volume names (separated by |)
778        -o                specify output Volume names (separated by |)
779        -p                proceed inspite of I/O errors
780        -v                verbose
781        -w dir            specify working directory (default /tmp)
782        -?                print this message
783 \end{verbatim}
784 \normalsize
785
786 By using a {\bf bootstrap} file, you can copy parts of a Bacula archive file
787 to another archive. 
788
789 One of the objectives of this program is to be able to recover as much data as
790 possible from a damaged tape. However, the current version does not yet have
791 this feature. 
792
793 As this is a new program, any feedback on its use would be appreciated. In
794 addition, I only have a single tape drive, so I have never been able to test
795 this program with two tape drives. 
796
797 \section{btape}
798 \label{btape}
799 \index[general]{Btape}
800 \index[general]{program!btape}
801
802 This program permits a number of elementary tape operations via a tty command
803 interface. It works only with tapes and not with other kinds of Bacula
804 storage media (DVD, File, ...).  The {\bf test} command, described below,
805 can be very useful for testing older tape drive compatibility problems.
806 Aside from initial testing of tape drive compatibility with {\bf Bacula},
807 {\bf btape} will be mostly used by developers writing new tape drivers.
808
809 {\bf btape} can be dangerous to use with existing {\bf Bacula} tapes because
810 it will relabel a tape or write on the tape if so requested regardless that
811 the tape may contain valuable data, so please be careful and use it only on
812 blank tapes. 
813
814 To work properly, {\bf btape} needs to read the Storage daemon's configuration
815 file. As a default, it will look for {\bf bacula-sd.conf} in the current
816 directory. If your configuration file is elsewhere, please use the {\bf -c}
817 option to specify where. 
818
819 The physical device name must be specified on the command line, and this
820 same device name must be present in the Storage daemon's configuration file
821 read by {\bf btape} 
822
823 \footnotesize
824 \begin{verbatim}
825 Usage: btape <options> <device_name>
826        -b <file>   specify bootstrap file
827        -c <file>   set configuration file to file
828        -d <nn>     set debug level to nn
829        -p          proceed inspite of I/O errors
830        -s          turn off signals
831        -v          be verbose
832        -?          print this message.
833 \end{verbatim}
834 \normalsize
835
836 \subsection{Using btape to Verify your Tape Drive}
837 \index[general]{Using btape to Verify your Tape Drive}
838 \index[general]{Drive!Using btape to Verify your Tape}
839
840 An important reason for this program is to ensure that a Storage daemon
841 configuration file is defined so that Bacula will correctly read and write
842 tapes. 
843
844 It is highly recommended that you run the {\bf test} command before running
845 your first Bacula job to ensure that the parameters you have defined for your
846 storage device (tape drive) will permit {\bf Bacula} to function properly. You
847 only need to mount a blank tape, enter the command, and the output should be
848 reasonably self explanatory. Please see the 
849 \ilink{Tape Testing}{TapeTestingChapter} Chapter of this manual for
850 the details. 
851
852 \subsection{btape Commands}
853 \index[general]{Btape Commands}
854 \index[general]{Commands!btape}
855
856 The full list of commands are: 
857
858 \footnotesize
859 \begin{verbatim}
860   Command    Description
861   =======    ===========
862   autochanger test autochanger
863   bsf        backspace file
864   bsr        backspace record
865   cap        list device capabilities
866   clear      clear tape errors
867   eod        go to end of Bacula data for append
868   eom        go to the physical end of medium
869   fill       fill tape, write onto second volume
870   unfill     read filled tape
871   fsf        forward space a file
872   fsr        forward space a record
873   help       print this command
874   label      write a Bacula label to the tape
875   load       load a tape
876   quit       quit btape
877   rawfill    use write() to fill tape
878   readlabel  read and print the Bacula tape label
879   rectest    test record handling functions
880   rewind     rewind the tape
881   scan       read() tape block by block to EOT and report
882   scanblocks Bacula read block by block to EOT and report
883   status     print tape status
884   test       General test Bacula tape functions
885   weof       write an EOF on the tape
886   wr         write a single Bacula block
887   rr         read a single record
888   qfill      quick fill command
889 \end{verbatim}
890 \normalsize
891
892 The most useful commands are: 
893
894 \begin{itemize}
895 \item test -- test writing records and EOF marks and  reading them back.  
896 \item fill -- completely fill a volume with records, then  write a few records
897    on a second volume, and finally,  both volumes will be read back. 
898    This command writes blocks containing random data, so your drive will
899    not be able to compress the data, and thus it is a good test of 
900    the real physical capacity of your tapes.              
901 \item readlabel -- read and dump the label on a Bacula tape.  
902 \item cap -- list the device capabilities as defined in the  configuration
903    file and as perceived by the Storage daemon. 
904    \end{itemize}
905
906 The {\bf readlabel} command can be used to display the details of a Bacula
907 tape label. This can be useful if the physical tape label was lost or damaged.
908
909
910 In the event that you want to relabel a {\bf Bacula}, you can simply use the
911 {\bf label} command which will write over any existing label. However, please
912 note for labeling tapes, we recommend that you use the {\bf label} command in
913 the {\bf Console} program since it will never overwrite a valid Bacula tape. 
914
915 \section{Other Programs}
916 \index[general]{Programs!Other}
917 \index[general]{Other Programs}
918
919 The following programs are general utility programs and in general do not need
920 a configuration file nor a device name. 
921
922 \section{bsmtp}
923 \label{bsmtp}
924 \index[general]{Bsmtp}
925 \index[general]{program!bsmtp}
926
927 {\bf bsmtp} is a simple mail transport program that permits more flexibility
928 than the standard mail programs typically found on Unix systems. It can even
929 be used on Windows machines. 
930
931 It is called: 
932
933 \footnotesize
934 \begin{verbatim}
935 Usage: bsmtp [-f from] [-h mailhost] [-s subject] [-c copy] [recipient ...]
936        -c          set the Cc: field
937        -dnn        set debug level to nn
938        -f          set the From: field
939        -h          use mailhost:port as the bsmtp server
940        -l          limit the lines accepted to nn
941        -s          set the Subject: field
942        -?          print this message.
943 \end{verbatim}
944 \normalsize
945
946 If the {\bf -f} option is not specified, {\bf bsmtp} will use your userid. If
947 the option {\bf -h} is not specified {\bf bsmtp} will use the value in the environment
948 variable {\bf bsmtpSERVER} or if there is none {\bf localhost}. By default
949 port 25 is used. 
950
951 If a line count limit is set with the {\bf -l} option, {\bf bsmtp} will
952 not send an email with a body text exceeding that number of lines. This
953 is especially useful for large restore job reports where the list of
954 files restored might produce very long mails your mail-server would
955 refuse or crash. However, be aware that you will probably suppress the
956 job report and any error messages unless you check the log file written
957 by the Director (see the messages resource in this manual for details).
958
959
960 {\bf recipients} is a space separated list of email recipients. 
961
962 The body of the email message is read from standard input. 
963
964 An example of the use of {\bf bsmtp} would be to put the following statement
965 in the {\bf Messages} resource of your {\bf bacula-dir.conf} file. Note, these
966 commands should appear on a single line each. 
967
968 \footnotesize
969 \begin{verbatim}
970   mailcommand = "/home/bacula/bin/bsmtp -h mail.domain.com -f \"\(Bacula\) %r\"
971                  -s \"Bacula: %t %e of %c %l\" %r"
972   operatorcommand = "/home/bacula/bin/bsmtp -h mail.domain.com -f \"\(Bacula\) %r\"
973                     -s \"Bacula: Intervention needed for %j\" %r"
974 \end{verbatim}
975 \normalsize
976
977 Where you replace {\bf /home/bacula/bin} with the path to your {\bf Bacula}
978 binary directory, and you replace {\bf mail.domain.com} with the fully
979 qualified name of your bsmtp (email) server, which normally listens on port
980 25. For more details on the substitution characters (e.g. \%r) used in the
981 above line, please see the documentation of the 
982 \ilink{ MailCommand in the Messages Resource}{mailcommand}
983 chapter of this manual. 
984
985 It is HIGHLY recommended that you test one or two cases by hand to make sure
986 that the {\bf mailhost} that you specified is correct and that it will accept
987 your email requests. Since {\bf bsmtp} always uses a TCP connection rather
988 than writing in the spool file, you may find that your {\bf from} address is
989 being rejected because it does not contain a valid domain, or because your
990 message is caught in your spam filtering rules. Generally, you should specify
991 a fully qualified domain name in the {\bf from} field, and depending on
992 whether your bsmtp gateway is Exim or Sendmail, you may need to modify the
993 syntax of the from part of the message. Please test. 
994
995 When running {\bf bsmtp} by hand, you will need to terminate the message by
996 entering a ctl-d in column 1 of the last line. 
997 % TODO: is "column" the correct terminology for this?
998
999 If you are getting incorrect dates (e.g. 1970) and you are
1000 running with a non-English language setting, you might try adding
1001 a LANG=''en\_US'' immediately before the bsmtp call.
1002
1003 \section{dbcheck}
1004 \label{dbcheck}
1005 \index[general]{Dbcheck}
1006 \index[general]{program!dbcheck}
1007 {\bf dbcheck} is a simple program that will search for logical
1008 inconsistencies in the Bacula tables in your database, and optionally fix them. 
1009 It is a database maintenance routine, in the sense that it can
1010 detect and remove unused rows, but it is not a database repair
1011 routine. To repair a database, see the tools furnished by the
1012 database vendor.  Normally dbcheck should never need to be run,
1013 but if Bacula has crashed or you have a lot of Clients, Pools, or
1014 Jobs that you have removed, it could be useful.  
1015                              
1016 The {\bf dbcheck} program can be found in
1017 the {\bf \lt{}bacula-source\gt{}/src/tools} directory of the source
1018 distribution. Though it is built with the make process, it is not normally
1019 "installed". 
1020
1021 It is called: 
1022
1023 \footnotesize
1024 \begin{verbatim}
1025 Usage: dbcheck [-c config] [-C catalog name] [-d debug_level]
1026 <working-directory> <bacula-database> <user> <password> [<dbhost>]
1027        -b              batch mode
1028        -C              catalog name in the director conf file
1029        -c              director conf filename
1030        -dnn            set debug level to nn
1031        -f              fix inconsistencies
1032        -v              verbose
1033        -?              print this message
1034 \end{verbatim}
1035 \normalsize
1036
1037 If the {\bf -c} option is given with the Director's conf file, there is no
1038 need to enter any of the command line arguments, in particular the working
1039 directory as dbcheck will read them from the file. 
1040
1041 If the {\bf -f} option is specified, {\bf dbcheck} will repair ({\bf fix}) the
1042 inconsistencies it finds. Otherwise, it will report only. 
1043
1044 If the {\bf -b} option is specified, {\bf dbcheck} will run in batch mode, and
1045 it will proceed to examine and fix (if -f is set) all programmed inconsistency
1046 checks. If the {\bf -b} option is not specified, {\bf dbcheck} will enter
1047 interactive mode and prompt with the following: 
1048
1049 \footnotesize
1050 \begin{verbatim}
1051 Hello, this is the database check/correct program.
1052 Please select the function you want to perform.
1053      1) Toggle modify database flag
1054      2) Toggle verbose flag
1055      3) Repair bad Filename records
1056      4) Repair bad Path records
1057      5) Eliminate duplicate Filename records
1058      6) Eliminate duplicate Path records
1059      7) Eliminate orphaned Jobmedia records
1060      8) Eliminate orphaned File records
1061      9) Eliminate orphaned Path records
1062     10) Eliminate orphaned Filename records
1063     11) Eliminate orphaned FileSet records
1064     12) Eliminate orphaned Client records
1065     13) Eliminate orphaned Job records
1066     14) Eliminate all Admin records
1067     15) Eliminate all Restore records
1068     16) All (3-15)
1069     17) Quit
1070 Select function number:
1071 \end{verbatim}
1072 \normalsize
1073
1074 By entering 1 or 2, you can toggle the modify database flag (-f option) and
1075 the verbose flag (-v). It can be helpful and reassuring to turn off the modify
1076 database flag, then select one or more of the consistency checks (items 3
1077 through 9) to see what will be done, then toggle the modify flag on and re-run
1078 the check. 
1079
1080 The inconsistencies examined are the following: 
1081
1082 \begin{itemize}
1083 \item Duplicate filename records. This can happen if you accidentally run  two
1084    copies of Bacula at the same time, and they are both adding  filenames
1085    simultaneously. It is a rare occurrence, but will create  an inconsistent
1086    database. If this is the case, you will receive  error messages during Jobs
1087    warning of duplicate database records.  If you are not getting these error
1088    messages, there is no reason  to run this check. 
1089 \item Repair bad Filename records. This checks and corrects filenames  that
1090    have a trailing slash. They should not.  
1091 \item Repair bad Path records. This checks and corrects path names  that do
1092    not have a trailing slash. They should.  
1093 \item Duplicate path records. This can happen if you accidentally run  two
1094    copies of Bacula at the same time, and they are both adding  filenames
1095    simultaneously. It is a rare occurrence, but will create  an inconsistent
1096    database. See the item above for why this occurs and  how you know it is
1097    happening. 
1098 \item Orphaned JobMedia records. This happens when a Job record is deleted 
1099    (perhaps by a user issued SQL statement), but the corresponding  JobMedia
1100    record (one for each Volume used in the Job) was not deleted.  Normally, this
1101    should not happen, and even if it does, these records  generally do not take
1102    much space in your database. However, by running  this check, you can
1103    eliminate any such orphans.  
1104 \item Orphaned File records. This happens when a Job record is deleted 
1105    (perhaps by a user issued SQL statement), but the corresponding  File record
1106    (one for each Volume used in the Job) was not deleted.  Note, searching for
1107    these records can be {\bf very} time consuming (i.e.  it may take hours) for a
1108    large database. Normally this should not  happen as Bacula takes care to
1109    prevent it. Just the same, this  check can remove any orphaned File records.
1110    It is recommended that  you run this once a year since orphaned File records
1111    can take a  large amount of space in your database. You might
1112    want to ensure that you have indexes on JobId, FilenameId, and
1113    PathId for the File table in your catalog before running this
1114    command.
1115 \item Orphaned Path records. This condition happens any time a directory is 
1116    deleted from your system and all associated Job records have been purged. 
1117    During standard purging (or pruning) of Job records, Bacula does  not check
1118    for orphaned Path records. As a consequence, over a period  of time, old
1119    unused Path records will tend to accumulate and use  space in your database.
1120    This check will eliminate them. It is recommended that you run this
1121    check at least once a year. 
1122 \item Orphaned Filename records. This condition happens any time a file is 
1123    deleted from your system and all associated Job records have been purged. 
1124    This can happen quite frequently as there are quite a large number  of files
1125    that are created and then deleted. In addition, if you  do a system update or
1126    delete an entire directory, there can be  a very large number of Filename
1127    records that remain in the catalog  but are no longer used.  
1128
1129    During standard purging (or pruning) of Job records, Bacula does  not check
1130    for orphaned Filename records. As a consequence, over a period  of time, old
1131    unused Filename records will accumulate and use  space in your database. This
1132    check will eliminate them. It is strongly  recommended that you run this check
1133    at least once a year, and for  large database (more than 200 Megabytes), it is
1134    probably better to  run this once every 6 months.  
1135 \item Orphaned Client records. These records can remain in the database  long
1136    after you have removed a client. 
1137 \item Orphaned Job records. If no client is defined for a job or you  do not
1138    run a job for a long time, you can accumulate old job  records. This option
1139    allow you to remove jobs that are not  attached to any client (and thus
1140    useless).  
1141 \item All Admin records. This command will remove all Admin records, 
1142    regardless of their age.  
1143 \item All Restore records. This command will remove all Restore records, 
1144    regardless of their age. 
1145 \end{itemize}
1146
1147 By the way, I personally run dbcheck only where I have messed up
1148 my database due to a bug in developing Bacula code, so normally
1149 you should never need to run dbcheck in spite of the
1150 recommendations given above, which are given so that users don't
1151 waste their time running dbcheck too often.
1152
1153 \section{bregex}
1154 \label{bregex}
1155 \index[general]{bregex}
1156 \index[general]{program!bregex}
1157
1158 {\bf bregex} is a simple program that will allow you to test 
1159 regular expressions against a file of data. This can be useful
1160 because the regex libraries on most systems differ, and in
1161 addition, regex expressions can be complicated.
1162
1163 {\bf bregex} is found in the src/tools directory and it is 
1164 normally installed with your system binaries. To run it, use:
1165
1166 \begin{verbatim}
1167 Usage: bregex [-d debug_level] -f <data-file>
1168        -f          specify file of data to be matched
1169        -l          suppress line numbers
1170        -n          print lines that do not match
1171        -?          print this message.
1172 \end{verbatim}
1173
1174 The \lt{}data-file\gt{} is a filename that contains lines
1175 of data to be matched (or not) against one or more patterns.
1176 When the program is run, it will prompt you for a regular 
1177 expression pattern, then apply it one line at a time against
1178 the data in the file. Each line that matches will be printed 
1179 preceded by its line number.  You will then be prompted again  
1180 for another pattern.  
1181
1182 Enter an empty line for a pattern to terminate the program. You
1183 can print only lines that do not match by using the -n option,
1184 and you can suppress printing of line numbers with the -l option.
1185
1186 This program can be useful for testing regex expressions to be 
1187 applied against a list of filenames.
1188
1189 \section{bwild}
1190 \label{bwild}
1191 \index[general]{bwild}
1192 \index[general]{program!bwild}
1193
1194 {\bf bwild} is a simple program that will allow you to test 
1195 wild-card expressions against a file of data.
1196
1197 {\bf bwild} is found in the src/tools directory and it is 
1198 normally installed with your system binaries. To run it, use:
1199
1200 \begin{verbatim}
1201 Usage: bwild [-d debug_level] -f <data-file>
1202        -f          specify file of data to be matched
1203        -l          suppress line numbers
1204        -n          print lines that do not match
1205        -?          print this message.
1206 \end{verbatim}
1207
1208 The \lt{}data-file\gt{} is a filename that contains lines
1209 of data to be matched (or not) against one or more patterns.
1210 When the program is run, it will prompt you for a wild-card
1211 pattern, then apply it one line at a time against
1212 the data in the file. Each line that matches will be printed 
1213 preceded by its line number.  You will then be prompted again  
1214 for another pattern.  
1215
1216 Enter an empty line for a pattern to terminate the program. You
1217 can print only lines that do not match by using the -n option,
1218 and you can suppress printing of line numbers with the -l option.
1219
1220 This program can be useful for testing wild expressions to be 
1221 applied against a list of filenames.
1222
1223 \section{testfind}
1224 \label{testfind}
1225 \index[general]{Testfind}
1226 \index[general]{program!testfind}
1227
1228 {\bf testfind} permits listing of files using the same search engine that is
1229 used for the {\bf Include} resource in Job resources. Note, much of the
1230 functionality of this program (listing of files to be included) is present in
1231 the 
1232 \ilink{estimate command}{estimate} in the Console program. 
1233
1234 The original use of testfind was to ensure that Bacula's file search engine
1235 was correct and to print some statistics on file name and path length.
1236 However, you may find it useful to see what bacula would do with a given {\bf
1237 Include} resource. The {\bf testfind} program can be found in the {\bf
1238 \lt{}bacula-source\gt{}/src/tools} directory of the source distribution.
1239 Though it is built with the make process, it is not normally "installed". 
1240
1241 It is called: 
1242
1243 \footnotesize
1244 \begin{verbatim}
1245 Usage: testfind [-d debug_level] [-] [pattern1 ...]
1246        -a          print extended attributes (Win32 debug)
1247        -dnn        set debug level to nn
1248        -           read pattern(s) from stdin
1249        -?          print this message.
1250 Patterns are used for file inclusion -- normally directories.
1251 Debug level>= 1 prints each file found.
1252 Debug level>= 10 prints path/file for catalog.
1253 Errors are always printed.
1254 Files/paths truncated is a number with len> 255.
1255 Truncation is only in the catalog.
1256 \end{verbatim}
1257 \normalsize
1258
1259 Where a pattern is any filename specification that is valid within an {\bf
1260 Include} resource definition. If none is specified, {\bf /} (the root
1261 directory) is assumed. For example: 
1262
1263 \footnotesize
1264 \begin{verbatim}
1265 ./testfind /bin
1266 \end{verbatim}
1267 \normalsize
1268
1269 Would print the following: 
1270
1271 \footnotesize
1272 \begin{verbatim}
1273 Dir: /bin
1274 Reg: /bin/bash
1275 Lnk: /bin/bash2 -> bash
1276 Lnk: /bin/sh -> bash
1277 Reg: /bin/cpio
1278 Reg: /bin/ed
1279 Lnk: /bin/red -> ed
1280 Reg: /bin/chgrp
1281 ...
1282 Reg: /bin/ipcalc
1283 Reg: /bin/usleep
1284 Reg: /bin/aumix-minimal
1285 Reg: /bin/mt
1286 Lnka: /bin/gawk-3.1.0 -> /bin/gawk
1287 Reg: /bin/pgawk
1288 Total files    : 85
1289 Max file length: 13
1290 Max path length: 5
1291 Files truncated: 0
1292 Paths truncated: 0
1293 \end{verbatim}
1294 \normalsize
1295
1296 Even though {\bf testfind} uses the same search engine as {\bf Bacula}, each
1297 directory to be listed, must be entered as a separate command line entry or
1298 entered one line at a time to standard input if the {\bf -} option was
1299 specified. 
1300
1301 Specifying a debug level of one (i.e. {\bf -d1}) on the command line will
1302 cause {\bf testfind} to print the raw filenames without showing the Bacula
1303 internal file type, or the link (if any). Debug levels of 10 or greater cause
1304 the filename and the path to be separated using the same algorithm that is
1305 used when putting filenames into the Catalog database.