]> git.sur5r.net Git - bacula/docs/blob - docs/manuals/en/concepts/restore.tex
Update
[bacula/docs] / docs / manuals / en / concepts / restore.tex
1 %%
2 %%
3 \chapter{The Restore Command}
4 \label{RestoreChapter}
5 \index[general]{Command!Console Restore}
6 \index[general]{Console Restore Command}
7
8 \section{General}
9 \index[general]{General }
10
11 Below, we will discuss restoring files with the Console {\bf restore} command,
12 which is the recommended way of doing restoring files. It is not possible
13 to restore files by automatically starting a job as you do with Backup,
14 Verify, ... jobs.  However, in addition to the console restore command,
15 there is a standalone program named {\bf bextract}, which also permits
16 restoring files.  For more information on this program, please see the
17 \ilink{Bacula Utility Programs}{bextract} chapter of this manual. We 
18 don't particularly recommend the {\bf bextract} program because it
19 lacks many of the features of the normal Bacula restore, such as the 
20 ability to restore Win32 files to Unix systems, and the ability to
21 restore access control lists (ACL).  As a consequence, we recommend,
22 wherever possible to use Bacula itself for restores as described below.
23
24 You may also want to look at the {\bf bls} program in the same chapter,
25 which allows you to list the contents of your Volumes.  Finally, if you
26 have an old Volume that is no longer in the catalog, you can restore the
27 catalog entries using the program named {\bf bscan}, documented in the same
28 \ilink{Bacula Utility Programs}{bscan} chapter.
29
30 In general, to restore a file or a set of files, you must run a {\bf restore}
31 job. That is a job with {\bf Type = Restore}. As a consequence, you will need
32 a predefined {\bf restore} job in your {\bf bacula-dir.conf} (Director's
33 config) file. The exact parameters (Client, FileSet, ...) that you define are
34 not important as you can either modify them manually before running the job or
35 if you use the {\bf restore} command, explained below, Bacula will  
36 automatically set them for you. In fact, you can no longer simply run a restore
37 job.  You must use the restore command.                                  
38
39 Since Bacula is a network backup program, you must be aware that when you
40 restore files, it is up to you to ensure that you or Bacula have selected the
41 correct Client and the correct hard disk location for restoring those files.
42 {\bf Bacula} will quite willingly backup client A, and restore it by sending
43 the files to a different directory on client B. Normally, you will want to
44 avoid this, but assuming the operating systems are not too different in their
45 file structures, this should work perfectly well, if so desired. 
46 By default, Bacula will restore data to the same Client that was backed
47 up, and those data will be restored not to the original places but to
48 {\bf /tmp/bacula-restores}.  You may modify any of these defaults when the
49 restore command prompts you to run the job by selecting the {\bf mod}
50 option.
51
52 \label{Example1}
53 \section{The Restore Command}
54 \index[general]{Command!Restore}
55 \index[general]{Restore Command}
56
57 Since Bacula maintains a catalog of your files and on which Volumes (disk or
58 tape), they are stored, it can do most of the bookkeeping work, allowing you
59 simply to specify what kind of restore you want (current, before a particular
60 date), and what files to restore. Bacula will then do the rest. 
61
62 This is accomplished using the {\bf restore} command in the Console. First you
63 select the kind of restore you want, then the JobIds are selected,
64 the File records for those Jobs are placed in an internal Bacula directory
65 tree, and the restore enters a file selection mode that allows you to
66 interactively walk up and down the file tree selecting individual files to be
67 restored. This mode is somewhat similar to the standard Unix {\bf restore}
68 program's interactive file selection mode. 
69
70 If a Job's file records have been pruned from the catalog, the {\bf
71 restore} command will be unable to find any files to restore.  See below
72 for more details on this.
73
74 Within the Console program, after entering the {\bf restore} command, you are
75 presented with the following selection prompt:  
76
77 \footnotesize
78 \begin{verbatim}
79 First you select one or more JobIds that contain files
80 to be restored. You will be presented several methods
81 of specifying the JobIds. Then you will be allowed to
82 select which files from those JobIds are to be restored.
83 To select the JobIds, you have the following choices:
84      1: List last 20 Jobs run
85      2: List Jobs where a given File is saved
86      3: Enter list of comma separated JobIds to select
87      4: Enter SQL list command
88      5: Select the most recent backup for a client
89      6: Select backup for a client before a specified time
90      7: Enter a list of files to restore
91      8: Enter a list of files to restore before a specified time
92      9: Find the JobIds of the most recent backup for a client
93     10: Find the JobIds for a backup for a client before a specified time
94     11: Enter a list of directories to restore for found JobIds
95     12: Cancel
96 Select item:  (1-12):
97 \end{verbatim}
98 \normalsize
99
100 There are a lot of options, and as a point of reference, most people will
101 want to slect item 5 (the most recent backup for a client). The details
102 of the above options are:
103
104 \begin{itemize}
105 \item Item 1 will list the last 20 jobs run. If you find the Job you want,
106    you can then select item 3 and enter its JobId(s).
107
108 \item Item 2 will list all the Jobs where a specified file is saved.  If you
109    find the Job you want, you can then select item 3 and enter the JobId.
110
111 \item Item 3 allows you the enter a list of comma separated JobIds whose 
112    files will be put into the directory tree. You may then select which
113    files from those JobIds to restore. Normally, you would use this option
114    if you have a particular version of a file that you want to restore and
115    you know its JobId. The most common options (5 and 6) will not select
116    a job that did not terminate normally, so if you know a file is 
117    backed up by a Job that failed (possibly because of a system crash), you
118    can access it through this option by specifying the JobId. 
119
120 \item Item 4 allows you to enter any arbitrary SQL command.  This is
121    probably the most primitive way of finding the desired JobIds, but at
122    the same time, the most flexible.  Once you have found the JobId(s), you
123    can select item 3 and enter them.
124
125 \item Item 5 will automatically select the most recent Full backup and all
126    subsequent incremental and differential backups for a specified Client.
127    These are the Jobs and Files which, if reloaded, will restore your
128    system to the most current saved state.  It automatically enters the
129    JobIds found into the directory tree in an optimal way such that only
130    the most recent copy of any particular file found in the set of Jobs
131    will be restored.  This is probably the most convenient of all the above
132    options to use if you wish to restore a selected Client to its most
133    recent state.
134
135    There are two important things to note. First, this automatic selection
136    will never select a job that failed (terminated with an error status).
137    If you have such a job and want to recover one or more files from it,
138    you will need to explicitly enter the JobId in item 3, then choose the
139    files to restore.
140
141    If some of the Jobs that are needed to do the restore have had their 
142    File records pruned, the restore will be incomplete. Bacula currently
143    does not correctly detect this condition.  You can however, check for
144    this by looking carefully at the list of Jobs that Bacula selects and
145    prints. If you find Jobs with the JobFiles column set to zero, when
146    files should have been backed up, then you should expect problems.
147
148    If all the File records have been pruned, Bacula will realize that there
149    are no file records in any of the JobIds chosen and will inform you. It
150    will then propose doing a full restore (non-selective) of those JobIds.
151    This is possible because Bacula still knows where the beginning of the
152    Job data is on the Volumes, even if it does not know where particular
153    files are located or what their names are.
154
155 \item Item 6 allows you to specify a date and time, after which Bacula  will
156    automatically select the most recent Full backup and all  subsequent
157    incremental and differential backups that started  before the specified date
158    and time.  
159
160 \item Item 7 allows you to specify one or more filenames  (complete path
161    required) to be restored. Each filename  is entered one at a time or if you
162    prefix a filename  with the less-than symbol (\lt{}) Bacula will read that 
163    file and assume it is a list of filenames to be restored.  If you
164    prefix the filename with a question mark (?), then the filename will
165    be interpreted as an SQL table name, and Bacula will include the rows
166    of that table in the list to be restored. The table must contain the
167    JobId in the first column and the FileIndex in the second column. 
168    This table feature is intended for external programs that want to build
169    their own list of files to be restored.
170    The filename entry mode is terminated by entering a  blank line.
171
172 \item Item 8 allows you to specify a date and time before  entering the
173    filenames. See Item 7 above for more  details.
174
175 \item Item 9 allows you find the JobIds of the most recent backup for
176    a client. This is much like option 5 (it uses the same code), but
177    those JobIds are retained internally as if you had entered them
178    manually.  You may then select item 11 (see below) to restore one
179    or more directories.
180
181 \item Item 10 is the same as item 9, except that it allows you to enter
182    a before date (as with item 6). These JobIds will then be retained
183    internally.
184
185 \index[general]{Restore Directories}
186 \item Item 11 allows you to enter a list of JobIds from which you can
187    select directories to be restored. The list of JobIds can have been
188    previously created by using either item 9 or 10 on the menu.  You
189    may then enter a full path to a directory name or a filename preceded
190    by a less than sign (\lt{}). The filename should contain a list
191    of directories to be restored.  All files in those directories will
192    be restored, but if the directory contains subdirectories, nothing
193    will be restored in the subdirectory unless you explicitly enter its
194    name.
195
196 \item Item 12 allows you to cancel the restore command.  
197 \end{itemize}
198
199 As an example, suppose that we select item 5 (restore to most recent state).
200 If you have not specified a client=xxx on the command line, it
201 it will then ask for the desired Client, which on my system, will print all
202 the Clients found in the database as follows:  
203
204 \footnotesize
205 \begin{verbatim}
206 Defined clients:
207      1: Rufus
208      2: Matou
209      3: Polymatou
210      4: Minimatou
211      5: Minou
212      6: MatouVerify
213      7: PmatouVerify
214      8: RufusVerify
215      9: Watchdog
216 Select Client (File daemon) resource (1-9):
217 \end{verbatim}
218 \normalsize
219
220 You will probably have far fewer Clients than this example, and if you have
221 only one Client, it will be automatically selected.  In this case, I enter
222 {\bf Rufus} to select the Client. Then  Bacula needs to know what FileSet is
223 to be restored, so it prompts with:  
224
225 \footnotesize
226 \begin{verbatim}
227 The defined FileSet resources are:
228      1: Full Set
229      2: Other Files
230 Select FileSet resource (1-2):
231 \end{verbatim}
232 \normalsize
233
234 If you have only one FileSet defined for the Client, it will be selected
235 automatically.  I choose item 1, which is my full backup.  Normally, you
236 will only have a single FileSet for each Job, and if your machines are
237 similar (all Linux) you may only have one FileSet for all your Clients.
238
239 At this point, {\bf Bacula} has all the information it needs to find the most
240 recent set of backups. It will then query the database, which may take a bit
241 of time, and it will come up with something like the following. Note, some of
242 the columns are truncated here for presentation: 
243
244 \footnotesize
245 \begin{verbatim}
246 +-------+------+----------+-------------+-------------+------+-------+------------+
247 | JobId | Levl | JobFiles | StartTime   | VolumeName  | File | SesId |VolSesTime  |
248 +-------+------+----------+-------------+-------------+------+-------+------------+
249 | 1,792 | F    |  128,374 | 08-03 01:58 | DLT-19Jul02 |   67 |    18 | 1028042998 |
250 | 1,792 | F    |  128,374 | 08-03 01:58 | DLT-04Aug02 |    0 |    18 | 1028042998 |
251 | 1,797 | I    |      254 | 08-04 13:53 | DLT-04Aug02 |    5 |    23 | 1028042998 |
252 | 1,798 | I    |       15 | 08-05 01:05 | DLT-04Aug02 |    6 |    24 | 1028042998 |
253 +-------+------+----------+-------------+-------------+------+-------+------------+
254 You have selected the following JobId: 1792,1792,1797
255 Building directory tree for JobId 1792 ...
256 Building directory tree for JobId 1797 ...
257 Building directory tree for JobId 1798 ...
258 cwd is: /
259 $
260 \end{verbatim}
261 \normalsize
262
263 Depending on the number of {\bf JobFiles} for each JobId, the {\bf Building
264 directory tree ..."} can take a bit of time. If you notice ath all the
265 JobFiles are zero, your Files have probably been pruned and you will not be
266 able to select any individual files -- it will be restore everything or
267 nothing.
268
269 In our example, Bacula found four Jobs that comprise the most recent backup of
270 the specified Client and FileSet. Two of the Jobs have the same JobId because
271 that Job wrote on two different Volumes. The third Job was an incremental
272 backup to the previous Full backup, and it only saved 254 Files compared to
273 128,374 for the Full backup. The fourth Job was also an incremental backup
274 that saved 15 files. 
275
276 Next Bacula entered those Jobs into the directory tree, with no files marked
277 to be restored as a default, tells you how many files are in the tree, and
278 tells you that the current working directory ({\bf cwd}) is /. Finally, Bacula
279 prompts with the dollar sign (\$) to indicate that you may enter commands to
280 move around the directory tree and to select files. 
281              
282 If you want all the files to automatically be marked when the directory
283 tree is built, you could have entered the command {\bf restore all}, or
284 at the \$ prompt, you can simply enter {\bf mark *}.
285
286 Instead of choosing item 5 on the first menu (Select the most recent backup
287 for a client), if we had chosen item 3 (Enter list of JobIds to select) and we
288 had entered the JobIds {\bf 1792,1797,1798} we would have arrived at the same
289 point.                 
290
291 One point to note, if you are manually entering JobIds, is that you must enter
292 them in the order they were run (generally in increasing JobId order). If you
293 enter them out of order and the same file was saved in two or more of the
294 Jobs, you may end up with an old version of that file (i.e. not the most
295 recent). 
296
297 Directly entering the JobIds can also permit you to recover data from
298 a Job that wrote files to tape but that terminated with an error status.
299
300 While in file selection mode, you can enter {\bf help} or a question mark (?)
301 to produce a summary of the available commands:  
302
303 \footnotesize
304 \begin{verbatim}
305  Command    Description
306   =======    ===========
307   cd         change current directory
308   count      count marked files in and below the cd
309   dir        long list current directory, wildcards allowed
310   done       leave file selection mode
311   estimate   estimate restore size
312   exit       same as done command
313   find       find files, wildcards allowed
314   help       print help
315   ls         list current directory, wildcards allowed
316   lsmark     list the marked files in and below the cd
317   mark       mark dir/file to be restored recursively in dirs
318   markdir    mark directory name to be restored (no files)
319   pwd        print current working directory
320   unmark     unmark dir/file to be restored recursively in dir
321   unmarkdir  unmark directory name only no recursion
322   quit       quit and do not do restore
323   ?          print help
324 \end{verbatim}
325 \normalsize
326
327 As a default no files have been selected for restore (unless you
328 added {\bf all} to the command line. If you want to restore
329 everything, at this point, you should enter {\bf mark *}, and then {\bf done}
330 and {\bf Bacula} will write the bootstrap records to a file and request your
331 approval to start a restore job. 
332
333 If you do not enter the above mentioned {\bf mark *} command, you will start
334 with an empty slate. Now you can simply start looking at the tree and {\bf
335 mark} particular files or directories you want restored. It is easy to make
336 a mistake in specifying a file to mark or unmark, and Bacula's error handling
337 is not perfect, so please check your work by using the {\bf ls} or {\bf dir}
338 commands to see what files are actually selected. Any selected file has its
339 name preceded by an asterisk. 
340
341 To check what is marked or not marked, enter the {\bf count} command, which
342 displays:  
343
344 \footnotesize
345 \begin{verbatim}
346 128401 total files. 128401 marked to be restored.
347      
348 \end{verbatim}
349 \normalsize
350
351 Each of the above commands will be described in more detail in the next
352 section. We continue with the above example, having accepted to restore all
353 files as Bacula set by default. On entering the {\bf done} command, Bacula
354 prints:  
355
356 \footnotesize
357 \begin{verbatim}
358 Bootstrap records written to /home/kern/bacula/working/restore.bsr
359 The job will require the following   
360    Volume(s)                 Storage(s)                SD Device(s)
361 ===========================================================================
362
363    DLT-19Jul02               Tape                      DLT8000
364    DLT-04Aug02               Tape                      DLT8000
365
366 128401 files selected to restore.
367 Run Restore job
368 JobName:    kernsrestore
369 Bootstrap:  /home/kern/bacula/working/restore.bsr
370 Where:      /tmp/bacula-restores
371 Replace:    always
372 FileSet:    Other Files
373 Client:     Rufus
374 Storage:    Tape
375 When:       2006-12-11 18:20:33
376 Catalog:    MyCatalog
377 Priority:   10
378 OK to run? (yes/mod/no):
379     
380 \end{verbatim}
381 \normalsize
382
383 Please examine each of the items very carefully to make sure that they are
384 correct.  In particular, look at {\bf Where}, which tells you where in the
385 directory structure the files will be restored, and {\bf Client}, which
386 tells you which client will receive the files.  Note that by default the
387 Client which will receive the files is the Client that was backed up.
388 These items will not always be completed with the correct values depending
389 on which of the restore options you chose.  You can change any of these
390 default items by entering {\bf mod} and responding to the prompts.
391
392 The above assumes that you have defined a {\bf Restore} Job resource in your
393 Director's configuration file. Normally, you will only need one Restore Job
394 resource definition because by its nature, restoring is a manual operation,
395 and using the Console interface, you will be able to modify the Restore Job to
396 do what you want. 
397
398 An example Restore Job resource definition is given below. 
399
400 Returning to the above example, you should verify that the Client name is
401 correct before running the Job. However, you may want to modify some of the
402 parameters of the restore job. For example, in addition to checking the Client
403 it is wise to check that the Storage device chosen by Bacula is indeed
404 correct. Although the {\bf FileSet} is shown, it will be ignored in restore.
405 The restore will choose the files to be restored either by reading the {\bf
406 Bootstrap} file, or if not specified, it will restore all files associated
407 with the specified backup {\bf JobId} (i.e. the JobId of the Job that
408 originally backed up the files). 
409
410 Finally before running the job, please note that the default location for
411 restoring files is {\bf not} their original locations, but rather the directory
412 {\bf /tmp/bacula-restores}. You can change this default by modifying your {\bf
413 bacula-dir.conf} file, or you can modify it using the {\bf mod} option. If you
414 want to restore the files to their original location, you must have {\bf
415 Where} set to nothing or to the root, i.e. {\bf /}. 
416
417 If you now enter {\bf yes}, Bacula will run the restore Job. The Storage
418 daemon will first request Volume {\bf DLT-19Jul02} and after the appropriate
419 files have been restored from that volume, it will request Volume {\bf
420 DLT-04Aug02}. 
421
422 \section{Selecting Files by Filename}
423 \index[general]{Selecting Files by Filename }
424 \index[general]{Filename!Selecting Files by }
425
426 If you have a small number of files to restore, and you know the filenames,
427 you can either put the list of filenames in a file to be read by Bacula, or
428 you can enter the names one at a time. The filenames must include the full
429 path and filename. No wild cards are used. 
430
431 To enter the files, after the {\bf restore}, you select item number 7 from the
432 prompt list: 
433
434 \footnotesize
435 \begin{verbatim}
436 To select the JobIds, you have the following choices:
437      1: List last 20 Jobs run
438      2: List Jobs where a given File is saved
439      3: Enter list of comma separated JobIds to select
440      4: Enter SQL list command
441      5: Select the most recent backup for a client
442      6: Select backup for a client before a specified time
443      7: Enter a list of files to restore
444      8: Enter a list of files to restore before a specified time
445      9: Find the JobIds of the most recent backup for a client
446     10: Find the JobIds for a backup for a client before a specified time
447     11: Enter a list of directories to restore for found JobIds
448     12: Cancel
449 Select item:  (1-12):
450 \end{verbatim}
451 \normalsize
452
453 which then prompts you for the client name: 
454
455 \footnotesize
456 \begin{verbatim}
457 Defined Clients:
458      1: Timmy
459      2: Tibs
460      3: Rufus
461 Select the Client (1-3): 3
462 \end{verbatim}
463 \normalsize
464
465 Of course, your client list will be different, and if you have only one
466 client, it will be automatically selected. And finally, Bacula requests you to
467 enter a filename: 
468
469 \footnotesize
470 \begin{verbatim}
471 Enter filename:
472 \end{verbatim}
473 \normalsize
474
475 At this point, you can enter the full path and filename 
476
477 \footnotesize
478 \begin{verbatim}
479 Enter filename: /home/kern/bacula/k/Makefile.in
480 Enter filename:
481 \end{verbatim}
482 \normalsize
483
484 as you can see, it took the filename. If Bacula cannot find a copy of the
485 file, it prints the following: 
486
487 \footnotesize
488 \begin{verbatim}
489 Enter filename: junk filename
490 No database record found for: junk filename
491 Enter filename:
492 \end{verbatim}
493 \normalsize
494
495 If you want Bacula to read the filenames from a file, you simply precede the
496 filename with a less-than symbol (\lt{}). When you have entered all the
497 filenames, you enter a blank line, and Bacula will write the bootstrap file,
498 tells you what tapes will be used, and proposes a Restore job to be run: 
499
500 \footnotesize
501 \begin{verbatim}
502 Enter filename:
503 Automatically selected Storage: DDS-4
504 Bootstrap records written to /home/kern/bacula/working/restore.bsr
505 The restore job will require the following Volumes:
506    
507    test1
508 1 file selected to restore.
509 Run Restore job
510 JobName:    kernsrestore
511 Bootstrap:  /home/kern/bacula/working/restore.bsr
512 Where:      /tmp/bacula-restores
513 Replace:    always
514 FileSet:    Other Files
515 Client:     Rufus
516 Storage:    DDS-4
517 When:       2003-09-11 10:20:53
518 Priority:   10
519 OK to run? (yes/mod/no):
520 \end{verbatim}
521 \normalsize
522
523 It is possible to automate the selection by file by putting your list of files
524 in say {\bf /tmp/file-list}, then using the following command: 
525
526 \footnotesize
527 \begin{verbatim}
528 restore client=Rufus file=</tmp/file-list
529 \end{verbatim}
530 \normalsize
531
532 If in modifying the parameters for the Run Restore job, you find that Bacula
533 asks you to enter a Job number, this is because you have not yet specified
534 either a Job number or a Bootstrap file. Simply entering zero will allow you
535 to continue and to select another option to be modified. 
536
537 \label{Replace}
538
539 \section{Replace Options}
540
541 When restoring, you have the option to specify a Replace option.  This 
542 directive determines the action to be taken when restoring a file or 
543 directory that already exists.  This directive can be set by selecting 
544 the {\bf mod} option.  You will be given a list of parameters to choose
545 from.  Full details on this option can be found in the Job Resource section
546 of the Director documentation.
547
548 \label{CommandArguments}
549
550 \section{Command Line Arguments}
551 \index[general]{Arguments!Command Line }
552 \index[general]{Command Line Arguments }
553
554 If all the above sounds complicated, you will probably agree that it really
555 isn't after trying it a few times. It is possible to do everything that was
556 shown above, with the exception of selecting the FileSet, by using command
557 line arguments with a single command by entering: 
558
559 \footnotesize
560 \begin{verbatim}
561 restore client=Rufus select current all done yes
562 \end{verbatim}
563 \normalsize
564
565 The {\bf client=Rufus} specification will automatically select Rufus as the
566 client, the {\bf current} tells Bacula that you want to restore the system to
567 the most current state possible, and the {\bf yes} suppresses the final {\bf
568 yes/mod/no} prompt and simply runs the restore. 
569
570 The full list of possible command line arguments are: 
571
572 \begin{itemize}
573 \item {\bf all} -- select all Files to be restored.  
574 \item {\bf select} -- use the tree selection method.  
575 \item {\bf done} -- do not prompt the user in tree mode.  
576 \item {\bf current} -- automatically select the most current set of  backups
577    for the specified client.  
578 \item {\bf client=xxxx} -- initially specifies the client from which the
579    backup was made and the client to which the restore will be make.  See also
580    "restoreclient" keyword.
581 \item {\bf restoreclient=xxxx} -- if the keyword is specified, then the
582    restore is written to that client.
583 \item {\bf jobid=nnn} -- specify a JobId or comma separated list of  JobIds to
584    be restored.  
585 \item {\bf before=YYYY-MM-DD HH:MM:SS} -- specify a date and time to  which
586    the system should be restored. Only Jobs started before  the specified
587    date/time will be selected, and as is the case  for {\bf current} Bacula will
588    automatically find the most  recent prior Full save and all Differential and
589    Incremental  saves run before the date you specify. Note, this command is  not
590    too user friendly in that you must specify the date/time  exactly as shown. 
591 \item {\bf file=filename} -- specify a filename to be restored. You  must
592    specify the full path and filename. Prefixing the entry  with a less-than
593    sign
594    (\lt{}) will cause Bacula to assume that the  filename is on your system and
595    contains a list of files to be  restored. Bacula will thus read the list from
596    that file. Multiple  file=xxx specifications may be specified on the command
597    line. 
598 \item {\bf jobid=nnn} -- specify a JobId to be restored. 
599 \item {\bf pool=pool-name} -- specify a Pool name to be used for selection  of
600    Volumes when specifying options 5 and 6 (restore current system,  and restore
601    current system before given date). This permits you to  have several Pools,
602    possibly one offsite, and to select the Pool to  be used for restoring.  
603 \item {\bf where=/tmp/bacula-restore} -- restore files in {\bf where} directory.
604 \item {\bf yes} -- automatically run the restore without prompting  for
605    modifications (most useful in batch scripts). 
606 \item {\bf strip\_prefix=/prod} -- remove a part of the filename when restoring.
607 \item {\bf add\_prefix=/test} -- add a prefix to all files when restoring (like
608   where) (can't be used with {\bf where=}).
609 \item {\bf add\_suffix=.old} -- add a suffix to all your files.
610 \item {\bf regexwhere=!a.pdf!a.bkp.pdf!} -- do complex filename manipulation
611   like with sed unix command. Will overwrite other filename manipulation.
612 \end{itemize}
613
614 \label{restorefilerelocation}
615 \section{Using File Relocation}
616 \index[general]{Using File Relocation}
617 \label{filerelocation}
618
619 \subsection{Introduction}
620
621 The \textbf{where=} option is simple, but not very powerful. With file
622 relocation, Bacula can restore a file to the same directory, but with a
623 different name, or in an other directory without recreating the full path.
624
625 You can also do filename and path manipulations, implemented in Bacula
626 2.1.8 or later, such as adding a suffix to all your files, renaming files
627 or directories, etc.  Theses options will overwrite {\bf where=} option.
628
629
630 For example, many users use OS snapshot features so that file
631 \texttt{/home/eric/mbox} will be backed up from the directory
632 \texttt{/.snap/home/eric/mbox}, which can complicate restores.  If you use
633 \textbf{where=/tmp}, the file will be restored to
634 \texttt{/tmp/.snap/home/eric/mbox} and you will have to move the file to
635 \texttt{/home/eric/mbox.bkp} by hand.  
636
637 However, case, you could use the
638 \textbf{strip\_prefix=/.snap} and \textbf{add\_suffix=.bkp} options and
639 Bacula will restore the file to its original location -- that is
640 \texttt{/home/eric/mbox}.
641
642 To use this feature, there are command line options as described in 
643 the \ilink{restore section}{restorefilerelocation} of this manual;
644 you can modify your restore job before running it; or you can
645 add options to your restore job in as described in 
646 \ilink{bacula-dir.conf}{confaddprefix}.
647
648 \begin{verbatim}
649 Parameters to modify:
650      1: Level
651      2: Storage
652     ...
653     10: File Relocation
654     ...
655 Select parameter to modify (1-12):
656
657
658 This will replace your current Where value
659      1: Strip prefix
660      2: Add prefix
661      3: Add file suffix
662      4: Enter a regexp
663      5: Test filename manipulation
664      6: Use this ?
665 Select parameter to modify (1-6):   
666 \end{verbatim}
667
668
669 \subsection{RegexWhere Format}
670
671 The format is very close to that used by sed or Perl (\texttt{s/replace this/by
672   that/}) operator. A valid regexwhere expression has three fields :
673 \begin{itemize}
674 \item a search expression (with optionnal submatch)
675 \item a replacement expression (with optionnal back references \$1 to \$9)
676 \item a set of search options (only case-insensitive ``i'' at this time)
677 \end{itemize}
678
679 Each field is delimited by a separator specified by the user as the first
680 character of the expression. The separator can be one of the following:
681 \begin{verbatim}
682 <separator-keyword> = / ! ; % : , ~ # = &
683 \end{verbatim}
684
685 You can use several expressions separated by a commas.
686
687 \subsection*{Examples}
688
689 \begin{tabular}{|c|c|c|l|}
690 \hline
691 Orignal filename & New filename & RegexWhere & Comments \\
692 \hline
693 \hline
694 \texttt{c:/system.ini} & \texttt{c:/system.old.ini} & \texttt{/.ini\$/.old.ini/} & \$ matches end of name\\
695 \hline
696 \texttt{/prod/u01/pdata/} & \texttt{/rect/u01/rdata}  & \texttt{/prod/rect/,/pdata/rdata/} & uses two regexp\\
697 \hline
698 \texttt{/prod/u01/pdata/} & \texttt{/rect/u01/rdata}  & \texttt{!/prod/!/rect/!,/pdata/rdata/} & use \texttt{!} as separator\\
699 \hline
700 \texttt{C:/WINNT} & \texttt{d:/WINNT}  & \texttt{/c:/d:/i} & case insensitive pattern match \\
701 \hline
702
703 \end{tabular}
704
705 %\subsubsection{Using group}
706 %
707 %Like with Perl or Sed, you can make submatch with \texttt{()}, 
708 %
709 %\subsubsection*{Examples}
710
711
712 %\subsubsection{Options}
713 %
714 %       i   Do case-insensitive pattern matching.
715
716 \section{Restoring Directory Attributes}
717 \index[general]{Attributes!Restoring Directory }
718 \index[general]{Restoring Directory Attributes }
719
720 Depending how you do the restore, you may or may not get the directory entries
721 back to their original state. Here are a few of the problems you can
722 encounter, and for same machine restores, how to avoid them. 
723
724 \begin{itemize}
725 \item You backed up on one machine and are restoring to another that is 
726    either a different OS or doesn't have the same users/groups defined.  Bacula
727    does the best it can in these situations. Note, Bacula has saved the
728    user/groups in numeric form, which means on a different machine, they
729    may map to different user/group names.
730
731 \item You are restoring into a directory that is already created and has
732    file creation restrictions.  Bacula tries to reset everything but
733    without walking up the full chain of directories and modifying them all
734    during the restore, which Bacula does and will not do, getting
735    permissions back correctly in this situation depends to a large extent
736    on your OS.
737
738 \item You are doing a recursive restore of a directory tree.  In this case
739    Bacula will restore a file before restoring the file's parent directory
740    entry.  In the process of restoring the file Bacula will create the
741    parent directory with open permissions and ownership of the file being
742    restored.  Then when Bacula tries to restore the parent directory Bacula
743    sees that it already exists (Similar to the previous situation).  If you
744    had set the Restore job's "Replace" property to "never" then Bacula will
745    not change the directory's permissions and ownerships to match what it
746    backed up, you should also notice that the actual number of files
747    restored is less then the expected number.  If you had set the Restore
748    job's "Replace" property to "always" then Bacula will change the
749    Directory's ownership and permissions to match what it backed up, also
750    the actual number of files restored should be equal to the expected
751    number.
752
753 \item You selected one or more files in a directory, but did not select the
754    directory entry to be restored.  In that case, if the directory is not
755    on disk Bacula simply creates the directory with some default attributes
756    which may not be the same as the original.  If you do not select a
757    directory and all its contents to be restored, you can still select
758    items within the directory to be restored by individually marking those
759    files, but in that case, you should individually use the "markdir"
760    command to select all higher level directory entries (one at a time) to
761    be restored if you want the directory entries properly restored.
762
763 \item The {\bf bextract} program does not restore access control lists
764   (ACLs), nor will it restore non-portable Win32 data (default) to Unix
765   machines.
766 \end{itemize}
767
768 \label{Windows}
769 \section{Restoring on Windows}
770 \index[general]{Restoring on Windows }
771 \index[general]{Windows!Restoring on }
772
773 If you are restoring on WinNT/2K/XP systems, Bacula will restore the files
774 with the original ownerships and permissions as would be expected.  This is
775 also true if you are restoring those files to an alternate directory (using
776 the Where option in restore).  However, if the alternate directory does not
777 already exist, the Bacula File daemon (Client) will try to create it.  In
778 some cases, it may not create the directories, and if it does since the
779 File daemon runs under the SYSTEM account, the directory will be created
780 with SYSTEM ownership and permissions.  In this case, you may have problems
781 accessing the newly restored files.
782
783 To avoid this problem, you should create any alternate directory before
784 doing the restore.  Bacula will not change the ownership and permissions of
785 the directory if it is already created as long as it is not one of the
786 directories being restored (i.e.  written to tape).
787
788 The default restore location is {\bf /tmp/bacula-restores/} and if you are
789 restoring from drive {\bf E:}, the default will be 
790 {\bf /tmp/bacula-restores/e/}, so you should ensure that this directory
791 exists before doing the restore, or use the {\bf mod} option to
792 select a different {\bf where} directory that does exist.
793
794 Some users have experienced problems restoring files that participate in
795 the Active Directory. They also report that changing the userid under which
796 Bacula (bacula-fd.exe) runs, from SYSTEM to a Domain Admin userid, resolves
797 the problem.
798
799
800 \section{Restoring Files Can Be Slow}
801 \index[general]{Slow!Restoring Files Can Be }
802 \index[general]{Restoring Files Can Be Slow }
803
804 Restoring files is generally {\bf much} slower than backing them up for several
805 reasons. The first is that during a backup the tape is normally already
806 positioned and Bacula only needs to write. On the other hand, because restoring
807 files is done so rarely, Bacula keeps only the start file and block on the
808 tape for the whole job rather than on a file by file basis which would use
809 quite a lot of space in the catalog. 
810
811 Bacula will forward space to the correct file mark on the tape for the Job,
812 then forward space to the correct block, and finally sequentially read each
813 record until it gets to the correct one(s) for the file or files you want to
814 restore. Once the desired files are restored, Bacula will stop reading the
815 tape. 
816
817 Finally, instead of just reading a file for backup, during the restore, Bacula
818 must create the file, and the operating system must allocate disk space for
819 the file as Bacula is restoring it. 
820
821 For all the above reasons the restore process is generally much slower than
822 backing up (sometimes it takes three times as long).
823
824 \section{Problems Restoring Files}
825 \index[general]{Files!Problems Restoring }
826 \index[general]{Problems Restoring Files }
827
828 The most frequent problems users have restoring files are error messages such
829 as: 
830
831 \footnotesize
832 \begin{verbatim}
833 04-Jan 00:33 z217-sd: RestoreFiles.2005-01-04_00.31.04 Error:
834 block.c:868 Volume data error at 20:0! Short block of 512 bytes on
835 device /dev/tape discarded.
836 \end{verbatim}
837 \normalsize
838
839 or 
840
841 \footnotesize
842 \begin{verbatim}
843 04-Jan 00:33 z217-sd: RestoreFiles.2005-01-04_00.31.04 Error:
844 block.c:264 Volume data error at 20:0! Wanted ID: "BB02", got ".".
845 Buffer discarded.
846 \end{verbatim}
847 \normalsize
848
849 Both these kinds of messages indicate that you were probably running your tape
850 drive in fixed block mode rather than variable block mode. Fixed block mode
851 will work with any program that reads tapes sequentially such as tar, but
852 Bacula repositions the tape on a block basis when restoring files because this
853 will speed up the restore by orders of magnitude when only a few files are being
854 restored. There are several ways that you can attempt to recover from this
855 unfortunate situation. 
856
857 Try the following things, each separately, and reset your Device resource to
858 what it is now after each individual test: 
859
860 \begin{enumerate}
861 \item Set "Block Positioning = no" in your Device resource  and try the
862    restore. This is a new directive and untested. 
863
864 \item Set "Minimum Block Size = 512" and "Maximum  Block Size = 512" and
865    try the restore.  If you are able to determine the block size your drive
866    was previously using, you should try that size if 512 does not work.
867    This is a really horrible solution, and it is not at all recommended
868    to continue backing up your data without correcting this condition.
869    Please see the Tape Testing chapter for more on this.
870
871 \item Try editing the restore.bsr file at the Run xxx yes/mod/no prompt 
872    before starting the restore job and remove all the VolBlock statements.
873    These are what causes Bacula to reposition the tape, and where problems
874    occur if you have a fixed block size set for your drive.  The VolFile
875    commands also cause repositioning, but this will work regardless of the
876    block size.
877
878 \item Use bextract to extract the files you want -- it reads the  Volume
879    sequentially if you use the include list feature, or if you use a .bsr
880    file, but remove all the VolBlock statements after the .bsr file is
881    created (at the Run yes/mod/no) prompt but before you start the restore.
882 \end{enumerate}
883
884 \section{Restore Errors}
885 \index[general]{Errors!Restore}
886 \index[general]{Restore Errors}
887
888 There are a number of reasons why there may be restore errors or
889 warning messages. Some of the more common ones are:
890
891 \begin{description}
892
893 \item [file count mismatch]
894   This can occur for the following reasons:
895   \begin{itemize}
896   \item You requested Bacula not to overwrite existing or newer
897      files.
898   \item A Bacula miscount of files/directories. This is an
899      on-going problem due to the complications of directories,
900      soft/hard link, and such.  Simply check that all the files you
901      wanted were actually restored.
902   \end{itemize}
903
904 \item [file size error]
905    When Bacula restores files, it checks that the size of the
906    restored file is the same as the file status data it saved 
907    when starting the backup of the file. If the sizes do not
908    agree, Bacula will print an error message. This size mismatch
909    most often occurs because the file was being written as Bacula
910    backed up the file. In this case, the size that Bacula
911    restored will be greater than the status size.  This often
912    happens with log files.
913
914    If the restored size is smaller, then you should be concerned
915    about a possible tape error and check the Bacula output as
916    well as your system logs.
917 \end{description}
918
919
920
921 \section{Example Restore Job Resource}
922 \index[general]{Example Restore Job Resource }
923 \index[general]{Resource!Example Restore Job }
924
925 \footnotesize
926 \begin{verbatim}
927 Job {
928   Name = "RestoreFiles"
929   Type = Restore
930   Client = Any-client
931   FileSet = "Any-FileSet"
932   Storage = Any-storage
933   Where = /tmp/bacula-restores
934   Messages = Standard
935   Pool = Default
936 }
937 \end{verbatim}
938 \normalsize
939
940 If {\bf Where} is not specified, the default location for restoring files will
941 be their original locations. 
942 \label{Selection}
943
944 \section{File Selection Commands}
945 \index[general]{Commands!File Selection }
946 \index[general]{File Selection Commands }
947
948 After you have selected the Jobs to be restored and Bacula has created the
949 in-memory directory tree, you will enter file selection mode as indicated by
950 the dollar sign ({\bf \$}) prompt. While in this mode, you may use the
951 commands listed above. The basic idea is to move up and down the in memory
952 directory structure with the {\bf cd} command much as you normally do on the
953 system. Once you are in a directory, you may select the files that you want
954 restored. As a default no files are marked to be restored. If you wish to
955 start with all files, simply enter: {\bf cd /} and {\bf mark *}. Otherwise
956 proceed to select the files you wish to restore by marking them with the {\bf
957 mark} command. The available commands are: 
958
959 \begin{description}
960
961 \item [cd]
962    The {\bf cd} command changes the current directory to  the argument
963    specified.
964    It operates much like the Unix {\bf cd} command.  Wildcard specifications are
965    not permitted.  
966
967    Note, on Windows systems, the various drives (c:, d:, ...) are treated  like
968    a
969    directory within the file tree while in the file  selection mode. As a
970    consequence, you must do a {\bf cd c:} or  possibly in some cases a {\bf cd
971    C:} (note upper case)  to get down to the first directory.  
972
973 \item [dir]
974    \index[dir]{dir }
975    The {\bf dir} command is similar to the {\bf ls} command,  except that it
976    prints it in long format (all details). This command  can be a bit slower
977    than
978    the {\bf ls} command because it must access  the catalog database for the
979    detailed information for each file.  
980
981 \item [estimate]
982    \index[dir]{estimate }
983    The {\bf estimate} command prints a summary of  the total files in the tree,
984    how many are marked to be restored, and  an estimate of the number of bytes
985    to
986    be restored. This can be useful  if you are short on disk space on the
987    machine
988    where the files will be  restored.  
989
990 \item [find]
991    \index[dir]{find}
992    The {\bf find} command accepts one or more arguments  and displays all files
993    in the tree that match that argument. The argument  may have wildcards. It is
994    somewhat similar to the Unix command  {\bf find / -name arg}.  
995
996 \item [ls]
997    The {\bf ls} command produces a listing of all the files  contained in the
998    current directory much like the Unix {\bf ls} command.  You may specify an
999    argument containing wildcards, in which case only  those files will be
1000    listed.
1001
1002    Any file that is marked to be restored will  have its name preceded by an
1003    asterisk ({\bf *}). Directory names  will be terminated with a forward slash
1004    ({\bf /}) to distinguish them  from filenames.  
1005
1006 \item [lsmark]
1007    \index[fd]{lsmark}
1008    The {\bf lsmark} command is the same as the  {\bf ls} except that it will
1009    print only those files marked for  extraction. The other distinction is that
1010    it will recursively  descend into any directory selected. 
1011
1012 \item [mark]
1013    \index[dir]{mark}
1014    The {\bf mark} command allows you to mark files to be restored. It takes a
1015    single argument which is the filename  or directory name in the current
1016    directory to be marked for extraction.  The argument may be a wildcard
1017    specification, in which  case all files that match in the current directory
1018    are marked to be  restored. If the argument matches a directory rather than a
1019    file,  then the directory and all the files contained in that directory
1020    (recursively)  are marked to be restored. Any marked file will have its name 
1021    preceded with an asterisk ({\bf *}) in the output produced by the  {\bf ls}
1022 or
1023    {\bf dir} commands. Note, supplying a full path on  the mark command does not
1024    work as expected to select a file or  directory in the current directory.
1025    Also, the {\bf mark} command works  on the current and lower directories but
1026    does not touch higher level  directories.  
1027
1028    After executing the {\bf mark} command, it will print a brief summary:  
1029
1030 \footnotesize
1031 \begin{verbatim}
1032     No files marked.
1033     
1034 \end{verbatim}
1035 \normalsize
1036
1037    If no files were marked, or:  
1038
1039 \footnotesize
1040 \begin{verbatim}
1041     nn files marked.
1042     
1043 \end{verbatim}
1044 \normalsize
1045
1046    if some files are marked.  
1047
1048 \item [unmark]
1049    \index[dir]{unmark }
1050    The {\bf unmark} is identical to the {\bf mark}  command, except that it
1051    unmarks the specified file or files so that  they will not be restored. Note:
1052    the {\bf unmark} command works from  the current directory, so it does not
1053    unmark any files at a higher  level. First do a {\bf cd /} before the {\bf
1054    unmark *} command if  you want to unmark everything.  
1055
1056 \item [pwd]
1057    \index[dir]{pwd }
1058    The {\bf pwd} command prints the current working  directory. It accepts no
1059    arguments.  
1060
1061 \item [count]
1062    \index[dir]{count }
1063    The {\bf count} command prints the total files in the  directory tree and the
1064    number of files marked to be restored.  
1065
1066 \item [done]
1067    \index[dir]{done }
1068    This command terminates file selection mode.  
1069
1070 \item [exit]
1071    \index[fd]{exit }
1072    This command terminates file selection mode (the same as  done).  
1073
1074 \item [quit]
1075    \index[fd]{quit }
1076    This command terminates the file selection and does  not run the restore
1077 job. 
1078
1079
1080 \item [help]
1081    \index[fd]{help }
1082    This command prints a summary of the commands available.  
1083
1084 \item [?]
1085    This command is the same as the {\bf help} command.  
1086 \end{description}
1087
1088 \label{database_restore}
1089 \section{Restoring When Things Go Wrong}
1090 \index[general]{Restoring When Things Go Wrong }
1091 \index[general]{Restoring Your Database}
1092 \index[general]{Database!Restoring}
1093
1094 This and the following sections will try to present a few of the kinds of
1095 problems that can come up making restoring more difficult. We will try to
1096 provide a few ideas how to get out of these problem situations.
1097 In addition to what is presented here, there is more specific information
1098 on restoring a \ilink{Client}{restore_client} and your
1099 \ilink{Server}{restore_server} in the \ilink{Disaster Recovery Using
1100 Bacula}{RescueChapter} chapter of this manual.
1101
1102 \begin{description}
1103 \item[Problem]
1104    My database is broken.
1105 \item[Solution]
1106    For SQLite, use the vacuum command to try to fix the database. For either
1107    MySQL or PostgreSQL, see the vendor's documentation. They have specific tools
1108    that check and repair databases, see the \ilink{database
1109    repair}{DatabaseRepair} sections of this manual for links to vendor    
1110    information.
1111
1112    Assuming the above does not resolve the problem, you will need to restore
1113    or rebuild your catalog.  Note, if it is a matter of some
1114    inconsistencies in the Bacula tables rather than a broken database, then
1115    running \ilink{dbcheck}{dbcheck} might help, but you will need to ensure
1116    that your database indexes are properly setup.  Please see
1117    the \ilink{Database Performance Issues}{DatabasePerformance} sections
1118    of this manual for more details.
1119
1120 \item[Problem]
1121    How do I restore my catalog?
1122 \item[Solution with a Catalog backup]
1123    If you have backed up your database nightly (as you should) and you
1124    have made a bootstrap file, you can immediately load back your
1125    database (or the ASCII SQL output).  Make a copy of your current
1126    database, then re-initialize it, by running the following scripts:
1127 \begin{verbatim}
1128    ./drop_bacula_tables
1129    ./make_bacula_tables
1130 \end{verbatim}
1131    After re-initializing the database, you should be able to run 
1132    Bacula. If you now try to use the restore command, it will not 
1133    work because the database will be empty. However, you can manually
1134    run a restore job and specify your bootstrap file. You do so
1135    by entering the {bf run} command in the console and selecting the
1136    restore job.  If you are using the default bacula-dir.conf, this
1137    Job will be named {\bf RestoreFiles}. Most likely it will prompt
1138    you with something such as:
1139
1140 \footnotesize
1141 \begin{verbatim}
1142 Run Restore job
1143 JobName:    RestoreFiles
1144 Bootstrap:  /home/kern/bacula/working/restore.bsr
1145 Where:      /tmp/bacula-restores
1146 Replace:    always
1147 FileSet:    Full Set
1148 Client:     rufus-fd
1149 Storage:    File
1150 When:       2005-07-10 17:33:40
1151 Catalog:    MyCatalog
1152 Priority:   10
1153 OK to run? (yes/mod/no): 
1154 \end{verbatim}
1155 \normalsize
1156
1157    A number of the items will be different in your case.  What you want to
1158    do is: to use the mod option to change the Bootstrap to point to your
1159    saved bootstrap file; and to make sure all the other items such as
1160    Client, Storage, Catalog, and Where are correct.  The FileSet is not
1161    used when you specify a bootstrap file.  Once you have set all the
1162    correct values, run the Job and it will restore the backup of your
1163    database, which is most likely an ASCII dump. 
1164
1165    You will then need to follow the instructions for your
1166    database type to recreate the database from the ASCII backup file.
1167    See the \ilink {Catalog Maintenance}{CatMaintenanceChapter} chapter of
1168    this manual for examples of the command needed to restore a 
1169    database from an ASCII dump (they are shown in the Compacting Your
1170    XXX Database sections).
1171     
1172    Also, please note that after you restore your database from an ASCII
1173    backup, you do NOT want to do a {\bf make\_bacula\_tables}  command, or
1174    you will probably erase your newly restored database tables.
1175
1176       
1177 \item[Solution with a Job listing]
1178    If you did save your database but did not make a bootstrap file, then
1179    recovering the database is more difficult.  You will probably need to
1180    use bextract to extract the backup copy.  First you should locate the
1181    listing of the job report from the last catalog backup.  It has
1182    important information that will allow you to quickly find your database
1183    file.  For example, in the job report for the CatalogBackup shown below,
1184    the critical items are the Volume name(s), the Volume Session Id and the
1185    Volume Session Time.  If you know those, you can easily restore your
1186    Catalog.
1187
1188 \footnotesize
1189 \begin{verbatim}
1190 22-Apr 10:22 HeadMan: Start Backup JobId 7510,
1191 Job=CatalogBackup.2005-04-22_01.10.0
1192 22-Apr 10:23 HeadMan: Bacula 1.37.14 (21Apr05): 22-Apr-2005 10:23:06
1193   JobId:                  7510
1194   Job:                    CatalogBackup.2005-04-22_01.10.00
1195   Backup Level:           Full
1196   Client:                 Polymatou
1197   FileSet:                "CatalogFile" 2003-04-10 01:24:01
1198   Pool:                   "Default"
1199   Storage:                "DLTDrive"
1200   Start time:             22-Apr-2005 10:21:00
1201   End time:               22-Apr-2005 10:23:06
1202   FD Files Written:       1
1203   SD Files Written:       1
1204   FD Bytes Written:       210,739,395
1205   SD Bytes Written:       210,739,521
1206   Rate:                   1672.5 KB/s
1207   Software Compression:   None
1208   Volume name(s):         DLT-22Apr05
1209   Volume Session Id:      11
1210   Volume Session Time:    1114075126
1211   Last Volume Bytes:      1,428,240,465
1212   Non-fatal FD errors:    0
1213   SD Errors:              0
1214   FD termination status:  OK
1215   SD termination status:  OK
1216   Termination:            Backup OK
1217 \end{verbatim}
1218 \normalsize
1219
1220   From the above information, you can manually create a bootstrap file,
1221   and then follow the instructions given above for restoring your database.
1222   A reconstructed bootstrap file for the above backup Job would look
1223   like the following:
1224
1225 \footnotesize
1226 \begin{verbatim}
1227 Volume="DLT-22Apr05"
1228 VolSessionId=11
1229 VolSessionTime=1114075126
1230 FileIndex=1-1
1231 \end{verbatim}
1232 \normalsize    
1233
1234   Where we have inserted the Volume name, Volume Session Id, and Volume
1235   Session Time that correspond to the values in the job report.  We've also
1236   used a FileIndex of one, which will always be the case providing that
1237   there was only one file backed up in the job.
1238   
1239   The disadvantage of this bootstrap file compared to what is created when
1240   you ask for one to be written, is that there is no File and Block
1241   specified, so the restore code must search all data in the Volume to find
1242   the requested file.  A fully specified bootstrap file would have the File
1243   and Blocks specified as follows:
1244
1245 \footnotesize
1246 \begin{verbatim}
1247 Volume="DLT-22Apr05"
1248 VolSessionId=11
1249 VolSessionTime=1114075126
1250 VolFile=118-118
1251 VolBlock=0-4053
1252 FileIndex=1-1
1253 \end{verbatim}
1254 \normalsize
1255
1256    Once you have restored the ASCII dump of the database,
1257    you will then to follow the instructions for your
1258    database type to recreate the database from the ASCII backup file.
1259    See the \ilink {Catalog Maintenance}{CatMaintenanceChapter} chapter of
1260    this manual for examples of the command needed to restore a 
1261    database from an ASCII dump (they are shown in the Compacting Your
1262    XXX Database sections).
1263     
1264    Also, please note that after you restore your database from an ASCII
1265    backup, you do NOT want to do a {\bf make\_bacula\_tables}  command, or
1266    you will probably erase your newly restored database tables.
1267
1268 \item [Solution without a Job Listing]
1269    If you do not have a job listing, then it is a bit more difficult.
1270    Either you use the \ilink{bscan}{bscan} program to scan the contents
1271    of your tape into a database, which can be very time consuming 
1272    depending on the size of the tape, or you can use the \ilink{bls}{bls}
1273    program to list everything on the tape, and reconstruct a bootstrap 
1274    file from the bls listing for the file or files you want following
1275    the instructions given above.
1276
1277    There is a specific example of how to use {\bf bls} below.
1278
1279 \item [Problem]
1280    I try to restore the last known good full backup by specifying
1281    item 3 on the restore menu then the JobId to restore.  Bacula 
1282    then reports:
1283
1284 \footnotesize
1285 \begin{verbatim}
1286    1 Job 0 Files
1287 \end{verbatim}
1288 \normalsize
1289    and restores nothing.
1290
1291 \item[Solution]
1292    Most likely the File records were pruned from the database either due
1293    to the File Retention period expiring or by explicitly purging the
1294    Job. By using the "llist jobid=nn" command, you can obtain all the
1295    important information about the job:
1296
1297 \footnotesize
1298 \begin{verbatim}
1299 llist jobid=120
1300            JobId: 120
1301              Job: save.2005-12-05_18.27.33
1302         Job.Name: save
1303      PurgedFiles: 0
1304             Type: B
1305            Level: F
1306     Job.ClientId: 1
1307      Client.Name: Rufus
1308        JobStatus: T
1309        SchedTime: 2005-12-05 18:27:32
1310        StartTime: 2005-12-05 18:27:35
1311          EndTime: 2005-12-05 18:27:37
1312         JobTDate: 1133803657
1313     VolSessionId: 1
1314   VolSessionTime: 1133803624
1315         JobFiles: 236
1316        JobErrors: 0
1317  JobMissingFiles: 0
1318       Job.PoolId: 4
1319        Pool.Name: Full
1320    Job.FileSetId: 1
1321  FileSet.FileSet: BackupSet
1322 \end{verbatim}
1323 \normalsize
1324
1325    Then you can find the Volume(s) used by doing:
1326
1327 \footnotesize
1328 \begin{verbatim}
1329 sql
1330 select VolumeName from JobMedia,Media where JobId=1 and JobMedia.MediaId=Media.MediaId;
1331 \end{verbatim}
1332 \normalsize
1333
1334    Finally, you can create a bootstrap file as described in the previous
1335    problem above using this information.
1336
1337    If you are using Bacula version 1.38.0 or greater, when you select
1338    item 3 from the menu and enter the JobId, it will ask you if
1339    you would like to restore all the files in the job, and it will
1340    collect the above information and write the bootstrap file for
1341    you.
1342
1343 \item [Problem]
1344   You don't have a bootstrap file, and you don't have the Job report for
1345   the backup of your database, but you did backup the database, and you
1346   know the Volume to which it was backed up.
1347   
1348 \item [Solution]
1349   Either bscan the tape (see below for bscanning), or better use {\bf bls}
1350   to find where it is on the tape, then use {\bf bextract} to 
1351   restore the database.  For example,
1352
1353
1354 \footnotesize
1355 \begin{verbatim}
1356 ./bls -j -V DLT-22Apr05 /dev/nst0
1357 \end{verbatim}
1358 \normalsize
1359   Might produce the following output:
1360 \footnotesize
1361 \begin{verbatim}
1362 bls: butil.c:258 Using device: "/dev/nst0" for reading.
1363 21-Jul 18:34 bls: Ready to read from volume "DLT-22Apr05" on device "DLTDrive"
1364 (/dev/nst0).
1365 Volume Record: File:blk=0:0 SessId=11 SessTime=1114075126 JobId=0 DataLen=164
1366 ...
1367 Begin Job Session Record: File:blk=118:0 SessId=11 SessTime=1114075126
1368 JobId=7510
1369    Job=CatalogBackup.2005-04-22_01.10.0 Date=22-Apr-2005 10:21:00 Level=F Type=B
1370 End Job Session Record: File:blk=118:4053 SessId=11 SessTime=1114075126
1371 JobId=7510
1372    Date=22-Apr-2005 10:23:06 Level=F Type=B Files=1 Bytes=210,739,395 Errors=0
1373 Status=T
1374 ...
1375 21-Jul 18:34 bls: End of Volume at file 201 on device "DLTDrive" (/dev/nst0),
1376 Volume "DLT-22Apr05"
1377 21-Jul 18:34 bls: End of all volumes.
1378 \end{verbatim}
1379 \normalsize
1380   Of course, there will be many more records printed, but we have indicated
1381   the essential lines of output. From the information on the Begin Job and End 
1382   Job Session Records, you can reconstruct a bootstrap file such as the one
1383   shown above.
1384
1385 \item[Problem]
1386   How can I find where a file is stored.
1387 \item[Solution]
1388   Normally, it is not necessary, you just use the {\bf restore} command to
1389   restore the most recently saved version (menu option 5), or a version
1390   saved before a given date (menu option 8).  If you know the JobId of the
1391   job in which it was saved, you can use menu option 3 to enter that JobId.
1392
1393   If you would like to know the JobId where a file was saved, select
1394   restore menu option 2.
1395
1396   You can also use the {\bf query} command to find information such as: 
1397 \footnotesize
1398 \begin{verbatim}
1399 *query
1400 Available queries:
1401      1: List up to 20 places where a File is saved regardless of the
1402 directory
1403      2: List where the most recent copies of a file are saved
1404      3: List last 20 Full Backups for a Client
1405      4: List all backups for a Client after a specified time
1406      5: List all backups for a Client
1407      6: List Volume Attributes for a selected Volume
1408      7: List Volumes used by selected JobId
1409      8: List Volumes to Restore All Files
1410      9: List Pool Attributes for a selected Pool
1411     10: List total files/bytes by Job
1412     11: List total files/bytes by Volume
1413     12: List Files for a selected JobId
1414     13: List Jobs stored on a selected MediaId
1415     14: List Jobs stored for a given Volume name
1416     15: List Volumes Bacula thinks are in changer
1417     16: List Volumes likely to need replacement from age or errors
1418 Choose a query (1-16):
1419 \end{verbatim}
1420 \normalsize
1421
1422 \item[Problem]
1423   I didn't backup my database. What do I do now?
1424 \item[Solution]
1425   This is probably the worst of all cases, and you will probably have
1426   to re-create your database from scratch and then bscan in all your
1427   Volumes, which is a very long, painful, and inexact process.
1428
1429 There are basically three steps to take:
1430
1431 \begin{enumerate}
1432 \item Ensure that your SQL server is running (MySQL or PostgreSQL)
1433    and that the Bacula database (normally bacula) exists.  See the
1434    \ilink{Installation}{CreateDatabase} chapter of the manual.
1435 \item Ensure that the Bacula databases are created. This is also
1436    described at the above link.
1437 \item Start and stop the Bacula Director using the propriate
1438    bacula-dir.conf file so that it can create the Client and
1439    Storage records which are not stored on the Volumes.  Without these
1440    records, scanning is unable to connect the Job records to the proper
1441   client.
1442 \end{enumerate}
1443
1444 When the above is complete, you can begin bscanning your Volumes. Please
1445 see the \ilink{bscan}{bscan} section of the Volume Utility Tools of this
1446 chapter for more details.
1447
1448 \end{description}