]> git.sur5r.net Git - bacula/docs/blob - docs/manuals/en/concepts/bootstrap.tex
ebl Add chapter about statistics
[bacula/docs] / docs / manuals / en / concepts / bootstrap.tex
1 %%
2 %%
3
4 \chapter{The Bootstrap File}
5 \label{BootstrapChapter}
6 \index[general]{File!Bootstrap }
7 \index[general]{Bootstrap File }
8
9 The information in this chapter is provided so that you may either create your
10 own bootstrap files, or so that you can edit a bootstrap file produced by {\bf
11 Bacula}. However, normally the bootstrap file will be automatically created
12 for you during the 
13 \ilink{restore\_command}{_ConsoleChapter} command in the Console program, or
14 by using a 
15 \ilink{ Write Bootstrap}{writebootstrap} record in your Backup
16 Jobs, and thus you will never need to know the details of this file. 
17
18 The {\bf bootstrap} file contains ASCII information that permits precise
19 specification of what files should be restored, what volume they are on,
20 and where they are on the volume. It is a relatively compact
21 form of specifying the information, is human readable, and can be edited with
22 any text editor. 
23
24 \section{Bootstrap File Format}
25 \index[general]{Format!Bootstrap}
26 \index[general]{Bootstrap File Format }
27
28 The general format of a {\bf bootstrap} file is: 
29
30 {\bf \lt{}keyword\gt{}= \lt{}value\gt{}} 
31
32 Where each {\bf keyword} and the {\bf value} specify which files to restore.
33 More precisely the {\bf keyword} and their {\bf values} serve to limit which
34 files will be restored and thus act as a filter. The absence of a keyword
35 means that all records will be accepted. 
36
37 Blank lines and lines beginning with a pound sign (\#) in the bootstrap file
38 are ignored. 
39
40 There are keywords which permit filtering by Volume, Client, Job, FileIndex,
41 Session Id, Session Time, ... 
42
43 The more keywords that are specified, the more selective the specification of
44 which files to restore will be. In fact, each keyword is {\bf AND}ed with
45 other keywords that may be present. 
46
47 For example, 
48
49 \footnotesize
50 \begin{verbatim}
51 Volume = Test-001
52 VolSessionId = 1
53 VolSessionTime = 108927638
54 \end{verbatim}
55 \normalsize
56
57 directs the Storage daemon (or the {\bf bextract} program) to restore only
58 those files on Volume Test-001 {\bf AND} having VolumeSessionId equal to one
59 {\bf AND} having VolumeSession time equal to 108927638. 
60
61 The full set of permitted keywords presented in the order in which they are
62 matched against the Volume records are: 
63
64 \begin{description}
65
66 \item [Volume]
67    \index[general]{Volume }
68    The value field specifies what Volume the following commands apply to.
69    Each Volume specification becomes the current Volume, to which all the
70    following commands apply until a new current Volume (if any) is
71    specified.  If the Volume name contains spaces, it should be enclosed in
72    quotes. At lease one Volume specification is required.
73
74 \item [Count]
75    \index[general]{Count}
76    The value is the total number of files that  will be restored for this Volume.
77    This allows the Storage  daemon to know when to stop reading the Volume.  
78    This value is optional.
79
80 \item [VolFile]
81    \index[general]{VolFile}
82    The value is a file number, a list of file numbers, or a range of file
83    numbers to match on the current Volume.  The file number represents the
84    physical file on the Volume where the data is stored.  For a tape
85    volume, this record is used to position to the correct starting file,
86    and once the tape is past the last specified file, reading will stop.
87
88 \item [VolBlock]
89    \index[general]{VolBlock}
90    The value is a block number, a list of block numbers, or a range of
91    block numbers to match on the current Volume.  The block number
92    represents the physical block within the file on the Volume where the
93    data is stored.
94
95
96 \item [VolSessionTime]
97    \index[general]{VolSessionTime }
98    The value specifies a Volume Session Time to  be matched from the current
99    volume.  
100
101 \item [VolSessionId]
102    \index[general]{VolSessionId }
103    The value specifies a VolSessionId, a list of volume session ids, or a
104    range of volume session ids to be matched from the current Volume.  Each
105    VolSessionId and VolSessionTime pair corresponds to a unique Job that is
106    backed up on the Volume.
107
108 \item [JobId]
109    \index[general]{JobId }
110    The value specifies a JobId, list of JobIds, or range of JobIds  to be
111    selected from the current Volume. Note, the JobId may not be  unique if you
112    have multiple Directors, or if you have reinitialized your  database. The
113    JobId filter works only if you do not run  multiple simultaneous jobs.  
114    This value is optional and not used by Bacula to restore files.
115
116 \item [Job]
117    \index[general]{Job }
118    The value specifies a Job name or list of Job names to  be matched on the
119    current Volume. The Job corresponds to a unique  VolSessionId and
120    VolSessionTime pair. However, the Job is perhaps a  bit more readable by
121    humans. Standard regular expressions (wildcards)  may be used to match Job
122    names. The Job filter works only if you do  not run multiple simultaneous
123    jobs.  
124    This value is optional and not used by Bacula to restore files.
125
126 \item [Client]
127    \index[general]{Client }
128    The value specifies a Client name or list of Clients to  will be matched on
129    the current Volume. Standard regular expressions  (wildcards) may be used to
130    match Client names. The Client filter works  only if you do not run multiple
131    simultaneous jobs.  
132    This value is optional and not used by Bacula to restore files.
133
134 \item [FileIndex]
135    \index[general]{FileIndex }
136    The value specifies a FileIndex, list of FileIndexes,  or range of FileIndexes
137    to be selected from the current Volume.  Each file (data) stored on a Volume
138    within a Session has a unique  FileIndex. For each Session, the first file
139    written is assigned  FileIndex equal to one and incremented for each file
140    backed up.  
141
142    This for a given Volume, the triple VolSessionId, VolSessionTime,  and
143    FileIndex uniquely identifies a file stored on the Volume. Multiple  copies of
144    the same file may be stored on the same Volume, but for  each file, the triple
145    VolSessionId, VolSessionTime, and FileIndex  will be unique. This triple is
146    stored in the Catalog database for  each file.  
147
148    To restore a particular file, this value (or a range of FileIndexes) is
149    required.
150
151 \item [FileRegex]
152    \index[general]{FileRegex }
153    The value is a regular expression.  When specified, only matching
154    filenames will be restored.
155
156 \item [Slot]
157    \index[general]{Slot }
158    The value specifies the autochanger slot. There may  be only a single {\bf
159    Slot} specification for each Volume.  
160
161 \item [Stream]
162    \index[general]{Stream }
163    The value specifies a Stream, a list of Streams,  or a range of Streams to be
164    selected from the current Volume.  Unless you really know what you are doing
165    (the internals of  {\bf Bacula}), you should avoid this specification.  
166    This value is optional and not used by Bacula to restore files.
167
168 \item [*JobType]
169    \index[general]{*JobType }
170    Not yet implemented.  
171
172 \item [*JobLevel]
173    \index[general]{*JobLevel }
174    Not yet implemented.  
175 \end{description}
176
177 The {\bf Volume} record is a bit special in that it must be the first record.
178 The other keyword records may appear in any order and any number following a
179 Volume record. 
180
181 Multiple Volume records may be specified in the same bootstrap file, but each
182 one starts a new set of filter criteria for the Volume. 
183
184 In processing the bootstrap file within the current Volume, each filter
185 specified by a keyword is {\bf AND}ed with the next. Thus, 
186
187 \footnotesize
188 \begin{verbatim}
189 Volume = Test-01
190 Client = "My machine"
191 FileIndex = 1
192 \end{verbatim}
193 \normalsize
194
195 will match records on Volume {\bf Test-01} {\bf AND} Client records for {\bf
196 My machine} {\bf AND} FileIndex equal to {\bf one}. 
197
198 Multiple occurrences of the same record are {\bf OR}ed together. Thus, 
199
200 \footnotesize
201 \begin{verbatim}
202 Volume = Test-01
203 Client = "My machine"
204 Client = "Backup machine"
205 FileIndex = 1
206 \end{verbatim}
207 \normalsize
208
209 will match records on Volume {\bf Test-01} {\bf AND} (Client records for {\bf
210 My machine} {\bf OR} {\bf Backup machine}) {\bf AND} FileIndex equal to {\bf
211 one}. 
212
213 For integer values, you may supply a range or a list, and for all other values
214 except Volumes, you may specify a list. A list is equivalent to multiple
215 records of the same keyword. For example, 
216
217 \footnotesize
218 \begin{verbatim}
219 Volume = Test-01
220 Client = "My machine", "Backup machine"
221 FileIndex = 1-20, 35
222 \end{verbatim}
223 \normalsize
224
225 will match records on Volume {\bf Test-01} {\bf AND} {\bf (}Client records for
226 {\bf My machine} {\bf OR} {\bf Backup machine}{\bf )} {\bf AND} {\bf
227 (}FileIndex 1 {\bf OR} 2 {\bf OR} 3 ... {\bf OR} 20 {\bf OR} 35{\bf )}. 
228
229 As previously mentioned above, there may be multiple Volume records in the
230 same bootstrap file. Each new Volume definition begins a new set of filter
231 conditions that apply to that Volume and will be {\bf OR}ed with any other
232 Volume definitions. 
233
234 As an example, suppose we query for the current set of tapes to restore all
235 files on Client {\bf Rufus} using the {\bf query} command in the console
236 program: 
237
238 \footnotesize
239 \begin{verbatim}
240 Using default Catalog name=MySQL DB=bacula
241 *query
242 Available queries:
243      1: List Job totals:
244      2: List where a file is saved:
245      3: List where the most recent copies of a file are saved:
246      4: List total files/bytes by Job:
247      5: List total files/bytes by Volume:
248      6: List last 10 Full Backups for a Client:
249      7: List Volumes used by selected JobId:
250      8: List Volumes to Restore All Files:
251 Choose a query (1-8): 8
252 Enter Client Name: Rufus
253 +-------+------------------+------------+-----------+----------+------------+
254 | JobId | StartTime        | VolumeName | StartFile | VolSesId | VolSesTime |
255 +-------+------------------+------------+-----------+----------+------------+
256 | 154   | 2002-05-30 12:08 | test-02    | 0         | 1        | 1022753312 |
257 | 202   | 2002-06-15 10:16 | test-02    | 0         | 2        | 1024128917 |
258 | 203   | 2002-06-15 11:12 | test-02    | 3         | 1        | 1024132350 |
259 | 204   | 2002-06-18 08:11 | test-02    | 4         | 1        | 1024380678 |
260 +-------+------------------+------------+-----------+----------+------------+
261 \end{verbatim}
262 \normalsize
263
264 The output shows us that there are four Jobs that must be restored. The first
265 one is a Full backup, and the following three are all Incremental backups. 
266
267 The following bootstrap file will restore those files: 
268
269 \footnotesize
270 \begin{verbatim}
271 Volume=test-02
272 VolSessionId=1
273 VolSessionTime=1022753312
274 Volume=test-02
275 VolSessionId=2
276 VolSessionTime=1024128917
277 Volume=test-02
278 VolSessionId=1
279 VolSessionTime=1024132350
280 Volume=test-02
281 VolSessionId=1
282 VolSessionTime=1024380678
283 \end{verbatim}
284 \normalsize
285
286 As a final example, assume that the initial Full save spanned two Volumes. The
287 output from {\bf query} might look like: 
288
289 \footnotesize
290 \begin{verbatim}
291 +-------+------------------+------------+-----------+----------+------------+
292 | JobId | StartTime        | VolumeName | StartFile | VolSesId | VolSesTime |
293 +-------+------------------+------------+-----------+----------+------------+
294 | 242   | 2002-06-25 16:50 | File0003   | 0         | 1        | 1025016612 |
295 | 242   | 2002-06-25 16:50 | File0004   | 0         | 1        | 1025016612 |
296 | 243   | 2002-06-25 16:52 | File0005   | 0         | 2        | 1025016612 |
297 | 246   | 2002-06-25 19:19 | File0006   | 0         | 2        | 1025025494 |
298 +-------+------------------+------------+-----------+----------+------------+
299 \end{verbatim}
300 \normalsize
301
302 and the following bootstrap file would restore those files: 
303
304 \footnotesize
305 \begin{verbatim}
306 Volume=File0003
307 VolSessionId=1
308 VolSessionTime=1025016612
309 Volume=File0004
310 VolSessionId=1
311 VolSessionTime=1025016612
312 Volume=File0005
313 VolSessionId=2
314 VolSessionTime=1025016612
315 Volume=File0006
316 VolSessionId=2
317 VolSessionTime=1025025494
318 \end{verbatim}
319 \normalsize
320
321 \section{Automatic Generation of Bootstrap Files}
322 \index[general]{Files!Automatic Generation of Bootstrap }
323 \index[general]{Automatic Generation of Bootstrap Files }
324
325 One thing that is probably worth knowing: the bootstrap files that are
326 generated automatically at the end of the job are not as optimized as those
327 generated by the restore command. This is because during Incremental and
328 Differential jobs, the records pertaining to the files written for the
329 Job are appended to the end of the bootstrap file.
330 As consequence, all the files saved to an Incremental or Differential job will be
331 restored first by the Full save, then by any Incremental or Differential
332 saves. 
333
334 When the bootstrap file is generated for the restore command, only one copy
335 (the most recent) of each file is restored. 
336
337 So if you have spare cycles on your machine, you could optimize the bootstrap
338 files by doing the following: 
339
340 \footnotesize
341 \begin{verbatim}
342    ./bconsole
343    restore client=xxx select all
344    done
345    no
346    quit
347    Backup bootstrap file.
348 \end{verbatim}
349 \normalsize
350
351 The above will not work if you have multiple FileSets because that will be an
352 extra prompt. However, the {\bf restore client=xxx select all} builds the
353 in-memory tree, selecting everything and creates the bootstrap file. 
354
355 The {\bf no} answers the {\bf Do you want to run this (yes/mod/no)} question. 
356
357 \label{bscanBootstrap}
358 \section{Bootstrap for bscan}
359 \index[general]{bscan}
360 \index[general]{bscan!bootstrap}
361 \index[general]{bscan bootstrap}
362 If you have a very large number of Volumes to scan with {\bf bscan},
363 you may exceed the command line limit (511 characters). I that case,
364 you can create a simple bootstrap file that consists of only the
365 volume names.  An example might be:
366
367 \footnotesize
368 \begin{verbatim}
369 Volume="Vol001"
370 Volume="Vol002"
371 Volume="Vol003"
372 Volume="Vol004"
373 Volume="Vol005"
374 \end{verbatim}
375 \normalsize
376
377
378 \section{A Final Bootstrap Example}
379 \index[general]{Bootstrap Example}
380 \index[general]{Example!Bootstrap}
381
382 If you want to extract or copy a single Job, you can do it by selecting by
383 JobId (code not tested) or better yet, if you know the VolSessionTime and the
384 VolSessionId (printed on Job report and in Catalog), specifying this is by far
385 the best. Using the VolSessionTime and VolSessionId is the way Bacula does
386 restores. A bsr file might look like the following: 
387
388 \footnotesize
389 \begin{verbatim}
390 Volume="Vol001"
391 VolSessionId=10
392 VolSessionTime=1080847820
393 \end{verbatim}
394 \normalsize
395
396 If you know how many files are backed up (on the job report), you can
397 enormously speed up the selection by adding (let's assume there are 157
398 files): 
399
400 \footnotesize
401 \begin{verbatim}
402 FileIndex=1-157
403 Count=157
404 \end{verbatim}
405 \normalsize
406
407 Finally, if you know the File number where the Job starts, you can also cause
408 bcopy to forward space to the right file without reading every record: 
409
410 \footnotesize
411 \begin{verbatim}
412 VolFile=20
413 \end{verbatim}
414 \normalsize
415
416 There is nothing magic or complicated about a BSR file. Parsing it and
417 properly applying it within Bacula *is* magic, but you don't need to worry
418 about that. 
419
420 If you want to see a *real* bsr file, simply fire up the {\bf restore} command
421 in the console program, select something, then answer no when it prompts to
422 run the job. Then look at the file {\bf restore.bsr} in your working
423 directory.