]> git.sur5r.net Git - bacula/bacula/blob - bacula/kernstodo
Misc cleanup
[bacula/bacula] / bacula / kernstodo
1                  Kern's ToDo List
2                    15 August 2003 
3
4 Documentation to do: (any release a little bit at a time)
5 - Document running a test version.
6 - Document query file format.
7 - Document static linking
8 - Document problems with Verify and pruning.
9 - Document how to use multiple databases.
10 - For FreeBSD typical /dev/nrsa0 and for mtx /dev/pass1
11 - VXA drives have a "cleaning required"
12   indicator, but Exabyte recommends preventive cleaning after every 75
13   hours of operation.
14 - Lookup HP cleaning recommendations.
15 - Lookup HP tape replacement recommendations (see trouble shooting autochanger)
16 - Document FInclude ...
17 - Document all the status codes JobLevel, JobType, JobStatus.
18           
19 Testing to do: (painful)
20 - that ALL console command line options work and are always implemented
21 - blocksize recognition code.
22 - Test if rewind at end of tape waits for tape to rewind.
23 - Test cancel at EOM.       
24 - Test not zeroing Autochanger slot when it is wrong.
25 - Test recycling and purging (code changed in db_find_next_volume and
26   in recycle.c).
27 - Figure out how to use ssh or stunnel to protect Bacula communications.
28
29 For 1.32:
30 - Edit the Client/Storage name into authentication failure messages.
31 - Implement job in VerifyToCatalog
32 - Implement migrate
33 - Implement List Volume Job=xxx  or List scheduled volumes or Status Director 
34 - Allow a slot or range of slots on the label barcodes command.
35 - Implement a PostgreSQL driver.
36 - Is a pool specification really needed for a restore?
37 - Bacula needs to propagate SD errors.
38   > > cluster-dir: Start Backup JobId 252, Job=REUTERS.2003-08-11_15.04.12
39   > > prod4-sd: REUTERS.2003-08-11_15.04.12 Error: Write error on device 
40        /dev/nst0. ERR=Input/output error.
41   > > prod4-sd: REUTERS.2003-08-11_15.04.12 Error: Re-read of last block failed. 
42        Last block=5162 Current block=5164.
43   > > prod4-sd: End of medium on Volume "REU007" Bytes=16,303,521,933 
44
45 - Use autochanger to handle multiple devices.
46 - Fix packet too big problem.
47 - Add SuSE install doc to list.
48 - Check and rechedk "Invalid block number"
49 - Make bextract release the drive properly between tapes 
50   so that an autochanger can be made to work.
51 - Fix "restore all" to bypass building the tree.
52 - Fix restore to list errors if Invalid block found, and if # files
53   restored does not match # expected.
54 - User wants to NOT backup up certain big files (email files).
55 - Maybe remove multiple simultaneous devices code in SD.
56 - On Windows with very long path names, it may be impossible to create 
57   a file (and thus restore it) because the total length is too long.
58   We must cd into the directory then create the file without the
59   full path name.
60 - lstat() is not going to work on Win32 for testing date.
61 - Something is not right in last block of fill command.
62 - Implement a Recycle command
63 - Add FileSet to command line arguments for restore.
64 - Do full check the command line args in update (e.g. VolStatus ...).
65 - Allow multiple Storage specifications (or multiple names on
66   a single Storage specification) in the Job record. Thus a job 
67   can be backed up to a number of storage devices.
68 - Add client name to cram-md5 challenge so Director can immediately
69   verify if it is the correct client.
70 - Implement ClientRunBeforeJob and ClientRunAfterJob.
71 - Add JobLevel in FD status (but make sure it is defined).
72 - Audit all UA commands to ensure that we always prompt where possible.
73 - Restrict characters permitted in a Resource name, and don't permit
74   duplicate names.
75 - Prohibit backing up archive device (findlib/find_one.c:128)
76 - Make | and < work on FD side.
77 - Check Jmsg in bnet, may not work, must dup bsock.
78 - Suppress Job Name in Jmsg for console
79 - Create Pools that are referenced in a Run statement at startup if possible.
80 - Use runbeforejob to unload, then reload a volume previously used,
81   then the next job run gets an error reading the drive.
82 - Make bootstrap filename unique.
83 - Test a second language e.g. french.
84 - Start working on Base jobs.
85 - Make "make binary-release" work from any directory.
86 - Implement UnsavedFiles DB record.
87 - Implement argc/argv for daemon command line scanning using table driven
88   stuff below.
89 - Implement table driven single argc/argv scanner to pickup all arguments.
90   Much like xxx_conf.c scan table.
91   keyword, handler(store_routine), store_address, code, flags, default.
92 - From Phil Stracchino:
93   It would probably be a per-client option, and would be called
94   something like, say, "Automatically purge obsoleted jobs".  What it
95   would do is, when you successfully complete a Differential backup of a
96   client, it would automatically purge all Incremental backups for that
97   client that are rendered redundant by that Differential.  Likewise,
98   when a Full backup on a client completed, it would automatically purge
99   all Differential and Incremental jobs obsoleted by that Full backup.
100   This would let people minimize the number of tapes they're keeping on
101   hand without having to master the art of retention times.
102 - Implement new serialize subroutines
103    send(socket, "string", &Vol, "uint32", &i, NULL)
104 - Scratch Pool where the volumes can be re-assigned to any Pool.
105 - Implement a M_SECURITY message class.
106 - Implement forward spacing block/file: position_device(bsr) --
107   just before read_block_from_device();
108 - When doing a Backup send all attributes back to the Director, who
109   would then figure out what files have been deleted.
110 - Currently in mount.c:236 the SD simply creates a Volume. It should have
111   explicit permission to do so.  It should also mark the tape in error
112   if there is an error.
113 - Make sure all restore counters are working correctly in the FD.
114 - SD Bytes Read is wrong.
115 - Configure mtx-changer to have correct path to mtx.
116 - Look at ALL higher level routines that call block.c to be sure
117   they don't expect something in errmsg.
118 - Investigate doing RAW backup of Win32 partition.
119 - Add JobName= to VerifyToCatalog so that all verifies can be done at the end.
120 - Add thread specific data to hold the jcr -- send error messages from
121   low level routines by accessing it and using Jmsg().
122 - Cancel waiting for Client connect in SD if FD goes away.
123
124 - Add Progress command that periodically reports the progress of
125   a job or all jobs.
126 - One block was orphaned in the SD probably after cancel.
127 - Add all command line arguments to "update", e.g. slot=nn volStatus=append, ...
128
129
130 - Examine Bare Metal restore problem (a FD crash exists somewhere ...).
131 - Implement timeout in response() when it should come quickly.
132 - Implement console @echo command.
133 - Implement a Slot priority (loaded/not loaded).
134 - Implement "vacation" Incremental only saves.
135 - Implement single pane restore (much like the Gftp panes).
136 - Implement Automatic Mount even in operator wait.
137 - Implement create "FileSet"?
138 - Implement Release Device in the Job resource to unmount a drive.
139 - Implement Acquire Device in the Job resource to mount a drive,
140   be sure this works with admin jobs so that the user can get
141   prompted to insert the correct tape.  Possibly some way to say to
142   run the job but don't save the files.
143 - Implement all command line args on run.
144 - Implement command line "restore" args.
145 - Implement "restore current select=no"
146 - Fix watchdog pthread crash on Win32 (this is pthread_kill() Cygwin bug)
147 - Implement "scratch pool" where tapes are defined and can be
148   taken by any pool that needs them.
149 - Implement restore "current system", but take all files without
150   doing selection tree -- so that jobs without File records can
151   be restored.
152 - Implement disk spooling. Two parts: 1. Spool to disk then
153   immediately to tape to speed up tape operations. 2. Spool to
154   disk only when the tape is full, then when a tape is hung move
155   it to tape.
156 - Implement a relocatable bacula.spec 
157 - Implement dump/print label to UA
158 - Add prefixlinks to where or not where absolute links to FD.
159 - Issue message to mount a new tape before the rewind.
160 - Simplified client job initiation for portables.
161 - If SD cannot open a drive, make it periodically retry.
162 - Implement LabelTemplate (at least first cut).
163 - Add more of the config info to the tape label.
164 - Implement a Mount Command and an Unmount Command where
165   the users could specify a system command to be performed
166   to do the mount, after which Bacula could attempt to
167   read the device. This is for Removeable media such as a CDROM.
168   - Most likely, this mount command would be invoked explicitly
169   by the user using the current Console "mount" and "unmount" 
170   commands -- the Storage Daemon would do the right thing 
171   depending on the exact nature of the device.
172   - As with tape drives, when Bacula wanted a new removable
173   disk mounted, it would unmount the old one, and send a message
174   to the user, who would then use "mount" as described above 
175   once he had actually inserted the disk.
176
177 - Make some way so that if a machine is skipped because it is not up 
178   that Bacula will continue retrying for a specified period of time --
179   periodically.
180 - If tape is marked read-only, then try opening it read-only rather than
181   failing, and remember that it cannot be written.
182 - Refine SD waiting output:
183     Device is being positioned
184     >     Device is being positioned for append
185     >     Device is being positioned to file x
186     > 
187 - Figure out some way to estimate output size and to avoid splitting
188   a backup across two Volumes -- this could be useful for writing CDROMs
189   where you really prefer not to have it split -- not serious.
190 - Add RunBeforeJob and RunAfterJob to the Client program.
191 - Have SD compute MD5 or SHA1 and compare to what FD computes.
192 - Make VolumeToCatalog calculate an MD5 or SHA1 from the 
193   actual data on the Volume and compare it.                  
194 - Implement FileOptions (see end of this document)
195 - Implement Bacula plugins -- design API
196 - Make bcopy read through bad tape records.
197 - Fix read_record to handle multiple sessions.
198 - Program files (i.e. execute a program to read/write files).
199   Pass read date of last backup, size of file last time.
200 - Add Signature type to File DB record.
201 - CD into subdirectory when open()ing files for backup to
202   speed up things.  Test with testfind().
203 - Priority job to go to top of list.
204 - Why are save/restore of device different sizes (sparse?)   Yup! Fix it.
205 - Implement some way for the Console to dynamically create a job.
206 - Restore to a particular time -- e.g. before date, after date. 
207 - Solaris -I on tar for include list
208 - Need a verbose mode in restore, perhaps to bsr.
209 - bscan without -v is too quiet -- perhaps show jobs.
210 - Add code to reject whole blocks if not wanted on restore.
211 - Check if we can increase Bacula FD priorty in Win2000
212 - Make sure the MaxVolFiles is fully implemented in SD
213 - Check if both CatalogFiles and UseCatalog are set to SD.
214 - Need return status on read_cb() from read_records(). Need multiple
215   records -- one per Job, maybe a JCR or some other structure with
216   a block and a record.
217 - Figure out how to do a bare metal Windows restore
218 - Possibly add email to Watchdog if drive is unmounted too
219   long and a job is waiting on the drive.
220 - Use read_record.c in SD code.
221 - Restore program that errors in SD due to no tape reports
222   OK incorrectly in output.
223 - After unmount, if restore job started, ask to mount.
224 - Convert all %x substitution variables, which are hard to remember
225   and read to %(variable-name).  Idea from TMDA.
226 - Remove NextId for SQLite. Optimize.
227 - Move all SQL statements into a single location.
228 - Add UA rc and history files.
229 - put termcap (used by console) in ./configure and
230   allow -with-termcap-dir.
231 - Enhance time and size scanning routines.
232 - Fix Autoprune for Volumes to respect need for full save.
233 - Fix Win32 config file definition name on /install
234 - Compare tape to Client files (attributes, or attributes and data) 
235 - Make all database Ids 64 bit.
236 - Write an applet for Linux.
237 - Add estimate to Console commands
238 - Implement new daemon communications protocol.
239 - Allow console commands to detach or run in background.
240 - Fix status delay on storage daemon during rewind.
241 - Add SD message variables to control operator wait time
242   - Maximum Operator Wait
243   - Minimum Message Interval
244   - Maximum Message Interval
245 - Send Operator message when cannot read tape label.
246 - Verify level=Volume (scan only), level=Data (compare of data to file).
247   Verify level=Catalog, level=InitCatalog
248 - Events file
249 - Add keyword search to show command in Console.
250 - Events : tape has more than xxx bytes.
251 - Complete code in Bacula Resources -- this will permit
252   reading a new config file at any time.
253 - Handle ctl-c in Console
254 - Implement script driven addition of File daemon to config files.
255 - Think about how to make Bacula work better with File (non-tape) archives.
256 - Write Unix emulator for Windows.
257 - Put memory utilization in Status output of each daemon
258   if full status requested or if some level of debug on.
259 - Make database type selectable by .conf files i.e. at runtime
260 - Set flag for uname -a.  Add to Volume label.
261 - Implement throttled work queue.
262 - Restore files modified after date
263 - Restore file modified before date
264 - Restore -- do nothing but show what would happen
265 - SET LD_RUN_PATH=$HOME/mysql/lib/mysql
266 - Implement Restore FileSet=
267 - Create a protocol.h and protocol.c where all protocol messages
268   are concentrated.
269 - Remove duplicate fields from jcr (e.g. jcr.level and jcr.jr.Level, ...).
270 - Timout a job or terminate if link goes down, or reopen link and query.
271 - Concept of precious tapes (cannot be reused).
272 - Make bcopy copy with a single tape drive.
273 - Permit changing ownership during restore.
274
275 - From Phil:
276   > My suggestion:  Add a feature on the systray menu-icon menu to request
277   > an immediate backup now.  This would be useful for laptop users who may
278   > not be on the network when the regular scheduled backup is run.
279   > 
280   > My wife's suggestion: Add a setting to the win32 client to allow it to
281   > shut down the machine after backup is complete (after, of course,
282   > displaying a "System will shut down in one minute, click here to cancel"
283   > warning dialog).  This would be useful for sites that want user
284   > woorkstations to be shut down overnight to save power.
285   > 
286
287 - Autolabel should be specified by DIR instead of SD.
288 - Storage daemon    
289   - Add media capacity
290   - AutoScan (check checksum of tape)
291   - Format command = "format /dev/nst0"
292   - MaxRewindTime
293   - MinRewindTime
294   - MaxBufferSize
295   - Seek resolution (usually corresponds to buffer size)
296   - EODErrorCode=ENOSPC or code
297   - Partial Read error code
298   - Partial write error code
299   - Nonformatted read error
300   - Nonformatted write error
301   - WriteProtected error
302   - IOTimeout
303   - OpenRetries
304   - OpenTimeout
305   - IgnoreCloseErrors=yes
306   - Tape=yes
307   - NoRewind=yes
308 - Pool
309   - Maxwrites
310   - Recycle period
311 - Job
312   - MaxWarnings
313   - MaxErrors (job?)
314 =====
315 - FD sends unsaved file list to Director at end of job (see
316   RFC below).
317 - File daemon should build list of files skipped, and then
318   at end of save retry and report any errors.
319 - Write a Storage daemon that uses pipes and
320   standard Unix programs to write to the tape.
321   See afbackup.
322 - Need something that monitors the JCR queue and
323   times out jobs by asking the deamons where they are.
324 - Enhance Jmsg code to permit buffering and saving to disk.
325 - device driver = "xxxx" for drives.
326 - Verify from Volume
327 - Ensure that /dev/null works
328 - Need report class for messages. Perhaps
329   report resource where report=group of messages
330 - enhance scan_attrib and rename scan_jobtype, and
331   fill in code for "since" option 
332 - Director needs a time after which the report status is sent
333   anyway -- or better yet, a retry time for the job.
334 - Don't reschedule a job if previous incarnation is still running.
335 - Some way to automatically backup everything is needed????
336 - Need a structure for pending actions:
337   - buffered messages
338   - termination status (part of buffered msgs?)
339 - Drive management
340   Read, Write, Clean, Delete
341 - Login to Bacula; Bacula users with different permissions:
342    owner, group, user, quotas
343 - Store info on each file system type (probably in the job header on tape.
344   This could be the output of df; or perhaps some sort of /etc/mtab record.
345
346 Longer term to do:
347 - Design at hierarchial storage for Bacula. Migration and Clone. 
348 - Implement FSM (File System Modules).
349 - Audit M_ error codes to ensure they are correct and consistent.
350 - Add variable break characters to lex analyzer.
351   Either a bit mask or a string of chars so that
352   the caller can change the break characters.
353 - Make a single T_BREAK to replace T_COMMA, etc.
354 - Ensure that File daemon and Storage daemon can
355   continue a save if the Director goes down (this
356   is NOT currently the case). Must detect socket error,
357   buffer messages for later. 
358 - Enhance time/duration input to allow multiple qualifiers e.g. 3d2h
359 - Add ability to backup to two Storage devices (two SD sessions) at
360   the same time -- e.g. onsite, offsite.
361 - Add the ability to consolidate old backup sets (basically do a restore
362   to tape and appropriately update the catalog). Compress Volume sets.
363   Might need to spool via file is only one drive is available.
364 - Compress or consolidate Volumes of old possibly deleted files. Perhaps
365   someway to do so with every volume that has less than x% valid 
366   files.
367
368
369 Migration: Move a backup from one Volume to another
370 Clone:     Copy a backup -- two Volumes
371
372 Bacula Migration is based on Jobs (apparently Networker is file by file).
373
374 Migration triggered by:
375   Number of Jobs
376   Number of Volumes
377   Age of Jobs
378   Highwater mark (keep total size)
379   Lowwater mark
380   
381 Projects:
382             Bacula Projects Roadmap 
383                17 August 2002
384            last update 8 May 2003
385
386 Item 1:   Multiple simultaneous Jobs. (done)
387 Done -- Restore part needs better implementation to work correctly
388         Also, it needs considerable testing
389
390   What:   Permit multiple simultaneous jobs in Bacula.
391
392   Why:    An enterprise level solution needs to go fast without the
393           need for the system administrator to carefully tweak
394           timing.  Based on the benchmarks, during a full
395           backup, NetWorker typically hit 10 times the bandwidth to
396           the tape compared to Bacula--largely. This is probably due to
397           running parallel jobs and multi-threaded filling of buffers
398           and writing them to tape.  This should also make things work
399           better when you have a mix of fast and slow machines backing
400           up at the same time.
401
402   Notes:  Bacula was designed to run multiple simultaneous jobs. Thus
403           implementing this is a matter of some small cleanups and
404           careful testing.
405
406
407 Item 2:   Make the Storage daemon use intermediate file storage to buffer data.
408 Deferred -- not necessary yet -- possibly implement with Migration.
409
410   What:   If data is coming into the SD too fast, buffer it to 
411           disk if the user has configured this option.
412
413   Why:    This would be nice, especially if it more or less falls out
414           when implementing (1) above.  If not, it probably should not
415           be given a high priority because fundamentally the backup time
416           is limited by the tape bandwidth.  Even though you may finish a
417           client job quicker by spilling to disk, you still have to
418           eventually get it onto tape.  If intermediate disk buffering
419           allows us to improve write bandwidth to tape, it may make
420           sense.
421
422   Notes:  Whether or not this is implemented will depend upon performance
423           testing after item 1 is implemented.
424
425
426 Item 3:   Write the bscan program -- also write a bcopy program.
427 Done
428
429   What:   Write a program that reads a Bacula tape and puts all the 
430           appropriate data into the catalog. This allows recovery
431           from a tape that is no longer in the database, or it allows
432           re-creation of a database if lost.
433
434   Why:    This is a fundamental robustness and disaster recovery tool
435           which will increase the comfort level of a sysadmin
436           considering adopting Bacula.
437
438   Notes:  A skeleton of this program already exists, but much work
439           needs to be done. Implementing this will also make apparent
440           any deficiencies in the current Bacula tape format.
441
442
443 Item 4:   Implement Base jobs.
444
445   What:   A base job is sort of like a Full save except that you 
446           will want the FileSet to contain only files that are unlikely
447           to change in the future (i.e. a snapshot of most of your
448           system after installing it). After the base job has been run,
449           when you are doing a Full save, you can specify to exclude
450           all files saved by the base job that have not been modified.
451
452   Why:    This is something none of the competition does, as far as we know
453           (except BackupPC, which is a Perl program that saves to disk
454           only).  It is big win for the user, it makes Bacula stand out
455           as offering a unique optimization that immediately saves time
456           and money.
457
458   Notes:  Big savings in tape usage. Will require more resources because
459           the e. DIR must send FD a list of files/attribs, and the FD must
460           search the list and compare it for each file to be saved.
461
462
463 Item 5:   Implement Label templates
464 Done 
465
466   What:   This is a mechanism whereby Bacula can automatically create
467           a tape label for new tapes according to a detailed specification
468           provided by the user.
469
470   Why:    It is a major convenience item for folks who use automated label
471           creation.
472
473   Notes:  Bacula already has a working form of automatic tape label
474           creation, but it is very crude. The design for the complete
475           tape labeling project is already documented in the manual.
476
477
478 Item 6:   Write a regression script.
479 Done --   Continue to expand its testing.
480
481   What:   This is an automatic script that runs and tests as many features
482           of Bacula as possible. The output is compared to previous
483           versions of Bacula and any differences are reported.
484
485   Why:    This is an enormous help in preventing introduction of new
486           errors in parts of the program that already work correctly.
487
488   Notes:  This probably should be ranked higher, it's something the typical
489           user doesn't see.  Depending on how it's implemented, it may
490           make sense to defer it until the archival tape format and
491           user interface mature.
492
493
494 Item 7:   GUI for interactive restore
495 Item 8:   GUI for interactive backup
496
497   What:   The current interactive restore is implemented with a tty
498           interface. It would be much nicer to be able to "see" the
499           list of files backed up in typical GUI tree format.
500           The same mechanism could also be used for creating 
501           ad-hoc backup FileSets (item 8).
502
503   Why:    Ease of use -- especially for the end user.
504
505   Notes:  Rather than implementing in Gtk, we probably should go directly
506           for a Browser implementation, even if doing so meant the
507           capability wouldn't be available until much later.  Not only
508           is there the question of Windows sites, most
509           Solaris/HP/IRIX, etc,  shops can't currently run Gtk programs
510           without installing lots of stuff admins are very wary about.
511           Real sysadmins will always use the command line anyway, and
512           the user who's doing an interactive restore or backup of his
513           own files will in most cases be on a Windows machine running
514           Exploder.
515
516
517 Item 9:   Add SSL to daemon communications.
518
519   What:   This provides for secure communications between the daemons.
520
521   Why:    This would allow doing backup across the Internet without
522           privacy concerns (or with much less concern).
523
524   Notes:  The vast majority of near term potential users will be backing up
525           a single site over a LAN and, correctly or not, they probably
526           won't be concerned with security, at least not enough to go to
527           the trouble to set up keys, etc. to screw things down.  We suspect
528           that many users genuinely interested in multi-site backup
529           already run some form of VPN software in their internetwork
530           connections, and are willing to delegate security to that layer.
531
532
533 Item 10:  Define definitive tape format.
534 Done (version 1.27)
535
536   What:   Define that definitive tape format that will not change 
537           for the next millennium.
538
539   Why:    Stability, security.
540
541   Notes:  See notes for item 11 below.
542
543
544 Item 11:  New daemon communication protocol.
545
546   What:   The current daemon to daemon protocol is basically an ASCII
547           printf() and sending the buffer. On the receiving end, the
548           buffer is sscanf()ed to unpack it. The new scheme would
549           be a binary format that allows quick packing and unpacking
550           of any data type with named fields.
551
552   Why:    Using binary packing would be faster. Named fields will permit
553           error checking to ensure that what is sent is what the 
554           receiver really wants.
555
556   Notes:  These are internal improvements in the interest of the
557           long-term stability and evolution of the program.  On the one
558           hand, the sooner they're done, the less code we have to rip
559           up when the time comes to install them.  On the other hand, they
560           don't bring an immediately perceptible benefit to potential
561           users.  Item 10 and possibly item 11 should be deferred until Bacula
562           is well established with a growing user community more or
563           less happy with the feature set.  At that time, it will make a
564           good "next generation" upgrade in the interest of data
565           immortality.
566
567
568
569
570 ======================================================
571         Base Jobs design
572 It is somewhat like a Full save becomes an incremental since
573 the Base job (or jobs) plus other non-base files.
574 Need:
575 - New BaseFile table that contains:
576     JobId, BaseJobId, FileId (from Base).
577   i.e. for each base file that exists but is not saved because
578   it has not changed, the File daemon sends the JobId, BaseId,
579   and FileId back to the Director who creates the DB entry.
580 - To initiate a Base save, the Director sends the FD 
581   the FileId, and full filename for each file in the Base.
582 - When the FD finds a Base file, he requests the Director to
583   send him the full File entry (stat packet plus MD5), or
584   conversely, the FD sends it to the Director and the Director
585   says yes or no. This can be quite rapid if the FileId is kept
586   by the FD for each Base Filename.          
587 - It is probably better to have the comparison done by the FD
588   despite the fact that the File entry must be sent across the
589   network.
590 - An alternative would be to send the FD the whole File entry
591   from the start. The disadvantage is that it requires a lot of
592   space. The advantage is that it requires less communications
593   during the save.
594 - The Job record must be updated to indicate that one or more
595   Bases were used.
596 - At end of Job, FD returns:   
597    1. Count of base files/bytes not written to tape (i.e. matches)
598    2. Count of base file that were saved i.e. had changed.
599 - No tape record would be written for a Base file that matches, in the
600   same way that no tape record is written for Incremental jobs where
601   the file is not saved because it is unchanged.
602 - On a restore, all the Base file records must explicitly be
603   found from the BaseFile tape. I.e. for each Full save that is marked
604   to have one or more Base Jobs, search the BaseFile for all occurrences
605   of JobId.
606 - An optimization might be to make the BaseFile have:
607      JobId
608      BaseId
609      FileId
610   plus
611      FileIndex
612   This would avoid the need to explicitly fetch each File record for
613   the Base job.  The Base Job record will be fetched to get the
614   VolSessionId and VolSessionTime.
615 =========================================================  
616
617   
618
619 =============================================================
620
621                 Request For Comments For File Backup Options
622                    10 November 2002
623
624 Subject: File Backup Options
625
626 Problem: 
627   A few days ago, a Bacula user who is backing up to file volumes and
628   using compression asked if it was possible to suppress compressing
629   all .gz files since it was a waste of CPU time. Although Bacula
630   currently permits using different options (compression, ...) on
631   a directory by directory basis, it cannot do it on a file by 
632   file basis, which is clearly what was desired.   
633
634 Proposed Implementation:
635   To solve this problem, I propose the following:
636
637   - Add a new Director resource type called FileOptions.  
638
639   - The FileOptions resource will have records for all
640     options that can currently be specified on the Include record 
641     (in a FileSet).  Examples below.
642
643   - The FileOptions resource will permit an exclude option as well
644     as a number of additional options.
645
646   - The heart of the FileOptions resource is the ability to
647     supply any number of ApplyTo records which specify POSIX
648     regular expressions.  These ApplyTo regular expressions are
649     applied to the fully qualified filename (path and all). If
650     one matches, then the FileOptions will be used.
651
652   - When an ApplyTo specification matches an included file, the
653     options specified in the FileOptions resource will override
654     the default options specified on the Include record.
655
656   - Include records will be modified to permit referencing one or
657     more FileOptions resources.  The FileOptions will be used
658     in the order listed on the Include record and the first
659     one that matches will be applied.
660
661   - Options (or specifications) currently supplied on the Include
662     record will be deprecated (i.e. removed in a later version a
663     year or so from now).
664
665   - The Exclude record will be deprecated as the same functionality
666     can be obtained by using an Exclude = yes in the FileOptions.
667
668 FileOptions records:
669   The following records can appear in the FileOptions resource. An
670   asterisk preceding the name indicates a feature not currently
671   implemented.
672
673   For Backup Jobs:
674     - Compression= (GZIP, ...)
675     - Signature=   (MD5, SHA1, ...)
676     - *Encryption=
677     - OneFs=      (yes/no)    - remain on one filesystem
678     - Recurse=    (yes/no)    - recurse into subdirectories
679     - Sparse=     (yes/no)    - do sparse file backup
680     - *Exclude=   (yes/no)    - exclude file from being saved
681     - *Reader=    (filename)  - external read (backup) program
682     - *Plugin=    (filename)  - read/write plugin module
683
684   For Verify Jobs:
685     - verify=     (ipnougsamc5) - verify options
686
687   For Restore Jobs:
688     - replace= (always/ifnewer/ifolder/never) - replace options currently
689                                                 implemented in 1.27
690     - *Writer= (filename)   - external write (restore) program
691
692
693 Implementation:
694   Currently options specifying compression, MD5 signatures, recursion,
695   ... of a FileSet are supplied on the Include record. These will now
696   all be collected into a FileOptions resource, which will be
697   specified on the Include in place of the options. Multiple FileOptions
698   may be specified.  Since the FileOptions contain regular expressions
699   that are applied to the full filename, this will give the ability
700   to specify backup options on a file by file basis to whatever level
701   of detail you wish.
702
703 Example:
704
705   Today:
706
707     FileSet {
708       Name = "FullSet"
709       Include = compression=GZIP signature=MD5 {
710         /
711       }
712     }
713
714   Proposal:
715
716     FileSet {
717       Name = "FullSet"
718       FInclude {
719         Compression = GZIP;
720         Signature = MD5
721         Match = /*.?*/                # matches all files.
722         File = /
723       }
724     }
725
726   That's a lot more to do the same thing, but it gives the ability to
727   apply options on a file by file basis.  For example, suppose you
728   want to compress all files but not any file with extensions .gz or .Z.
729   You could do so as follows:
730
731     FileSet {
732       Name = "FullSet"
733       FInclude {
734         FileOptions {
735           Signature = MD5
736           # Note multiple Matches are ORed
737           Match = /*.gz/   # matches .gz files */
738           Match = /*.Z/    # matches .Z files */
739         }
740         FileOptions {
741           Compression = GZIP
742           Signature = MD5
743           Match = /*.?*/   # matches all files
744         }
745         File = /
746       }
747     }
748
749   Now, since the NoCompress FileOptions is specified first on the
750   Include line, any *.gz or *.Z file will have an MD5 signature computed,
751   but will not be compressed. For all other files, the NoCompress will not
752   match, so the Opts options will be used which will include GZIP
753   compression.
754
755 Questions:
756   - Is it necessary to provide some means of ANDing regular expressions
757     and negation?  (not currently planned)
758
759     e.g.  Match = /*.gz/ && !/big.gz/
760
761   - I see that Networker has a "null" module which, if specified, does not 
762     backup the file, but does make an record of the file in the catalog
763     so that the catalog will reflect an exact picture of the filesystem.
764     The result is that the file can be "seen" when "browsing" the save
765     sets, but it cannot be restored.
766     
767     Is this really useful?  Should it be implemented in Bacula?
768   
769 Results:
770   After implementing the above, the user will be able to specify
771   on a file by file basis (using regular expressions) what options are
772   applied for the backup.
773
774
775 =============================================
776
777 ========================================================== 
778     Unsaved File design
779 For each Incremental job that is run, there may be files that
780 were found but not saved because they were locked (this applies
781 only to Windows). Such a system could send back to the Director
782 a list of Unsaved files.
783 Need:
784 - New UnSavedFiles table that contains:
785   JobId
786   PathId
787   FilenameId
788 - Then in the next Incremental job, the list of Unsaved Files will be
789   feed to the FD, who will ensure that they are explicitly chosen even
790   if standard date/time check would not have selected them.
791 =============================================================
792
793
794 Done: (see kernsdone for more)
795 - Implement new alist in FileSet scanning.
796 - bls should continue reading even if it finds Win32 data on the tape.
797   The error should be Warning rather the Error.
798 - Add user configurable timeout for connecting to SD.
799 - Unsaved Flag in Job record (use JobMissingFiles).
800 - Base Flag in Job record.