]> git.sur5r.net Git - bacula/bacula/blobdiff - bacula/kernstodo
07Jan06
[bacula/bacula] / bacula / kernstodo
index 31055d0381af61991ad15cdad1d982a92a5efbf5..ce5d91d32a364e171134397641813707234f5133 100644 (file)
                     Kern's ToDo List
-                     09 April 2005
+                     07 January 2006
 
 Major development:      
 Project                     Developer
 =======                     =========                         
-IPv6_2                      Meno Abels
-Version 1.37                Kern (see below)
-========================================================
 
-1.37 Major Projects:
+Document:
+- Does ClientRunAfterJob fail the job on a bad return code?
+- Document cleaning up the spool files:
+  db, pid, state, bsr, mail, conmsg, spool
+- Document the multiple-drive-changer.txt script.
+- Pruning with Admin job.
+- Does WildFile match against full name?  Doc.
+- %d and %v only valid on Director, not for ClientRunBefore/After.
+
+Priority:
+- Implement status that shows why a job is being held in reserve, or
+  rather why none of the drives are suitable.
+- Implement a way to disable a drive (so you can use the second
+  drive of an autochanger, and the first one will not be used or
+  even defined).
+- Implement code that makes the Dir aware that a drive is an             
+  autochanger (so the user doesn't need to use the Autochanger = yes 
+  directive).
+
+For 1.39:
+- Make hardlink code at line 240 of find_one.c use binary search.
+- Queue warning/error messages during restore so that they
+  are reported at the end of the report rather than being
+  hidden in the file listing ...
+- A Volume taken from Scratch should take on the retention period
+  of the new pool.
+- Correct doc for Maximum Changer Wait (and others) accepting only
+  integers.
+- Fix Maximum Changer Wait (and others) to accept qualifiers.
+- Look at -D_FORTIFY_SOURCE=2
+- Add Win32 FileSet definition somewhere
+- Look at fixing restore status stats in SD.
+- Make selection of Database used in restore correspond to
+  client.
+- Implement a mode that says when a hard read error is
+  encountered, read many times (as it currently does), and if the
+  block cannot be read, skip to the next block, and try again.  If
+  that fails, skip to the next file and try again, ...
+- Add level table:
+  create table LevelType (LevelType binary(1), LevelTypeLong tinyblob);
+  insert into LevelType (LevelType,LevelTypeLong) values
+  ("F","Full"),
+  ("D","Diff"),
+  ("I","Inc");
+- Add ACL to restore only to original location.
+- Add a recursive mark command (rmark) to restore.
+- "Minimum Job Interval = nnn" sets minimum interval between Jobs
+  of the same level and does not permit multiple simultaneous
+  running of that Job (i.e. lets any previous invocation finish
+  before doing Interval testing).
+- Look at simplifying File exclusions.
+- Fix store_yesno to be store_bitmask.
+- New directive "Delete purged Volumes"
+- new pool XXX with ScratchPoolId = MyScratchPool's PoolId and
+  let it fill itself, and RecyclePoolId = XXX's PoolId so I can
+  see if it become stable and I just have to supervise
+  MyScratchPool
+- If I want to remove this pool, I set RecyclePoolId = MyScratchPool's
+  PoolId, and when it is empty remove it.
+- Figure out how to recycle Scratch volumes back to the Scratch
+  Pool.
+- Add Volume=SCRTCH
+- Allow Check Labels to be used with Bacula labels.
+- "Resuming" a failed backup (lost line for example) by using the
+  failed backup as a sort of "base" job.
+- Look at NDMP
+- Email to the user when the tape is about to need changing x
+  days before it needs changing.
+- Command to show next tape that will be used for a job even
+  if the job is not scheduled.
+--- create_file.c.orig  Fri Jul  8 12:13:05 2005
++++ create_file.c       Fri Jul  8 12:13:07 2005
+@@ -195,6 +195,8 @@
+                     attr->ofname, be.strerror());
+               return CF_ERROR;
+            }
++        } else if(S_ISSOCK(attr->statp.st_mode)) {
++            Dmsg1(200, "Skipping socket: %s\n", attr->ofname);
+         } else {          
+             Dmsg1(200, "Restore node: %s\n", attr->ofname);
+            if (mknod(attr->ofname, attr->statp.st_mode, attr->statp.st_rdev) != 0 && errno != EEXIST) {
+- From: Arunav Mandal <amandal@trolltech.com>
+  1. When jobs are running and bacula for some reason crashes or if I do a 
+  restart it remembers and jobs it was running before it crashed or restarted 
+  as of now I loose all jobs if I restart it.
+
+  2. When spooling and in the midway if client is disconnected for instance a 
+  laptop bacula completely discard the spool. It will be nice if it can write 
+  that spool to tape so there will be some backups for that client if not all.
+
+  3. We have around 150 clients machines it will be nice to have a option to 
+  upgrade all the client machines bacula version automatically.
+
+  4. Atleast one connection should be reserved for the bconsole so at heavy load 
+  I should connect to the director via bconsole which at sometimes I can't
+
+  5. Another most important feature that is missing, say at 10am I manually 
+  started  backup of client abc and it was a full backup since client abc has 
+  no backup history and at 10.30am bacula again automatically started backup of 
+  client abc as that was in the schedule. So now we have 2 multiple Full 
+  backups of the same client and if we again try to start a full backup of 
+  client backup abc bacula won't complain. That should be fixed.
+
+- Fix bpipe.c so that it does not modify results pointer.
+  ***FIXME*** calling sequence should be changed.
+1.xx Major Projects:
 #3   Migration (Move, Copy, Archive Jobs)
 #7   Single Job Writing to Multiple Storage Devices
-     (probably not) 
-
-##   Integrate web-bacula into a new Bacula project with
-     bimagemgr.
-##   Consider moving docs to their own project.
-##   Move rescue to its own project.
-
-Autochangers:
-- 3. Prevent two drives requesting the same Volume in any given
-     autochanger, by checking if a Volume is mounted on another drive
-     in an Autochanger.
-- 7. Implement new Console commands to allow offlining/reserving drives,
-     and possibly manipulating the autochanger (much asked for).
--    Make "update slots" when pointing to Autochanger, remove
-     all Volumes from other drives.  "update slots all-drives"?
-  
-For 1.37:
-- Look at dird_conf.c:1000: warning: `int size' 
-  might be used uninitialized in this function
-- Make a callback when Rerun failed levels is called.
-- Give Python program access to Scheduled jobs.
-- Implement some way to turn off automatic pruning in Jobs.
-- Implement a way an Admin Job can prune, possibly multiple
-  clients -- Python script?
-- Implement "NewVolumeEachJob = yes|no" in Dir.
-- FD Python
+- Reserve blocks other restore jobs when first cannot connect
+  to SD.
+- Add true/false to conf same as yes/no
+- For Windows disaster recovery see http://unattended.sf.net/
+- regardless of the retention period, Bacula will not prune the
+  last Full, Diff, or Inc File data until a month after the
+  retention period for the last Full backup that was done.
+- update volume=xxx --- add status=Full
+- Remove old spool files on startup.
+- Exclude SD spool/working directory.
+- Refuse to prune last valid Full backup. Same goes for Catalog.
+- Python:
+  - Make a callback when Rerun failed levels is called.
+  - Give Python program access to Scheduled jobs.
+  - Add setting Volume State via Python.
   - Python script to save with Python, not save, save with Bacula.
   - Python script to do backup.
-- Create a new GUI chapter explaining all the GUI programs.
-- Look at Preben's acl.c error handling code.
-- Look at adding full Volume and Pool information to a Volume 
-  label so that bscan can get *all* the info. 
-- Implement Maximum Job Spool Size
+  - What events?
+  - Change the Priority, Client, Storage, JobStatus (error) 
+    at the start of a job.
+- Why is SpoolDirectory = /home/bacula/spool;  not reported
+  as an error when writing a DVD?
+- Make bootstrap file handle multiple MediaTypes (SD)
 - Remove all old Device resource code in Dir and code to pass it
   back in SD -- better, rework it to pass back device statistics.
-- Finish implementation of passing all Storage and Device needs to
-  the SD.
 - Check locking of resources -- be sure to lock devices where previously
   resources were locked. 
-- Add global lock on all devices when creating a device structure.
-- Make sure that Python has access to Client address/port so that
-  it can check if Clients are alive.
-- Cleanup and complete Python scripting.
-  - What events?
-  - Change the Priority, Client, Storage, JobStatus (error) 
-    at the start of a job.
+- The last part is left in the spool dir.
+
 
-Maybe in 1.37:
+- In restore don't compare byte count on a raw device -- directory
+  entry does not contain bytes.
+- To mark files as deleted, run essentially a Verify to disk, and
+  when a file is found missing (MarkId != JobId), then create
+  a new File record with FileIndex == -1. This could be done
+  by the FD at the same time as the backup.
+=== rate design
+  jcr->last_rate
+  jcr->last_runtime
+  MA = (last_MA * 3 + rate) / 4
+  rate = (bytes - last_bytes) / (runtime - last_runtime)
+- Max Vols limit in Pool off by one?
+- Implement Files/Bytes,... stats for restore job.
+- Implement Total Bytes Written, ... for restore job.
+- Despool attributes simultaneously with data in a separate
+  thread, rejoined at end of data spooling.
+- 7. Implement new Console commands to allow offlining/reserving drives,
+     and possibly manipulating the autochanger (much asked for).
+- Add start/end date editing in messages (%t %T, %e?) ...
+- Add ClientDefs similar to JobDefs.
+- Print more info when bextract -p accepts a bad block.
+- Fix FD JobType to be set before RunBeforeJob in FD.
+- Look at adding full Volume and Pool information to a Volume 
+  label so that bscan can get *all* the info. 
 - If the user puts "Purge Oldest Volume = yes" or "Recycle Oldest Volume = yes"
   and there is only one volume in the pool, refuse to do it -- otherwise
   he fills the Volume, then immediately starts reusing it.
@@ -67,53 +175,12 @@ Maybe in 1.37:
 - Each file on tape creates a JobMedia record. Peter has 4 million
   files spread over 10000 tape files and four tapes. A restore takes
   16 hours to build the restore list.
-- By the way: on page http://www.bacula.org/?page=tapedrives , at the 
-  bottom, the link to "Tape Testing Chapter" is broken. It goes to 
-  /html-manual/... while the others point to /rel-manual/...
-- OS linux 2.4
-  1) ADIC, DLT, FastStor 4000, 7*20GB
-  2) Sun, DDS, (Suns name unknown - Archive Python DDS drive), 1.2GB
-  3) Wangtek, QIC, 6525ES, 525MB (fixed block size 1k, block size etc. 
-  driver dependent - aic7xxx works, ncr53c8xx with problems)
-  4) HP, DDS-2, C1553A, 6*4GB
-- Doc the following
-  to activate, check or disable the hardware compression feature on my 
-  exb-8900 i use the exabyte "MammothTool" you can get it here:
-  http://www.exabyte.com/support/online/downloads/index.cfm
-  There is a solaris version of this tool. With option -C 0 or 1 you can 
-  disable or activate compression. Start this tool without any options for 
-  a small reference.
-- Linux Sony LIB-D81, AIT-3 library works.
-- Device resource needs the "name" of the SD.
-- Add and option to see if the file size changed during backup.
-- Windows restore:
-  data-fd: RestoreFiles.2004-12-07_15.56.42 Error:
-  > ..\findlib\../../findlib/create_file.c:275 Could not open e:/: ERR=Der
-  > Prozess kann nicht auf die Datei zugreifen, da sie von einem anderen
-  > Prozess verwendet wird.
-  Restore restores all files, but then fails at the end trying
-  to set the attributes of e:
-- Add better documentation on how restores can be done
-  from failed jobs.
-- Resolve the problem between Device name and Archive name,
-  and fix SD messages.
+- Add and option to check if the file size changed during backup.
 - Make sure SD deletes spool files on error exit.
 - Delete old spool files when SD starts.
-- Add a restore directory-x
 - When labeling tapes, if you enter 000026, Bacula uses
   the tape index rather than the Volume name 000026.
-- Max Vols limit in Pool off by one?
-- Tell the "restore" user when browsing is no longer possible.
-- Require restore via the restore command or make a restore Job
-  get the bootstrap file.
-- Make bootstrap file handle multiple MediaTypes (SD)
 - Add offline tape command to Bacula console.
-- Document that Bootstrap files can be written with cataloging
-  turned off.
-- Upgrade to MySQL 4.1.1 See:  
-  http://dev.mysql.com/doc/mysql/en/Server_SQL_mode.html
-- Add client version to the Client name line that prints in
-  the Job report.
 - Bug: 
   Enter MediaId or Volume name: 32
   Enter new Volume name: DLT-20Dec04
@@ -125,13 +192,67 @@ Maybe in 1.37:
   dev.c:1207 ioctl MTWEOF error on /dev/nst0. ERR=Permission denied.
   askdir.c:219 NULL Volume name. This shouldn't happen!!!
   3912 Failed to label Volume: ERR=dev.c:1207 ioctl MTWEOF error on /dev/nst0. ERR=Permission denied.
-
   Label command failed for Volume DLT-20Dec04.
   Do not forget to mount the drive!!!
 - Bug: if a job is manually scheduled to run later, it does not appear
   in any status report and cannot be cancelled.
 
-Regression tests (Scott):
+==== Keeping track of deleted files ====
+     My "trick" for keeping track of deletions is the following.
+     Assuming the user turns on this option, after all the files
+     have been backed up, but before the job has terminated, the
+     FD will make a pass through all the files and send their
+     names to the DIR (*exactly* the same as what a Verify job
+     currently does).  This will probably be done at the same
+     time the files are being sent to the SD avoiding a second
+     pass.  The DIR will then compare that to what is stored in
+     the catalog.  Any files in the catalog but not in what the
+     FD sent will receive a catalog File entry that indicates
+     that at that point in time the file was deleted.
+
+     During a restore, any file initially picked up by some
+     backup (Full, ...) then subsequently having a File entry
+     marked "delete" will be removed from the tree, so will not
+     be restored.  If a file with the same name is later OK it
+     will be inserted in the tree -- this already happens.  All
+     will be consistent except for possible changes during the
+     running of the FD.
+
+     Since I'm on the subject, some of you may be wondering what
+     the utility of the in memory tree is if you are going to
+     restore everything (at least it comes up from time to time
+     on the list).  Well, it is still *very* useful because it
+     allows only the last item found for a particular filename
+     (full path) to be entered into the tree, and thus if a file
+     is backed up 10 times, only the last copy will be restored.
+     I recently (last Friday) restored a complete directory, and
+     the Full and all the Differential and Incremental backups
+     spanned 3 Volumes.  The first Volume was not even mounted
+     because all the files had been updated and hence backed up
+     since the Full backup was made.  In this case, the tree
+     saved me a *lot* of time.
+
+     Make sure this information is stored on the tape too so
+     that it can be restored directly from the tape.
+
+  Comments from Martin Simmons (I think they are all covered):
+  Ok, that should cover the basics.  There are few issues though:
+
+  - Restore will depend on the catalog.  I think it is better to include the
+  extra data in the backup as well, so it can be seen by bscan and bextract.
+
+  - I'm not sure if it will preserve multiple hard links to the same inode.  Or
+  maybe adding or removing links will cause the data to be dumped again?
+
+  - I'm not sure if it will handle renamed directories.  Possibly it will work
+  by dumping the whole tree under a renamed directory?
+
+  - It remains to be seen how the backup performance of the DIR's will be
+  affected when comparing the catalog for a large filesystem.
+
+=====
+
+Regression tests:
 - Add Pool/Storage override regression test.
 - Add delete JobId to regression.
 - Add a regression test for dbcheck.  
@@ -243,10 +364,21 @@ Why:
     format string. Then I have the tape labeled automatically with weekday
     name in the correct language.
 ==========
+-  Yes, that is surely the case. I probably should turn those into Warning
+   errors. In addition, you just made me think that it might not be bad to
+   add an option to check the file size after backing up the file and
+   report if it changes. This would be done as an option because it would
+   add extra overhead.
+   Kern, good idea.  If you do do that, mention in the output: file 
+   shrunk, or file expanded, just to make it obvious to the user 
+   (without having to the refer to file size), just how the file size 
+   changed.
+   Would this option be for all file, or just one file?  Or a fileset?
 - Make output from status use html table tags for nicely 
   presenting in a browser.
 - Can one write tapes faster with 8192 byte block sizes?
-- Specify a single directory to restore.
 - Document security problems with the same password for everyone in
   rpm and Win32 releases.
 - Browse generations of files.
@@ -270,9 +402,6 @@ Cap: 200GB
   bacula 1.36.0/1 works with blocksize 16k INSIDE bacula-sd.conf.
 - Add regex from http://www.pcre.org to Bacula for Win32.
 - Use only shell tools no make in CDROM package.
-- Document PostgreSQL performance problems bug 131.
-- Document testing
-- Document that ChangerDevice is used for Alert command.
 - Include within include does it work?
 - Implement a Pool of type Cleaning?
 - Implement VolReadTime and VolWriteTime in SD
@@ -281,13 +410,7 @@ Cap: 200GB
 - Look at correcting the time jump in the scheduler for daylight
   savings time changes.
 - Add a "real" timer to network connections.
-- Write non-optimized bsrs from the JobMedia and Media records,
-  even after Files are pruned.
 - Promote to Full = Time period 
-- Despool attributes simultaneously with data in a separate
-  thread, rejoined at end of data spooling.
-- Implement Files/Bytes,... stats for restore job.
-- Implement Total Bytes Written, ... for restore job.
 - Check dates entered by user for correctness (month/day/... ranges)
 - Compress restore Volume listing by date and first file.
 - Look at patches/bacula_db.b2z postgresql that loops during restore.
@@ -313,25 +436,29 @@ Documentation to do: (any release a little bit at a time)
   hours of operation.
   From Phil:
     In this context, it should be noted that Exabyte has a command-line
-    vxatool utility available for free download.  (The current version is
+    vxatool utility available for free download. (The current version is
     vxatool-3.72.) It can get diagnostic info, read, write and erase tapes,
     test the drive, unload tapes, change drive settings, flash new firmware,
     etc.
     Of particular interest in this context is that vxatool <device> -i will
     report, among other details, the time since last cleaning in tape motion
-    minutes.  This information can be retrieved (and settings changed, for
+    minutes. This information can be retrieved (and settings changed, for
     that matter) through the generic-SCSI device even when Bacula has the
-    regular tape device locked.  (Needless to say, I don't recommend
+    regular tape device locked. (Needless to say, I don't recommend
     changing tape settings while a job is running.)
 - Lookup HP cleaning recommendations.
 - Lookup HP tape replacement recommendations (see trouble shooting autochanger)
 - Document doing table repair
-  
-          
-Testing to do: (painful)
 
 
-For 1.37 Testing/Documentation:
+===================================
+- Add macro expansions in JobDefs.
+  Run Before Job = "SomeFile %{Level} %{Client}"
+  Write Bootstrap="/some/dir/%{JobName}_%{Client}.bsr"
+- Use non-blocking network I/O but if no data is available, use
+  select().
+- Use gather write() for network I/O.
+- Autorestart on crash.
 - Add bandwidth limiting.
 - Add acks every once and a while from the SD to keep
   the line from timing out.
@@ -343,7 +470,6 @@ For 1.37 Testing/Documentation:
   units, perhaps via a directive.
 - If opening a tape in read/write mode fails attempt to open
   it in read-only mode, and mark the tape for read only.
-- Add a read-only mode to the mount option.
 - Allow Simultaneous Priorities = yes  => run up to Max concurrent jobs even
   with multiple priorities.
 - If you use restore replace=never, the directory attributes for
@@ -366,29 +492,24 @@ For 1.37 Testing/Documentation:
   perhaps if password is undefined.
 - Implement "from ISO-date/time every x hours/days/weeks/months" in
   schedules.
-=== rate design
-  jcr->last_rate
-  jcr->last_runtime
-  MA = (last_MA * 3 + rate) / 4
-  rate = (bytes - last_bytes) / (runtime - last_runtime)
 
 ==== from Marc Schoechlin
 - the help-command should be more verbose
   (it should explain the paramters of the different 
   commands in detail)
-  -> it´s time-comsuming to consult the manual anytime
+  -> its time-comsuming to consult the manual anytime
      you need a special parameter
-  -> maybe it´s more easy to maintain this, if the
+  -> maybe its more easy to maintain this, if the
      descriptions of that commands are outsourced to
      a ceratin-file
 - the cd-command should allow complete paths
   i.e. cd /foo/bar/foo/bar
   -> if a customer mails me the path to a certain file,
-     it´s faster to enter the specified directory
+     its faster to enter the specified directory
 - if the password is not configured in bconsole.conf
   you should be asked for it.
   -> sometimes you like to do restore on a customer-machine
-     which shouldn´t know the password for bacula.
+     which shouldnt know the password for bacula.
   -> adding the password to the file favours admins
      to forget to remove the password after usage
   -> security-aspects
@@ -446,17 +567,8 @@ For 1.37 Testing/Documentation:
 - Investigate adding Mac Resource Forks.
 - Finish work on Gnome restore GUI.
 - Fix "llist jobid=xx" where no fileset or client exists.
-- From Chris Hull:
-   it seems to be complaining about 12:00pm which should be a valid 12
-   hour time.  I changed the time to 11:59am and everything works fine.
-   Also 12:00am works fine.  0:00pm also works (which I don't think
-   should).  None of the values 12:00pm - 12:59pm work for that matter.
-- Add level to estimate command.
 - For each job type (Admin, Restore, ...) require only the really necessary
-  fields.
-- Fix option 2 of restore -- list where file is backed up -- require Client,
-  then list last 20 backups.
-- Pass Director resource name as an option to the Console.
+  fields.- Pass Director resource name as an option to the Console.
 - Add a "batch" mode to the Console (no unsolicited queries, ...).
 - Add a .list all files in the restore tree (probably also a list all files)
   Do both a long and short form.
@@ -466,7 +578,6 @@ For 1.37 Testing/Documentation:
   did not exist.
 - Use SHA1 on authentication if possible.
 - See comtest-xxx.zip for Windows code to talk to USB.
-- Add Events and Perl scripting.
 - Add John's appended files:
    Appended = {     /files/server/logs/http/*log   }
    and such files would be treated as follows.On a FULL backup, they would
@@ -479,9 +590,6 @@ For 1.37 Testing/Documentation:
    creation date of files, we can be evensmarter about this and not count
    entirely upon the length.On a restore, the full and all incrementals
    since it will beapplied in sequence to restore the file.  
-- Allow for optional cancelling of SD and FD in case DIR
-  gets a fatal error. Requested by Jesse Guardiani <jesse@wingnet.net>
-- Add "limit=n" for "list jobs"
 - Check new HAVE_WIN32 open bits.    
 - Check if the tape has moved before writing.  
 - Handling removable disks -- see below:
@@ -504,7 +612,6 @@ For 1.37 Testing/Documentation:
   and form it from VolFile and VolBlock.
 - Make multiple restore jobs for multiple media types specifying 
   the proper storage type.
-- Implement MediaType keyword in bsr?   
 - Fix fast block rejection (stored/read_record.c:118). It passes a null
   pointer (rec) to try_repositioning().
 - Look at extracting Win data from BackupRead.
@@ -575,11 +682,6 @@ For 1.37 Testing/Documentation:
    support for Oracle database ??
 ===
 - Look at adding SQL server and Exchange support for Windows. 
-- Each DVD-RAM disk would be a volume, just like each tape is 
-  a volume. It's a 4.7GB media with random access, but there's nothing about 
-  it that I can see that makes it so different than a tape from  bacula's 
-  perspective. Why couldn't I back up to a bare floppy as a volume (ignoring 
-  the media capacity?)
 - Make dev->file and dev->block_num signed integers so that -1 can
   be an invalid value which happens with BSR.
 - Create VolAddr for disk files in place of VolFile and VolBlock. This
@@ -587,8 +689,6 @@ For 1.37 Testing/Documentation:
 - Add progress of files/bytes to SD and FD.
 - Print warning message if FileId > 4 billion
 - do a "messages" before the first prompt in Console
-- Add a date and time stamp at the beginning of every line in the 
-  Job report (Volker Sauer).
 - Client does not show busy during Estimate command.
 - Implement Console mtx commands.
 - Implement a Mount Command and an Unmount Command where
@@ -619,9 +719,6 @@ For 1.37 Testing/Documentation:
   an officially adopted standard, has survived peer
   review, and provides keys up to 256 bits.
 - Take a careful look at SetACL http://setacl.sourceforge.net     
-- Take a careful look at Level for the estimate command, maybe make
-  it a command line option.
-- Add Volume name to "I cannot write on this volume because"
 - Make tree walk routines like cd, ls, ... more user friendly
   by handling spaces better.
 - Make sure that Bacula rechecks the tape after the 20 min wait.
@@ -638,7 +735,6 @@ For 1.37 Testing/Documentation:
     in the "short" pool to the "long" pool if this pool runs out of volume 
     space?
 - What to do about "list files job=xxx".
-- Make Dmsg look at global before calling subroutine.
 - Get and test MySQL 4.0
 - Look at how fuser works and /proc/PID/fd that is how Nic found the
   file descriptor leak in Bacula.
@@ -648,8 +744,6 @@ For 1.37 Testing/Documentation:
 - If pool specified to label command and Label Format is specified,
   automatically generate the Volume name.
 - Why can't SQL do the filename sort for restore?
-- Look into Microsoft Volume Shadowcopy Service VSS for backing
-  up system state components (Active Directory, System Volume, ...)
 - Add ExhautiveRestoreSearch
 - Look at the possibility of loading only the necessary 
   data into the restore tree (i.e. do it one directory at a
@@ -666,24 +760,14 @@ For 1.37 Testing/Documentation:
   Windows.
 - Implement migrate
 - Use autochanger to handle multiple devices.
-- Add SuSE install doc to list.
-- Check and rechedk "Invalid block number"
-- User wants to NOT backup up certain big files (email files).
-- Maybe remove multiple simultaneous devices code in SD.
 - On Windows with very long path names, it may be impossible to create 
   a file (and thus restore it) because the total length is too long.
   We must cd into the directory then create the file without the
   full path name.
 - Implement a Recycle command
-- Add client name to cram-md5 challenge so Director can immediately
-  verify if it is the correct client.
-- Audit all UA commands to ensure that we always prompt where possible.
-- Make bootstrap filename unique.
 - Test a second language e.g. french.
 - Start working on Base jobs.
 - Implement UnsavedFiles DB record.
-- Implement argc/argv for daemon command line scanning using table driven
-  stuff below.
 - From Phil Stracchino:
   It would probably be a per-client option, and would be called
   something like, say, "Automatically purge obsoleted jobs".  What it
@@ -694,26 +778,17 @@ For 1.37 Testing/Documentation:
   all Differential and Incremental jobs obsoleted by that Full backup.
   This would let people minimize the number of tapes they're keeping on
   hand without having to master the art of retention times.
-- Implement a M_SECURITY message class.
 - When doing a Backup send all attributes back to the Director, who
   would then figure out what files have been deleted.
 - Currently in mount.c:236 the SD simply creates a Volume. It should have
   explicit permission to do so.  It should also mark the tape in error
   if there is an error.
-- SD Bytes Read is wrong.
-- Investigate doing RAW backup of Win32 partition.
 - Cancel waiting for Client connect in SD if FD goes away.
 
 - Implement timeout in response() when it should come quickly.
-- Implement console @echo command.
 - Implement a Slot priority (loaded/not loaded).
 - Implement "vacation" Incremental only saves.
-- Implement single pane restore (much like the Gftp panes).
-- Implement Automatic Mount even in operator wait.
 - Implement create "FileSet"?
-- Implement restore "current system", but take all files without
-  doing selection tree -- so that jobs without File records can
-  be restored.
 - Add prefixlinks to where or not where absolute links to FD.
 - Issue message to mount a new tape before the rewind.
 - Simplified client job initiation for portables.
@@ -743,7 +818,6 @@ For 1.37 Testing/Documentation:
 - Priority job to go to top of list.
 - Why are save/restore of device different sizes (sparse?)   Yup! Fix it.
 - Implement some way for the Console to dynamically create a job.
-- Restore to a particular time -- e.g. before date, after date. 
 - Solaris -I on tar for include list
 - Need a verbose mode in restore, perhaps to bsr.
 - bscan without -v is too quiet -- perhaps show jobs.
@@ -751,22 +825,15 @@ For 1.37 Testing/Documentation:
 - Check if we can increase Bacula FD priorty in Win2000
 - Make sure the MaxVolFiles is fully implemented in SD
 - Check if both CatalogFiles and UseCatalog are set to SD.
-- Figure out how to do a bare metal Windows restore
 - Possibly add email to Watchdog if drive is unmounted too
   long and a job is waiting on the drive.
 - After unmount, if restore job started, ask to mount.
-- Convert all %x substitution variables, which are hard to remember
-  and read to %(variable-name).  Idea from TMDA.
-- Remove NextId for SQLite. Optimize.
-- Move all SQL statements into a single location.
 - Add UA rc and history files.
 - put termcap (used by console) in ./configure and
   allow -with-termcap-dir.
 - Fix Autoprune for Volumes to respect need for full save.
-- Fix Win32 config file definition name on /install
 - Compare tape to Client files (attributes, or attributes and data) 
 - Make all database Ids 64 bit.
-- Write an applet for Linux.
 - Allow console commands to detach or run in background.
 - Fix status delay on storage daemon during rewind.
 - Add SD message variables to control operator wait time
@@ -1074,28 +1141,6 @@ Need:
 =============================================================
 
 
-Done: (see kernsdone for more)
-
-=== after 1.32c
-- John's Full save failed with 1.32c FD and 1.31 Dir no FD status,
-  and no error message.
-- Add fd and st as Console keywords.
-- Recycling volume with a Slot requires an operator intervention:
-    rufus-dir: Start Backup JobId 18, Job=kernsave.2003-11-01_21.23.52
-    rufus-dir: Pruned 1 Job on Volume Vol01 from catalog.
-    rufus-dir: There are no Jobs associated with Volume Vol01. Marking it purged.
-    rufus-dir: Recycled volume "Vol01"
-    rufus-sd: Please mount Volume "Vol01" on Storage Device "DDS-4" for Job kernsave.2003-11-01_21.23.52
-    Use "mount" command to release Job.
-- Implement Dan's bacula script (email of 26 Oct).
-- Add JobName= to VerifyToCatalog so that all verifies can be done at the end.
-- Edit the Client/Storage name into authentication failure messages.
-- Fix packet too big problem. This is most likely a Windows TCP stack 
-  problem.
-- Implement ClientRunBeforeJob and ClientRunAfterJob.
-- Implement forward spacing block/file: position_device(bsr) --
-  just before read_block_from_device();
-
 =====
    Multiple drive autochanger data:  see Alan Brown
    mtx -f xxx unloadStorage Element 1 is Already Full(drive 0 was empty)
@@ -1224,85 +1269,11 @@ Block Position: 0
 
 
 === Done
-- Save mount point for directories not traversed with onefs=yes.
-- Add seconds to start and end times in the Job report output.
-- if 2 concurrent backups are attempted on the same tape
-  drive (autoloader) into different tape pools, one of them will exit
-  fatally instead of halting until the drive is idle
-- Update StartTime if job held in Job Queue.
-- Look at www.nu2.nu/pebuilder as a helper for full windows
-  bare metal restore. (done by Scott)
-- Fix orphanned buffers:
-   Orphaned buffer:      24 bytes allocated at line 808 of rufus-dir job.c
-   Orphaned buffer:      40 bytes allocated at line 45 of rufus-dir alist.c
-- Implement Preben's suggestion to add
-  File System Types = ext2, ext3 
-  to FileSets, thus simplifying backup of *all* local partitions.
-- Try to open a device on each Job if it was not opened
-  when the SD started.
-- Add dump of VolSessionId/Time and FileIndex with bls.
-- If Bacula does not find the right tape in the Autochanger,
-  then mark the tape in error and move on rather than asking
-  for operator intervention.
-- Cancel command should include JobId in list of Jobs.
-- Add performance testing hooks
-- Bootstrap from JobMedia records.
-- Implement WildFile and WildDir to solve problem of 
-  saving only *.doc files.
-- Fix
-   Please use the "label"  command to create a new Volume for:
-       Storage:      DDS-4-changer
-       Media type:   
-       Pool:         Default
-   label
-   The defined Storage resources are:
-- Copy Changer Device and Changer Command from Autochanger
-  to Device resource in SD if none given in Device resource.
-- 1. Automatic use of more than one drive in an autochanger (done)
-- 2. Automatic selection of the correct drive for each Job (i.e.
-     selects a drive with an appropriate Volume for the Job) (done)
-- 6. Allow multiple simultaneous Jobs referencing the same pool write
-    to several tapes (some new directive(s) are are probably needed for
-    this) (done)
-- Locking (done)
-- Key on Storage rather than Pool (done)
-- Allow multiple drives to use same Pool (change jobq.c DIR) (done).
-- Synchronize multiple drives so that not more
-  than one loads a tape and any time (done)
-- 4. Use Changer Device and Changer Command specified in the
-     Autochanger resource, if none is found in the Device resource.
-    You can continue to specify them in the Device resource if you want
-    or need them to be different for each device.
-- 5. Implement a new Device directive (perhaps "Autoselect = yes/no") 
-    that can allow a Device be part of an Autochanger, and hence the changer
-    script protected, but if set to no, will prevent the Device from being 
-    automatically selected from the changer. This allows the device to
-    be directly accessed through its Device name, but not through the
-    AutoChanger name.
-#6   Select one from among Multiple Storage Devices for Job
-#5   Events that call a Python program 
-     (Implemented in Dir/SD)
-- Make sure the Device name is in the Query packet returned.
-- Don't start a second file job if one is already running.
-- Implement EOF/EOV labels for ANSI labels
-- Implement IBM labels.
-- When Python creates a new label, the tape is immediately
-  recycled and no label created. This happens when using   
-  autolabeling -- even when Python doesn't generate the name.
-- Scratch Pool where the volumes can be re-assigned to any Pool.
-- 28-Mar 23:19 rufus-sd: acquire.c:379 Device "DDS-4" (/dev/nst0) 
-  is busy reading. Job 6 canceled.
-- Remove separate thread for opening devices in SD.  On the other
-  hand, don't block waiting for open() for devices.
-- Fix code to either handle updating NumVol or to calculate it in
-  Dir next_vol.c
-- Ensure that you cannot exclude a directory or a file explicitly
-  Included with File.
-#4   Embedded Python Scripting 
-     (Implemented in Dir/SD/FD)
-- Add Python writable variable for changing the Priority,
-    Client, Storage, JobStatus (error), ...
-- SD Python
-  - Solicit Events
-- Add disk seeking on restore; turn off seek on tapes.
-  stored/match_bsr.c
+- Make sure that all do_prompt() calls in Dir check for
+  -1 (error) and -2 (cancel) returns.
+- Fix foreach_jcr() to have free_jcr() inside next().
+  jcr=jcr_walk_start();
+  for ( ; jcr; (jcr=jcr_walk_next(jcr)) )
+  ...
+  jcr_walk_end(jcr);
+