]> git.sur5r.net Git - bacula/bacula/blob - bacula/technotes-1.39
Update technotes
[bacula/bacula] / bacula / technotes-1.39
1               Technical notes on version 1.39  
2
3 General:
4 03Aug06
5 kes  Attempt to fix problems with the msg_queue crashing on Solaris
6      when Bacula is terminating, but problems remain.
7 kes  Add WIN32_VSS to HAVES in src/Makefile.inc.in to correct VSS
8      name editing problems with too many \\?\es.
9 kes  Add an extra test for !bAddPrefix at line 256 compat.cpp
10 kes  Fix some Bacula source code stlye problems in compat.cpp.
11 kes  Turn off 3 lines of code at line 331 of compat.cpp
12 kes  Add debug code to compat.cpp and convert non-Bacula debug code
13      to Bacula style.
14 02Aug06
15 kes  Change the name of the technical notes file from kes-1.39 to
16      technotes-1.39.  Prefix my messages with 'kes  '.
17 kes  Allow dequeue_messages() to be called twice. Should fix bug  
18      # 649.
19 kes  Add Job type to bscan Job information output.
20 01Aug06
21 kes  Update copyright date in program files, and for the most part
22      put it on a #define.
23 kes  Implement %q in bsnprintf.c apparently I forgot it.
24 31Jul06
25 kes  Make disk-changer sed command compatible with FreeBSD.
26 kes  Make a first cut at a ReleaseNotes and ChangeLog for a 
27      beta release.
28 kes  Make make clean decend into the src/win32 directory.
29 kes  Fix some #ifdefing so that Solaris and FreeBSD compile 
30      sys/stat.h was turned off.
31 kes  Use suffix editing for new transfer rate messages.
32 kes  Attempt to come up with a workaround which seems to be an OS
33      bug where write() returns EBUSY.  IMO this should not happen.
34      It triggered in truncatebug test. The workaround retries using
35      a 100 ms wait.
36 kes  Eliminate a strerror() call in a class method that failed with
37      older C++ compilers.
38 kes  Use rm -rf rather than rmdir to delete the src/win32/release
39      directory during make clean.
40 30Jul06
41 kes  Make bscan ignore ACL streams.
42 kes  Update projects files with new Feature Requests.
43 kes  Generate current English and French manuals and upload
44      them to the site.
45 kes  Update the home page to include the new British/French flags to
46      switch between translations. Work done by Alexandre Baron.
47 kes  Make disk-changer script print an error message if the changer
48      directory is not defined.
49 kes  Create a generic DB routine for getting an int (32/64 bit) from
50      the DB.
51 kes  Add more migration code.
52 kes  Add a few more files to .cvsignore here and there.
53 kes  Minor fixes for SD write rate and despooling rate.
54 kes  Turn off new test code in src/console.c
55
56 Version 1.39.18
57 29Jul06
58 kes  Incremented the version number to signify that all of Robert's code
59      for Win32 that was in the branch is now integrated into the HEAD,
60      and that Eric has submitted code that we hope will provide limited
61      backward compatibility with 1.38 file daemons (more testing to be
62      done).
63 kes  I rationalized a few of the names of the variables (mainly jcr names)
64      that are used during migration as keeping three different jcrs at the
65      same time clear in one's head is not easy.
66
67 Version 1.39.17
68 28Jul06
69 eb   Tweak new runscript feature to work with 1.38.x FDs. 
70 eb   Correct crypto.c to fix segfault when restoring an encrypted stream 
71      on fd which don't use rsa keys.
72 eb   Add yes/no english keywords on localised yes/no questions.
73 27Jul06
74 kes  Several important commits from Robert Nelson for code cleanup and
75      Win32 build.
76 kes  Modify console.c so that when conio is enabled, it converts \n to
77      \n\r before outputting to the console.  Hopefully this will fix
78      the problems with expect in Perl that Eric saw.
79 24Jul06
80 kes  Change cats/sql.c to elimate %-*s format, which I think is turned
81      off in bsnprintf.
82 kes  Add Comment field to llist of a volume.
83 kes  Allow true/false in some yes/no questions.
84 kes  Implement update volume enable=(on|off|true|false|archived|0|1|2)
85 kes  Remove a few /n's when scanning commands from another daemon. This
86      permits adding additional fields later.
87 kes  Modify dbcheck to handle ctl-d and to delete Log table entries.
88 kes  Update README.mingw
89 22Jul06
90 kes  Tweak authentication to work with 1.38.x FDs. 
91 kes  Tweak catalog make scripts.
92 kes  Fix catalog upgrade scripts so that they work.
93 kes  Correct despooling debug code to eliminate race condition.
94 19Jul06
95 kes  Add additional fields as specified by Arno to LocationLog.
96 kes  Add comment field to the Media record.
97 kes  Add Time field to the Log record.
98 kes  Correct migration SQL (thanks to Bill Moran) so that it
99      runs with PostgreSQL also.
100 kes  Add spooling/despooling info in status output of SD.
101 17Jul06
102 kes  Spend a lot of time integrating mkcdrec with the rescue disk.
103 kes  Add VOLMGMT message class for volume management messages (none yet).
104 kes  Add CATALOG as a destination.     It goes into the LOG table.
105 kes  Implement the Log table in the DB.
106 kes  Implement the Location Log table in the DB (for user use).
107 kes  At Eric's request add a run_scripts() just after blast_data in
108      src/filed/job.c
109 10Jul06
110 kes  Add Enabled column to Location, correct some typos in DB schemas.
111 kes  Correct bug I introduced into RunScripts enum.
112 kes  Add log table to Catalog
113 kes  Purge original job migrated if the migration terminates normally.
114 kes  Cleanup purging of files/jobs so that it is done only in a 
115      single subroutine.
116 kes  Add new VOLMGMT message class.
117 kes  Add Catalog message destination (user conf code remains to be written).
118 09Jul06
119 kes  Modify read_record and friends to properly deal with migration         
120      needs.
121 kes  Update debug code in read_record.       
122 08Jul06
123      ======================= Warning ==========================
124      Separate read and write storage in Jobs in the Director. This
125      is a major rewrite of some of the low level code and hence has
126      a high probability of introducing bugs.
127      ==========================================================
128
129 kes  Move the job init code up to *before* the job is put into
130      the job queue (resource allocation queue). This permits the
131      job to establish whether it will read or write or do both.
132 kes  Add name() methods to all the resource classes.
133 kes  Implement separate read and write storage resource 
134      allocation/deallocation in jobq.c
135
136      ======================= Warning ==========================
137      Implemented new method of getting the default Storage from the Media
138      record rather than from the MediaType for restore.  As a fall
139      back, if no Storage is defined, use the MediaType.  This
140      eliminates most all prompts if there are multiple MediaTypes
141      used. This is an important and fundamental change.
142      ==========================================================
143
144 kes  Add more detail (Storage, Device) to list of volumes printed
145      for restore.
146 kes  More code in migrate. In particular start multiple jobs if
147      migrating a volume.
148 kes  Probably overkill, but ensure that the bsr is unique even within a 
149      job in FD and SD.
150 kes  Rework bsys.c drop() so that it now should work as expected.
151 kes  Update a bunch of old copyrights -kes  particularly in .h files.
152 kes  Remove src/lib/bshm.c/h
153 05Jul06
154 kes  Migration fixes
155 04Jul06
156      ======================= Warning ==========================
157         All hash codes in the database are now kept in world
158         compatible base64 format (no = filling). This means that
159         all FileSets will be updated and if you are running
160         verify jobs, you must do an InitCatalog.
161         Authentication uses the new algorithm, but should be
162         backward compatible with 1.38.x
163      ===========================================================
164
165 kes  Modify the authentication routines so that the 1.39.15 Director
166      always runs with the compatible binary to base64 code (same as
167      the rest of the world).  It will however detect if an SD or
168      FD is running the old code and if that is the case, will use
169      the old algorithm for authentication.  However, all consoles must
170      use the compatible algorithm, and all data entered into the database
171      (all hash signatures, MD5, SHA1, ..., and all FileSet hashes) will
172      use the compatible algorithm.
173 kes  Rename the cram_md5 routine names to be slightly more appropriate
174      to what they are doing (challenge and respond).
175 kes  Robert committed his #ifdef and header cleanup.
176 30Jun06
177 kes  Fix a complier warning in files/backup.c
178 kes  Cleanup NOT NULL vs DEFALT 0 in database creation.
179 kes  Tweak btape.
180 kes  Robert committed his low impact changes.
181 kes  I removed a size_t from the jcr.h definition.
182 kes  Update the tape regression scripts (still to be tested).
183 kes  Add gcc and gcc-c++ requires to srm as suggested by a user.
184 kes  Require done or quit to exit from in memory tree restore.
185 26Jun06
186 kes  Write install/uninstall of new manpages. There are now a
187      pile of man pages. Some of which need a lot of work.
188
189      ======================= Warning ==========================
190         The --mandir ./configure option now points to the top level
191         man directory.  The man files will be installed under
192         mandir/man8 and mandir/man1 as appropriate.
193      ==========================================================
194
195 kes  Add complete text of GPL to LICENSE.
196 kes  Implement job report that indicates where Storage and Pool
197      came from -kes  with overrides and Pool storage and NextPool,
198      it is all very complicated.
199 kes  Create a few common subroutines for backup.c and migrate.c
200 kes  Eliminate warning messages from tray-monitor.c
201 25Jun06
202 kes  Apply fix for scheduler for missing unlock_jobs().
203 kes  Clean out autoconf caches before rebuilding configure
204 kes  Fix the FreeBSD pthreads lib define updated by Dan.
205 kes  Add missing semicolon in src/console/console.c
206 kes  Add Robert's enhanced version of build-win32-cross-tools
207      as well as his patch file.
208 kes  Note, the new gcc options are likely to break building of
209      wx-console or the tray-monitor ...
210 24Jun06
211 kes  Implement Robert's suggestion to suppress printing compile lines.
212 kes  Detect GCC correctly (I hope)
213 kes  If using GCC (actually g++) add the following compiler flags
214      -fno-strict-aliasing -fno-exceptions -fno-rtti
215
216      ===================== Warning =============================
217      Turn on new bsnprintf() code.  This could cause print output
218      to look different.
219      ===========================================================
220
221 kes  Fix crypto when not using openssl. I previously overlooked this.
222 kes  Eliminate crypto type punning problems by eliminating void * and
223      using uint8_t * instead.
224 kes  Harden authentication failure in FD by single threading errors
225      and forcing a 6 second wait.
226
227      ===================== Warning =============================
228           Removed  "Accept Any Volume" directive.
229      ===========================================================
230
231 kes  Major cleanup and simplification of regress using shell functions
232      (more tests to be converted to new format)   
233 kes  Add detection of 64 bit Irix as indicated by user.
234 kes  Increment catalog database id from 9 to 10.
235 kes  Add a few of the new database fields to the various C++
236      structures.
237 kes  Implement code to fill in the most important new fields (e.g.
238      Media Enable).
239 kes  Ensure that most of the new fields are in create/get/insert/update.
240      More work to be done.
241 22Jun06
242 kes  Update some very old licenses in src/cats.
243 kes  Modify the database format for handling Migration jobs:
244       Add PriorJobId, RealEndTime to Job table
245       Delete MAC table
246       Remove Stripe from JobMedia record (not used, wasting space)
247       Add ScratchPoolId, RecyclePoolId, Enabled to Media record
248       Add Cost to Location table.
249 kes  Delete mac_record subroutines.
250 kes  Add new table values to create/update/get routines as appropriate.
251 kes  Update the update_tables and make_tables scripts.
252 kes  Make a first cut in using a union where multiple pointers (actually
253      pointers to pointers) are stored.
254 kes  Make some changes to base64.c suggested by Robert and others and add
255      a small amount of documentation.
256 kes  Add some changes suggested by Peter for Solaris (bregex...)
257 kes  Make runscript.h always built because it needs to be pulled into
258      more places.  In particular its RES was left out of a union.
259 kes  Renumber the enum{} list in runscript.h to avoid starting from zero.
260      This makes it slightly easier to detect uninitialized variables.
261 14Jun06
262 kes  Remove xpg4 lib from FreeBSD build as it is no longer needed and
263      sometimes creates install problems.
264 kes  Change a couple of %T in strftime to %H:%M:%S as seen in Robert
265      Nelson's code.  More to do.
266 kes  Convert a few store_bit to store_bool in filed_conf.c.       
267 kes  DVD tweak to block.c as supplied by Uwe Muessel.
268 04Jun06
269 kes  Modify configure.in to check for typeof().
270 kes  In findlib/attribs.c use typeof instead of templates if possible.
271 01Jun06
272 kes  Implement partial error messages for src/filed/acl.c
273 kes  Fix return code to fail when doing update barcodes and
274      Pool resource is not found. This previously caused Volumes
275      to be labeled as cleaning tapes.
276 kes  Small updates to projects.
277 27May06
278 kes  Add Eric Bollengier patch for new RunScript directive. It breaks
279      compatibility between dird and fd.
280 26May06
281 kes  Prevent DVD code from rewriting label if the device cannot be
282      opened read/write.
283 kes  Used __GNUC__ to detect GNU g++ as suggested by John Goerzen to
284      fix Debian build bug.
285 kes  Fix Dir/SD run race in migrate.c, verify.c, and restore.c
286 kes  Integrate manpages contributed by Jose Luis.
287 kes  Update projects file.
288 kes  Add manpages Makefile.in to configure.in
289 kes  Remove installation of bacula.8 in scripts directory.
290 24May06
291 kes  Implement patch submitted by cesarb in bug #606 to implement O_NOATIME
292      support.
293        O_NOATIME is a open() flag which makes it possible to read a file without
294        updating the inode atime (and also without the inode ctime update which
295        happens if you try to set the atime back to its previous value). It also
296        prevents a race condition when two programs are reading the same file, but
297        only one does not want to change the atime. It's most useful for backup
298        programs and file integrity checkers (and bacula can fit on both
299        categories).
300
301        Recent versions of the Linux kernel and glibc have support for it (the
302        glibc support being mostly copying the O_NOATIME definition to
303        bits/fcntl.h). If there's no support for it on the kernel, trying to use
304        it does nothing (since the kernel ignores unknown flags).
305
306        If the kernel has support for it, trying to use it either works, fails
307        silently (mostly in remote filesystems), or returns errno=EPERM (if you
308        are not either the owner of the file or root). A simple way to prevent the
309        failure is to open the file without the flag and set it later with
310        fcntl(F_SETFL), ignoring any EPERM errors.
311 kes  Applied patch posted by Jaime Ventura to bug #570 to correct failure
312      of restarted jobs to complete (due to a destroyed pthreads conditional
313      variable used by the message thread).
314 kes  Fixed bug #619 where Bacula would not restart jobs with MaxRestartTimes
315      set to zero. 
316 kes  Apply patch from John Goerzen bug #611 to fix bad manual links in the code.
317 kes  Apply patch from Rudolf Cejka bug #614 to removed trailing
318      colons in query.sql file.
319 kes  Apply patch from Rudolf Cejka bug #613 to correct prunning of files
320      not to create orphans.
321 kes  Apply patch from Rudolf Cejka bug #617 to use mtime instead of ctime
322      in restore long listing.
323 kes  Apply patch from Rudolf Cejka bug #609 to use MarkId in verify.c instead
324      of incorrect MarkedId.
325 kes  Apply patch from adioso bug #616 to correct text in manual (replace
326      Director with File daemon).
327 kes  Rework a few of the zlib changes so that they build properly.
328
329 21May06
330 kes  Move DIR "run" command to SD before starting the message thread
331      as suggested by Cristopher Hull to avoid a race deadlock from
332      two threads using the bsock structure.
333 kes  Modify LICENSE to correct some problems pointed out by Debian.
334 05May06
335 kes  Correct EOF with no \n lex.c problem.
336 kes  Tweak compat.h compat.cpp and merge with apcupsd
337 kes  Add additional INFO messages if autochanger cannot be used.
338
339 02May06
340 kes  Simplify Win32 Makefile
341 kes  Correct count of buffers/bytes used by smartall.c
342 kes  Updated compat.h after porting apcupsd to MinGW.
343 01May06
344 kes  Work on getting wx-console building on MinGW. wxWidgets now builds
345      started adding Makefile ...
346 kes  Moved MinGW library objects to src/win32/lib to reduce clutter.
347 30Apr06
348 kes  Reloading a bad configuration file doesn't kill director any more.
349      Thanks to fix from Eric Bollengier.
350 29Apr06
351 kes  Fix problem of accents with new Win32 code.
352 kes  Integrate Howard's VSS patch. Tweak it a bit. VSS now
353      works in the MinGW build with the exception that there
354      is a problem with accented characters -kes  i.e. there is
355      some mapping problem with wide characters.
356 kes  The code no longer compiles with Microsoft VC++.
357 28Apr06
358 kes  Start implementing Christopher's St.Bernard code.
359 kes  Add Christopher's mods for opening files.
360 kes  Strip \r \n from Win32 error messages (Christopher)
361 kes  Add more info about Win32 system if unknown (Christopher)
362 kes  Use bstrn(cpy, cat) routines to avoid overrun in compat.cpp
363 kes  Fix a number of incorrect strings marked for translation, when
364      they should not be (e.g. commands).
365 kes  Fix StartTime bug reported for ClientRunBeforeJob and RunBeforeJob
366      Patches supplied by user in bugs #608 and #599.
367 kes  Use most recent of st_ctime and st_mtime in restore tree DIR
368      listing. This fixes some problems with Win32 printing incorrect
369      values.
370 kes  Correct the clock shift comm time calculation between the DIR
371      and the FD. It was added rather than subtracted.
372 kes  Strip all backslashes in filenames to be restored on Win32
373      machines -kes  the names should all be in Unix format, and if
374      there are any backslashes it is most likely due to an improper
375      FileSet definition, and the files will not otherwise be 
376      restorable.
377 kes  Remove lib/regex.c (replaced by bregex.c).
378 kes  Delete src/win32/License.txt
379 kes  Modify installer to install LICENSE
380 26Apr06
381 kes  Fix bug in build-win32-cross-tools script reported by Howard
382 kes  Implement cross compiled bconsole
383 25Apr06
384 kes  Fix barcode test, eliminate BOOL (doesn't exist on Linux).
385 kes  Write first cut of README.mingw32
386 kes  Add back ua_label barcode fix from Rufolf Cejka.
387 kes  Integrate the majority of the Mingw cross-tools submission
388      made by Howard Thomson. Everything compiles, with zlib, openssl,
389      and VSS turned off. Linking needs a pthreads library ...
390 23Apr06
391 kes  Add 'Dir Status' button to the gnome console.
392 kes  More work on migration.
393 kes  Restore non-compatible base64 coding to permit compatibility.
394 kes  Display heap stats in Storage daemon without debug level.
395 22Apr06
396 kes  Integrate most of the MinGW changes -kes  more to do.
397 21Apr06
398 kes  Implement using pg_config for finding PostgreSQL files.
399      Fixes bug #600. Patch supplied by user.
400 kes  Remove -t option from mktemp in mtx_changer.in and use
401      working directory. Fixes bug #578.
402 kes  Update job start time after the any run before job so that
403      files created by the script are only backed up once. Fixes
404      bug #599.
405 kes  Strip trailing newline only from filenames entered in
406      the restore command when reading a file. This permits
407      the user to enter filenames with trailing spaces. Fixes
408      bug #549. The user supplied a patch that I modified slightly.
409 kes  Use the most recent time (st_mtime, st_ctime) in the dir
410      command in restore. This gives the user a better idea of what
411      the newest file really is. This fixes bug #574. The fix
412      was suggested by the user.
413 kes  Implement a compatible version of base64. This permits external
414      programs to duplicate Bacula's base64 algorithm using standard
415      routines. This fixes bugs #296, and 565. Patch submitted by   
416      author of bug #565.  
417      ================= Note ========================
418      Previous Signatures stored in the database are no longer
419      compatible with this. The main downside is for Verify jobs,
420      and doing an InitCatalog run will fix the problem. Also, the
421      authentication between the deamons is changed, so all daemons
422      must be simultaneously upgraded.
423      ==============================================
424      If you don't like this fix, set:
425        const bool compatible = true;
426      to
427        const bool compatible = false;
428      in src/lib/base64.c
429 20Apr06
430 kes  Ensure that DB signature is never NULL.
431 kes  Ensure that DB table names are not translated.
432 kes  Fix scheduler to handle time skew (eg daylight savings).
433 kes  Fix scheduler to use lock_jobs() to avoid most problems
434      with reload. Window is now milliseconds.
435 19Apr06
436 kes  Apply patch from Christopher Hull
437      kes  Allow multiple connections to database with different
438        parameters.
439      kes  Invalidate the scheduler when doing a reload. Fixes seg
440        fault, but still 60 second window.
441      kes  Additional info in Reschedule message.
442      kes  Use set_jcr_job_status() everywhere to prevent loss of
443        cancel, error.
444      kes  Display peer IP in FD if error from connecting DIR.
445      kes  Don't increment file count for DIRBEGIN.
446      kes  Replace illegal characters in Win32 filename by _.
447      kes  Add SE_CREATE_PERMANENT_NAME privilege in Win32.
448      kes  Hash hard link filenames rather than linked list.
449      kes  Fix for security failure in chdir on Win32.
450      kes  Add CreateDirectoryA/W win32 API entry points.
451 kes  Add /silent option to Win32 FD for Install/Remove service.
452 kes  Always print Heap statistics in FD.
453 18Apr06
454 kes  Remove the -f option from the chown in Makefile.in for more
455      portability.
456 kes  Change setting the group in Makefile.in to use chgrp for
457      more portability.
458 kes  Implement a write_store and read_store to replace
459      dirstore in reserve.c
460 kes  Implement a Bacula read/write lock for Python rather
461      than using the Python lock to avoid recursive problems.
462 kes  Correct the uninstall directory names in filed/Makefile.in
463      as reported by a user.
464 17Apr06
465 kes  Correct some problems with database creation (new tables).
466 kes  Replace a bunch of old 0x%x by %p.
467 kes  Get first cut of Migration with Job selection working.
468 16Apr06
469 kes  Change store_bit() to store_bool() for the Spooling in 
470      dird_conf.c -kes  bug reported by Robert Nelson.
471 15Apr06
472 kes  Correct Makefile bug found by Dan Langille.
473 14Apr06
474 kes  Correct Makefile for Solaris /bin/sh
475 kes  Correct mtx-changer.in for Solaris /bin/sh
476 kes  Abort if a conf resource does not have a Name =
477 12Apr06
478 kes  Change the name of the regex program to bregex.
479 kes  Add the bwild program to the tools directory. It is similar
480      to the bregex program.
481 kes  Implement create bregex.h and bregex.c in src/lib from the
482      Python regexp program.  
483 kes  Use the new bregex.c to implement Regex expressions on Win32.
484 11Apr06
485 kes  More work on migration.
486 kes  Implement wild program in tools directory for testing
487      wild-cards. Almost identical to the regex program.
488 kes  Up port VSS single thread locking code.
489 kes  Replace N_(..) by NT_(...) to inhibit translation of
490      commands.
491 kes  Modify Makefile to change the permissions on Working Directory
492      to 770 if the directory is created.
493 kes  Do not fail the Makefile if changing the permissions or 
494      owner/group on WorkingDir fails.
495 kes  Remove early selection of Scratch Volumes in the recycling
496      algorithm.
497 kes  Correct the old recycling algorithm so that Scratch Volumes
498      are selected when looking for a Volume in the changer.
499 kes  Correct a typo in the Verify SQL reported by Joe Park.
500 10Apr06
501 kes  Remove automatic case folding on Windows FDs. You must
502      explictly use the 'Ignore Case = yes' option.
503 kes  Remove the code added to 1.38.6 and 1.38.7 that pulls a
504      scratch volume in an Autochanger early in the 'recycling'
505      algorithm.  
506 09Apr06
507 kes  Make weof() and clrerror() methods of class DEVICE.
508 08Apr06
509 kes  Tweak license to include Microsoft restrictions.
510 kes  Move mysql.reconnect to after real_connect().     Thanks to
511      Frank Sweetser for the patch.
512 kes  Disallow a backslash in a File = directive (Windows junk)
513      unless the string is quoted.                     
514 kes  Apply Eric's patch to ua_label.c so that daemon protocol
515      is not translated.
516 kes  Add NT_ definition for strings that should not be translated.
517 kes  Apply NT_() to ua_label.c
518 kes  Remove timed wait for VSS on Win2K3 as it is not yet
519      implemented.
520 kes  Correct bacula.in script to reference bacula-ctl-xx in the
521      sysconfig directory rather than the bin directory.
522 26Mar06
523 kes  Fix a long standing bug in the bacula start/stop scripts.
524 kes  Attempt to add the new bacula-ctl-* files to the rpm.
525 kes  Switch to using typeof() for list traversing to avoid
526      as many FC5 g++ compiler warnings as possible.
527 25Mar06
528 kes  Split the bacula start/start script into four files:
529       bacula         -kes  starts and stops calling other scripts
530       bacula-ctl-dir -kes  starts/stops the director
531       bacula-ctl-fd  -kes  starts/stops the File daemon
532       bacula-ctl-sd  -kes  starts/stops the Storage daemon
533 24Mar06
534 kes  Create datestyle fix for PostgreSQL. Fixes bug #574.
535 kes  Correct editing of JobId from int to int64 in fd_cmds.c
536 kes  Eliminate FileSet name race with bash_spaces() and multiple
537      threads by bashing in a local.
538 kes  Fix error return from 'use storage' to print a correct error
539      message rather than nothing.
540 kes  Correct false re-read last block error message when two jobs 
541      are simultaneously writing at the end of a tape.
542 kes  Simplify exit conditions in the reserve.c code to avoid     
543      possible non-release of reservation_lock().
544 kes  Suffle lock order in reserve to avoid deadlock between
545      reservation lock and device mutex.
546 21Mar06
547 kes  Initialize jcr mutex before first use. Thanks to Thorsten for
548      tracking this down for me !!!! as it broke the Win32 build.
549 20Mar06
550 kes  Integrate addition of line count limitation to bsmtp -l from
551      Sebastian Stark <stark at tuebingen.mpg.de>
552 17Mar06
553 kes  Implement regex test program in tools directory.
554 kes  Attempt to fix time problem with bsmtp with foreign langs.
555 kes  Add strip_trailing_newline() submitted by user.
556 kes  Implement regex matching in migrate.c
557 16Mar06
558 kes  Fix bug #537 to allow arbitrary time to mount a volume for
559      restore, if polling is turned on.     
560 kes  If dir_user or dir-group is specified in ./configure apply it to
561      the working-dir. Fixes bug #533.
562 kes  If rescheduling a job cancel the previous incarnation with the SD.
563      Fixes bugs #566 and 557.
564 kes  Fix bug #567 do_message() definition type conflict.
565
566 14Mar06
567 kes  Add more jcr methods and make mutex and use_count private.
568 kes  Create lock/unlock methods for jcr.
569 kes  Fix PostgreSQL bug doing sql_data_seeek() by explicitly reading
570      records to get to seek position.
571 kes  Integrate patch from bug #561 to correct conio.c signal definitions.
572 kes  Fix Rescheduling failed Jobs. Ensure that SD message thread 
573      terminates correctly by doing pthread_kill(). Do not destroy
574      SD cond wait variable between executions of the job. Use local
575      mutex for cond variable to avoid blocking jcr chain. Fix poor 
576      use of jcr use count in jobq.c for restarted jobs.
577 kes  Fix obsolete usage of foreach_dlist() to use foreach_jcr() in
578      lib/jcr.c -kes  prevents locking the jcr chaing.
579 kes  Apply patch from bug #564, which corrects listing volumes with
580      multiple autochangers. Apply same fix to next volume list.
581 kes  Fix bug #562 where restore bootstrap file is not unique.
582 kes  More details in implementing David's migration syntax proposal.
583 kes  Save and restore dcr when swapping drives so that if we have
584      a write dcr it is not lost.
585 kes  Use new routine lock_reservations() to lock the reservations
586      system, and call it while looking for a volume in askdir.c.
587      This could possibly fix bug #543.
588 kes  Stop SD command loop if job is canceled.
589
590 08Mar06
591 kes  Remove old code from findlib/create_file.c
592 kes  Rename mac.c migrate.c
593 kes  Add user friendly display of VolBytes in job report.
594 kes  Rename target... to previous... to make it a bit easier to
595      understand.
596 kes  Add selection type and selection pattern to Migration (idea
597      given by David Boyes). 
598
599 04Mar06
600 kes  The po files should now be current.
601 kes  Fix new sql_use_result() code to properly release the
602      buffers in all cases.
603 kes  Use the keyword ujobid to mean the unique job id; job or jobname
604      to mean the Job name given on the Name directive, and jobid to
605      be the numeric (non-unique) job id.
606 kes  Allow listing by any of the above.
607 kes  Add the user friendly job report code for reporting job elapsed time
608      and rates with suffexes from John Kodis <kodis at comcast.net>.
609 kes  Add Priority and JobLevel as Python settable items.
610 kes  Use TEMPORARY table creation where the table is created by
611      Bacula.
612 kes  Add new code submitted by Eric for waiting on specific jobid.
613 kes  Add ACL checking for the dot commands.
614 kes  Fix restore of writable FIFOs.
615 kes  Fix a bug in bpipe where the string was freed too early.
616 27Feb06
617 kes  Modify the Python class examples to inherit object -kes  new way
618      of defining classes. Patch from Felix Schwarz.
619 kes  Implement jobuid to replace old usage of job in keywords as
620      suggested by Eric Bollengier.
621 kes  Apply patch for enhancing wait from Eric Bollengier. On can now:
622       wait  (wait for all jobs to stop)
623       wait jobid=nn
624       wait jobuid=unique id
625       wait job=job-name
626 kes  Implement write variables for Python to set Priority (anytime), and
627      Job Level, only during JobInit event.
628 26Feb06
629 kes  Fix the block listing bug pointed out by Arno.
630 kes  Update the po files at Eric's request.
631 24Feb06
632 kes  Fix Maximum Changer Wait, Maximum Open Wait, Maximum Rewind Wait to 
633      accept time qualifiers.
634 kes  Make catalog respect ACL.
635 kes  Add recycle count to Media record.
636
637 Changes to 1.39.6-beta1 24Feb04
638 23Feb06
639 kes  Add Rudolf Cejka's new rc-chio-changer.
640 kes  Implement pulling Volume from Scratch Pool if the
641      Volume is in the autochanger.
642 kes  Implement additional command arguments for update Volume.
643
644 Changes to 1.39.5 
645 22Feb06
646 kes  Back port changes to 1.38.5
647 kes  Fix recycle SQL for StorageId.
648 kes  Fix misplaced quote in mtx-changer script.
649 20Feb06
650 kes  Note. Your database must be updated, or you must create 
651      a new database. I have not yet incremented the database level.
652 kes  Add Location table. 
653 kes  Add LocationId, DeviceId, and MediaTypeId to Media record.
654 18Feb06
655 kes  Implement create/get mac record in database for adding extended
656      Migration data to the job record.
657 kes  Add new MAC table to update/make database scripts.
658 kes  Return Storage name used when getting VolumeNames for a job.
659 kes  Change bsr file keyword Storage to Device, which is more accurate.
660 kes  Ensure that Mac records are pruned/purged.
661 kes  Tweak SD tools to deal with changing media type.
662 kes  Integrate more dev.c subroutines as methods (e.g. strerror, bsr, ...)
663 kes  Pass pointer to dcr pointer to acquire_device_for_read() so
664      that the subroutine can switch devices, and hence dcrs.
665 kes  Modify the multiple MediaType read code to re-use the same
666      dcr when switching devices. This makes the code much more
667      robust.
668 kes  Integrate patch from Karl Hakimian that reads JobIds, FileIndexes
669      from a table for restore.
670 kes  Add Storage name to VolParams, but it really should be Device.
671 14Feb06
672 kes  Add disk-changer to scripts directory + configure/Makefile
673 kes  Eliminate PoolId from jcr -kes  it is in jcr->jr.PoolId
674 kes  Implement store_bit scanner to replace store_yesno.     Mostly done.
675 kes  Implement new store_bool that stores in a bool. 
676 kes  Add true/false to yes/no conf directives.
677 kes  Make first cut at changing appropriate store_yesno to store_bool.
678 kes  Complete implementation of Pool storage devices.
679 kes  Move starting clones to job.c
680 kes  Move create_restore_bootstrap_file() to job.c
681 kes  Make copy_storage() more general to be able to handle
682      Pool storage.
683 kes  Cleanup a lot of migration code for manual running, including
684      using Pool storage.
685 kes  Move getting a scratch Volume into a subroutine.
686 kes  Make all places a Volume that is added to a pool to 
687      respect max vols.
688 kes  Fix bug in autochanger recycle code (improper edit 64 bit).
689 kes  Fix segfault in restore command when no value specified.
690 kes  Start adding code to handle multiple MediaTypes in restore.
691 kes  Eliminate race condition in getting Volume name for
692      two drive autochanger.
693 kes  More debug code in autochanger.
694 kes  Add storage keyword to bootstrap file, add parsing.
695 kes  Move slot in bsr file into Volume record as there will be
696      a different slot for each Volume.
697 kes  Create reserve.h
698 07Feb06
699 kes  Implement Pool storage overrides.
700 06Feb06
701 kes  Implement first cut of Migration.
702 kes  Implement mysql_use_result() from patch by Karl Hakimian.
703      This reduces significantly the memory consumption during
704      the restore tree building, and hence runs faster too.
705 kes  Implement StorageId patch supplied by user (reggie) in bug
706      #536.  This should permit Bacula to work correctly with two
707      autochangers.
708 kes  Implement Job listing variations suggested by a user.
709 kes  Move updating bootstrap code in backup.c to subroutine
710      update_bootstrap_file().
711 kes  Add new job status elapsed time and bytes written user
712      friendly job report output patch sent by John Kodis
713      <kodis at comcast.ne>.
714 kes  Implement a storage list in Pools.
715 kes  Separate out setup_job() code from run_job().
716 kes  Get migration working -kes  lots of changes in mac.c in both
717      DIR and SD.
718 kes  Apply patch from user (Eric Bollengier I think) that fixes a     
719      DIR crash when no arguments are supplied to a dot command.
720 kes  Fix typo (strcpy->strcmp) in ua_prune.c as reported by Martin.
721 kes  Fix command arg name->volume in label command of gnome-console.
722 kes  Fix SD acquire.c to release correct DCR by explicitly testing
723      on the dcr address rather than trying to devine if it is a read
724      or write dcr.  This failed in error conditions when the device was
725      not fully setup.
726  
727 30Jan06
728 kes  Apply user supplied patch for more readable rate output
729      in job report.
730 kes  Continue implementing migration.
731 kes  Implement support for removable filesystems in SD.
732 kes  Ensure that btraceback scripts can be read by anyone.
733 kes  Replace dvd-freespace and dvd-writepart by dvd-handler.
734 kes  Correct bug where canceling restore before the FD contacts
735      the SD causes the drive to be left in read mode.
736 kes  Move ofline_or_rewind into DEVICE::close().
737 kes  Eliminate close_device.
738 kes  Convert several dev subroutines to methods (e.g. bsf,
739      eod, ...)
740 kes  Eliminate force_close_device().
741 kes  Implement Device Type directive in Device resource that
742      can have values File, Tape, Fifo, DVD, or Prog.
743 kes  Add has_cap() method to Device.
744 Changes to 1.39.4
745 17Jan06
746 kes  Add patch from bug #527 to allow RedHat user to specify
747      options/user/group for starting each daemon in      
748      /etc/sysconf/bacula.
749 16Jan06
750 kes  Add two new queries to query.sql provided by Arno. One
751      list volumes known to the Storage device, and the other
752      lists volumes possibly needing replacement (error, ...).
753 15Jan06
754 kes  Add periodic (every 24 hours) garbage collection of memory 
755      pool by releasing free buffers.
756 14Jan06
757 kes  Correct bug counting sized (for display only) in smartall.c
758 kes  Print FD mempool stats if debug > 0 rather than 5.
759 12Jan06
760 kes  Make db_lock() mutex error fail the job rather than abort
761      Bacula.  Canceling the job caused the mutex to fail.
762 kes  Correct bug in alist.c that re-allocated the list if the
763      number of items goes to zero.
764 kes  Move the reservation system thread locking to the top level
765      so that one job at a time tries all possible drives before
766      waiting.
767 kes  Implement a reservation 'fail' message queue that is built            
768      and destroyed on each pass through the reservation system.
769      These messages are displayed in a 'Jobs waiting to reserve
770      a drive' list during a 'status storage='.  Note, multiple
771      messages will generally print for each JobId because they
772      represent the different problems with either the same drive
773      or different drives.  If this output proves too confusing
774      of voluminous, I will display it only when debug level 1
775      or greater is enabled in the SD.
776 11Jan06
777 kes  Add enable/disable job=<job-name>.     This command prevents
778      the specified job from being scheduled. Even when disabled,
779      the job can be manually started from the console.
780 kes  During 'update slots' clear all InChanger flags where the
781      StorageId is zero (old Media records).
782
783 Beta release 1.38.4:
784 09Jan06
785 kes  Fix autochanger code to strip leading spaces from returned
786      slots number. Remove bc from chio-changer.
787 kes  Back port a bit of 1.39 crypto code to reduce diffs.
788 kes  Fix first call to autochanger that missed close()ing the
789      drive. Put close() just before each run_program().  Fixes
790      Arno's changer bug.
791 07Jan06
792 kes  Add PoolId to Job record when updating it at job start time.
793 06Jan06
794 kes  Pull in more code from 1.39 so that there are fewer file
795      differences (the new ua_dotcmds.c, base64.h, crypto.h
796      hmac.c jcr.c (dird and lib) lib.h md5.h parse_conf.c 
797      util.c. Aside from ua_dotcmds.c these are mostly crypto
798      upgrades.
799 kes  Implement new method of walking the jcr chain. The
800      incr/dec of the use_count is done within the walking
801      routines.  This should prevent a jcr from being freed
802      from under the walk routines.
803
804
805 Changes to 1.39.3:
806 04Jan06
807 kes  Start implementing Verify list output.
808 kes  Move the suitable_drive flag to a better place to prevent
809      premature termination of the reservation if all drives
810      are busy -kes  should fix Arno's diff/inc pool failures.
811 26Dec05
812 kes  Add mutex to single thread VSS code in Win32.
813 22Dec05
814 kes  Simplify code in askdir.c that waits for creating an appendable
815      volume so that it can handle multiple returns from the wait
816      code.
817 kes  Modify the wait code to permit multiple returns.
818 kes  Return a zero when "autochanger drives" is called and
819      it is not an autochanger.
820 kes  Make rewind_dev() a method taking a DCR as an argument.
821      This permits closing and reopening the drive if the
822      rewind fails as happens if the drive was loaded while the
823      file descriptor was open. This refreshes the file descriptor.
824 kes  Remove the ST_OPENED flag and always rely on fd < 0 for knowing
825      if the device is open or not.  This should eliminate
826      Arnos problem.
827 kes  Return error if reserve cannot find at least one suitable device.
828 kes  Make wait_for_sysop() return correct state information.
829 kes  Fix Win32 state file problem. write was not using compat
830      code. This should fix bug #500.
831 21Dec05
832 kes  Modify gui on command to set only GUI mode and not batch.
833 kes  Modify .messages command to always print messages regardless
834      of the mode.
835 kes  If GUI mode is on, suppress automatic printing of 
836      You have messages. 
837 kes  Delete old bnet packet code.
838 kes  Ignore new BNET_START_SELECT and BNET_END_SELECT signals in
839      wx-console. -kes  not implemented because bconsole must be updated.
840 kes  Modify restore command in wx-console to set gui on and to use
841      only .messages instead of messages.  Hopefully this fixes bug
842      #514.
843 kes  Fix seg fault in exit of acquire when canceling a job --
844      reported by Wolfgang Denk
845 kes  Pull in latest reservation system changes from 1.38
846 kes  Make .messages command always print messages regardless
847      of the automessages flag.
848 17Dec05
849 kes  Fix seg fault if user labels a drive directory bug #513
850 kes  Remove quotes around Version as it breaks things.
851 16Dec05
852 kes  Merge in Aleksandar Milivojevic's mods to the spec file.
853 kes  Apply sparse code fix for raw drives and fifos. Bug 506
854 kes  Thorsten fixed Unicode cd problem with wx-console bug 505.
855 14Dec05
856 kes  Correct reservation system to do a last ditch try
857      for any mounted volume, then anyone anywhere.
858 kes  Add quotes around table Version because of
859      error in MySQL 4.1.15 -kes  bug report submitted.
860 kes  Correct some minor problems with btape in the fill
861      command.
862 kes  Updates to ssh-tunnel from Joshua Kugler.
863 kes  Added a report.pl program from Jonas Bjorklund.               
864 kes  Simplify the O_NONBLOCK open() code for tape drives,
865      and always open nonblocking.
866 kes  Do not wait for open() if EIO returned (shouldn't happen).
867 kes  Eliminate 3 argument to tape open().
868 kes  Correct the slot # edited in the 3995 Bad autochanger unload
869      message.
870 kes  With -S on bscan (show progress) do not divide by zero.
871 13Dec05
872 kes  Make cancel pthread_cond_signal() pthread_cond_broadcast().
873 kes  When dcr is freed, also broadcast dev->wait_next_vol signal.
874 kes  Remove unused code in wait_for_device.     
875 kes  Make wait_for_device() always return after 60 seconds of wait.
876
877 Changes to 1.39.2:
878 13Dec05
879 kes  Add stubs for non-crypto build.
880 12Dec05
881 kes  Use localhost if no network configured
882 11Dec05
883 kes  Eliminated duplicate MaxVolBytes in cat update -kes  bug 509.
884 kes  Remove debug print.
885 kes  Add bail_out in error during state file reading.
886 10Dec05
887 kes  Merge changes made to 1.38.3 into HEAD
888 kes  Add stubs for pygtk-console code
889 kes  Create Makefile.in for pygtk-console code
890 09Dec05
891 kes  Merge updates into 1.38 branch
892 kes  Update specs to include mysql4 define.
893 kes  Fix when attributes are sent, must be after binit().
894 kes  Stop read_record() if status not ok in second loop.
895 kes  Return rec->FileIndex in dcr->VolLastIndex for normal
896      and partial records in read_record().  This allows bscan
897      to get FileIndex at EOT correct.
898 kes  Fix butil.c to correctly set dcr -kes  fixes seg fault in bls.
899 08Dec05
900 kes  Fix Win32 built to work with new crypto code.
901 kes  Apply patch supplied by user (slightly modified) to fix
902      correct detection of holes in block devices and FIFOs. 
903      Bug # 506.
904 kes  Apply patch supplied by user (slightly modified) 
905      to fix SD hang with multiple pools and bad client
906      IP. Fixes bug # 508.
907 07Dec05
908 kes  Add nagios plugin to the examples directory. Submitted by
909      Christian Masopust.
910 kes  Remove warning message about multiple saves of hardlinked files
911      from find_one.c as it can generate too many warning messages.
912 kes  Modify most restore error messages to be queued so that they
913      appear at the end of the job rather than mixted with the restore
914      listing where they could be "lost".
915 06Dec05
916 kes  Reset timeout values before select() per patch from 
917      Frank Sweetser for problems with non-blocking sockets.
918 kes  Unlink the state file if either reading or writing it gets
919      errors.  Hopefully this will fix Win32 exit problems.
920 kes  Add sanity check in append.c to ensure that dcr is not NULL.
921      This can happen if multiple drive autochanger SCSI control
922      channel and drive indicies do not correspond.
923 05Dec05
924 kes  Get next volume from Scratch pool before creating a volume.
925 kes  Set new Pool defaults in Vol when moved from Scratch Pool.
926 kes  Remove argument from create_bacula_database for SQLite as it
927      caused an error.
928 kes  Add back index code so that two drive autochangers can get
929      a second tape.
930 kes  Change a bunch of debug levels to aid debugging autochangers.
931 kes  Fix reservation so that mutexes are properly applied.
932 kes  Rework reservation algorithm so that two drives can be used
933      at the same time.
934 04Dec05
935 kes  Landon merged his data encription changes into the HEAD
936 kes  Apply days keyword patch from Alexander.Bergolth at wu-wien.ac.at 
937      If this patch is applied, the number of days can be specified with
938      "list nextvol days=xx"
939      or
940      "status dir days=xx"
941      My use case is to be able to preview the next scheduled job (and the 
942      next tape to be used) on fridays if there are no scheduled jobs during 
943      the weekend.
944 Changes to 1.39.1:
945 03Dec05
946 kes  Fix font code in gnome2 console user patch. Fixes bug #501.
947 kes  Fix malformatted bnet error message that caused seg fault
948      fixes bug 502
949 kes  Applied user patch to improve README.vc8 in src/win32.
950 29Nov05
951 kes  Add Migrate, Copy, Archive Job types (some where there)
952 kes  Correct some more editing of JobId's (for 64 bit compatibility).
953 kes  Ensure that StorageId is stored in Media record when ever possible.
954 kes  Add Migration Job to Job.
955 kes  Add Migration Time, Migration High Bytes, Migration Low Bytes
956      Next Pool to Pool resource.
957 kes  Add more code to mac.c (migration archive copy).
958 kes  Change Start Storage daemon job to require read and write storage
959      pointers.
960 kes  Pass read storage data to SD as well as write storage data.
961 kes  Remove old code from winservice.cpp
962 kes  Break on error in scan.
963 kes  Fix typo in signal.c
964 kes  Separate read/write DCR in SD.     Add jcr->read_dcr.
965 kes  Cleanup how find_device() works.
966 kes  Add read output to Status in SD.
967 Changes to 1.39.0:
968 23Nov05
969 kes  Add red-black btree routines
970 21Nov05
971 kes  Remove abs() in bfile.c so that it compiles on Solaris. 
972      Bug #491.
973 20Nov05
974 kes  Fix crash in tray-monitor when daemon disconnects. Bug #479.
975 kes  Fix bnet-server bug found on OpenBSD. Bug #486
976 kes  Fix cancel failure bug. Bug #481
977 kes  Fix failure when Pool name has spaces. Bug #487      
978 kes  Fix SD crash in autochanger code. Mutex failure. Bug #488
979 kes  Fix a couple of free()s in src/filed/acl.c
980 kes  Fix memory overrun in bfile.c in building OS X resource
981      fork filename. Bug #489 
982 kes  Add Pool name to SD status output.
983 14Nov05
984 kes  Apply SunOS patch for ACLs submitted by David Duchscher.                     
985 kes  Make sure to set storage before trying to set drive.
986 kes  Add bacula_mail_summary.sh to examples directory. It makes
987      a single email summary of any number of jobs. Submitted
988      by Adrew J. Millar.
989 kes  Make sure when we do a mount to unblock the device even
990      if the drive could not be opened.  
991 13Nov05
992 kes  Remove the USE_WIN32STREAMEXTRACTION #defines (always on)
993      and correct a few minor problems to make it build on Linux.
994 10Nov05
995 kes  Remove delete of CVS from all Makefiles
996 kes  Fix seg fault when clicking on Add button in wx-console
997      restore panel.  Bug #470.
998 kes  Fix copyright date and URL typo -kes  bug #468.
999 kes  Change autostart install for FreeBSD to look for rc.conf     
1000      rather than rc.local as suggested fix for bug #466.
1001 kes  Apply patch supplied by Eric Bollengier to fix PostgreSQL       
1002      grant on status. Bug #465
1003 kes  Apply patch supplied by Eric Bollengier to fix PostgreSQL
1004      update script. Bug #464
1005 kes  Tweak #ifdefing a bit in new Win32 stream code.
1006 kes  Fix #ifdeffing for FD_NO_SEND_TEST.
1007 kes  Add documentation of performance #defines