]> git.sur5r.net Git - bacula/bacula/blob - bacula/technotes-2.1
0b48e8d423871cca01c97061d94a9bc0cc5c85a7
[bacula/bacula] / bacula / technotes-2.1
1               Technical notes on version 2.1
2
3 General:
4 08May07
5 kes  Merge patch from Sergey Svishchev <svs@ropnet.ru> that preserves 
6      the original job's FileSetId.
7 kes  Merge patch from Sergey Svishchev <svs@ropnet.ru> that implements
8      spooling in migration jobs.  Not yet tested.
9 kes  Merge patch from Jorj Bauer <jorj@seas.upenn.edu> that implements
10      reading conf file from a pipe.  However, do it with open_bpipe()
11      rather than popen.  Not yet tested.
12 07May07 
13 kes  Fix an ugly bug where the VolCatBytes were getting updated
14      during a restore.
15 kes  Implement bconsole memory command that prints current memory
16      usage, plus smartalloc dump.
17 kes  Clarify some error messages in backup, admin, and migrate.
18 kes  Shrink label dialog to smaller size.
19 kes  Invert Cancel OK buttons on restore to be OK Cancel.
20 kes  More strerror() to bstrerror() conversions.
21 06May07 
22 kes  Start implementing bstrerror() in place of strerror().
23 kes  Stripping path -- seems to work.
24 04May07
25 kes  Prevent door and port files from being restored (mostly
26      Solaris stuff).
27 kes  Free an unreleased buffer in compat code.
28 kes  Change console Job name from *Console* to -Console- to eliminate
29      Win32 filename problems.  Put Win32 path separator when creating
30      Console file.  This fixes bug #846.
31 kes  Change berrno::strerror() to berrno::bstrerror().  Not yet full
32      implemented.
33 kes  Pass jcr to crypt_sign_decode because it creates a new SIGNATURE
34      structure.
35 kes  Define b_errno_win32 on Linux to be zero so that it can be or'ed in
36      to force Win32 error message.
37 03May07
38 kes  First cut strip path. The data should be passed to the FD,
39      but nothing is done with it yet.
40 kes  Enhance the digest and signature routines in the crypto
41      library to accept a JCR and to use it to print error messages
42      so that they will go in the Job report rather than the daemon's
43      messages.
44 kes  Simplify some of the verify signature code.
45 kes  Simplify a few of the alternative returns in the signature 
46      code.
47 02May07
48 ebl  Use only POSIX regex instead of GNU regex in breg.c for
49      File relocation. It fix broken freebsd compilation.
50 kes  Convert all other Dir files to use new ua class message 
51      routines for bat.
52 kes  Tentative fix for missing digest signature in bug 807.
53 kes  Correct handle problem in new win32_ftruncate routine.
54 kes  Convert ua_purge.c and ua_update.c to use new ua class
55      message routines for bat.
56 29Apr07 
57 kes  Correct incorrect installation of LICENSE in Win32 installer.
58 kes  Display LICENSE at the beginning of the Win32 install.
59 kes  Attempt to correct the need for the png files to be installed 
60      for bat.
61 kes  Reapply my bat.conf install script in qt-console. I think I 
62      editted bat.pro instead of bat.pro.in and it was lost.
63 kes  Apply CentOS patches someone sent me. Checks for /var/run/subsys,
64      the /var/lock/subsys for subsysdir.  Also corrects typos in the
65      doc.
66 28Apr07
67 kes  First cut update job.
68 kes  Correct configure to include qmake of src/qt-console directory.
69 26Apr07
70 kes  Make restore job yes/mod/no print in one command so GUI works.
71 kes  First cut implementing backup and restore client.
72 kes  Correct editing in Verify output that caused a seg fault.
73 25Apr07
74 kes  Insure that bat.conf is not overwritten during installation.
75 kes  Fix important bug in db_sql_query() in mysql.c.  It was introduced
76      while I was implementing migration in March 2006 !
77 24Apr07
78 ebl  Cleanup file relocation, using char *RegexWhere instead of
79      char *where + bool where_use_regexp
80 kes  Update some manpages and add bat manpage.
81 kes  Make a first cut at converting bacula.spec.in for bwx-console
82      and bgnome-console.
83 kes  Apply patch from John Goerzen to add hostname as fourth argument
84      to make_catalog_backup script.
85 kes  Fix typos I introduced into bsmtp.c
86 kes  Make pm_strxxx() routines handle input of NULL pointer. This
87      is to protect from NULL pointers returned from SQL databases.
88 kes  Correct typo in bacula-sd manpage as pointed out by John Goerzen.
89 kes  Add more debug to FIFO code -- fix fifo regression test.
90 23Apr07
91 kes  Implement posix_fadvise in FD, and for reading spool files in SD.
92 kes  Add thread timer to bnet_connect() to break from OS if wait time
93      expires.
94 22Apr07
95 kes  Update Win32 build to include new files, new symbols, and    
96      renamed files.
97 kes  Implement socket level heartbeat (tcp_keepidle)
98 ebl  Commit File relocation patch
99 kes  Make bat have 'make install' target.
100 kes  Warn during install if old gnome-console binary found.
101 kes  Warn during install if old wx-console binary found.
102 kes  Add -8 option to bsmtp command line to add content type utf-8. 
103      Fixes bug #809. (Character coding problem in bsmtp).
104 kes  If < is found in target (from, to, cc) then do not enclose the
105      target in < >  in bsmtp. Fixes bug #772  (malformed address).
106 kes  When printing certain items in dbcheck, stop after 300000.
107      Fixes bug #822. (dbcheck loops).
108 kes  Incorrect status in Dir after waiting for mount with poll set.
109      Fixes bug #825.
110 21Apr07 
111 kes  Extend idea of Prefer Mounted Volumes to mean a volume about
112      to be mounted.
113 kes  Print waiting to reserve a device every 5 mins.           
114 20Apr07
115 kes  Don't call close_part in label.c if tape and relabel.
116 kes  Don't free volume if busy in close() -- should help with
117      bug 801.
118 ebl  Fix #824 RunScript bug (After script could be execute twice)
119      Now, Before Script can use RunsOnSuccess and RunsOnFailure options
120      By default (like before) RunsOnSuccess=true and RunsOnFailure=false
121      Add a regression script to test RunScript
122 19Apr07
123 kes  Correct usage of MTIOCLRERR ioctl for clearing persistant errors
124      on Solaris.
125 18Apr07
126 kes  The bgnome-console (gnome-console) and bwx-console (wx-console) are
127      deprecated. No additional bugs will be fixed, and they will be dropped
128      in a future release (probably 2.4.0).
129 kes  Change name of wx-console to bwx-console to make it more Bacula
130      unique.
131 kes  Change the name of gnome-console to bgnome-console to make it
132      more Bacula unique.
133 14Apr07
134 kes  Some time in March, a Feature Request with patch from Jorj Bauer
135      <jorj@seas.upenn.edu> was committed by Landon (with my approval).
136      It implements:
137      The ability for the director to validate a Client (FD) CN against
138      an arbitrary set of patterns rather than the hostname, with
139      A new 'TLS Allowed CN' set of directives which are implemented
140      in the Client resource.  Then pattern matching is used in place
141      of hostname matching against the Certificate's CN. As an example, we
142      have certificates which (a) use a local CA, and (b) have a CN of the
143      form client_123.
144 kes  Add new/changed entry points to Win32 build
145 kes  Create unaccepted-projects for projects that are not accepted.
146 kes  Simplify locking in the reservations system.
147 kes  Add more debug code in reservations.
148 kes  Make sure error condition on reserving a volume is handled correctly.
149 kes  Correct handling of volume_in_use.
150 kes  Correct handling of initializing a device.
151 kes  Move handling of broadcasting releasing a device into release_device().
152 kes  Correct attaching dcr to dev so that it is only done if device
153      is properly initiated.
154 12Apr07
155 kes  Locking debug level tweaks in SD.
156 kes  Tweak new Volume code.
157 11Apr07
158 kes  Add exec external-command [wait-seconds] to bconsole. This
159      executes the external-command.  Note! normally external-command
160      should be enclosed in double quotes.
161 kes  Turn the .die command on only if DEVELOPER is defined -- i.e.
162      it should normally be off in a production system.
163 10Apr07
164 kes  Implement die command for SD so that we can force it to dump.
165 kes  Implement SD lock debug code.
166 kes  Implement new algorithm for keeping Volume list in SD.  It
167      is now owned by the device.
168 04Apr07
169 kes  Implement new code for freeing in use volumes that should 
170      resolve if not all, some of the problems of multiple drive
171      tape conflicts described in bug 801.
172 03Apr07
173 kes  Fix gui/bacula-web/images files in svn.
174 kes  Turn on FreeBSD/OpenBSD code to set EOT model on tape.
175 02Apr07
176 ebl  Fix a bug in batch mode (in string escape)
177 kes  Correct migration prune SQL typo that crept in in a    
178      recent 2.1.x change.
179 01Apr07
180 kes  Move bnet_despool() into class in bsock.c
181 kes  Modify job report to include director name and Build OS.
182 kes  Move drop root privilege and check_catalog() before fork.
183 kes  Add update database scripts (version 9 to 10) to updatedb directory.
184 31Mar07
185 ebl  Check size and age of each file after its backup to see if
186      it has changed during backup, if 'checkfilechanges' is set.
187      The FD will do an extra check (stat(2)) after
188      each file backup. mtime, ctime and size are compared with
189      'before backup' information. If time or size mismatch, an
190      error message will be generated. You must upgrade FD to use it.
191 30Mar07
192 kes  Make database name and user configurable
193      --with-db-name=xxx --with-db-user=xxx
194 kes  Add back database type to message.c for debugging.
195 29Mar07
196 kes  Implement dir_sql() which issues an SQL query.
197 kes  Modify bat medialist to use dir_sql() and do some minor C++
198      formatting as well as eliminating a number of pointers, simplifing
199      the code.
200 28Mar07
201 kes  Fix some of the mtx-changer grep commands for tape label readers.
202 kes  Convert a number of bsendmsg into the appropriate send/warning/error
203      message class calls.
204 kes  Suppress the using database message in the .sql command.
205 kes  Correct an incorrect bnet_tls_client prototype -- patch from Martin.
206 27Mar07
207 kes  Add context menu for floating a window.
208 kes  Some minor cleanup and name changes in qt-console
209 kes  Add doing mt setblk 0 in Win32 mtx-changer.
210 kes  Apply Martin's bug fix to move definition of ENODATA for 
211      FreeBSD to bsock.c
212 ebl  Add a BUSY handler to sqlite to be able to use multi_db = 1 with
213      sqlite2 and sqlite3.
214 26Mar07
215 kes  More pruning cleanup.
216 kes  Turn on wait_for_drive by default in mtx-changer.
217 kes  Turn on Batch insert code by default as it now passes regression.
218 kes  Add ./configure --enable-bat to enable building of Bat.   
219      No install yet though.
220 25Mar07
221 kes  Implement a new .sql command for bat.
222 kes  Implement code to turn off pruning in obtaining the next volume.
223      Pruning is turned off for the status dir command, but turned on
224      for SD requests and for the list nextvolume command.
225 24Mar07
226 kes  Correct Qmsg() that was not updated correctly when committing a
227      previous change (probably the recent TLS patch).
228 23Mar07
229 kes  Write new subroutine is_volume_purged() that explicitly checks
230      if the Volume is purged, and if so marks it as such. This should
231      resolve problems reported about needing to mount twice to recycle
232      volumes.
233 kes  Rewrite pruning algorithm to do more work in the SQL engine, and
234      to pass a list of JobIds to be deleted to SQL.  Also, minimize the
235      amount of duplicated code.     
236 kes  Do volume pruning only for the Media Type desired (reduces pruning time
237      if multiple Media Types are in the same pool).
238 kes  Implement more detailed info in the Job report for the Bacula version
239      and architecture.
240 kes  Switch from POOLMEM to POOL_MEM (a real class) in ua_prune.c and
241      ua_purge.c.
242 ebl  Add bbatch tool to bench database and insert mode.
243      Fix sql quote stuff in batch mode
244      Fix sql stuff for mysql
245 22Mar07
246 kes  Correct problems with am/pm scheduling. Fixes bug #808.
247 kes  Implement new prunning code that prunes up to 1000 jobs at
248      the same time.  The same technique can be applied to a number
249      of other prune/purge subroutines.
250 kes  Add an insanity check when starting a new tape job to ensure
251      that the tape position has not been changed. If so fail the
252      job.
253 kes  Fix Win32 build for dlls to add the folllowing:
254      src/lib/bsock.c -- new file with new entry points
255      src/lib/dlist.c  -- new entry points
256      src/cats/sql_create.c -- new entry point
257      src/cats/sql_cmds.c -- new DATA item exported
258 21Mar07
259 ebl  batch mode cleanup bscan-test is ok now.
260 kes  Implement SD code to check length of disk volume before appending.
261 18Mar07
262 kes  Correct return status on db_batch... routines.
263 kes  Add call to db_write_batch_file_records() to migration code.
264 ebl  Fix AfterJob timing
265 kes  Move the checking of the database in initializion of the Director
266      to after we drop privileges.  This avoids the need for both root
267      and bacula access to the DB.
268 kes  Correct a misplaced variable definition in src/filed/backup.c
269 kes  Correct how the new batch insert db_create_attributes_record()
270      uses the arguments.  Caused a seg fault in bscan.
271 kes  Implement lock() and unlock() methods in DEVICE class.
272      Implement block() and set_block(xx) methods in DEVICE class.
273 kes  Modify bnet_connect() so that it uses time() to check for the
274      wait time expiring (on some OSes, some system calls may not
275      return immediately).
276 kes  Modify Verify to obtain the previous JobId when it is actually
277      running rather than at schedule time (as it was in 1.38.x).     
278 kes  Fix src/job.c to handle MaxWaitTime correctly.  This should
279      fix bug #802.
280 kes  When checking pid in pid file, continue running if the pid is
281      the same as ours. This occurs on IRIX after a system crash.
282      Fixes bug #797.
283 10Mar07
284 kes  Extend new GUI API.
285 kes  Make the ua structure a class, and implement send_msg(),
286      error_msg(), warning_msg(), and info_msg().
287 08Mar07
288 kes  Apply fix from for building wx-console on the Mac from
289      bug #798.
290 kes  Implement new select mechanism for GUI programs.
291 kes  Reorganize initialization of stackedWidgets in bat.
292 07Mar07
293 kes  Add updated nagios plugin supplied by Christian Masopust.
294 05Mar07
295 kes  More bat implementation.
296 kes  File migrate bug with Pool Occupancy using mediaid instead
297      of jobids.  Fixes bug #795.
298 kes  Fix orphaned buffers in filed backup and verify due to
299      crypto buffers not freed during errors.  Fixes bug #789.
300 kes  Extend new GUI api code to tree commands.
301 kes  Ensure that tree and dot commands check console ACLs.
302 kes  Permit marking directory with trailing slash.
303 kes  Allow 20 console connections (instead of only 10).
304 04Mar07
305 kes  Add smartctl call to bacula-sd.conf as an example of getting
306      tape alert info.
307 02Mar07
308 kes  Modify jobq.c to let simultaneous restore jobs run. This may 
309      cause them to fail if they cannot get a drive.
310 kes  Add Client Connect Wait to Storage daemon to permit users to
311      modify the time the SD waits for a FD connection.
312 29Feb07
313 kes  Correct virtual changer check which was backwards. This caused
314      volumes to be unloaded into slots already occupied.
315 28Feb07
316 kes  Apply Command ACL filter to JobId list in restore command.
317 kes  Correct typeo in var.c patch.
318 27Feb07
319 kes  Don't let Bacula prune File or Job records for the current Job.
320 kes  Fix variable substitution pad + inc bug reported (with patch)
321      in bug #791.
322 26Feb07
323 kes  Correct SQLite log table index as reported by Luca Berra.
324 24Feb07
325 ebl  fix fifo stuff, bacula tries to rewind the fifo... Thanks to Andreas
326 22Feb07
327 kes  Begin implementing new comm signals for API.
328 kes  Fix a few places in lib/message.c where the open fd may 
329      not be zeroed.
330 kes  Continue implementing lib/bsock.c (real class).  Make jcr,
331      who, host, and port private. There are new methods to access
332      them for non-class use. This required touching a number of files.
333 21Feb07
334 kes  Add LANG=C to autoconf/randpass so it works with languages other
335      than English.  Fixes bug #788.
336 20Feb07
337 ebl  Revert ClientRunBeforeJob to old position as in 1.38.X.
338      This fixes bug #780
339      You will not be able to generate Include/Exclude list any more.
340      It will be fixed soon.
341      If you want to use this, you can apply
342      trunk/bacula/patches/testing/clientrunbeforejob_can_generate_include_exclude_list.patch
343 19Feb07
344 kes  Restore of sockets created false error messages because Bacula
345      no longer restores sockets, but the code was still trying to
346      set the attributes on a non-existent file. Reported by a user.
347 ebl  finish RecyclePool feature
348      Media will takes Pool.RecyclePool
349      when moving from Scratch to a Pool or when user will do
350      update volume=xxx frompool
351      To use it, add RecyclePool = aPool to your Pool resource
352         Pool {
353                 Name = Default
354                 RecyclePool = Scratch
355                 ...
356         }
357      TODO: update manual
358 kes  Expand new BSOCK class adding signal() and new BNET signals.
359 kes  Begin enhancing the dot commands adding a new API function
360      that returns more information and will make it easier
361      to interface to the Director from a program.
362 18Feb07
363 kes  Make DEVICE fd private. Its new name is m_fd, and can be
364      obtained with dev->fd() outside the class.  This is the
365      first of many DEVICE members to be made private.
366 kes  Implement Michael Renner's idea on having a virtual disk
367      changer. I made some minor modifications (e.g. I did not
368      implement the Virtual Changer directive, but simply set
369      the Changer Command to an empty string.
370 17Feb07
371 kes  Implement a BSOCK send() method that writes the whole record
372      in a single write() request rather than in two.
373 ebl  add update volume=xxx recyclepool=yyyy
374      volume takes recyclepool from pool when using update volume=xxx from pool
375 16Feb07
376 kes  Fix encryption deblocking bug, which caused some restored files
377      to be truncated. This fixes bug #763.
378 kes  Add FD event sequence order prepared by Eric -- for RunScripts.
379 kes  Fix 12am/pm bug as reported in bug #782.
380 13Feb07
381 kes  Apply Eric's ClientRunScriptAfter patch to 2.0 and 2.1.
382 ebl  Use btime_t instead of uint64_t in media patch.
383 11Feb07
384 kes  Optimize the use of the database a bit in the Status dir command.
385      Only open it when needed, ensure that if any previous database
386      was opened, it is closed.
387 10Feb07
388 kes  Correct VolCatBytes bug from media patch.
389 kes  Apply patch from bug #612 by Rudolf Cejka to speedup pruning
390      in the case of orphaned records.
391 kes  Modify dbcheck to handle orphaned JobMedia, Path, Filename,
392      and File records in 300K chunks to be more efficient. This
393      idea came from Juan Luis Frances (if I remember right).
394 kes  Apply Eric's scratch patch that moves a purged Volume to
395      the RecyclePool.  Question: how is RecyclePool set? what
396      happens to the ScratchPool?
397 kes  Apply Eric's media patch that collects read/write media
398      times as well as byte counts.  This patch requires a
399      simultaneous upgrade of the DIR and SD.  Note, there
400      should be some way to turn off timing. I'm not sure
401      times are in Bacula units.
402 kes  Apply Eric's batch-insert patch.
403 09Feb07
404 kes  Update projects list.
405 08Feb07
406 kes  Implement Include/Exclude file lists in FD as dlists using
407      the new dlistString class. This permits efficiently having
408      large include/exclude lists and completes project Item 25.
409 kes  Fix dird/ua_cmds.c so that a cancel command checks if the
410      console is authorized to cancel the job.  This fixes bug 
411      #767.
412 kes  Modify SD so that the VolCatJobs medium record is updated
413      at the beginning of a Job rather than the end.  This
414      fixes bug #775 where exceeding MaxVolJobs caused jobs
415      to fail.
416 kes  Added a mutex around getting and setting Volume information
417      so that multiple simultaneous jobs will single thread.
418 07Feb07
419      Switch to using Subversion
420 kes  Remove src/pygtk-console/ from configure
421 06Feb07
422 kes  Delete src/lib/btree.c from win32 build, then add rblist.c
423      plus the entrypoints.
424 kes  Apply patch supplied that corrects debug print
425      in canceling jobs for max run time.  Supplied as
426      part of bug #621, which was previously fixed.
427 05Feb07
428 kes  Test on job_canceled() and sd_msg_thread_done inside
429      loop starting the message thread to avoid a race condition.
430      Fixes bug #771.
431 kes  Remove rl_catch_signal from console.c as it conflicted
432      with the header definition. Fixes bug #765.
433 ebl  Fixes bug #766 about RunsOnClient = Yes (case sensitive)
434 04Feb07
435 kes  Clarify some stored/acquire messages to indicate if the
436      problem is with read or append.
437 02Feb07
438 kes  Fix memory leak with storage ids in cats/sql_get.c
439 kes  Terminate watchdog earlier to avoid reference to released
440      memory -- reported by Jason Austin.
441 kes  Move closing the database from jobq.c to the director daemon
442      termination routine. This fixes memory leaks for shadow jobs
443      (i.e. migration jobs).
444 kes  Free up the unique jobid chain items in migrate.c.  This fixes
445      a memory leak problem.
446 kes  Convert some ugly looking for statements to use foreach_alist
447      in findlib/find.c.  This will facilitate converting the structures
448      to use dlist (for large include/exclude lists).
449 kes  Fix a bug in the btree.c and btree.h routines, then rename them
450      rblist and add them to be built in src/lib.  Include some new
451      methods written by Rudolf Cejka that make the code more readable
452      (hides some of the ugly casting).
453 kes  Add set_next() and set_prev() methods which make the code much more 
454      readable. Also add a new dlistString class that facilitates storing
455      strings in dlists.  To be used in the large include/exclude lists.
456 kes  Make some trivial modifications to lib/tree.h that use rblist
457      rather than dlist for storing the tree links. This was suggested
458      by Rudolf Cejka.  The result of this is that the restore tree now
459      uses red-black binary trees rather than simple linked lists. This
460      should give rather dramatic speed improvements for directories
461      contining large numbers of directories/files (more than 10000).
462 28Jan07 
463 kes  Fix maxruntime bug #621.
464 26Jan07
465 ebl  Implement the include JobID in spool file name project.
466 kes  Reorder projects file in order determined by Jan 2007 vote.
467 kes  Implement item #12 on project list -- quick release of FD by
468      the SD.
469 kes  Fix open of SQLite3 db where user does not have write permission
470      so that DIR does not crash. Fixes bug #761.
471 25Jan07
472 kes  Add back missing @ in Win32 Makefile.
473 kes  Change 'Device not configured to autolabel' from INFO
474      to WARNING.
475 kes  Fix jobq.c to restart failed jobs when Reschedule Times = 0 
476      which should restart an indefinite # of times.
477 kes  Fix configure --help to print --with-mysql[=DIR]. Same for
478      other DIR specifications.
479 23Jan07
480 rn   Fix msvc build problems. Fix bacula.dll exports for msvc build.
481      Fix path quoting in SQLite scripts.
482      Fix problems with SHGetFolderPath.
483 19Jan07
484 kes  Create patches/2.0.1-restart.patch. Fixes bug #755.
485 18Jan07
486 kes  Fix Job restart on error bug that promotes an Inc to a Full
487      backup.  This should fix bug #755.
488 kes  Add qt-console and first cut of code.
489
490 Version 2.0.1
491 12Jan07
492 kes  Fix Bacula->Documentation link on Win32 to point to index.html
493      instead of bacula.html. Fixed bug #750.
494 kes  Return JobId in db_get_job_record() when JobId==0. This should
495      fix bug #741.
496 kes  Do not release source pointers when restarting a failed job.
497 11Jan07
498 kes  Add dynamic dll entry point for SHGetFolderPath to Win32 code.
499      This *should* fix bug #747.
500 kes  Modify winbacula.nsi to substitute with g bin_dir_cmd. Should fix
501      bug #742.
502 09Jan07
503 kes  Modify USTORE constructor to set an empty store_source string, 
504      and don't copy the store_source string in a cancel.  Hopefully
505      this will fix Arno's seg fault, bug #744.
506 kes  Add back code to disable conio in configure. Fixes bug #743.
507 kes  Correct the Options scanner in the FD to correctly handle  
508      SHA1 option, which was eating the next option.  Reported by    
509      Sebastien Guilbaud.
510 kes  Add code to indicate when the SD is spooling, spool wait, and 
511      despooling as requested by Alan Brown.
512
513 Version 2.0.0 released: 4 January 2007