]> git.sur5r.net Git - bacula/bacula/blob - bacula/technotes-2.1
1e763ff95d785f6ac0fd2757de6950b1fb5bf83d
[bacula/bacula] / bacula / technotes-2.1
1               Technical notes on version 2.1
2
3 General:
4 02May07
5 kes  Correct handle problem in new win32_ftruncate routine.
6 kes  Convert ua_purge.c and ua_update.c to use new ua class
7      message routines for bat.
8 29Apr07 
9 kes  Correct incorrect installation of LICENSE in Win32 installer.
10 kes  Display LICENSE at the beginning of the Win32 install.
11 kes  Attempt to correct the need for the png files to be installed 
12      for bat.
13 kes  Reapply my bat.conf install script in qt-console. I think I 
14      editted bat.pro instead of bat.pro.in and it was lost.
15 kes  Apply CentOS patches someone sent me. Checks for /var/run/subsys,
16      the /var/lock/subsys for subsysdir.  Also corrects typos in the
17      doc.
18 28Apr07
19 kes  First cut update job.
20 kes  Correct configure to include qmake of src/qt-console directory.
21 26Apr07
22 kes  Make restore job yes/mod/no print in one command so GUI works.
23 kes  First cut implementing backup and restore client.
24 kes  Correct editing in Verify output that caused a seg fault.
25 25Apr07
26 kes  Insure that bat.conf is not overwritten during installation.
27 kes  Fix important bug in db_sql_query() in mysql.c.  It was introduced
28      while I was implementing migration in March 2006 !
29 24Apr07
30 ebl  Cleanup file relocation, using char *RegexWhere instead of
31      char *where + bool where_use_regexp
32 kes  Update some manpages and add bat manpage.
33 kes  Make a first cut at converting bacula.spec.in for bwx-console
34      and bgnome-console.
35 kes  Apply patch from John Goerzen to add hostname as fourth argument
36      to make_catalog_backup script.
37 kes  Fix typos I introduced into bsmtp.c
38 kes  Make pm_strxxx() routines handle input of NULL pointer. This
39      is to protect from NULL pointers returned from SQL databases.
40 kes  Correct typo in bacula-sd manpage as pointed out by John Goerzen.
41 kes  Add more debug to FIFO code -- fix fifo regression test.
42 23Apr07
43 kes  Implement posix_fadvise in FD, and for reading spool files in SD.
44 kes  Add thread timer to bnet_connect() to break from OS if wait time
45      expires.
46 22Apr07
47 kes  Update Win32 build to include new files, new symbols, and    
48      renamed files.
49 kes  Implement socket level heartbeat (tcp_keepidle)
50 ebl  Commit File relocation patch
51 kes  Make bat have 'make install' target.
52 kes  Warn during install if old gnome-console binary found.
53 kes  Warn during install if old wx-console binary found.
54 kes  Add -8 option to bsmtp command line to add content type utf-8. 
55      Fixes bug #809. (Character coding problem in bsmtp).
56 kes  If < is found in target (from, to, cc) then do not enclose the
57      target in < >  in bsmtp. Fixes bug #772  (malformed address).
58 kes  When printing certain items in dbcheck, stop after 300000.
59      Fixes bug #822. (dbcheck loops).
60 kes  Incorrect status in Dir after waiting for mount with poll set.
61      Fixes bug #825.
62 21Apr07 
63 kes  Extend idea of Prefer Mounted Volumes to mean a volume about
64      to be mounted.
65 kes  Print waiting to reserve a device every 5 mins.           
66 20Apr07
67 kes  Don't call close_part in label.c if tape and relabel.
68 kes  Don't free volume if busy in close() -- should help with
69      bug 801.
70 ebl  Fix #824 RunScript bug (After script could be execute twice)
71      Now, Before Script can use RunsOnSuccess and RunsOnFailure options
72      By default (like before) RunsOnSuccess=true and RunsOnFailure=false
73      Add a regression script to test RunScript
74 19Apr07
75 kes  Correct usage of MTIOCLRERR ioctl for clearing persistant errors
76      on Solaris.
77 18Apr07
78 kes  The bgnome-console (gnome-console) and bwx-console (wx-console) are
79      deprecated. No additional bugs will be fixed, and they will be dropped
80      in a future release (probably 2.4.0).
81 kes  Change name of wx-console to bwx-console to make it more Bacula
82      unique.
83 kes  Change the name of gnome-console to bgnome-console to make it
84      more Bacula unique.
85 14Apr07
86 kes  Some time in March, a Feature Request with patch from Jorj Bauer
87      <jorj@seas.upenn.edu> was committed by Landon (with my approval).
88      It implements:
89      The ability for the director to validate a Client (FD) CN against
90      an arbitrary set of patterns rather than the hostname, with
91      A new 'TLS Allowed CN' set of directives which are implemented
92      in the Client resource.  Then pattern matching is used in place
93      of hostname matching against the Certificate's CN. As an example, we
94      have certificates which (a) use a local CA, and (b) have a CN of the
95      form client_123.
96 kes  Add new/changed entry points to Win32 build
97 kes  Create unaccepted-projects for projects that are not accepted.
98 kes  Simplify locking in the reservations system.
99 kes  Add more debug code in reservations.
100 kes  Make sure error condition on reserving a volume is handled correctly.
101 kes  Correct handling of volume_in_use.
102 kes  Correct handling of initializing a device.
103 kes  Move handling of broadcasting releasing a device into release_device().
104 kes  Correct attaching dcr to dev so that it is only done if device
105      is properly initiated.
106 12Apr07
107 kes  Locking debug level tweaks in SD.
108 kes  Tweak new Volume code.
109 11Apr07
110 kes  Add exec external-command [wait-seconds] to bconsole. This
111      executes the external-command.  Note! normally external-command
112      should be enclosed in double quotes.
113 kes  Turn the .die command on only if DEVELOPER is defined -- i.e.
114      it should normally be off in a production system.
115 10Apr07
116 kes  Implement die command for SD so that we can force it to dump.
117 kes  Implement SD lock debug code.
118 kes  Implement new algorithm for keeping Volume list in SD.  It
119      is now owned by the device.
120 04Apr07
121 kes  Implement new code for freeing in use volumes that should 
122      resolve if not all, some of the problems of multiple drive
123      tape conflicts described in bug 801.
124 03Apr07
125 kes  Fix gui/bacula-web/images files in svn.
126 kes  Turn on FreeBSD/OpenBSD code to set EOT model on tape.
127 02Apr07
128 ebl  Fix a bug in batch mode (in string escape)
129 kes  Correct migration prune SQL typo that crept in in a    
130      recent 2.1.x change.
131 01Apr07
132 kes  Move bnet_despool() into class in bsock.c
133 kes  Modify job report to include director name and Build OS.
134 kes  Move drop root privilege and check_catalog() before fork.
135 kes  Add update database scripts (version 9 to 10) to updatedb directory.
136 31Mar07
137 ebl  Check size and age of each file after its backup to see if
138      it has changed during backup, if 'checkfilechanges' is set.
139      The FD will do an extra check (stat(2)) after
140      each file backup. mtime, ctime and size are compared with
141      'before backup' information. If time or size mismatch, an
142      error message will be generated. You must upgrade FD to use it.
143 30Mar07
144 kes  Make database name and user configurable
145      --with-db-name=xxx --with-db-user=xxx
146 kes  Add back database type to message.c for debugging.
147 29Mar07
148 kes  Implement dir_sql() which issues an SQL query.
149 kes  Modify bat medialist to use dir_sql() and do some minor C++
150      formatting as well as eliminating a number of pointers, simplifing
151      the code.
152 28Mar07
153 kes  Fix some of the mtx-changer grep commands for tape label readers.
154 kes  Convert a number of bsendmsg into the appropriate send/warning/error
155      message class calls.
156 kes  Suppress the using database message in the .sql command.
157 kes  Correct an incorrect bnet_tls_client prototype -- patch from Martin.
158 27Mar07
159 kes  Add context menu for floating a window.
160 kes  Some minor cleanup and name changes in qt-console
161 kes  Add doing mt setblk 0 in Win32 mtx-changer.
162 kes  Apply Martin's bug fix to move definition of ENODATA for 
163      FreeBSD to bsock.c
164 ebl  Add a BUSY handler to sqlite to be able to use multi_db = 1 with
165      sqlite2 and sqlite3.
166 26Mar07
167 kes  More pruning cleanup.
168 kes  Turn on wait_for_drive by default in mtx-changer.
169 kes  Turn on Batch insert code by default as it now passes regression.
170 kes  Add ./configure --enable-bat to enable building of Bat.   
171      No install yet though.
172 25Mar07
173 kes  Implement a new .sql command for bat.
174 kes  Implement code to turn off pruning in obtaining the next volume.
175      Pruning is turned off for the status dir command, but turned on
176      for SD requests and for the list nextvolume command.
177 24Mar07
178 kes  Correct Qmsg() that was not updated correctly when committing a
179      previous change (probably the recent TLS patch).
180 23Mar07
181 kes  Write new subroutine is_volume_purged() that explicitly checks
182      if the Volume is purged, and if so marks it as such. This should
183      resolve problems reported about needing to mount twice to recycle
184      volumes.
185 kes  Rewrite pruning algorithm to do more work in the SQL engine, and
186      to pass a list of JobIds to be deleted to SQL.  Also, minimize the
187      amount of duplicated code.     
188 kes  Do volume pruning only for the Media Type desired (reduces pruning time
189      if multiple Media Types are in the same pool).
190 kes  Implement more detailed info in the Job report for the Bacula version
191      and architecture.
192 kes  Switch from POOLMEM to POOL_MEM (a real class) in ua_prune.c and
193      ua_purge.c.
194 ebl  Add bbatch tool to bench database and insert mode.
195      Fix sql quote stuff in batch mode
196      Fix sql stuff for mysql
197 22Mar07
198 kes  Correct problems with am/pm scheduling. Fixes bug #808.
199 kes  Implement new prunning code that prunes up to 1000 jobs at
200      the same time.  The same technique can be applied to a number
201      of other prune/purge subroutines.
202 kes  Add an insanity check when starting a new tape job to ensure
203      that the tape position has not been changed. If so fail the
204      job.
205 kes  Fix Win32 build for dlls to add the folllowing:
206      src/lib/bsock.c -- new file with new entry points
207      src/lib/dlist.c  -- new entry points
208      src/cats/sql_create.c -- new entry point
209      src/cats/sql_cmds.c -- new DATA item exported
210 21Mar07
211 ebl  batch mode cleanup bscan-test is ok now.
212 kes  Implement SD code to check length of disk volume before appending.
213 18Mar07
214 kes  Correct return status on db_batch... routines.
215 kes  Add call to db_write_batch_file_records() to migration code.
216 ebl  Fix AfterJob timing
217 kes  Move the checking of the database in initializion of the Director
218      to after we drop privileges.  This avoids the need for both root
219      and bacula access to the DB.
220 kes  Correct a misplaced variable definition in src/filed/backup.c
221 kes  Correct how the new batch insert db_create_attributes_record()
222      uses the arguments.  Caused a seg fault in bscan.
223 kes  Implement lock() and unlock() methods in DEVICE class.
224      Implement block() and set_block(xx) methods in DEVICE class.
225 kes  Modify bnet_connect() so that it uses time() to check for the
226      wait time expiring (on some OSes, some system calls may not
227      return immediately).
228 kes  Modify Verify to obtain the previous JobId when it is actually
229      running rather than at schedule time (as it was in 1.38.x).     
230 kes  Fix src/job.c to handle MaxWaitTime correctly.  This should
231      fix bug #802.
232 kes  When checking pid in pid file, continue running if the pid is
233      the same as ours. This occurs on IRIX after a system crash.
234      Fixes bug #797.
235 10Mar07
236 kes  Extend new GUI API.
237 kes  Make the ua structure a class, and implement send_msg(),
238      error_msg(), warning_msg(), and info_msg().
239 08Mar07
240 kes  Apply fix from for building wx-console on the Mac from
241      bug #798.
242 kes  Implement new select mechanism for GUI programs.
243 kes  Reorganize initialization of stackedWidgets in bat.
244 07Mar07
245 kes  Add updated nagios plugin supplied by Christian Masopust.
246 05Mar07
247 kes  More bat implementation.
248 kes  File migrate bug with Pool Occupancy using mediaid instead
249      of jobids.  Fixes bug #795.
250 kes  Fix orphaned buffers in filed backup and verify due to
251      crypto buffers not freed during errors.  Fixes bug #789.
252 kes  Extend new GUI api code to tree commands.
253 kes  Ensure that tree and dot commands check console ACLs.
254 kes  Permit marking directory with trailing slash.
255 kes  Allow 20 console connections (instead of only 10).
256 04Mar07
257 kes  Add smartctl call to bacula-sd.conf as an example of getting
258      tape alert info.
259 02Mar07
260 kes  Modify jobq.c to let simultaneous restore jobs run. This may 
261      cause them to fail if they cannot get a drive.
262 kes  Add Client Connect Wait to Storage daemon to permit users to
263      modify the time the SD waits for a FD connection.
264 29Feb07
265 kes  Correct virtual changer check which was backwards. This caused
266      volumes to be unloaded into slots already occupied.
267 28Feb07
268 kes  Apply Command ACL filter to JobId list in restore command.
269 kes  Correct typeo in var.c patch.
270 27Feb07
271 kes  Don't let Bacula prune File or Job records for the current Job.
272 kes  Fix variable substitution pad + inc bug reported (with patch)
273      in bug #791.
274 26Feb07
275 kes  Correct SQLite log table index as reported by Luca Berra.
276 24Feb07
277 ebl  fix fifo stuff, bacula tries to rewind the fifo... Thanks to Andreas
278 22Feb07
279 kes  Begin implementing new comm signals for API.
280 kes  Fix a few places in lib/message.c where the open fd may 
281      not be zeroed.
282 kes  Continue implementing lib/bsock.c (real class).  Make jcr,
283      who, host, and port private. There are new methods to access
284      them for non-class use. This required touching a number of files.
285 21Feb07
286 kes  Add LANG=C to autoconf/randpass so it works with languages other
287      than English.  Fixes bug #788.
288 20Feb07
289 ebl  Revert ClientRunBeforeJob to old position as in 1.38.X.
290      This fixes bug #780
291      You will not be able to generate Include/Exclude list any more.
292      It will be fixed soon.
293      If you want to use this, you can apply
294      trunk/bacula/patches/testing/clientrunbeforejob_can_generate_include_exclude_list.patch
295 19Feb07
296 kes  Restore of sockets created false error messages because Bacula
297      no longer restores sockets, but the code was still trying to
298      set the attributes on a non-existent file. Reported by a user.
299 ebl  finish RecyclePool feature
300      Media will takes Pool.RecyclePool
301      when moving from Scratch to a Pool or when user will do
302      update volume=xxx frompool
303      To use it, add RecyclePool = aPool to your Pool resource
304         Pool {
305                 Name = Default
306                 RecyclePool = Scratch
307                 ...
308         }
309      TODO: update manual
310 kes  Expand new BSOCK class adding signal() and new BNET signals.
311 kes  Begin enhancing the dot commands adding a new API function
312      that returns more information and will make it easier
313      to interface to the Director from a program.
314 18Feb07
315 kes  Make DEVICE fd private. Its new name is m_fd, and can be
316      obtained with dev->fd() outside the class.  This is the
317      first of many DEVICE members to be made private.
318 kes  Implement Michael Renner's idea on having a virtual disk
319      changer. I made some minor modifications (e.g. I did not
320      implement the Virtual Changer directive, but simply set
321      the Changer Command to an empty string.
322 17Feb07
323 kes  Implement a BSOCK send() method that writes the whole record
324      in a single write() request rather than in two.
325 ebl  add update volume=xxx recyclepool=yyyy
326      volume takes recyclepool from pool when using update volume=xxx from pool
327 16Feb07
328 kes  Fix encryption deblocking bug, which caused some restored files
329      to be truncated. This fixes bug #763.
330 kes  Add FD event sequence order prepared by Eric -- for RunScripts.
331 kes  Fix 12am/pm bug as reported in bug #782.
332 13Feb07
333 kes  Apply Eric's ClientRunScriptAfter patch to 2.0 and 2.1.
334 ebl  Use btime_t instead of uint64_t in media patch.
335 11Feb07
336 kes  Optimize the use of the database a bit in the Status dir command.
337      Only open it when needed, ensure that if any previous database
338      was opened, it is closed.
339 10Feb07
340 kes  Correct VolCatBytes bug from media patch.
341 kes  Apply patch from bug #612 by Rudolf Cejka to speedup pruning
342      in the case of orphaned records.
343 kes  Modify dbcheck to handle orphaned JobMedia, Path, Filename,
344      and File records in 300K chunks to be more efficient. This
345      idea came from Juan Luis Frances (if I remember right).
346 kes  Apply Eric's scratch patch that moves a purged Volume to
347      the RecyclePool.  Question: how is RecyclePool set? what
348      happens to the ScratchPool?
349 kes  Apply Eric's media patch that collects read/write media
350      times as well as byte counts.  This patch requires a
351      simultaneous upgrade of the DIR and SD.  Note, there
352      should be some way to turn off timing. I'm not sure
353      times are in Bacula units.
354 kes  Apply Eric's batch-insert patch.
355 09Feb07
356 kes  Update projects list.
357 08Feb07
358 kes  Implement Include/Exclude file lists in FD as dlists using
359      the new dlistString class. This permits efficiently having
360      large include/exclude lists and completes project Item 25.
361 kes  Fix dird/ua_cmds.c so that a cancel command checks if the
362      console is authorized to cancel the job.  This fixes bug 
363      #767.
364 kes  Modify SD so that the VolCatJobs medium record is updated
365      at the beginning of a Job rather than the end.  This
366      fixes bug #775 where exceeding MaxVolJobs caused jobs
367      to fail.
368 kes  Added a mutex around getting and setting Volume information
369      so that multiple simultaneous jobs will single thread.
370 07Feb07
371      Switch to using Subversion
372 kes  Remove src/pygtk-console/ from configure
373 06Feb07
374 kes  Delete src/lib/btree.c from win32 build, then add rblist.c
375      plus the entrypoints.
376 kes  Apply patch supplied that corrects debug print
377      in canceling jobs for max run time.  Supplied as
378      part of bug #621, which was previously fixed.
379 05Feb07
380 kes  Test on job_canceled() and sd_msg_thread_done inside
381      loop starting the message thread to avoid a race condition.
382      Fixes bug #771.
383 kes  Remove rl_catch_signal from console.c as it conflicted
384      with the header definition. Fixes bug #765.
385 ebl  Fixes bug #766 about RunsOnClient = Yes (case sensitive)
386 04Feb07
387 kes  Clarify some stored/acquire messages to indicate if the
388      problem is with read or append.
389 02Feb07
390 kes  Fix memory leak with storage ids in cats/sql_get.c
391 kes  Terminate watchdog earlier to avoid reference to released
392      memory -- reported by Jason Austin.
393 kes  Move closing the database from jobq.c to the director daemon
394      termination routine. This fixes memory leaks for shadow jobs
395      (i.e. migration jobs).
396 kes  Free up the unique jobid chain items in migrate.c.  This fixes
397      a memory leak problem.
398 kes  Convert some ugly looking for statements to use foreach_alist
399      in findlib/find.c.  This will facilitate converting the structures
400      to use dlist (for large include/exclude lists).
401 kes  Fix a bug in the btree.c and btree.h routines, then rename them
402      rblist and add them to be built in src/lib.  Include some new
403      methods written by Rudolf Cejka that make the code more readable
404      (hides some of the ugly casting).
405 kes  Add set_next() and set_prev() methods which make the code much more 
406      readable. Also add a new dlistString class that facilitates storing
407      strings in dlists.  To be used in the large include/exclude lists.
408 kes  Make some trivial modifications to lib/tree.h that use rblist
409      rather than dlist for storing the tree links. This was suggested
410      by Rudolf Cejka.  The result of this is that the restore tree now
411      uses red-black binary trees rather than simple linked lists. This
412      should give rather dramatic speed improvements for directories
413      contining large numbers of directories/files (more than 10000).
414 28Jan07 
415 kes  Fix maxruntime bug #621.
416 26Jan07
417 ebl  Implement the include JobID in spool file name project.
418 kes  Reorder projects file in order determined by Jan 2007 vote.
419 kes  Implement item #12 on project list -- quick release of FD by
420      the SD.
421 kes  Fix open of SQLite3 db where user does not have write permission
422      so that DIR does not crash. Fixes bug #761.
423 25Jan07
424 kes  Add back missing @ in Win32 Makefile.
425 kes  Change 'Device not configured to autolabel' from INFO
426      to WARNING.
427 kes  Fix jobq.c to restart failed jobs when Reschedule Times = 0 
428      which should restart an indefinite # of times.
429 kes  Fix configure --help to print --with-mysql[=DIR]. Same for
430      other DIR specifications.
431 23Jan07
432 rn   Fix msvc build problems. Fix bacula.dll exports for msvc build.
433      Fix path quoting in SQLite scripts.
434      Fix problems with SHGetFolderPath.
435 19Jan07
436 kes  Create patches/2.0.1-restart.patch. Fixes bug #755.
437 18Jan07
438 kes  Fix Job restart on error bug that promotes an Inc to a Full
439      backup.  This should fix bug #755.
440 kes  Add qt-console and first cut of code.
441
442 Version 2.0.1
443 12Jan07
444 kes  Fix Bacula->Documentation link on Win32 to point to index.html
445      instead of bacula.html. Fixed bug #750.
446 kes  Return JobId in db_get_job_record() when JobId==0. This should
447      fix bug #741.
448 kes  Do not release source pointers when restarting a failed job.
449 11Jan07
450 kes  Add dynamic dll entry point for SHGetFolderPath to Win32 code.
451      This *should* fix bug #747.
452 kes  Modify winbacula.nsi to substitute with g bin_dir_cmd. Should fix
453      bug #742.
454 09Jan07
455 kes  Modify USTORE constructor to set an empty store_source string, 
456      and don't copy the store_source string in a cancel.  Hopefully
457      this will fix Arno's seg fault, bug #744.
458 kes  Add back code to disable conio in configure. Fixes bug #743.
459 kes  Correct the Options scanner in the FD to correctly handle  
460      SHA1 option, which was eating the next option.  Reported by    
461      Sebastien Guilbaud.
462 kes  Add code to indicate when the SD is spooling, spool wait, and 
463      despooling as requested by Alan Brown.
464
465 Version 2.0.0 released: 4 January 2007