]> git.sur5r.net Git - bacula/bacula/blob - bacula/technotes-2.1
This is a first commit at attempting to prevent connecting to a director which
[bacula/bacula] / bacula / technotes-2.1
1               Technical notes on version 2.1
2
3 General:
4 25Apr07
5 kes  Insure that bat.conf is not overwritten during installation.
6 kes  Fix important bug in db_sql_query() in mysql.c.  It was introduced
7      while I was implementing migration in March 2006 !
8 24Apr07
9 ebl  Cleanup file relocation, using char *RegexWhere instead of
10      char *where + bool where_use_regexp
11 kes  Update some manpages and add bat manpage.
12 kes  Make a first cut at converting bacula.spec.in for bwx-console
13      and bgnome-console.
14 kes  Apply patch from John Goerzen to add hostname as fourth argument
15      to make_catalog_backup script.
16 kes  Fix typos I introduced into bsmtp.c
17 kes  Make pm_strxxx() routines handle input of NULL pointer. This
18      is to protect from NULL pointers returned from SQL databases.
19 kes  Correct typo in bacula-sd manpage as pointed out by John Goerzen.
20 kes  Add more debug to FIFO code -- fix fifo regression test.
21 23Apr07
22 kes  Implement posix_fadvise in FD, and for reading spool files in SD.
23 kes  Add thread timer to bnet_connect() to break from OS if wait time
24      expires.
25 22Apr07
26 kes  Update Win32 build to include new files, new symbols, and    
27      renamed files.
28 kes  Implement socket level heartbeat (tcp_keepidle)
29 ebl  Commit File relocation patch
30 kes  Make bat have 'make install' target.
31 kes  Warn during install if old gnome-console binary found.
32 kes  Warn during install if old wx-console binary found.
33 kes  Add -8 option to bsmtp command line to add content type utf-8. 
34      Fixes bug #809. (Character coding problem in bsmtp).
35 kes  If < is found in target (from, to, cc) then do not enclose the
36      target in < >  in bsmtp. Fixes bug #772  (malformed address).
37 kes  When printing certain items in dbcheck, stop after 300000.
38      Fixes bug #822. (dbcheck loops).
39 kes  Incorrect status in Dir after waiting for mount with poll set.
40      Fixes bug #825.
41 21Apr07 
42 kes  Extend idea of Prefer Mounted Volumes to mean a volume about
43      to be mounted.
44 kes  Print waiting to reserve a device every 5 mins.           
45 20Apr07
46 kes  Don't call close_part in label.c if tape and relabel.
47 kes  Don't free volume if busy in close() -- should help with
48      bug 801.
49 ebl  Fix #824 RunScript bug (After script could be execute twice)
50      Now, Before Script can use RunsOnSuccess and RunsOnFailure options
51      By default (like before) RunsOnSuccess=true and RunsOnFailure=false
52      Add a regression script to test RunScript
53 19Apr07
54 kes  Correct usage of MTIOCLRERR ioctl for clearing persistant errors
55      on Solaris.
56 18Apr07
57 kes  The bgnome-console (gnome-console) and bwx-console (wx-console) are
58      deprecated. No additional bugs will be fixed, and they will be dropped
59      in a future release (probably 2.4.0).
60 kes  Change name of wx-console to bwx-console to make it more Bacula
61      unique.
62 kes  Change the name of gnome-console to bgnome-console to make it
63      more Bacula unique.
64 14Apr07
65 kes  Some time in March, a Feature Request with patch from Jorj Bauer
66      <jorj@seas.upenn.edu> was committed by Landon (with my approval).
67      It implements:
68      The ability for the director to validate a Client (FD) CN against
69      an arbitrary set of patterns rather than the hostname, with
70      A new 'TLS Allowed CN' set of directives which are implemented
71      in the Client resource.  Then pattern matching is used in place
72      of hostname matching against the Certificate's CN. As an example, we
73      have certificates which (a) use a local CA, and (b) have a CN of the
74      form client_123.
75 kes  Add new/changed entry points to Win32 build
76 kes  Create unaccepted-projects for projects that are not accepted.
77 kes  Simplify locking in the reservations system.
78 kes  Add more debug code in reservations.
79 kes  Make sure error condition on reserving a volume is handled correctly.
80 kes  Correct handling of volume_in_use.
81 kes  Correct handling of initializing a device.
82 kes  Move handling of broadcasting releasing a device into release_device().
83 kes  Correct attaching dcr to dev so that it is only done if device
84      is properly initiated.
85 12Apr07
86 kes  Locking debug level tweaks in SD.
87 kes  Tweak new Volume code.
88 11Apr07
89 kes  Add exec external-command [wait-seconds] to bconsole. This
90      executes the external-command.  Note! normally external-command
91      should be enclosed in double quotes.
92 kes  Turn the .die command on only if DEVELOPER is defined -- i.e.
93      it should normally be off in a production system.
94 10Apr07
95 kes  Implement die command for SD so that we can force it to dump.
96 kes  Implement SD lock debug code.
97 kes  Implement new algorithm for keeping Volume list in SD.  It
98      is now owned by the device.
99 04Apr07
100 kes  Implement new code for freeing in use volumes that should 
101      resolve if not all, some of the problems of multiple drive
102      tape conflicts described in bug 801.
103 03Apr07
104 kes  Fix gui/bacula-web/images files in svn.
105 kes  Turn on FreeBSD/OpenBSD code to set EOT model on tape.
106 02Apr07
107 ebl  Fix a bug in batch mode (in string escape)
108 kes  Correct migration prune SQL typo that crept in in a    
109      recent 2.1.x change.
110 01Apr07
111 kes  Move bnet_despool() into class in bsock.c
112 kes  Modify job report to include director name and Build OS.
113 kes  Move drop root privilege and check_catalog() before fork.
114 kes  Add update database scripts (version 9 to 10) to updatedb directory.
115 31Mar07
116 ebl  Check size and age of each file after its backup to see if
117      it has changed during backup, if 'checkfilechanges' is set.
118      The FD will do an extra check (stat(2)) after
119      each file backup. mtime, ctime and size are compared with
120      'before backup' information. If time or size mismatch, an
121      error message will be generated. You must upgrade FD to use it.
122 30Mar07
123 kes  Make database name and user configurable
124      --with-db-name=xxx --with-db-user=xxx
125 kes  Add back database type to message.c for debugging.
126 29Mar07
127 kes  Implement dir_sql() which issues an SQL query.
128 kes  Modify bat medialist to use dir_sql() and do some minor C++
129      formatting as well as eliminating a number of pointers, simplifing
130      the code.
131 28Mar07
132 kes  Fix some of the mtx-changer grep commands for tape label readers.
133 kes  Convert a number of bsendmsg into the appropriate send/warning/error
134      message class calls.
135 kes  Suppress the using database message in the .sql command.
136 kes  Correct an incorrect bnet_tls_client prototype -- patch from Martin.
137 27Mar07
138 kes  Add context menu for floating a window.
139 kes  Some minor cleanup and name changes in qt-console
140 kes  Add doing mt setblk 0 in Win32 mtx-changer.
141 kes  Apply Martin's bug fix to move definition of ENODATA for 
142      FreeBSD to bsock.c
143 ebl  Add a BUSY handler to sqlite to be able to use multi_db = 1 with
144      sqlite2 and sqlite3.
145 26Mar07
146 kes  More pruning cleanup.
147 kes  Turn on wait_for_drive by default in mtx-changer.
148 kes  Turn on Batch insert code by default as it now passes regression.
149 kes  Add ./configure --enable-bat to enable building of Bat.   
150      No install yet though.
151 25Mar07
152 kes  Implement a new .sql command for bat.
153 kes  Implement code to turn off pruning in obtaining the next volume.
154      Pruning is turned off for the status dir command, but turned on
155      for SD requests and for the list nextvolume command.
156 24Mar07
157 kes  Correct Qmsg() that was not updated correctly when committing a
158      previous change (probably the recent TLS patch).
159 23Mar07
160 kes  Write new subroutine is_volume_purged() that explicitly checks
161      if the Volume is purged, and if so marks it as such. This should
162      resolve problems reported about needing to mount twice to recycle
163      volumes.
164 kes  Rewrite pruning algorithm to do more work in the SQL engine, and
165      to pass a list of JobIds to be deleted to SQL.  Also, minimize the
166      amount of duplicated code.     
167 kes  Do volume pruning only for the Media Type desired (reduces pruning time
168      if multiple Media Types are in the same pool).
169 kes  Implement more detailed info in the Job report for the Bacula version
170      and architecture.
171 kes  Switch from POOLMEM to POOL_MEM (a real class) in ua_prune.c and
172      ua_purge.c.
173 ebl  Add bbatch tool to bench database and insert mode.
174      Fix sql quote stuff in batch mode
175      Fix sql stuff for mysql
176 22Mar07
177 kes  Correct problems with am/pm scheduling. Fixes bug #808.
178 kes  Implement new prunning code that prunes up to 1000 jobs at
179      the same time.  The same technique can be applied to a number
180      of other prune/purge subroutines.
181 kes  Add an insanity check when starting a new tape job to ensure
182      that the tape position has not been changed. If so fail the
183      job.
184 kes  Fix Win32 build for dlls to add the folllowing:
185      src/lib/bsock.c -- new file with new entry points
186      src/lib/dlist.c  -- new entry points
187      src/cats/sql_create.c -- new entry point
188      src/cats/sql_cmds.c -- new DATA item exported
189 21Mar07
190 ebl  batch mode cleanup bscan-test is ok now.
191 kes  Implement SD code to check length of disk volume before appending.
192 18Mar07
193 kes  Correct return status on db_batch... routines.
194 kes  Add call to db_write_batch_file_records() to migration code.
195 ebl  Fix AfterJob timing
196 kes  Move the checking of the database in initializion of the Director
197      to after we drop privileges.  This avoids the need for both root
198      and bacula access to the DB.
199 kes  Correct a misplaced variable definition in src/filed/backup.c
200 kes  Correct how the new batch insert db_create_attributes_record()
201      uses the arguments.  Caused a seg fault in bscan.
202 kes  Implement lock() and unlock() methods in DEVICE class.
203      Implement block() and set_block(xx) methods in DEVICE class.
204 kes  Modify bnet_connect() so that it uses time() to check for the
205      wait time expiring (on some OSes, some system calls may not
206      return immediately).
207 kes  Modify Verify to obtain the previous JobId when it is actually
208      running rather than at schedule time (as it was in 1.38.x).     
209 kes  Fix src/job.c to handle MaxWaitTime correctly.  This should
210      fix bug #802.
211 kes  When checking pid in pid file, continue running if the pid is
212      the same as ours. This occurs on IRIX after a system crash.
213      Fixes bug #797.
214 10Mar07
215 kes  Extend new GUI API.
216 kes  Make the ua structure a class, and implement send_msg(),
217      error_msg(), warning_msg(), and info_msg().
218 08Mar07
219 kes  Apply fix from for building wx-console on the Mac from
220      bug #798.
221 kes  Implement new select mechanism for GUI programs.
222 kes  Reorganize initialization of stackedWidgets in bat.
223 07Mar07
224 kes  Add updated nagios plugin supplied by Christian Masopust.
225 05Mar07
226 kes  More bat implementation.
227 kes  File migrate bug with Pool Occupancy using mediaid instead
228      of jobids.  Fixes bug #795.
229 kes  Fix orphaned buffers in filed backup and verify due to
230      crypto buffers not freed during errors.  Fixes bug #789.
231 kes  Extend new GUI api code to tree commands.
232 kes  Ensure that tree and dot commands check console ACLs.
233 kes  Permit marking directory with trailing slash.
234 kes  Allow 20 console connections (instead of only 10).
235 04Mar07
236 kes  Add smartctl call to bacula-sd.conf as an example of getting
237      tape alert info.
238 02Mar07
239 kes  Modify jobq.c to let simultaneous restore jobs run. This may 
240      cause them to fail if they cannot get a drive.
241 kes  Add Client Connect Wait to Storage daemon to permit users to
242      modify the time the SD waits for a FD connection.
243 29Feb07
244 kes  Correct virtual changer check which was backwards. This caused
245      volumes to be unloaded into slots already occupied.
246 28Feb07
247 kes  Apply Command ACL filter to JobId list in restore command.
248 kes  Correct typeo in var.c patch.
249 27Feb07
250 kes  Don't let Bacula prune File or Job records for the current Job.
251 kes  Fix variable substitution pad + inc bug reported (with patch)
252      in bug #791.
253 26Feb07
254 kes  Correct SQLite log table index as reported by Luca Berra.
255 24Feb07
256 ebl  fix fifo stuff, bacula tries to rewind the fifo... Thanks to Andreas
257 22Feb07
258 kes  Begin implementing new comm signals for API.
259 kes  Fix a few places in lib/message.c where the open fd may 
260      not be zeroed.
261 kes  Continue implementing lib/bsock.c (real class).  Make jcr,
262      who, host, and port private. There are new methods to access
263      them for non-class use. This required touching a number of files.
264 21Feb07
265 kes  Add LANG=C to autoconf/randpass so it works with languages other
266      than English.  Fixes bug #788.
267 20Feb07
268 ebl  Revert ClientRunBeforeJob to old position as in 1.38.X.
269      This fixes bug #780
270      You will not be able to generate Include/Exclude list any more.
271      It will be fixed soon.
272      If you want to use this, you can apply
273      trunk/bacula/patches/testing/clientrunbeforejob_can_generate_include_exclude_list.patch
274 19Feb07
275 kes  Restore of sockets created false error messages because Bacula
276      no longer restores sockets, but the code was still trying to
277      set the attributes on a non-existent file. Reported by a user.
278 ebl  finish RecyclePool feature
279      Media will takes Pool.RecyclePool
280      when moving from Scratch to a Pool or when user will do
281      update volume=xxx frompool
282      To use it, add RecyclePool = aPool to your Pool resource
283         Pool {
284                 Name = Default
285                 RecyclePool = Scratch
286                 ...
287         }
288      TODO: update manual
289 kes  Expand new BSOCK class adding signal() and new BNET signals.
290 kes  Begin enhancing the dot commands adding a new API function
291      that returns more information and will make it easier
292      to interface to the Director from a program.
293 18Feb07
294 kes  Make DEVICE fd private. Its new name is m_fd, and can be
295      obtained with dev->fd() outside the class.  This is the
296      first of many DEVICE members to be made private.
297 kes  Implement Michael Renner's idea on having a virtual disk
298      changer. I made some minor modifications (e.g. I did not
299      implement the Virtual Changer directive, but simply set
300      the Changer Command to an empty string.
301 17Feb07
302 kes  Implement a BSOCK send() method that writes the whole record
303      in a single write() request rather than in two.
304 ebl  add update volume=xxx recyclepool=yyyy
305      volume takes recyclepool from pool when using update volume=xxx from pool
306 16Feb07
307 kes  Fix encryption deblocking bug, which caused some restored files
308      to be truncated. This fixes bug #763.
309 kes  Add FD event sequence order prepared by Eric -- for RunScripts.
310 kes  Fix 12am/pm bug as reported in bug #782.
311 13Feb07
312 kes  Apply Eric's ClientRunScriptAfter patch to 2.0 and 2.1.
313 ebl  Use btime_t instead of uint64_t in media patch.
314 11Feb07
315 kes  Optimize the use of the database a bit in the Status dir command.
316      Only open it when needed, ensure that if any previous database
317      was opened, it is closed.
318 10Feb07
319 kes  Correct VolCatBytes bug from media patch.
320 kes  Apply patch from bug #612 by Rudolf Cejka to speedup pruning
321      in the case of orphaned records.
322 kes  Modify dbcheck to handle orphaned JobMedia, Path, Filename,
323      and File records in 300K chunks to be more efficient. This
324      idea came from Juan Luis Frances (if I remember right).
325 kes  Apply Eric's scratch patch that moves a purged Volume to
326      the RecyclePool.  Question: how is RecyclePool set? what
327      happens to the ScratchPool?
328 kes  Apply Eric's media patch that collects read/write media
329      times as well as byte counts.  This patch requires a
330      simultaneous upgrade of the DIR and SD.  Note, there
331      should be some way to turn off timing. I'm not sure
332      times are in Bacula units.
333 kes  Apply Eric's batch-insert patch.
334 09Feb07
335 kes  Update projects list.
336 08Feb07
337 kes  Implement Include/Exclude file lists in FD as dlists using
338      the new dlistString class. This permits efficiently having
339      large include/exclude lists and completes project Item 25.
340 kes  Fix dird/ua_cmds.c so that a cancel command checks if the
341      console is authorized to cancel the job.  This fixes bug 
342      #767.
343 kes  Modify SD so that the VolCatJobs medium record is updated
344      at the beginning of a Job rather than the end.  This
345      fixes bug #775 where exceeding MaxVolJobs caused jobs
346      to fail.
347 kes  Added a mutex around getting and setting Volume information
348      so that multiple simultaneous jobs will single thread.
349 07Feb07
350      Switch to using Subversion
351 kes  Remove src/pygtk-console/ from configure
352 06Feb07
353 kes  Delete src/lib/btree.c from win32 build, then add rblist.c
354      plus the entrypoints.
355 kes  Apply patch supplied that corrects debug print
356      in canceling jobs for max run time.  Supplied as
357      part of bug #621, which was previously fixed.
358 05Feb07
359 kes  Test on job_canceled() and sd_msg_thread_done inside
360      loop starting the message thread to avoid a race condition.
361      Fixes bug #771.
362 kes  Remove rl_catch_signal from console.c as it conflicted
363      with the header definition. Fixes bug #765.
364 ebl  Fixes bug #766 about RunsOnClient = Yes (case sensitive)
365 04Feb07
366 kes  Clarify some stored/acquire messages to indicate if the
367      problem is with read or append.
368 02Feb07
369 kes  Fix memory leak with storage ids in cats/sql_get.c
370 kes  Terminate watchdog earlier to avoid reference to released
371      memory -- reported by Jason Austin.
372 kes  Move closing the database from jobq.c to the director daemon
373      termination routine. This fixes memory leaks for shadow jobs
374      (i.e. migration jobs).
375 kes  Free up the unique jobid chain items in migrate.c.  This fixes
376      a memory leak problem.
377 kes  Convert some ugly looking for statements to use foreach_alist
378      in findlib/find.c.  This will facilitate converting the structures
379      to use dlist (for large include/exclude lists).
380 kes  Fix a bug in the btree.c and btree.h routines, then rename them
381      rblist and add them to be built in src/lib.  Include some new
382      methods written by Rudolf Cejka that make the code more readable
383      (hides some of the ugly casting).
384 kes  Add set_next() and set_prev() methods which make the code much more 
385      readable. Also add a new dlistString class that facilitates storing
386      strings in dlists.  To be used in the large include/exclude lists.
387 kes  Make some trivial modifications to lib/tree.h that use rblist
388      rather than dlist for storing the tree links. This was suggested
389      by Rudolf Cejka.  The result of this is that the restore tree now
390      uses red-black binary trees rather than simple linked lists. This
391      should give rather dramatic speed improvements for directories
392      contining large numbers of directories/files (more than 10000).
393 28Jan07 
394 kes  Fix maxruntime bug #621.
395 26Jan07
396 ebl  Implement the include JobID in spool file name project.
397 kes  Reorder projects file in order determined by Jan 2007 vote.
398 kes  Implement item #12 on project list -- quick release of FD by
399      the SD.
400 kes  Fix open of SQLite3 db where user does not have write permission
401      so that DIR does not crash. Fixes bug #761.
402 25Jan07
403 kes  Add back missing @ in Win32 Makefile.
404 kes  Change 'Device not configured to autolabel' from INFO
405      to WARNING.
406 kes  Fix jobq.c to restart failed jobs when Reschedule Times = 0 
407      which should restart an indefinite # of times.
408 kes  Fix configure --help to print --with-mysql[=DIR]. Same for
409      other DIR specifications.
410 23Jan07
411 rn   Fix msvc build problems. Fix bacula.dll exports for msvc build.
412      Fix path quoting in SQLite scripts.
413      Fix problems with SHGetFolderPath.
414 19Jan07
415 kes  Create patches/2.0.1-restart.patch. Fixes bug #755.
416 18Jan07
417 kes  Fix Job restart on error bug that promotes an Inc to a Full
418      backup.  This should fix bug #755.
419 kes  Add qt-console and first cut of code.
420
421 Version 2.0.1
422 12Jan07
423 kes  Fix Bacula->Documentation link on Win32 to point to index.html
424      instead of bacula.html. Fixed bug #750.
425 kes  Return JobId in db_get_job_record() when JobId==0. This should
426      fix bug #741.
427 kes  Do not release source pointers when restarting a failed job.
428 11Jan07
429 kes  Add dynamic dll entry point for SHGetFolderPath to Win32 code.
430      This *should* fix bug #747.
431 kes  Modify winbacula.nsi to substitute with g bin_dir_cmd. Should fix
432      bug #742.
433 09Jan07
434 kes  Modify USTORE constructor to set an empty store_source string, 
435      and don't copy the store_source string in a cancel.  Hopefully
436      this will fix Arno's seg fault, bug #744.
437 kes  Add back code to disable conio in configure. Fixes bug #743.
438 kes  Correct the Options scanner in the FD to correctly handle  
439      SHA1 option, which was eating the next option.  Reported by    
440      Sebastien Guilbaud.
441 kes  Add code to indicate when the SD is spooling, spool wait, and 
442      despooling as requested by Alan Brown.
443
444 Version 2.0.0 released: 4 January 2007