git.sur5r.net Git - bacula/bacula/blob - bacula/technotes-2.1

   1               Technical notes on version 2.1
   2
   3 General:
   4 29Apr07
   5 kes  Correct incorrect installation of LICENSE in Win32 installer.
   6 kes  Display LICENSE at the beginning of the Win32 install.
   7 kes  Attempt to correct the need for the png files to be installed
   8      for bat.
   9 kes  Reapply my bat.conf install script in qt-console. I think I
  10      editted bat.pro instead of bat.pro.in and it was lost.
  11 kes  Apply CentOS patches someone sent me. Checks for /var/run/subsys,
  12      the /var/lock/subsys for subsysdir.  Also corrects typos in the
  13      doc.
  14 28Apr07
  15 kes  First cut update job.
  16 kes  Correct configure to include qmake of src/qt-console directory.
  17 26Apr07
  18 kes  Make restore job yes/mod/no print in one command so GUI works.
  19 kes  First cut implementing backup and restore client.
  20 kes  Correct editing in Verify output that caused a seg fault.
  21 25Apr07
  22 kes  Insure that bat.conf is not overwritten during installation.
  23 kes  Fix important bug in db_sql_query() in mysql.c.  It was introduced
  24      while I was implementing migration in March 2006 !
  25 24Apr07
  26 ebl  Cleanup file relocation, using char *RegexWhere instead of
  27      char *where + bool where_use_regexp
  28 kes  Update some manpages and add bat manpage.
  29 kes  Make a first cut at converting bacula.spec.in for bwx-console
  30      and bgnome-console.
  31 kes  Apply patch from John Goerzen to add hostname as fourth argument
  32      to make_catalog_backup script.
  33 kes  Fix typos I introduced into bsmtp.c
  34 kes  Make pm_strxxx() routines handle input of NULL pointer. This
  35      is to protect from NULL pointers returned from SQL databases.
  36 kes  Correct typo in bacula-sd manpage as pointed out by John Goerzen.
  37 kes  Add more debug to FIFO code -- fix fifo regression test.
  38 23Apr07
  39 kes  Implement posix_fadvise in FD, and for reading spool files in SD.
  40 kes  Add thread timer to bnet_connect() to break from OS if wait time
  41      expires.
  42 22Apr07
  43 kes  Update Win32 build to include new files, new symbols, and
  44      renamed files.
  45 kes  Implement socket level heartbeat (tcp_keepidle)
  46 ebl  Commit File relocation patch
  47 kes  Make bat have 'make install' target.
  48 kes  Warn during install if old gnome-console binary found.
  49 kes  Warn during install if old wx-console binary found.
  50 kes  Add -8 option to bsmtp command line to add content type utf-8.
  51      Fixes bug #809. (Character coding problem in bsmtp).
  52 kes  If < is found in target (from, to, cc) then do not enclose the
  53      target in < >  in bsmtp. Fixes bug #772  (malformed address).
  54 kes  When printing certain items in dbcheck, stop after 300000.
  55      Fixes bug #822. (dbcheck loops).
  56 kes  Incorrect status in Dir after waiting for mount with poll set.
  57      Fixes bug #825.
  58 21Apr07
  59 kes  Extend idea of Prefer Mounted Volumes to mean a volume about
  60      to be mounted.
  61 kes  Print waiting to reserve a device every 5 mins.
  62 20Apr07
  63 kes  Don't call close_part in label.c if tape and relabel.
  64 kes  Don't free volume if busy in close() -- should help with
  65      bug 801.
  66 ebl  Fix #824 RunScript bug (After script could be execute twice)
  67      Now, Before Script can use RunsOnSuccess and RunsOnFailure options
  68      By default (like before) RunsOnSuccess=true and RunsOnFailure=false
  69      Add a regression script to test RunScript
  70 19Apr07
  71 kes  Correct usage of MTIOCLRERR ioctl for clearing persistant errors
  72      on Solaris.
  73 18Apr07
  74 kes  The bgnome-console (gnome-console) and bwx-console (wx-console) are
  75      deprecated. No additional bugs will be fixed, and they will be dropped
  76      in a future release (probably 2.4.0).
  77 kes  Change name of wx-console to bwx-console to make it more Bacula
  78      unique.
  79 kes  Change the name of gnome-console to bgnome-console to make it
  80      more Bacula unique.
  81 14Apr07
  82 kes  Some time in March, a Feature Request with patch from Jorj Bauer
  83      <jorj@seas.upenn.edu> was committed by Landon (with my approval).
  84      It implements:
  85      The ability for the director to validate a Client (FD) CN against
  86      an arbitrary set of patterns rather than the hostname, with
  87      A new 'TLS Allowed CN' set of directives which are implemented
  88      in the Client resource.  Then pattern matching is used in place
  89      of hostname matching against the Certificate's CN. As an example, we
  90      have certificates which (a) use a local CA, and (b) have a CN of the
  91      form client_123.
  92 kes  Add new/changed entry points to Win32 build
  93 kes  Create unaccepted-projects for projects that are not accepted.
  94 kes  Simplify locking in the reservations system.
  95 kes  Add more debug code in reservations.
  96 kes  Make sure error condition on reserving a volume is handled correctly.
  97 kes  Correct handling of volume_in_use.
  98 kes  Correct handling of initializing a device.
  99 kes  Move handling of broadcasting releasing a device into release_device().
 100 kes  Correct attaching dcr to dev so that it is only done if device
 101      is properly initiated.
 102 12Apr07
 103 kes  Locking debug level tweaks in SD.
 104 kes  Tweak new Volume code.
 105 11Apr07
 106 kes  Add exec external-command [wait-seconds] to bconsole. This
 107      executes the external-command.  Note! normally external-command
 108      should be enclosed in double quotes.
 109 kes  Turn the .die command on only if DEVELOPER is defined -- i.e.
 110      it should normally be off in a production system.
 111 10Apr07
 112 kes  Implement die command for SD so that we can force it to dump.
 113 kes  Implement SD lock debug code.
 114 kes  Implement new algorithm for keeping Volume list in SD.  It
 115      is now owned by the device.
 116 04Apr07
 117 kes  Implement new code for freeing in use volumes that should
 118      resolve if not all, some of the problems of multiple drive
 119      tape conflicts described in bug 801.
 120 03Apr07
 121 kes  Fix gui/bacula-web/images files in svn.
 122 kes  Turn on FreeBSD/OpenBSD code to set EOT model on tape.
 123 02Apr07
 124 ebl  Fix a bug in batch mode (in string escape)
 125 kes  Correct migration prune SQL typo that crept in in a
 126      recent 2.1.x change.
 127 01Apr07
 128 kes  Move bnet_despool() into class in bsock.c
 129 kes  Modify job report to include director name and Build OS.
 130 kes  Move drop root privilege and check_catalog() before fork.
 131 kes  Add update database scripts (version 9 to 10) to updatedb directory.
 132 31Mar07
 133 ebl  Check size and age of each file after its backup to see if
 134      it has changed during backup, if 'checkfilechanges' is set.
 135      The FD will do an extra check (stat(2)) after
 136      each file backup. mtime, ctime and size are compared with
 137      'before backup' information. If time or size mismatch, an
 138      error message will be generated. You must upgrade FD to use it.
 139 30Mar07
 140 kes  Make database name and user configurable
 141      --with-db-name=xxx --with-db-user=xxx
 142 kes  Add back database type to message.c for debugging.
 143 29Mar07
 144 kes  Implement dir_sql() which issues an SQL query.
 145 kes  Modify bat medialist to use dir_sql() and do some minor C++
 146      formatting as well as eliminating a number of pointers, simplifing
 147      the code.
 148 28Mar07
 149 kes  Fix some of the mtx-changer grep commands for tape label readers.
 150 kes  Convert a number of bsendmsg into the appropriate send/warning/error
 151      message class calls.
 152 kes  Suppress the using database message in the .sql command.
 153 kes  Correct an incorrect bnet_tls_client prototype -- patch from Martin.
 154 27Mar07
 155 kes  Add context menu for floating a window.
 156 kes  Some minor cleanup and name changes in qt-console
 157 kes  Add doing mt setblk 0 in Win32 mtx-changer.
 158 kes  Apply Martin's bug fix to move definition of ENODATA for
 159      FreeBSD to bsock.c
 160 ebl  Add a BUSY handler to sqlite to be able to use multi_db = 1 with
 161      sqlite2 and sqlite3.
 162 26Mar07
 163 kes  More pruning cleanup.
 164 kes  Turn on wait_for_drive by default in mtx-changer.
 165 kes  Turn on Batch insert code by default as it now passes regression.
 166 kes  Add ./configure --enable-bat to enable building of Bat.
 167      No install yet though.
 168 25Mar07
 169 kes  Implement a new .sql command for bat.
 170 kes  Implement code to turn off pruning in obtaining the next volume.
 171      Pruning is turned off for the status dir command, but turned on
 172      for SD requests and for the list nextvolume command.
 173 24Mar07
 174 kes  Correct Qmsg() that was not updated correctly when committing a
 175      previous change (probably the recent TLS patch).
 176 23Mar07
 177 kes  Write new subroutine is_volume_purged() that explicitly checks
 178      if the Volume is purged, and if so marks it as such. This should
 179      resolve problems reported about needing to mount twice to recycle
 180      volumes.
 181 kes  Rewrite pruning algorithm to do more work in the SQL engine, and
 182      to pass a list of JobIds to be deleted to SQL.  Also, minimize the
 183      amount of duplicated code.
 184 kes  Do volume pruning only for the Media Type desired (reduces pruning time
 185      if multiple Media Types are in the same pool).
 186 kes  Implement more detailed info in the Job report for the Bacula version
 187      and architecture.
 188 kes  Switch from POOLMEM to POOL_MEM (a real class) in ua_prune.c and
 189      ua_purge.c.
 190 ebl  Add bbatch tool to bench database and insert mode.
 191      Fix sql quote stuff in batch mode
 192      Fix sql stuff for mysql
 193 22Mar07
 194 kes  Correct problems with am/pm scheduling. Fixes bug #808.
 195 kes  Implement new prunning code that prunes up to 1000 jobs at
 196      the same time.  The same technique can be applied to a number
 197      of other prune/purge subroutines.
 198 kes  Add an insanity check when starting a new tape job to ensure
 199      that the tape position has not been changed. If so fail the
 200      job.
 201 kes  Fix Win32 build for dlls to add the folllowing:
 202      src/lib/bsock.c -- new file with new entry points
 203      src/lib/dlist.c  -- new entry points
 204      src/cats/sql_create.c -- new entry point
 205      src/cats/sql_cmds.c -- new DATA item exported
 206 21Mar07
 207 ebl  batch mode cleanup bscan-test is ok now.
 208 kes  Implement SD code to check length of disk volume before appending.
 209 18Mar07
 210 kes  Correct return status on db_batch... routines.
 211 kes  Add call to db_write_batch_file_records() to migration code.
 212 ebl  Fix AfterJob timing
 213 kes  Move the checking of the database in initializion of the Director
 214      to after we drop privileges.  This avoids the need for both root
 215      and bacula access to the DB.
 216 kes  Correct a misplaced variable definition in src/filed/backup.c
 217 kes  Correct how the new batch insert db_create_attributes_record()
 218      uses the arguments.  Caused a seg fault in bscan.
 219 kes  Implement lock() and unlock() methods in DEVICE class.
 220      Implement block() and set_block(xx) methods in DEVICE class.
 221 kes  Modify bnet_connect() so that it uses time() to check for the
 222      wait time expiring (on some OSes, some system calls may not
 223      return immediately).
 224 kes  Modify Verify to obtain the previous JobId when it is actually
 225      running rather than at schedule time (as it was in 1.38.x).
 226 kes  Fix src/job.c to handle MaxWaitTime correctly.  This should
 227      fix bug #802.
 228 kes  When checking pid in pid file, continue running if the pid is
 229      the same as ours. This occurs on IRIX after a system crash.
 230      Fixes bug #797.
 231 10Mar07
 232 kes  Extend new GUI API.
 233 kes  Make the ua structure a class, and implement send_msg(),
 234      error_msg(), warning_msg(), and info_msg().
 235 08Mar07
 236 kes  Apply fix from for building wx-console on the Mac from
 237      bug #798.
 238 kes  Implement new select mechanism for GUI programs.
 239 kes  Reorganize initialization of stackedWidgets in bat.
 240 07Mar07
 241 kes  Add updated nagios plugin supplied by Christian Masopust.
 242 05Mar07
 243 kes  More bat implementation.
 244 kes  File migrate bug with Pool Occupancy using mediaid instead
 245      of jobids.  Fixes bug #795.
 246 kes  Fix orphaned buffers in filed backup and verify due to
 247      crypto buffers not freed during errors.  Fixes bug #789.
 248 kes  Extend new GUI api code to tree commands.
 249 kes  Ensure that tree and dot commands check console ACLs.
 250 kes  Permit marking directory with trailing slash.
 251 kes  Allow 20 console connections (instead of only 10).
 252 04Mar07
 253 kes  Add smartctl call to bacula-sd.conf as an example of getting
 254      tape alert info.
 255 02Mar07
 256 kes  Modify jobq.c to let simultaneous restore jobs run. This may
 257      cause them to fail if they cannot get a drive.
 258 kes  Add Client Connect Wait to Storage daemon to permit users to
 259      modify the time the SD waits for a FD connection.
 260 29Feb07
 261 kes  Correct virtual changer check which was backwards. This caused
 262      volumes to be unloaded into slots already occupied.
 263 28Feb07
 264 kes  Apply Command ACL filter to JobId list in restore command.
 265 kes  Correct typeo in var.c patch.
 266 27Feb07
 267 kes  Don't let Bacula prune File or Job records for the current Job.
 268 kes  Fix variable substitution pad + inc bug reported (with patch)
 269      in bug #791.
 270 26Feb07
 271 kes  Correct SQLite log table index as reported by Luca Berra.
 272 24Feb07
 273 ebl  fix fifo stuff, bacula tries to rewind the fifo... Thanks to Andreas
 274 22Feb07
 275 kes  Begin implementing new comm signals for API.
 276 kes  Fix a few places in lib/message.c where the open fd may
 277      not be zeroed.
 278 kes  Continue implementing lib/bsock.c (real class).  Make jcr,
 279      who, host, and port private. There are new methods to access
 280      them for non-class use. This required touching a number of files.
 281 21Feb07
 282 kes  Add LANG=C to autoconf/randpass so it works with languages other
 283      than English.  Fixes bug #788.
 284 20Feb07
 285 ebl  Revert ClientRunBeforeJob to old position as in 1.38.X.
 286      This fixes bug #780
 287      You will not be able to generate Include/Exclude list any more.
 288      It will be fixed soon.
 289      If you want to use this, you can apply
 290      trunk/bacula/patches/testing/clientrunbeforejob_can_generate_include_exclude_list.patch
 291 19Feb07
 292 kes  Restore of sockets created false error messages because Bacula
 293      no longer restores sockets, but the code was still trying to
 294      set the attributes on a non-existent file. Reported by a user.
 295 ebl  finish RecyclePool feature
 296      Media will takes Pool.RecyclePool
 297      when moving from Scratch to a Pool or when user will do
 298      update volume=xxx frompool
 299      To use it, add RecyclePool = aPool to your Pool resource
 300         Pool {
 301                 Name = Default
 302                 RecyclePool = Scratch
 303                 ...
 304         }
 305      TODO: update manual
 306 kes  Expand new BSOCK class adding signal() and new BNET signals.
 307 kes  Begin enhancing the dot commands adding a new API function
 308      that returns more information and will make it easier
 309      to interface to the Director from a program.
 310 18Feb07
 311 kes  Make DEVICE fd private. Its new name is m_fd, and can be
 312      obtained with dev->fd() outside the class.  This is the
 313      first of many DEVICE members to be made private.
 314 kes  Implement Michael Renner's idea on having a virtual disk
 315      changer. I made some minor modifications (e.g. I did not
 316      implement the Virtual Changer directive, but simply set
 317      the Changer Command to an empty string.
 318 17Feb07
 319 kes  Implement a BSOCK send() method that writes the whole record
 320      in a single write() request rather than in two.
 321 ebl  add update volume=xxx recyclepool=yyyy
 322      volume takes recyclepool from pool when using update volume=xxx from pool
 323 16Feb07
 324 kes  Fix encryption deblocking bug, which caused some restored files
 325      to be truncated. This fixes bug #763.
 326 kes  Add FD event sequence order prepared by Eric -- for RunScripts.
 327 kes  Fix 12am/pm bug as reported in bug #782.
 328 13Feb07
 329 kes  Apply Eric's ClientRunScriptAfter patch to 2.0 and 2.1.
 330 ebl  Use btime_t instead of uint64_t in media patch.
 331 11Feb07
 332 kes  Optimize the use of the database a bit in the Status dir command.
 333      Only open it when needed, ensure that if any previous database
 334      was opened, it is closed.
 335 10Feb07
 336 kes  Correct VolCatBytes bug from media patch.
 337 kes  Apply patch from bug #612 by Rudolf Cejka to speedup pruning
 338      in the case of orphaned records.
 339 kes  Modify dbcheck to handle orphaned JobMedia, Path, Filename,
 340      and File records in 300K chunks to be more efficient. This
 341      idea came from Juan Luis Frances (if I remember right).
 342 kes  Apply Eric's scratch patch that moves a purged Volume to
 343      the RecyclePool.  Question: how is RecyclePool set? what
 344      happens to the ScratchPool?
 345 kes  Apply Eric's media patch that collects read/write media
 346      times as well as byte counts.  This patch requires a
 347      simultaneous upgrade of the DIR and SD.  Note, there
 348      should be some way to turn off timing. I'm not sure
 349      times are in Bacula units.
 350 kes  Apply Eric's batch-insert patch.
 351 09Feb07
 352 kes  Update projects list.
 353 08Feb07
 354 kes  Implement Include/Exclude file lists in FD as dlists using
 355      the new dlistString class. This permits efficiently having
 356      large include/exclude lists and completes project Item 25.
 357 kes  Fix dird/ua_cmds.c so that a cancel command checks if the
 358      console is authorized to cancel the job.  This fixes bug
 359      #767.
 360 kes  Modify SD so that the VolCatJobs medium record is updated
 361      at the beginning of a Job rather than the end.  This
 362      fixes bug #775 where exceeding MaxVolJobs caused jobs
 363      to fail.
 364 kes  Added a mutex around getting and setting Volume information
 365      so that multiple simultaneous jobs will single thread.
 366 07Feb07
 367      Switch to using Subversion
 368 kes  Remove src/pygtk-console/ from configure
 369 06Feb07
 370 kes  Delete src/lib/btree.c from win32 build, then add rblist.c
 371      plus the entrypoints.
 372 kes  Apply patch supplied that corrects debug print
 373      in canceling jobs for max run time.  Supplied as
 374      part of bug #621, which was previously fixed.
 375 05Feb07
 376 kes  Test on job_canceled() and sd_msg_thread_done inside
 377      loop starting the message thread to avoid a race condition.
 378      Fixes bug #771.
 379 kes  Remove rl_catch_signal from console.c as it conflicted
 380      with the header definition. Fixes bug #765.
 381 ebl  Fixes bug #766 about RunsOnClient = Yes (case sensitive)
 382 04Feb07
 383 kes  Clarify some stored/acquire messages to indicate if the
 384      problem is with read or append.
 385 02Feb07
 386 kes  Fix memory leak with storage ids in cats/sql_get.c
 387 kes  Terminate watchdog earlier to avoid reference to released
 388      memory -- reported by Jason Austin.
 389 kes  Move closing the database from jobq.c to the director daemon
 390      termination routine. This fixes memory leaks for shadow jobs
 391      (i.e. migration jobs).
 392 kes  Free up the unique jobid chain items in migrate.c.  This fixes
 393      a memory leak problem.
 394 kes  Convert some ugly looking for statements to use foreach_alist
 395      in findlib/find.c.  This will facilitate converting the structures
 396      to use dlist (for large include/exclude lists).
 397 kes  Fix a bug in the btree.c and btree.h routines, then rename them
 398      rblist and add them to be built in src/lib.  Include some new
 399      methods written by Rudolf Cejka that make the code more readable
 400      (hides some of the ugly casting).
 401 kes  Add set_next() and set_prev() methods which make the code much more
 402      readable. Also add a new dlistString class that facilitates storing
 403      strings in dlists.  To be used in the large include/exclude lists.
 404 kes  Make some trivial modifications to lib/tree.h that use rblist
 405      rather than dlist for storing the tree links. This was suggested
 406      by Rudolf Cejka.  The result of this is that the restore tree now
 407      uses red-black binary trees rather than simple linked lists. This
 408      should give rather dramatic speed improvements for directories
 409      contining large numbers of directories/files (more than 10000).
 410 28Jan07
 411 kes  Fix maxruntime bug #621.
 412 26Jan07
 413 ebl  Implement the include JobID in spool file name project.
 414 kes  Reorder projects file in order determined by Jan 2007 vote.
 415 kes  Implement item #12 on project list -- quick release of FD by
 416      the SD.
 417 kes  Fix open of SQLite3 db where user does not have write permission
 418      so that DIR does not crash. Fixes bug #761.
 419 25Jan07
 420 kes  Add back missing @ in Win32 Makefile.
 421 kes  Change 'Device not configured to autolabel' from INFO
 422      to WARNING.
 423 kes  Fix jobq.c to restart failed jobs when Reschedule Times = 0
 424      which should restart an indefinite # of times.
 425 kes  Fix configure --help to print --with-mysql[=DIR]. Same for
 426      other DIR specifications.
 427 23Jan07
 428 rn   Fix msvc build problems. Fix bacula.dll exports for msvc build.
 429      Fix path quoting in SQLite scripts.
 430      Fix problems with SHGetFolderPath.
 431 19Jan07
 432 kes  Create patches/2.0.1-restart.patch. Fixes bug #755.
 433 18Jan07
 434 kes  Fix Job restart on error bug that promotes an Inc to a Full
 435      backup.  This should fix bug #755.
 436 kes  Add qt-console and first cut of code.
 437
 438 Version 2.0.1
 439 12Jan07
 440 kes  Fix Bacula->Documentation link on Win32 to point to index.html
 441      instead of bacula.html. Fixed bug #750.
 442 kes  Return JobId in db_get_job_record() when JobId==0. This should
 443      fix bug #741.
 444 kes  Do not release source pointers when restarting a failed job.
 445 11Jan07
 446 kes  Add dynamic dll entry point for SHGetFolderPath to Win32 code.
 447      This *should* fix bug #747.
 448 kes  Modify winbacula.nsi to substitute with g bin_dir_cmd. Should fix
 449      bug #742.
 450 09Jan07
 451 kes  Modify USTORE constructor to set an empty store_source string,
 452      and don't copy the store_source string in a cancel.  Hopefully
 453      this will fix Arno's seg fault, bug #744.
 454 kes  Add back code to disable conio in configure. Fixes bug #743.
 455 kes  Correct the Options scanner in the FD to correctly handle
 456      SHA1 option, which was eating the next option.  Reported by
 457      Sebastien Guilbaud.
 458 kes  Add code to indicate when the SD is spooling, spool wait, and
 459      despooling as requested by Alan Brown.
 460
 461 Version 2.0.0 released: 4 January 2007