git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/read_record.c

   1 /*
   2  *
   3  *  This routine provides a routine that will handle all
   4  *    the gory little details of reading a record from a Bacula
   5  *    archive. It uses a callback to pass you each record in turn,
   6  *    as well as a callback for mounting the next tape.  It takes
   7  *    care of reading blocks, applying the bsr, ...
   8  *
   9  *    Kern E. Sibbald, August MMII
  10  *
  11  *   Version $Id$
  12  */
  13 /*
  14    Copyright (C) 2000-2003 Kern Sibbald and John Walker
  15
  16    This program is free software; you can redistribute it and/or
  17    modify it under the terms of the GNU General Public License as
  18    published by the Free Software Foundation; either version 2 of
  19    the License, or (at your option) any later version.
  20
  21    This program is distributed in the hope that it will be useful,
  22    but WITHOUT ANY WARRANTY; without even the implied warranty of
  23    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  24    General Public License for more details.
  25
  26    You should have received a copy of the GNU General Public
  27    License along with this program; if not, write to the Free
  28    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  29    MA 02111-1307, USA.
  30
  31  */
  32
  33 #include "bacula.h"
  34 #include "stored.h"
  35
  36 /* Forward referenced functions */
  37 static void handle_session_record(DEVICE *dev, DEV_RECORD *rec, SESSION_LABEL *sessrec);
  38 static BSR *position_to_first_file(JCR *jcr, DEVICE *dev);
  39 static int try_repositioning(JCR *jcr, DEV_RECORD *rec, DEVICE *dev);
  40 #ifdef DEBUG
  41 static char *rec_state_to_str(DEV_RECORD *rec);
  42 #endif
  43
  44 int read_records(JCR *jcr,  DEVICE *dev,
  45        int record_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block, DEV_RECORD *rec),
  46        int mount_cb(JCR *jcr, DEVICE *dev, DEV_BLOCK *block))
  47 {
  48    DEV_BLOCK *block;
  49    DEV_RECORD *rec = NULL;
  50    uint32_t record;
  51    int ok = TRUE;
  52    bool done = false;
  53    SESSION_LABEL sessrec;
  54    dlist *recs;                         /* linked list of rec packets open */
  55
  56    block = new_block(dev);
  57    recs = new dlist(rec, &rec->link);
  58    position_to_first_file(jcr, dev);
  59
  60    for ( ; ok && !done; ) {
  61       if (job_canceled(jcr)) {
  62          ok = FALSE;
  63          break;
  64       }
  65       if (!read_block_from_device(jcr, dev, block, CHECK_BLOCK_NUMBERS)) {
  66          if (dev_state(dev, ST_EOT)) {
  67             DEV_RECORD *trec = new_record();
  68
  69             Jmsg(jcr, M_INFO, 0, "End of Volume at file %u on device %s, Volume \"%s\"\n",
  70                  dev->file, dev_name(dev), jcr->VolumeName);
  71             if (!mount_cb(jcr, dev, block)) {
  72                Jmsg(jcr, M_INFO, 0, "End of all volumes.\n");
  73                ok = FALSE;
  74                /*
  75                 * Create EOT Label so that Media record may
  76                 *  be properly updated because this is the last
  77                 *  tape.
  78                 */
  79                trec->FileIndex = EOT_LABEL;
  80                trec->File = dev->file;
  81                ok = record_cb(jcr, dev, block, trec);
  82                free_record(trec);
  83                break;
  84             }
  85             /*
  86              * We just have a new tape up, now read the label (first record)
  87              *  and pass it off to the callback routine, then continue
  88              *  most likely reading the previous record.
  89              */
  90             read_block_from_device(jcr, dev, block, NO_BLOCK_NUMBER_CHECK);
  91             read_record_from_block(block, trec);
  92             handle_session_record(dev, trec, &sessrec);
  93             ok = record_cb(jcr, dev, block, trec);
  94             free_record(trec);
  95             position_to_first_file(jcr, dev);
  96             /* After reading label, we must read first data block */
  97             continue;
  98
  99          } else if (dev_state(dev, ST_EOF)) {
 100             if (verbose) {
 101                Jmsg(jcr, M_INFO, 0, "Got EOF at file %u  on device %s, Volume \"%s\"\n",
 102                   dev->file, dev_name(dev), jcr->VolumeName);
 103             }
 104             Dmsg3(100, "Got EOF at file %u  on device %s, Volume \"%s\"\n",
 105                   dev->file, dev_name(dev), jcr->VolumeName);
 106             continue;
 107          } else if (dev_state(dev, ST_SHORT)) {
 108             Jmsg(jcr, M_ERROR, 0, "%s", dev->errmsg);
 109             continue;
 110          } else {
 111             /* I/O error or strange end of tape */
 112             display_tape_error_status(jcr, dev);
 113             ok = FALSE;
 114             break;
 115          }
 116       }
 117       Dmsg2(100, "New block at position=(file:block) %d:%d\n", dev->file, dev->block_num);
 118 #define FAST_BLOCK_REJECTION
 119 #ifdef FAST_BLOCK_REJECTION
 120       /* this does not stop when file/block are too big */
 121       if (!match_bsr_block(jcr->bsr, block)) {
 122          if (try_repositioning(jcr, rec, dev)) {
 123             break;                    /* get next volume */
 124          }
 125          continue;                    /* skip this record */
 126       }
 127 #endif
 128
 129       /*
 130        * Get a new record for each Job as defined by
 131        *   VolSessionId and VolSessionTime
 132        */
 133       bool found = false;
 134       for (rec=(DEV_RECORD *)recs->first(); rec; rec=(DEV_RECORD *)recs->next(rec)) {
 135          if (rec->VolSessionId == block->VolSessionId &&
 136              rec->VolSessionTime == block->VolSessionTime) {
 137             found = true;
 138             break;
 139           }
 140       }
 141       if (!found) {
 142          rec = new_record();
 143          recs->prepend(rec);
 144          Dmsg2(100, "New record for SI=%d ST=%d\n",
 145              block->VolSessionId, block->VolSessionTime);
 146       } else {
 147 #ifdef xxx
 148          if (rec->Block != 0 && (rec->Block+1) != block->BlockNumber) {
 149             Jmsg(jcr, M_ERROR, 0, _("Invalid block number. Expected %u, got %u\n"),
 150                  rec->Block+1, block->BlockNumber);
 151          }
 152 #endif
 153       }
 154       Dmsg3(100, "After mount next vol. stat=%s blk=%d rem=%d\n", rec_state_to_str(rec),
 155             block->BlockNumber, rec->remainder);
 156       record = 0;
 157       rec->state = 0;
 158       Dmsg1(100, "Block empty %d\n", is_block_empty(rec));
 159       for (rec->state=0; !is_block_empty(rec); ) {
 160          if (!read_record_from_block(block, rec)) {
 161             Dmsg3(100, "!read-break. state=%s blk=%d rem=%d\n", rec_state_to_str(rec),
 162                   block->BlockNumber, rec->remainder);
 163             break;
 164          }
 165          Dmsg5(100, "read-OK. state=%s blk=%d rem=%d file:block=%d:%d\n",
 166                  rec_state_to_str(rec), block->BlockNumber, rec->remainder,
 167                  dev->file, dev->block_num);
 168          /*
 169           * At this point, we have at least a record header.
 170           *  Now decide if we want this record or not, but remember
 171           *  before accessing the record, we may need to read again to
 172           *  get all the data.
 173           */
 174          record++;
 175          Dmsg6(100, "recno=%d state=%s blk=%d SI=%d ST=%d FI=%d\n", record,
 176             rec_state_to_str(rec), block->BlockNumber,
 177             rec->VolSessionId, rec->VolSessionTime, rec->FileIndex);
 178
 179          if (rec->FileIndex == EOM_LABEL) { /* end of tape? */
 180             Dmsg0(40, "Get EOM LABEL\n");
 181             break;                         /* yes, get out */
 182          }
 183
 184          /* Some sort of label? */
 185          if (rec->FileIndex < 0) {
 186             handle_session_record(dev, rec, &sessrec);
 187             ok = record_cb(jcr, dev, block, rec);
 188             if (rec->FileIndex == EOS_LABEL) {
 189                Dmsg2(100, "Remove rec. SI=%d ST=%d\n", rec->VolSessionId,
 190                   rec->VolSessionTime);
 191                recs->remove(rec);
 192                free_record(rec);
 193             }
 194             continue;
 195          } /* end if label record */
 196
 197          /*
 198           * Apply BSR filter
 199           */
 200          if (jcr->bsr) {
 201             int stat = match_bsr(jcr->bsr, rec, &dev->VolHdr, &sessrec);
 202             if (stat == -1) { /* no more possible matches */
 203                done = true;   /* all items found, stop */
 204                Dmsg2(100, "All done=(file:block) %d:%d\n", dev->file, dev->block_num);
 205                break;
 206             } else if (stat == 0) {  /* no match */
 207                Dmsg4(100, "Clear rem=%d FI=%d before set_eof pos %d:%d\n",
 208                   rec->remainder, rec->FileIndex, dev->file, dev->block_num);
 209                rec->remainder = 0;
 210                rec->state &= ~REC_PARTIAL_RECORD;
 211                if (try_repositioning(jcr, rec, dev)) {
 212                   break;
 213                }
 214                continue;              /* we don't want record, read next one */
 215             }
 216          }
 217          if (is_partial_record(rec)) {
 218             Dmsg6(100, "Partial, break. recno=%d state=%s blk=%d SI=%d ST=%d FI=%d\n", record,
 219                rec_state_to_str(rec), block->BlockNumber,
 220                rec->VolSessionId, rec->VolSessionTime, rec->FileIndex);
 221             break;                    /* read second part of record */
 222          }
 223          ok = record_cb(jcr, dev, block, rec);
 224          if (rec->Stream == STREAM_MD5_SIGNATURE || rec->Stream == STREAM_SHA1_SIGNATURE) {
 225             Dmsg3(100, "Done FI=%d before set_eof pos %d:%d\n", rec->FileIndex,
 226                   dev->file, dev->block_num);
 227             if (match_set_eof(jcr->bsr, rec) && try_repositioning(jcr, rec, dev)) {
 228                Dmsg2(100, "Break after match_set_eof pos %d:%d\n",
 229                      dev->file, dev->block_num);
 230                break;
 231             }
 232             Dmsg2(100, "After set_eof pos %d:%d\n", dev->file, dev->block_num);
 233          }
 234       } /* end for loop over records */
 235       Dmsg2(100, "After end records position=(file:block) %d:%d\n", dev->file, dev->block_num);
 236    } /* end for loop over blocks */
 237 // Dmsg2(100, "Position=(file:block) %d:%d\n", dev->file, dev->block_num);
 238
 239    /* Walk down list and free all remaining allocated recs */
 240    for (rec=(DEV_RECORD *)recs->first(); rec; ) {
 241       DEV_RECORD *nrec = (DEV_RECORD *)recs->next(rec);
 242       recs->remove(rec);
 243       free_record(rec);
 244       rec = nrec;
 245    }
 246    delete recs;
 247    print_block_read_errors(jcr, block);
 248    free_block(block);
 249    return ok;
 250 }
 251
 252 /*
 253  * See if we can reposition.
 254  *   Returns:  1 if at end of volume
 255  *             0 otherwise
 256  */
 257 static int try_repositioning(JCR *jcr, DEV_RECORD *rec, DEVICE *dev)
 258 {
 259    BSR *bsr;
 260    bsr = find_next_bsr(jcr->bsr, dev);
 261    if (bsr == NULL && jcr->bsr->mount_next_volume) {
 262       Dmsg0(100, "Would mount next volume here\n");
 263       Dmsg2(100, "Current postion (file:block) %d:%d\n",
 264          dev->file, dev->block_num);
 265       jcr->bsr->mount_next_volume = false;
 266       dev->state |= ST_EOT;
 267       rec->Block = 0;
 268       return 1;
 269    }
 270    if (bsr) {
 271       if (verbose > 1) {
 272          Jmsg(jcr, M_INFO, 0, "Reposition from (file:block) %d:%d to %d:%d\n",
 273             dev->file, dev->block_num, bsr->volfile->sfile,
 274             bsr->volblock->sblock);
 275       }
 276       Dmsg4(100, "Try_Reposition from (file:block) %d:%d to %d:%d\n",
 277             dev->file, dev->block_num, bsr->volfile->sfile,
 278             bsr->volblock->sblock);
 279       reposition_dev(dev, bsr->volfile->sfile, bsr->volblock->sblock);
 280       rec->Block = 0;
 281    }
 282    return 0;
 283 }
 284
 285 /*
 286  * Position to the first file on this volume
 287  */
 288 static BSR *position_to_first_file(JCR *jcr, DEVICE *dev)
 289 {
 290    BSR *bsr = NULL;
 291    /*
 292     * Now find and position to first file and block
 293     *   on this tape.
 294     */
 295    if (jcr->bsr) {
 296       jcr->bsr->reposition = true;    /* force repositioning */
 297       bsr = find_next_bsr(jcr->bsr, dev);
 298       if (bsr && (bsr->volfile->sfile != 0 || bsr->volblock->sblock != 0)) {
 299          Jmsg(jcr, M_INFO, 0, _("Forward spacing to file:block %u:%u.\n"),
 300             bsr->volfile->sfile, bsr->volblock->sblock);
 301          Dmsg2(100, "Forward spacing to file:block %u:%u.\n",
 302             bsr->volfile->sfile, bsr->volblock->sblock);
 303          reposition_dev(dev, bsr->volfile->sfile, bsr->volblock->sblock);
 304       }
 305    }
 306    return bsr;
 307 }
 308
 309
 310 static void handle_session_record(DEVICE *dev, DEV_RECORD *rec, SESSION_LABEL *sessrec)
 311 {
 312    char *rtype;
 313    char buf[100];
 314    memset(sessrec, 0, sizeof(sessrec));
 315    switch (rec->FileIndex) {
 316    case PRE_LABEL:
 317       rtype = "Fresh Volume Label";
 318       break;
 319    case VOL_LABEL:
 320       rtype = "Volume Label";
 321       unser_volume_label(dev, rec);
 322       break;
 323    case SOS_LABEL:
 324       rtype = "Begin Session";
 325       unser_session_label(sessrec, rec);
 326       break;
 327    case EOS_LABEL:
 328       rtype = "End Session";
 329       break;
 330    case EOM_LABEL:
 331       rtype = "End of Media";
 332       break;
 333    default:
 334       bsnprintf(buf, sizeof(buf), "Unknown code %d\n", rec->FileIndex);
 335       rtype = buf;
 336       break;
 337    }
 338    Dmsg5(100, "%s Record: VolSessionId=%d VolSessionTime=%d JobId=%d DataLen=%d\n",
 339          rtype, rec->VolSessionId, rec->VolSessionTime, rec->Stream, rec->data_len);
 340 }
 341
 342 #ifdef DEBUG
 343 static char *rec_state_to_str(DEV_RECORD *rec)
 344 {
 345    static char buf[200];
 346    buf[0] = 0;
 347    if (rec->state & REC_NO_HEADER) {
 348       strcat(buf, "Nohdr,");
 349    }
 350    if (is_partial_record(rec)) {
 351       strcat(buf, "partial,");
 352    }
 353    if (rec->state & REC_BLOCK_EMPTY) {
 354       strcat(buf, "empty,");
 355    }
 356    if (rec->state & REC_NO_MATCH) {
 357       strcat(buf, "Nomatch,");
 358    }
 359    if (rec->state & REC_CONTINUATION) {
 360       strcat(buf, "cont,");
 361    }
 362    if (buf[0]) {
 363       buf[strlen(buf)-1] = 0;
 364    }
 365    return buf;
 366 }
 367 #endif