git.sur5r.net Git - bacula/bacula/blob - bacula/src/stored/read_record.c

   1 /*
   2  *
   3  *  This routine provides a routine that will handle all
   4  *    the gory little details of reading a record from a Bacula
   5  *    archive. It uses a callback to pass you each record in turn,
   6  *    as well as a callback for mounting the next tape.  It takes
   7  *    care of reading blocks, applying the bsr, ...
   8  *
   9  *    Kern E. Sibbald, August MMII
  10  *
  11  *   Version $Id$
  12  */
  13 /*
  14    Copyright (C) 2000-2004 Kern Sibbald and John Walker
  15
  16    This program is free software; you can redistribute it and/or
  17    modify it under the terms of the GNU General Public License as
  18    published by the Free Software Foundation; either version 2 of
  19    the License, or (at your option) any later version.
  20
  21    This program is distributed in the hope that it will be useful,
  22    but WITHOUT ANY WARRANTY; without even the implied warranty of
  23    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  24    General Public License for more details.
  25
  26    You should have received a copy of the GNU General Public
  27    License along with this program; if not, write to the Free
  28    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  29    MA 02111-1307, USA.
  30
  31  */
  32
  33 #include "bacula.h"
  34 #include "stored.h"
  35
  36 /* Forward referenced functions */
  37 static void handle_session_record(DEVICE *dev, DEV_RECORD *rec, SESSION_LABEL *sessrec);
  38 static BSR *position_to_first_file(JCR *jcr, DEVICE *dev);
  39 static int try_repositioning(JCR *jcr, DEV_RECORD *rec, DEVICE *dev);
  40 #ifdef DEBUG
  41 static char *rec_state_to_str(DEV_RECORD *rec);
  42 #endif
  43
  44 bool read_records(DCR *dcr,
  45        bool record_cb(DCR *dcr, DEV_RECORD *rec),
  46        bool mount_cb(DCR *dcr))
  47 {
  48    JCR *jcr = dcr->jcr;
  49    DEVICE *dev = dcr->dev;
  50    DEV_BLOCK *block = dcr->block;
  51    DEV_RECORD *rec = NULL;
  52    uint32_t record;
  53    bool ok = true;
  54    bool done = false;
  55    SESSION_LABEL sessrec;
  56    dlist *recs;                         /* linked list of rec packets open */
  57
  58    recs = New(dlist(rec, &rec->link));
  59    position_to_first_file(jcr, dev);
  60
  61    for ( ; ok && !done; ) {
  62       if (job_canceled(jcr)) {
  63          ok = false;
  64          break;
  65       }
  66       if (!read_block_from_device(dcr, CHECK_BLOCK_NUMBERS)) {
  67          if (dev_state(dev, ST_EOT)) {
  68             DEV_RECORD *trec = new_record();
  69
  70             Jmsg(jcr, M_INFO, 0, "End of Volume at file %u on device %s, Volume \"%s\"\n",
  71                  dev->file, dev_name(dev), dcr->VolumeName);
  72             if (!mount_cb(dcr)) {
  73                Jmsg(jcr, M_INFO, 0, "End of all volumes.\n");
  74                ok = false;
  75                /*
  76                 * Create EOT Label so that Media record may
  77                 *  be properly updated because this is the last
  78                 *  tape.
  79                 */
  80                trec->FileIndex = EOT_LABEL;
  81                trec->File = dev->file;
  82                ok = record_cb(dcr, trec);
  83                free_record(trec);
  84                break;
  85             }
  86             /*
  87              * We just have a new tape up, now read the label (first record)
  88              *  and pass it off to the callback routine, then continue
  89              *  most likely reading the previous record.
  90              */
  91             read_block_from_device(dcr, NO_BLOCK_NUMBER_CHECK);
  92             read_record_from_block(block, trec);
  93             handle_session_record(dev, trec, &sessrec);
  94             ok = record_cb(dcr, trec);
  95             free_record(trec);
  96             position_to_first_file(jcr, dev);
  97             /* After reading label, we must read first data block */
  98             continue;
  99
 100          } else if (dev_state(dev, ST_EOF)) {
 101             if (verbose) {
 102                Jmsg(jcr, M_INFO, 0, "Got EOF at file %u  on device %s, Volume \"%s\"\n",
 103                   dev->file, dev_name(dev), dcr->VolumeName);
 104             }
 105             Dmsg3(200, "Got EOF at file %u  on device %s, Volume \"%s\"\n",
 106                   dev->file, dev_name(dev), dcr->VolumeName);
 107             continue;
 108          } else if (dev_state(dev, ST_SHORT)) {
 109             Jmsg1(jcr, M_ERROR, 0, "%s", dev->errmsg);
 110             continue;
 111          } else {
 112             /* I/O error or strange end of tape */
 113             display_tape_error_status(jcr, dev);
 114             if (forge_on || jcr->ignore_label_errors) {
 115                fsr_dev(dev, 1);       /* try skipping bad record */
 116                Dmsg0(000, "Did fsr\n");
 117                continue;              /* try to continue */
 118             }
 119             ok = false;
 120             break;
 121          }
 122       }
 123       Dmsg2(300, "New block at position=(file:block) %d:%d\n", dev->file, dev->block_num);
 124 #ifdef if_and_when_FAST_BLOCK_REJECTION_is_working
 125       /* this does not stop when file/block are too big */
 126       if (!match_bsr_block(jcr->bsr, block)) {
 127          if (try_repositioning(jcr, rec, dev)) {
 128             break;                    /* get next volume */
 129          }
 130          continue;                    /* skip this record */
 131       }
 132 #endif
 133
 134       /*
 135        * Get a new record for each Job as defined by
 136        *   VolSessionId and VolSessionTime
 137        */
 138       bool found = false;
 139       foreach_dlist(rec, recs) {
 140          if (rec->VolSessionId == block->VolSessionId &&
 141              rec->VolSessionTime == block->VolSessionTime) {
 142             found = true;
 143             break;
 144           }
 145       }
 146       if (!found) {
 147          rec = new_record();
 148          recs->prepend(rec);
 149          Dmsg2(300, "New record for SI=%d ST=%d\n",
 150              block->VolSessionId, block->VolSessionTime);
 151       } else {
 152 #ifdef xxx
 153          if (rec->Block != 0 && (rec->Block+1) != block->BlockNumber) {
 154             Jmsg(jcr, M_ERROR, 0, _("Invalid block number. Expected %u, got %u\n"),
 155                  rec->Block+1, block->BlockNumber);
 156          }
 157 #endif
 158       }
 159       Dmsg3(300, "After mount next vol. stat=%s blk=%d rem=%d\n", rec_state_to_str(rec),
 160             block->BlockNumber, rec->remainder);
 161       record = 0;
 162       rec->state = 0;
 163       Dmsg1(300, "Block empty %d\n", is_block_empty(rec));
 164       for (rec->state=0; !is_block_empty(rec); ) {
 165          if (!read_record_from_block(block, rec)) {
 166             Dmsg3(400, "!read-break. state=%s blk=%d rem=%d\n", rec_state_to_str(rec),
 167                   block->BlockNumber, rec->remainder);
 168             break;
 169          }
 170          Dmsg5(300, "read-OK. state=%s blk=%d rem=%d file:block=%d:%d\n",
 171                  rec_state_to_str(rec), block->BlockNumber, rec->remainder,
 172                  dev->file, dev->block_num);
 173          /*
 174           * At this point, we have at least a record header.
 175           *  Now decide if we want this record or not, but remember
 176           *  before accessing the record, we may need to read again to
 177           *  get all the data.
 178           */
 179          record++;
 180          Dmsg6(300, "recno=%d state=%s blk=%d SI=%d ST=%d FI=%d\n", record,
 181             rec_state_to_str(rec), block->BlockNumber,
 182             rec->VolSessionId, rec->VolSessionTime, rec->FileIndex);
 183
 184          if (rec->FileIndex == EOM_LABEL) { /* end of tape? */
 185             Dmsg0(40, "Get EOM LABEL\n");
 186             break;                         /* yes, get out */
 187          }
 188
 189          /* Some sort of label? */
 190          if (rec->FileIndex < 0) {
 191             handle_session_record(dev, rec, &sessrec);
 192             ok = record_cb(dcr, rec);
 193             if (rec->FileIndex == EOS_LABEL) {
 194                Dmsg2(300, "Remove rec. SI=%d ST=%d\n", rec->VolSessionId,
 195                   rec->VolSessionTime);
 196                recs->remove(rec);
 197                free_record(rec);
 198             }
 199             continue;
 200          } /* end if label record */
 201
 202          /*
 203           * Apply BSR filter
 204           */
 205          if (jcr->bsr) {
 206             int stat = match_bsr(jcr->bsr, rec, &dev->VolHdr, &sessrec);
 207             if (stat == -1) { /* no more possible matches */
 208                done = true;   /* all items found, stop */
 209                Dmsg2(300, "All done=(file:block) %d:%d\n", dev->file, dev->block_num);
 210                break;
 211             } else if (stat == 0) {  /* no match */
 212                Dmsg4(300, "Clear rem=%d FI=%d before set_eof pos %d:%d\n",
 213                   rec->remainder, rec->FileIndex, dev->file, dev->block_num);
 214                rec->remainder = 0;
 215                rec->state &= ~REC_PARTIAL_RECORD;
 216                if (try_repositioning(jcr, rec, dev)) {
 217                   break;
 218                }
 219                continue;              /* we don't want record, read next one */
 220             }
 221          }
 222          if (is_partial_record(rec)) {
 223             Dmsg6(300, "Partial, break. recno=%d state=%s blk=%d SI=%d ST=%d FI=%d\n", record,
 224                rec_state_to_str(rec), block->BlockNumber,
 225                rec->VolSessionId, rec->VolSessionTime, rec->FileIndex);
 226             break;                    /* read second part of record */
 227          }
 228          ok = record_cb(dcr, rec);
 229          if (rec->Stream == STREAM_MD5_SIGNATURE || rec->Stream == STREAM_SHA1_SIGNATURE) {
 230             Dmsg3(300, "Done FI=%d before set_eof pos %d:%d\n", rec->FileIndex,
 231                   dev->file, dev->block_num);
 232             if (match_set_eof(jcr->bsr, rec) && try_repositioning(jcr, rec, dev)) {
 233                Dmsg2(300, "Break after match_set_eof pos %d:%d\n",
 234                      dev->file, dev->block_num);
 235                break;
 236             }
 237             Dmsg2(300, "After set_eof pos %d:%d\n", dev->file, dev->block_num);
 238          }
 239       } /* end for loop over records */
 240       Dmsg2(300, "After end records position=(file:block) %d:%d\n", dev->file, dev->block_num);
 241    } /* end for loop over blocks */
 242 // Dmsg2(300, "Position=(file:block) %d:%d\n", dev->file, dev->block_num);
 243
 244    /* Walk down list and free all remaining allocated recs */
 245    while (!recs->empty()) {
 246       rec = (DEV_RECORD *)recs->first();
 247       recs->remove(rec);
 248       free_record(rec);
 249    }
 250    delete recs;
 251    print_block_read_errors(jcr, block);
 252    return ok;
 253 }
 254
 255 /*
 256  * See if we can reposition.
 257  *   Returns:  1 if at end of volume
 258  *             0 otherwise
 259  */
 260 static int try_repositioning(JCR *jcr, DEV_RECORD *rec, DEVICE *dev)
 261 {
 262    BSR *bsr;
 263    bsr = find_next_bsr(jcr->bsr, dev);
 264    if (bsr == NULL && jcr->bsr->mount_next_volume) {
 265       Dmsg0(300, "Would mount next volume here\n");
 266       Dmsg2(300, "Current postion (file:block) %d:%d\n",
 267          dev->file, dev->block_num);
 268       jcr->bsr->mount_next_volume = false;
 269       dev->state |= ST_EOT;
 270       rec->Block = 0;
 271       return 1;
 272    }
 273    if (bsr) {
 274       if (verbose) {
 275          Jmsg(jcr, M_INFO, 0, "Reposition from (file:block) %d:%d to %d:%d\n",
 276             dev->file, dev->block_num, bsr->volfile->sfile,
 277             bsr->volblock->sblock);
 278       }
 279       Dmsg4(300, "Try_Reposition from (file:block) %d:%d to %d:%d\n",
 280             dev->file, dev->block_num, bsr->volfile->sfile,
 281             bsr->volblock->sblock);
 282       reposition_dev(dev, bsr->volfile->sfile, bsr->volblock->sblock);
 283       rec->Block = 0;
 284    }
 285    return 0;
 286 }
 287
 288 /*
 289  * Position to the first file on this volume
 290  */
 291 static BSR *position_to_first_file(JCR *jcr, DEVICE *dev)
 292 {
 293    BSR *bsr = NULL;
 294    /*
 295     * Now find and position to first file and block
 296     *   on this tape.
 297     */
 298    if (jcr->bsr) {
 299       jcr->bsr->reposition = true;    /* force repositioning */
 300       bsr = find_next_bsr(jcr->bsr, dev);
 301       if (bsr && (bsr->volfile->sfile != 0 || bsr->volblock->sblock != 0)) {
 302          Jmsg(jcr, M_INFO, 0, _("Forward spacing to file:block %u:%u.\n"),
 303             bsr->volfile->sfile, bsr->volblock->sblock);
 304          Dmsg2(300, "Forward spacing to file:block %u:%u.\n",
 305             bsr->volfile->sfile, bsr->volblock->sblock);
 306          reposition_dev(dev, bsr->volfile->sfile, bsr->volblock->sblock);
 307       }
 308    }
 309    return bsr;
 310 }
 311
 312
 313 static void handle_session_record(DEVICE *dev, DEV_RECORD *rec, SESSION_LABEL *sessrec)
 314 {
 315    const char *rtype;
 316    char buf[100];
 317
 318    memset(sessrec, 0, sizeof(sessrec));
 319    switch (rec->FileIndex) {
 320    case PRE_LABEL:
 321       rtype = "Fresh Volume Label";
 322       break;
 323    case VOL_LABEL:
 324       rtype = "Volume Label";
 325       unser_volume_label(dev, rec);
 326       break;
 327    case SOS_LABEL:
 328       rtype = "Begin Session";
 329       unser_session_label(sessrec, rec);
 330       break;
 331    case EOS_LABEL:
 332       rtype = "End Session";
 333       break;
 334    case EOM_LABEL:
 335       rtype = "End of Media";
 336       break;
 337    default:
 338       bsnprintf(buf, sizeof(buf), "Unknown code %d\n", rec->FileIndex);
 339       rtype = buf;
 340       break;
 341    }
 342    Dmsg5(300, "%s Record: VolSessionId=%d VolSessionTime=%d JobId=%d DataLen=%d\n",
 343          rtype, rec->VolSessionId, rec->VolSessionTime, rec->Stream, rec->data_len);
 344 }
 345
 346 #ifdef DEBUG
 347 static char *rec_state_to_str(DEV_RECORD *rec)
 348 {
 349    static char buf[200];
 350    buf[0] = 0;
 351    if (rec->state & REC_NO_HEADER) {
 352       bstrncat(buf, "Nohdr,", sizeof(buf));
 353    }
 354    if (is_partial_record(rec)) {
 355       bstrncat(buf, "partial,", sizeof(buf));
 356    }
 357    if (rec->state & REC_BLOCK_EMPTY) {
 358       bstrncat(buf, "empty,", sizeof(buf));
 359    }
 360    if (rec->state & REC_NO_MATCH) {
 361       bstrncat(buf, "Nomatch,", sizeof(buf));
 362    }
 363    if (rec->state & REC_CONTINUATION) {
 364       bstrncat(buf, "cont,", sizeof(buf));
 365    }
 366    if (buf[0]) {
 367       buf[strlen(buf)-1] = 0;
 368    }
 369    return buf;
 370 }
 371 #endif