git.sur5r.net Git - bacula/bacula/blob - bacula/src/dird/verify.c

   1 /*
   2  *
   3  *   Bacula Director -- verify.c -- responsible for running file verification
   4  *
   5  *     Kern Sibbald, October MM
   6  *
   7  *    This routine is run as a separate thread.  There may be more
   8  *    work to be done to make it totally reentrant!!!!
   9  *
  10  * Current implementation is Catalog verification only (i.e. no
  11  *  verification versus tape).
  12  *
  13  *  Basic tasks done here:
  14  *     Open DB
  15  *     Open connection with File daemon and pass him commands
  16  *       to do the verify.
  17  *     When the File daemon sends the attributes, compare them to
  18  *       what is in the DB.
  19  *
  20  */
  21
  22 /*
  23    Copyright (C) 2000, 2001, 2002 Kern Sibbald and John Walker
  24
  25    This program is free software; you can redistribute it and/or
  26    modify it under the terms of the GNU General Public License as
  27    published by the Free Software Foundation; either version 2 of
  28    the License, or (at your option) any later version.
  29
  30    This program is distributed in the hope that it will be useful,
  31    but WITHOUT ANY WARRANTY; without even the implied warranty of
  32    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  33    General Public License for more details.
  34
  35    You should have received a copy of the GNU General Public
  36    License along with this program; if not, write to the Free
  37    Software Foundation, Inc., 59 Temple Place - Suite 330, Boston,
  38    MA 02111-1307, USA.
  39
  40  */
  41
  42 #include "bacula.h"
  43 #include "dird.h"
  44
  45 /* Imported Global Variables */
  46 extern int debug_level;
  47
  48 /* Commands sent to File daemon */
  49 static char verifycmd[]   = "verify";
  50 static char levelcmd[]    = "level = %s%s\n";
  51
  52 /* Responses received from File daemon */
  53 static char OKverify[]   = "2000 OK verify\n";
  54 static char OKlevel[]    = "2000 OK level\n";
  55
  56 /* Forward referenced functions */
  57 static void verify_cleanup(JCR *jcr);
  58 static void prt_fname(JCR *jcr);
  59 static int missing_handler(void *ctx, int num_fields, char **row);
  60
  61 /*
  62  * Do a verification of the specified files
  63  *
  64  *  Returns:  0 on failure
  65  *            1 on success
  66  */
  67 int do_verify(JCR *jcr)
  68 {
  69    char *level;
  70    BSOCK   *fd;
  71    JOB_DBR jr;
  72    int last_full_id;
  73    CLIENT_DBR cr;
  74
  75    memset(&cr, 0, sizeof(cr));
  76    strcpy(cr.Name, jcr->client->hdr.name);
  77    if (jcr->client_name) {
  78       free(jcr->client_name);
  79    }
  80    jcr->client_name = bstrdup(jcr->client->hdr.name);
  81    if (!db_create_client_record(jcr->db, &cr)) {
  82       Jmsg(jcr, M_ERROR, 0, _("Could not create Client record. %s"),
  83          db_strerror(jcr->db));
  84       jcr->JobStatus = JS_ErrorTerminated;
  85       verify_cleanup(jcr);
  86       return 0;
  87    }
  88    jcr->jr.ClientId = cr.ClientId;
  89
  90    Dmsg1(9, "bdird: created client %s record\n", jcr->client->hdr.name);
  91
  92    /* If we are doing a verify from the catalog,
  93     * we must look up the time and date of the
  94     * last full verify.
  95     */
  96    if (jcr->level == L_VERIFY_CATALOG) {
  97       memcpy(&jr, &(jcr->jr), sizeof(jr));
  98       if (!db_find_last_full_verify(jcr->db, &jr)) {
  99          Jmsg(jcr, M_FATAL, 0, _("Unable to find last full verify. %s"),
 100             db_strerror(jcr->db));
 101          jcr->JobStatus = JS_ErrorTerminated;
 102          verify_cleanup(jcr);
 103          return 0;
 104       }
 105       last_full_id = jr.JobId;
 106       Dmsg1(20, "Last full id=%d\n", last_full_id);
 107    }
 108
 109    jcr->jr.JobId = jcr->JobId;
 110    jcr->jr.StartTime = jcr->start_time;
 111    jcr->jr.Level = jcr->level;
 112    if (!db_update_job_start_record(jcr->db, &jcr->jr)) {
 113       Jmsg(jcr, M_ERROR, 0, "%s", db_strerror(jcr->db));
 114       jcr->JobStatus = JS_ErrorTerminated;
 115       verify_cleanup(jcr);
 116       return 0;
 117    }
 118
 119    if (!jcr->fname) {
 120       jcr->fname = (char *) get_pool_memory(PM_FNAME);
 121    }
 122
 123    jcr->jr.JobId = last_full_id;      /* save last full id */
 124
 125    /* Print Job Start message */
 126    Jmsg(jcr, M_INFO, 0, _("Start Verify JobId %d Job=%s\n"),
 127       jcr->JobId, jcr->Job);
 128
 129    if (jcr->level == L_VERIFY_CATALOG) {
 130       memset(&jr, 0, sizeof(jr));
 131       jr.JobId = last_full_id;
 132       if (!db_get_job_record(jcr->db, &jr)) {
 133          Jmsg(jcr, M_ERROR, 0, _("Could not get job record. %s"), db_strerror(jcr->db));
 134          jcr->JobStatus = JS_ErrorTerminated;
 135          verify_cleanup(jcr);
 136          return 0;
 137       }
 138       Jmsg(jcr, M_INFO, 0, _("Verifying against Init JobId %d run %s\n"),
 139          last_full_id, jr.cStartTime);
 140    }
 141
 142    /*
 143     * OK, now connect to the File daemon
 144     *  and ask him for the files.
 145     */
 146    jcr->sd_auth_key = bstrdup("dummy");    /* dummy Storage daemon key */
 147    if (!connect_to_file_daemon(jcr, 10, FDConnectTimeout, 1)) {
 148       jcr->JobStatus = JS_ErrorTerminated;
 149       verify_cleanup(jcr);
 150       return 0;
 151    }
 152
 153    fd = jcr->file_bsock;
 154
 155    Dmsg0(30, ">filed: Send include list\n");
 156    if (!send_include_list(jcr)) {
 157       jcr->JobStatus = JS_ErrorTerminated;
 158       verify_cleanup(jcr);
 159       return 0;
 160    }
 161
 162    Dmsg0(30, ">filed: Send exclude list\n");
 163    if (!send_exclude_list(jcr)) {
 164       jcr->JobStatus = JS_ErrorTerminated;
 165       verify_cleanup(jcr);
 166       return 0;
 167    }
 168
 169    /*
 170     * Send Level command to File daemon
 171     *
 172     */
 173    switch (jcr->level) {
 174       case L_VERIFY_INIT:
 175          level = "init";
 176          break;
 177       case L_VERIFY_CATALOG:
 178          level = "catalog";
 179          break;
 180       case L_VERIFY_VOLUME:
 181          level = "volume";
 182          break;
 183       case L_VERIFY_DATA:
 184          level = "data";
 185          break;
 186       default:
 187          Emsg1(M_FATAL, 0, _("Unimplemented save level %d\n"), jcr->level);
 188          jcr->JobStatus = JS_ErrorTerminated;
 189          verify_cleanup(jcr);
 190          return 0;
 191    }
 192    Dmsg1(20, ">filed: %s", fd->msg);
 193    bnet_fsend(fd, levelcmd, level, " ");
 194    if (!response(fd, OKlevel, "Level")) {
 195       jcr->JobStatus = JS_ErrorTerminated;
 196       verify_cleanup(jcr);
 197       return 0;
 198    }
 199
 200    /*
 201     * Send verify command to File daemon
 202     */
 203    bnet_fsend(fd, verifycmd);
 204    if (!response(fd, OKverify, "Verify")) {
 205       jcr->JobStatus = JS_ErrorTerminated;
 206       verify_cleanup(jcr);
 207       return 0;
 208    }
 209
 210    /*
 211     * Now get data back from File daemon and
 212     *  compare it to the catalog or store it in the
 213     *  catalog depending on the run type.
 214     */
 215    /* Compare to catalog */
 216    if (jcr->level == L_VERIFY_CATALOG) {
 217       Dmsg0(10, "Verify level=catalog\n");
 218       get_attributes_and_compare_to_catalog(jcr, last_full_id);
 219
 220    /* Build catalog */
 221    } else if (jcr->level == L_VERIFY_INIT) {
 222       Dmsg0(10, "Verify level=init\n");
 223       get_attributes_and_put_in_catalog(jcr);
 224
 225    } else {
 226       Emsg1(M_FATAL, 0, _("Unimplemented save level %d\n"), jcr->level);
 227       jcr->JobStatus = JS_ErrorTerminated;
 228       verify_cleanup(jcr);
 229       return 0;
 230    }
 231
 232    verify_cleanup(jcr);
 233    return 1;
 234 }
 235
 236 /*
 237  * Release resources allocated during backup.
 238  *
 239  */
 240 static void verify_cleanup(JCR *jcr)
 241 {
 242    char sdt[50], edt[50];
 243    char ec1[30];
 244    char term_code[100];
 245    char *term_msg;
 246    int msg_type;
 247    int TermCode;
 248    int last_full_id;
 249
 250    Dmsg0(100, "Enter verify_cleanup()\n");
 251
 252    last_full_id = jcr->jr.JobId;
 253
 254
 255    if (jcr->jr.EndTime == 0) {
 256       jcr->jr.EndTime = time(NULL);
 257    }
 258    jcr->end_time = jcr->jr.EndTime;
 259    jcr->jr.JobId = jcr->JobId;
 260    jcr->jr.JobStatus = jcr->JobStatus;
 261    TermCode = jcr->JobStatus;
 262
 263    if (!db_update_job_end_record(jcr->db, &jcr->jr)) {
 264       Jmsg(jcr, M_WARNING, 0, _("Error updating job record. %s"),
 265          db_strerror(jcr->db));
 266    }
 267
 268    msg_type = M_INFO;                 /* by default INFO message */
 269    switch (TermCode) {
 270       case JS_Terminated:
 271          term_msg = _("Verify OK");
 272          break;
 273       case JS_Errored:
 274          term_msg = _("*** Verify Error ***");
 275          msg_type = M_ERROR;          /* Generate error message */
 276          break;
 277       case JS_Cancelled:
 278          term_msg = _("Verify Cancelled");
 279          break;
 280       case JS_Differences:
 281          term_msg = _("Verify Differences");
 282          break;
 283       default:
 284          term_msg = term_code;
 285          sprintf(term_code, _("Inappropriate term code: %c\n"), TermCode);
 286          break;
 287    }
 288    bstrftime(sdt, sizeof(sdt), jcr->jr.StartTime);
 289    bstrftime(edt, sizeof(edt), jcr->jr.EndTime);
 290
 291    Jmsg(jcr, msg_type, 0, _("%s\n\
 292 JobId:                  %d\n\
 293 Job:                    %s\n\
 294 FileSet:                %s\n\
 295 Verify Level:           %s\n\
 296 Client:                 %s\n\
 297 Start time:             %s\n\
 298 End time:               %s\n\
 299 Files Examined:         %s\n\
 300 Termination:            %s\n"),
 301         edt,
 302         jcr->jr.JobId,
 303         jcr->jr.Job,
 304         jcr->fileset->hdr.name,
 305         level_to_str(jcr->level),
 306         jcr->client->hdr.name,
 307         sdt,
 308         edt,
 309         edit_uint_with_commas(jcr->jr.JobFiles, ec1),
 310         term_msg);
 311
 312    Dmsg0(100, "Leave verify_cleanup()\n");
 313
 314 }
 315
 316 /*
 317  * This routine is called only during a Verify
 318  */
 319 int get_attributes_and_compare_to_catalog(JCR *jcr, int last_full_id)
 320 {
 321    BSOCK   *fd;
 322    int n, len;
 323    FILE_DBR fdbr;
 324    struct stat statf;                 /* file stat */
 325    struct stat statc;                 /* catalog stat */
 326    int stat = JS_Terminated;
 327    char buf[MAXSTRING];
 328    char *fname = (char *)get_pool_memory(PM_MESSAGE);
 329
 330    memset(&fdbr, 0, sizeof(FILE_DBR));
 331    fd = jcr->file_bsock;
 332    fdbr.JobId = last_full_id;
 333
 334    Dmsg0(20, "bdird: waiting to receive file attributes\n");
 335    /*
 336     * Get Attributes and MD5 Signature from File daemon
 337     */
 338    while ((n=bget_msg(fd, 0)) > 0) {
 339        long file_index, attr_file_index;
 340        int stream;
 341        char *attr, *p;
 342        char Opts_MD5[MAXSTRING];        /* Verify Opts or MD5 signature */
 343        int do_MD5;
 344
 345        fname = (char *)check_pool_memory_size(fname, fd->msglen);
 346        jcr->fname = (char *)check_pool_memory_size(fname, fd->msglen);
 347        Dmsg1(50, "Atts+MD5=%s\n", fd->msg);
 348        if ((len = sscanf(fd->msg, "%ld %d %100s %s", &file_index, &stream,
 349              Opts_MD5, fname)) != 4) {
 350           Jmsg3(jcr, M_FATAL, 0, _("bird<filed: bad attributes, expected 4 fields got %d\n\
 351 msglen=%d msg=%s\n"), len, fd->msglen, fd->msg);
 352           jcr->JobStatus = JS_ErrorTerminated;
 353           return 0;
 354        }
 355        /*
 356         * Got attributes stream, decode it
 357         */
 358        if (stream == STREAM_UNIX_ATTRIBUTES) {
 359           attr_file_index = file_index;    /* remember attribute file_index */
 360           len = strlen(fd->msg);
 361           attr = &fd->msg[len+1];
 362           decode_stat(attr, &statf);  /* decode file stat packet */
 363           do_MD5 = FALSE;
 364           jcr->fn_printed = FALSE;
 365           strcpy(jcr->fname, fname);  /* move filename into JCR */
 366
 367           Dmsg2(11, "dird<filed: stream=%d %s\n", stream, jcr->fname);
 368           Dmsg1(20, "dird<filed: attr=%s\n", attr);
 369
 370           /*
 371            * Find equivalent record in the database
 372            */
 373           fdbr.FileId = 0;
 374           db_get_file_attributes_record(jcr->db, jcr->fname, &fdbr);
 375
 376           if (fdbr.FileId == 0) {
 377              Jmsg(jcr, M_INFO, 0, _("New file: %s\n"), jcr->fname);
 378              Dmsg1(20, _("File not in catalog: %s\n"), jcr->fname);
 379              stat = JS_Differences;
 380              continue;
 381           } else {
 382              /*
 383               * mark file record as visited by stuffing the
 384               * current JobId, which is unique, into the FileIndex
 385               */
 386              db_mark_file_record(jcr->db, fdbr.FileId, jcr->JobId);
 387           }
 388
 389           Dmsg2(20, "Found %s in catalog. Opts=%s\n", jcr->fname, Opts_MD5);
 390           decode_stat(fdbr.LStat, &statc); /* decode catalog stat */
 391           strip_trailing_junk(jcr->fname);
 392           /*
 393            * Loop over options supplied by user and verify the
 394            * fields he requests.
 395            */
 396           for (p=Opts_MD5; *p; p++) {
 397              switch (*p) {
 398              case 'i':                /* compare INODEs */
 399                 if (statc.st_ino != statf.st_ino) {
 400                    prt_fname(jcr);
 401                    Jmsg(jcr, M_INFO, 0, _("      st_ino   differ. Cat: %x File: %x\n"),
 402                       statc.st_ino, statf.st_ino);
 403                    stat = JS_Differences;
 404                 }
 405                 break;
 406              case 'p':                /* permissions bits */
 407                 if (statc.st_mode != statf.st_mode) {
 408                    prt_fname(jcr);
 409                    Jmsg(jcr, M_INFO, 0, _("      st_mode  differ. Cat: %x File: %x\n"),
 410                       statc.st_mode, statf.st_mode);
 411                    stat = JS_Differences;
 412                 }
 413                 break;
 414              case 'n':                /* number of links */
 415                 if (statc.st_nlink != statf.st_nlink) {
 416                    prt_fname(jcr);
 417                    Jmsg(jcr, M_INFO, 0, _("      st_nlink differ. Cat: %d File: %d\n"),
 418                       statc.st_nlink, statf.st_nlink);
 419                    stat = JS_Differences;
 420                 }
 421                 break;
 422              case 'u':                /* user id */
 423                 if (statc.st_uid != statf.st_uid) {
 424                    prt_fname(jcr);
 425                    Jmsg(jcr, M_INFO, 0, _("      st_uid   differ. Cat: %d File: %d\n"),
 426                       statc.st_uid, statf.st_uid);
 427                    stat = JS_Differences;
 428                 }
 429                 break;
 430              case 'g':                /* group id */
 431                 if (statc.st_gid != statf.st_gid) {
 432                    prt_fname(jcr);
 433                    Jmsg(jcr, M_INFO, 0, _("      st_gid   differ. Cat: %d File: %d\n"),
 434                       statc.st_gid, statf.st_gid);
 435                    stat = JS_Differences;
 436                 }
 437                 break;
 438              case 's':                /* size */
 439                 if (statc.st_size != statf.st_size) {
 440                    prt_fname(jcr);
 441                    Jmsg(jcr, M_INFO, 0, _("      st_size  differ. Cat: %d File: %d\n"),
 442                       statc.st_size, statf.st_size);
 443                    stat = JS_Differences;
 444                 }
 445                 break;
 446              case 'a':                /* access time */
 447                 if (statc.st_atime != statf.st_atime) {
 448                    prt_fname(jcr);
 449                    Jmsg(jcr, M_INFO, 0, _("      st_atime differs\n"));
 450                    stat = JS_Differences;
 451                 }
 452                 break;
 453              case 'm':
 454                 if (statc.st_mtime != statf.st_mtime) {
 455                    prt_fname(jcr);
 456                    Jmsg(jcr, M_INFO, 0, _("      st_mtime differs\n"));
 457                    stat = JS_Differences;
 458                 }
 459                 break;
 460              case 'c':                /* ctime */
 461                 if (statc.st_ctime != statf.st_ctime) {
 462                    prt_fname(jcr);
 463                    Jmsg(jcr, M_INFO, 0, _("      st_ctime differs\n"));
 464                    stat = JS_Differences;
 465                 }
 466                 break;
 467              case 'd':                /* file size decrease */
 468                 if (statc.st_size > statf.st_size) {
 469                    prt_fname(jcr);
 470                    Jmsg(jcr, M_INFO, 0, _("      st_size  decrease. Cat: %d File: %d\n"),
 471                       statc.st_size, statf.st_size);
 472                    stat = JS_Differences;
 473                 }
 474                 break;
 475              case '5':                /* compare MD5 */
 476                 do_MD5 = TRUE;
 477                 break;
 478              case ':':
 479              case 'V':
 480              default:
 481                 break;
 482              }
 483           }
 484        /*
 485         * Got MD5 Signature from Storage daemon
 486         *  It came across in the Opts_MD5 field.
 487         */
 488        } else if (stream == STREAM_MD5_SIGNATURE) {
 489           if (attr_file_index != file_index) {
 490              Jmsg2(jcr, M_FATAL, 0, _("MD5 index %d not same as attributes %d\n"),
 491                 file_index, attr_file_index);
 492              jcr->JobStatus = JS_ErrorTerminated;
 493              return 0;
 494           } else if (do_MD5) {
 495              db_escape_string(buf, Opts_MD5, strlen(Opts_MD5));
 496              if (strcmp(buf, fdbr.MD5) != 0) {
 497                 prt_fname(jcr);
 498                 if (debug_level >= 10) {
 499                    Jmsg(jcr, M_INFO, 0, _("      MD5 not same. File=%s Cat=%s\n"), buf, fdbr.MD5);
 500                 } else {
 501                    Jmsg(jcr, M_INFO, 0, _("      MD5 differs.\n"));
 502                 }
 503                 stat = JS_Differences;
 504              }
 505           }
 506        }
 507        jcr->jr.JobFiles = file_index;
 508
 509    }
 510    if (n < 0) {
 511       Jmsg2(jcr, M_FATAL, 0, _("bdird<filed: bad attributes from filed n=%d : %s\n"),
 512                         n, strerror(errno));
 513       jcr->JobStatus = JS_ErrorTerminated;
 514       return 0;
 515    }
 516
 517    /* Now find all the files that are missing -- i.e. all files in
 518     *  the database where the FileIndex != current JobId
 519     */
 520    jcr->fn_printed = FALSE;
 521    sprintf(buf,
 522 "SELECT Path.Path,Filename.Name FROM File,Path,Filename "
 523 "WHERE File.JobId=%d "
 524 "AND File.FileIndex!=%d AND File.PathId=Path.PathId "
 525 "AND File.FilenameId=Filename.FilenameId",
 526       last_full_id, jcr->JobId);
 527    /* missing_handler is called for each file found */
 528    db_sql_query(jcr->db, buf, missing_handler, (void *)jcr);
 529    if (jcr->fn_printed) {
 530       stat = JS_Differences;
 531    }
 532    jcr->JobStatus = stat;
 533    return 1;
 534 }
 535
 536 /*
 537  * We are called here for each record that matches the above
 538  *  SQL query -- that is for each file contained in the Catalog
 539  *  that was not marked earlier. This means that the file in
 540  *  question is a missing file (in the Catalog but on on Disk).
 541  */
 542 static int missing_handler(void *ctx, int num_fields, char **row)
 543 {
 544    JCR *jcr = (JCR *)ctx;
 545
 546    if (!jcr->fn_printed) {
 547       Jmsg(jcr, M_INFO, 0, "\n");
 548       Jmsg(jcr, M_INFO, 0, _("The following files are missing:\n"));
 549       jcr->fn_printed = TRUE;
 550    }
 551    Jmsg(jcr, M_INFO, 0, "      %s%s\n", row[0]?row[0]:"", row[1]?row[1]:"");
 552    return 0;
 553 }
 554
 555
 556 /*
 557  * Print filename for verify
 558  */
 559 static void prt_fname(JCR *jcr)
 560 {
 561    if (!jcr->fn_printed) {
 562       Jmsg(jcr, M_INFO, 0, _("File: %s\n"), jcr->fname);
 563       jcr->fn_printed = TRUE;
 564    }
 565 }