git.sur5r.net Git - bacula/bacula/blob - bacula/src/cats/sql_cmds.c

   1 /*
   2    Bacula® - The Network Backup Solution
   3
   4    Copyright (C) 2002-2014 Free Software Foundation Europe e.V.
   5
   6    The main author of Bacula is Kern Sibbald, with contributions from many
   7    others, a complete list can be found in the file AUTHORS.
   8
   9    You may use this file and others of this release according to the
  10    license defined in the LICENSE file, which includes the Affero General
  11    Public License, v3.0 ("AGPLv3") and some additional permissions and
  12    terms pursuant to its AGPLv3 Section 7.
  13
  14    Bacula® is a registered trademark of Kern Sibbald.
  15 */
  16 /*
  17  *  This file contains all the SQL commands that are either issued by the
  18  *  Director or which are database backend specific.
  19  *
  20  *     Written by Kern Sibbald, July MMII
  21  */
  22 /*
  23  * Note, PostgreSQL imposes some constraints on using DISTINCT and GROUP BY
  24  *  for example, the following is illegal in PostgreSQL:
  25  *  SELECT DISTINCT JobId FROM temp ORDER BY StartTime ASC;
  26  *  because all the ORDER BY expressions must appear in the SELECT list!
  27  */
  28
  29 #include "bacula.h"
  30
  31 const char *get_restore_objects =
  32    "SELECT JobId,ObjectLength,ObjectFullLength,ObjectIndex,"
  33            "ObjectType,ObjectCompression,FileIndex,ObjectName,"
  34            "RestoreObject,PluginName "
  35     "FROM RestoreObject "
  36    "WHERE JobId IN (%s) "
  37      "AND ObjectType = %d "
  38    "ORDER BY ObjectIndex ASC";
  39
  40 const char *cleanup_created_job =
  41    "UPDATE Job SET JobStatus='f', StartTime=SchedTime, EndTime=SchedTime "
  42    "WHERE JobStatus = 'C'";
  43 const char *cleanup_running_job =
  44    "UPDATE Job SET JobStatus='f', EndTime=StartTime WHERE JobStatus = 'R'";
  45
  46 /* For sql_update.c db_update_stats */
  47 const char *fill_jobhisto =
  48         "INSERT INTO JobHisto ("
  49            "JobId, Job, Name, Type, Level, ClientId, JobStatus, "
  50            "SchedTime, StartTime, EndTime, RealEndTime, JobTDate, "
  51            "VolSessionId, VolSessionTime, JobFiles, JobBytes, ReadBytes, "
  52            "JobErrors, JobMissingFiles, PoolId, FileSetId, PriorJobId, "
  53            "PurgedFiles, HasBase, Reviewed, Comment ) "
  54         "SELECT "
  55            "JobId, Job, Name, Type, Level, ClientId, JobStatus, "
  56            "SchedTime, StartTime, EndTime, RealEndTime, JobTDate, "
  57            "VolSessionId, VolSessionTime, JobFiles, JobBytes, ReadBytes, "
  58            "JobErrors, JobMissingFiles, PoolId, FileSetId, PriorJobId, "
  59            "PurgedFiles, HasBase, Reviewed, Comment "
  60           "FROM Job "
  61          "WHERE JobStatus IN ('T','W','f','A','E') "
  62            "AND NOT EXISTS "
  63                 "(SELECT JobHisto.JobId "
  64                    "FROM JobHisto WHERE JobHisto.Jobid=Job.JobId) "
  65            "AND JobTDate < %s ";
  66
  67 /* For ua_update.c */
  68 const char *list_pool = "SELECT * FROM Pool WHERE PoolId=%s";
  69
  70 /* For ua_dotcmds.c */
  71 const char *client_backups =
  72    "SELECT DISTINCT Job.JobId,Client.Name as Client,Level,StartTime,"
  73    "JobFiles,JobBytes,VolumeName,MediaType,FileSet,Media.Enabled as Enabled"
  74    " FROM Client,Job,JobMedia,Media,FileSet"
  75    " WHERE Client.Name='%s'"
  76    " AND FileSet='%s'"
  77    " AND Client.ClientId=Job.ClientId"
  78    " AND JobStatus IN ('T','W') AND Type='B'"
  79    " AND JobMedia.JobId=Job.JobId AND JobMedia.MediaId=Media.MediaId"
  80    " AND Job.FileSetId=FileSet.FileSetId"
  81    " ORDER BY Job.StartTime";
  82
  83 /* ====== ua_prune.c */
  84
  85 const char *sel_JobMedia =
  86    "SELECT DISTINCT JobMedia.JobId FROM JobMedia,Job "
  87    "WHERE MediaId=%s AND Job.JobId=JobMedia.JobId "
  88    "AND Job.JobTDate<%s";
  89
  90 /* Delete temp tables and indexes  */
  91 const char *drop_deltabs[] = {
  92    "DROP TABLE DelCandidates",
  93    NULL};
  94
  95 const char *create_delindex = "CREATE INDEX DelInx1 ON DelCandidates (JobId)";
  96
  97 /* ======= ua_restore.c */
  98 const char *uar_count_files =
  99    "SELECT JobFiles FROM Job WHERE JobId=%s";
 100
 101 /* List last 20 Jobs */
 102 const char *uar_list_jobs =
 103    "SELECT JobId,Client.Name as Client,StartTime,Level as "
 104    "JobLevel,JobFiles,JobBytes "
 105    "FROM Client,Job WHERE Client.ClientId=Job.ClientId AND JobStatus IN ('T','W') "
 106    "AND Type='B' ORDER BY StartTime DESC LIMIT 20";
 107
 108 const char *uar_print_jobs =
 109    "SELECT DISTINCT JobId,Level,JobFiles,JobBytes,StartTime,VolumeName"
 110    " FROM Job JOIN JobMedia USING (JobId) JOIN Media USING (MediaId) "
 111    " WHERE JobId IN (%s) "
 112    " ORDER BY StartTime ASC";
 113
 114 /*
 115  * Find all files for a particular JobId and insert them into
 116  *  the tree during a restore.
 117  */
 118 const char *uar_sel_files =
 119    "SELECT Path.Path,Filename.Name,FileIndex,JobId,LStat "
 120    "FROM File,Filename,Path "
 121    "WHERE File.JobId IN (%s) AND Filename.FilenameId=File.FilenameId "
 122    "AND Path.PathId=File.PathId";
 123
 124 const char *uar_del_temp  = "DROP TABLE temp";
 125 const char *uar_del_temp1 = "DROP TABLE temp1";
 126
 127 const char *uar_last_full =
 128    "INSERT INTO temp1 SELECT Job.JobId,JobTdate "
 129    "FROM Client,Job,JobMedia,Media,FileSet WHERE Client.ClientId=%s "
 130    "AND Job.ClientId=%s "
 131    "AND Job.StartTime < '%s' "
 132    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
 133    "AND JobMedia.JobId=Job.JobId "
 134    "AND Media.Enabled=1 "
 135    "AND JobMedia.MediaId=Media.MediaId "
 136    "AND Job.FileSetId=FileSet.FileSetId "
 137    "AND FileSet.FileSet='%s' "
 138    "%s"
 139    "ORDER BY Job.JobTDate DESC LIMIT 1";
 140
 141 const char *uar_full =
 142    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,"
 143    "Job.ClientId,Job.Level,Job.JobFiles,Job.JobBytes,"
 144    "StartTime,VolumeName,JobMedia.StartFile,VolSessionId,VolSessionTime "
 145    "FROM temp1,Job,JobMedia,Media WHERE temp1.JobId=Job.JobId "
 146    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
 147    "AND Media.Enabled=1 "
 148    "AND JobMedia.JobId=Job.JobId "
 149    "AND JobMedia.MediaId=Media.MediaId";
 150
 151 const char *uar_dif =
 152    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,Job.ClientId,"
 153    "Job.Level,Job.JobFiles,Job.JobBytes,"
 154    "Job.StartTime,Media.VolumeName,JobMedia.StartFile,"
 155    "Job.VolSessionId,Job.VolSessionTime "
 156    "FROM Job,JobMedia,Media,FileSet "
 157    "WHERE Job.JobTDate>%s AND Job.StartTime<'%s' "
 158    "AND Job.ClientId=%s "
 159    "AND JobMedia.JobId=Job.JobId "
 160    "AND Media.Enabled=1 "
 161    "AND JobMedia.MediaId=Media.MediaId "
 162    "AND Job.Level='D' AND JobStatus IN ('T','W') AND Type='B' "
 163    "AND Job.FileSetId=FileSet.FileSetId "
 164    "AND FileSet.FileSet='%s' "
 165    "%s"
 166    "ORDER BY Job.JobTDate DESC LIMIT 1";
 167
 168 const char *uar_inc =
 169    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,Job.ClientId,"
 170    "Job.Level,Job.JobFiles,Job.JobBytes,"
 171    "Job.StartTime,Media.VolumeName,JobMedia.StartFile,"
 172    "Job.VolSessionId,Job.VolSessionTime "
 173    "FROM Job,JobMedia,Media,FileSet "
 174    "WHERE Job.JobTDate>%s AND Job.StartTime<'%s' "
 175    "AND Job.ClientId=%s "
 176    "AND Media.Enabled=1 "
 177    "AND JobMedia.JobId=Job.JobId "
 178    "AND JobMedia.MediaId=Media.MediaId "
 179    "AND Job.Level='I' AND JobStatus IN ('T','W') AND Type='B' "
 180    "AND Job.FileSetId=FileSet.FileSetId "
 181    "AND FileSet.FileSet='%s' "
 182    "%s";
 183
 184 const char *uar_list_temp =
 185    "SELECT DISTINCT JobId,Level,JobFiles,JobBytes,StartTime,VolumeName"
 186    " FROM temp"
 187    " ORDER BY StartTime ASC";
 188
 189
 190 const char *uar_sel_jobid_temp =
 191    "SELECT DISTINCT JobId,StartTime FROM temp ORDER BY StartTime ASC";
 192
 193 const char *uar_sel_all_temp1 = "SELECT * FROM temp1";
 194
 195 const char *uar_sel_all_temp = "SELECT * FROM temp";
 196
 197
 198
 199 /* Select FileSet names for this Client */
 200 const char *uar_sel_fileset =
 201    "SELECT DISTINCT FileSet.FileSet FROM Job,"
 202    "Client,FileSet WHERE Job.FileSetId=FileSet.FileSetId "
 203    "AND Job.ClientId=%s AND Client.ClientId=%s "
 204    "ORDER BY FileSet.FileSet";
 205
 206 /* Select all different FileSet for this client
 207  * This query doesn't guarantee that the Id is the latest
 208  * version of the FileSet. Can be used with other queries that
 209  * use Ids to select the FileSet name. (like in accurate)
 210  */
 211 const char *uar_sel_filesetid =
 212    "SELECT MAX(FileSet.FileSetId) "
 213      "FROM FileSet JOIN Job USING (FileSetId) "
 214          "WHERE Job.ClientId=%s "
 215         "GROUP BY FileSet";
 216
 217 /*
 218  *  Find JobId, FileIndex for a given path/file and date
 219  *  for use when inserting individual files into the tree.
 220  */
 221 const char *uar_jobid_fileindex =
 222    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
 223    "WHERE Job.JobId=File.JobId "
 224    "AND Job.StartTime<='%s' "
 225    "AND Path.Path='%s' "
 226    "AND Filename.Name='%s' "
 227    "AND Client.Name='%s' "
 228    "AND Job.ClientId=Client.ClientId "
 229    "AND Path.PathId=File.PathId "
 230    "AND Filename.FilenameId=File.FilenameId "
 231    "AND JobStatus IN ('T','W') AND Type='B' "
 232    "ORDER BY Job.StartTime DESC LIMIT 1";
 233
 234 const char *uar_jobids_fileindex =
 235    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
 236    "WHERE Job.JobId IN (%s) "
 237    "AND Job.JobId=File.JobId "
 238    "AND Job.StartTime<='%s' "
 239    "AND Path.Path='%s' "
 240    "AND Filename.Name='%s' "
 241    "AND Client.Name='%s' "
 242    "AND Job.ClientId=Client.ClientId "
 243    "AND Path.PathId=File.PathId "
 244    "AND Filename.FilenameId=File.FilenameId "
 245    "ORDER BY Job.StartTime DESC LIMIT 1";
 246
 247 /* Query to get list of files from table -- presuably built by an external program */
 248 const char *uar_jobid_fileindex_from_table =
 249    "SELECT JobId,FileIndex FROM %s ORDER BY JobId, FileIndex ASC";
 250
 251 /* Get the list of the last recent version per Delta with a given jobid list
 252  * This is a tricky part because with SQL the result of
 253  *
 254  * SELECT MAX(A), B, C, D FROM... GROUP BY (B,C)
 255  *
 256  * doesn't give the good result (for D).
 257  *
 258  * With PostgreSQL, we can use DISTINCT ON(), but with Mysql or Sqlite,
 259  * we need an extra join using JobTDate.
 260  */
 261 static const char *select_recent_version_with_basejob_default =
 262 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
 263        "File.FilenameId AS FilenameId, LStat, MD5, DeltaSeq, "
 264        "Job.JobTDate AS JobTDate "
 265 "FROM Job, File, ( "
 266     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
 267       "FROM ( "
 268         "SELECT JobTDate, PathId, FilenameId "   /* Get all normal files */
 269           "FROM File JOIN Job USING (JobId) "    /* from selected backup */
 270          "WHERE File.JobId IN (%s) "
 271           "UNION ALL "
 272         "SELECT JobTDate, PathId, FilenameId "   /* Get all files from */
 273           "FROM BaseFiles "                      /* BaseJob */
 274                "JOIN File USING (FileId) "
 275                "JOIN Job  ON    (BaseJobId = Job.JobId) "
 276          "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
 277        ") AS tmp "
 278        "GROUP BY PathId, FilenameId "            /* the latest file version */
 279     ") AS T1 "
 280 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
 281         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
 282         "OR Job.JobId IN (%s)) "
 283   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
 284   "AND Job.JobId = File.JobId "     /* Job/File record */
 285   "AND T1.PathId = File.PathId "
 286   "AND T1.FilenameId = File.FilenameId";
 287
 288 const char *select_recent_version_with_basejob[] = {
 289    /* MySQL */
 290    select_recent_version_with_basejob_default,
 291
 292    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
 293    "SELECT DISTINCT ON (FilenameId, PathId) JobTDate, JobId, FileId, "
 294          "FileIndex, PathId, FilenameId, LStat, MD5, DeltaSeq "
 295    "FROM "
 296      "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5, DeltaSeq "
 297          "FROM File WHERE JobId IN (%s) "
 298         "UNION ALL "
 299        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
 300               "File.FileIndex, LStat, MD5, DeltaSeq "
 301          "FROM BaseFiles JOIN File USING (FileId) "
 302         "WHERE BaseFiles.JobId IN (%s) "
 303        ") AS T JOIN Job USING (JobId) "
 304    "ORDER BY FilenameId, PathId, JobTDate DESC ",
 305
 306    /* SQLite3 */
 307    select_recent_version_with_basejob_default
 308 };
 309
 310 /* We do the same thing than the previous query, but we include
 311  * all delta parts. If the file has been deleted, we can have irrelevant
 312  * parts.
 313  *
 314  * The code that uses results should control the delta sequence with
 315  * the following rules:
 316  * First Delta = 0
 317  * Delta = Previous Delta + 1
 318  *
 319  * If we detect a gap, we can discard further pieces
 320  * If a file starts at 1 instead of 0, the file has been deleted, and further
 321  * pieces are useless.
 322  *
 323  * This control should be reset for each new file
 324  */
 325 static const char *select_recent_version_with_basejob_and_delta_default =
 326 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
 327        "File.FilenameId AS FilenameId, LStat, MD5, File.DeltaSeq AS DeltaSeq, "
 328        "Job.JobTDate AS JobTDate "
 329 "FROM Job, File, ( "
 330     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId, DeltaSeq "
 331       "FROM ( "
 332        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all normal files*/
 333          "FROM File JOIN Job USING (JobId) "          /* from selected backup */
 334         "WHERE File.JobId IN (%s) "
 335          "UNION ALL "
 336        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all files from */
 337          "FROM BaseFiles "                            /* BaseJob */
 338               "JOIN File USING (FileId) "
 339               "JOIN Job  ON    (BaseJobId = Job.JobId) "
 340         "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
 341        ") AS tmp "
 342        "GROUP BY PathId, FilenameId, DeltaSeq "    /* the latest file version */
 343     ") AS T1 "
 344 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
 345         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
 346         "OR Job.JobId IN (%s)) "
 347   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
 348   "AND Job.JobId = File.JobId "     /* Job/File record */
 349   "AND T1.PathId = File.PathId "
 350   "AND T1.FilenameId = File.FilenameId";
 351
 352 const char *select_recent_version_with_basejob_and_delta[] = {
 353    /* MySQL */
 354    select_recent_version_with_basejob_and_delta_default,
 355
 356    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
 357    "SELECT DISTINCT ON (FilenameId, PathId, DeltaSeq) JobTDate, JobId, FileId, "
 358          "FileIndex, PathId, FilenameId, LStat, MD5, DeltaSeq "
 359    "FROM "
 360     "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5,DeltaSeq "
 361          "FROM File WHERE JobId IN (%s) "
 362         "UNION ALL "
 363        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
 364               "File.FileIndex, LStat, MD5, DeltaSeq "
 365          "FROM BaseFiles JOIN File USING (FileId) "
 366         "WHERE BaseFiles.JobId IN (%s) "
 367        ") AS T JOIN Job USING (JobId) "
 368    "ORDER BY FilenameId, PathId, DeltaSeq, JobTDate DESC ",
 369
 370    /* SQLite3 */
 371    select_recent_version_with_basejob_and_delta_default
 372 };
 373
 374 /* Get the list of the last recent version with a given BaseJob jobid list
 375  * We don't handle Delta with BaseJobs, they have only Full files
 376  */
 377 static const char *select_recent_version_default =
 378   "SELECT j1.JobId AS JobId, f1.FileId AS FileId, f1.FileIndex AS FileIndex, "
 379           "f1.PathId AS PathId, f1.FilenameId AS FilenameId, "
 380           "f1.LStat AS LStat, f1.MD5 AS MD5, j1.JobTDate "
 381      "FROM ( "     /* Choose the last version for each Path/Filename */
 382        "SELECT max(JobTDate) AS JobTDate, PathId, FilenameId "
 383          "FROM File JOIN Job USING (JobId) "
 384         "WHERE File.JobId IN (%s) "
 385        "GROUP BY PathId, FilenameId "
 386      ") AS t1, Job AS j1, File AS f1 "
 387     "WHERE t1.JobTDate = j1.JobTDate "
 388       "AND j1.JobId IN (%s) "
 389       "AND t1.FilenameId = f1.FilenameId "
 390       "AND t1.PathId = f1.PathId "
 391       "AND j1.JobId = f1.JobId";
 392
 393 const char *select_recent_version[] = {
 394    /* MySQL */
 395    select_recent_version_default,
 396
 397    /* Postgresql */
 398    "SELECT DISTINCT ON (FilenameId, PathId) JobTDate, JobId, FileId, "
 399           "FileIndex, PathId, FilenameId, LStat, MD5 "
 400      "FROM File JOIN Job USING (JobId) "
 401     "WHERE JobId IN (%s) "
 402     "ORDER BY FilenameId, PathId, JobTDate DESC ",
 403
 404    /* SQLite3 */
 405    select_recent_version_default
 406 };
 407
 408 /* We don't create this table as TEMPORARY because MySQL MyISAM
 409  * 5.0 and 5.1 are unable to run further queries in this mode
 410  */
 411 static const char *create_temp_accurate_jobids_default =
 412  "CREATE TABLE btemp3%s AS "
 413     "SELECT JobId, StartTime, EndTime, JobTDate, PurgedFiles "
 414       "FROM Job JOIN FileSet USING (FileSetId) "
 415      "WHERE ClientId = %s "
 416        "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
 417        "AND StartTime<'%s' "
 418        "AND FileSet.FileSet=(SELECT FileSet FROM FileSet WHERE FileSetId = %s) "
 419      "ORDER BY Job.JobTDate DESC LIMIT 1";
 420
 421 const char *create_temp_accurate_jobids[] = {
 422    /* Mysql */
 423    create_temp_accurate_jobids_default,
 424
 425    /* Postgresql */
 426    create_temp_accurate_jobids_default,
 427
 428    /* SQLite3 */
 429    create_temp_accurate_jobids_default
 430 };
 431
 432 const char *create_temp_basefile[] = {
 433    /* Mysql */
 434    "CREATE TEMPORARY TABLE basefile%lld ("
 435    "Path BLOB NOT NULL,"
 436    "Name BLOB NOT NULL,"
 437    "INDEX (Path(255), Name(255)))",
 438
 439    /* Postgresql */
 440    "CREATE TEMPORARY TABLE basefile%lld ("
 441    "Path TEXT,"
 442    "Name TEXT)",
 443
 444    /* SQLite3 */
 445    "CREATE TEMPORARY TABLE basefile%lld ("
 446    "Path TEXT,"
 447    "Name TEXT)"
 448 };
 449
 450 const char *create_temp_new_basefile[] = {
 451    /* Mysql */
 452    "CREATE TEMPORARY TABLE new_basefile%lld AS "
 453    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
 454    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
 455    "Temp.MD5 AS MD5 "
 456    "FROM ( %s ) AS Temp "
 457    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
 458    "JOIN Path ON (Path.PathId = Temp.PathId) "
 459    "WHERE Temp.FileIndex > 0",
 460
 461    /* Postgresql */
 462    "CREATE TEMPORARY TABLE new_basefile%lld AS "
 463    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
 464    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
 465    "Temp.MD5 AS MD5 "
 466    "FROM ( %s ) AS Temp "
 467    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
 468    "JOIN Path ON (Path.PathId = Temp.PathId) "
 469    "WHERE Temp.FileIndex > 0",
 470
 471    /* SQLite3 */
 472    "CREATE TEMPORARY TABLE new_basefile%lld AS "
 473    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
 474    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
 475    "Temp.MD5 AS MD5 "
 476    "FROM ( %s ) AS Temp "
 477    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
 478    "JOIN Path ON (Path.PathId = Temp.PathId) "
 479    "WHERE Temp.FileIndex > 0"
 480 };
 481
 482 /* ====== ua_prune.c */
 483
 484 /* List of SQL commands to create temp table and indicies  */
 485 const char *create_deltabs[] = {
 486    /* MySQL */
 487    "CREATE TEMPORARY TABLE DelCandidates ("
 488    "JobId INTEGER UNSIGNED NOT NULL, "
 489    "PurgedFiles TINYINT, "
 490    "FileSetId INTEGER UNSIGNED, "
 491    "JobFiles INTEGER UNSIGNED, "
 492    "JobStatus BINARY(1))",
 493
 494    /* Postgresql */
 495    "CREATE TEMPORARY TABLE DelCandidates ("
 496    "JobId INTEGER NOT NULL, "
 497    "PurgedFiles SMALLINT, "
 498    "FileSetId INTEGER, "
 499    "JobFiles INTEGER, "
 500    "JobStatus char(1))",
 501
 502    /* SQLite3 */
 503    "CREATE TEMPORARY TABLE DelCandidates ("
 504    "JobId INTEGER UNSIGNED NOT NULL, "
 505    "PurgedFiles TINYINT, "
 506    "FileSetId INTEGER UNSIGNED, "
 507    "JobFiles INTEGER UNSIGNED, "
 508    "JobStatus CHAR)"
 509 };
 510
 511 /* ======= ua_purge.c */
 512
 513 /* Select the first available Copy Job that must be upgraded to a Backup job when the original backup job is expired. */
 514
 515 static const char *uap_upgrade_copies_oldest_job_default =
 516 "CREATE TEMPORARY TABLE cpy_tmp AS "
 517        "SELECT MIN(JobId) AS JobId FROM Job "     /* Choose the oldest job */
 518         "WHERE Type='%c' "                        /* JT_JOB_COPY */
 519           "AND ( PriorJobId IN (%s) "             /* JobId selection */
 520               "OR "
 521                " PriorJobId IN ( "
 522                   "SELECT PriorJobId "
 523                     "FROM Job "
 524                    "WHERE JobId IN (%s) "         /* JobId selection */
 525                     " AND Type='B' "
 526                  ") "
 527               ") "
 528           "GROUP BY PriorJobId ";           /* one result per copy */
 529
 530 const char *uap_upgrade_copies_oldest_job[] = {
 531    /* Mysql */
 532    uap_upgrade_copies_oldest_job_default,
 533
 534    /* Postgresql */
 535    uap_upgrade_copies_oldest_job_default,
 536
 537    /* SQLite3 */
 538    uap_upgrade_copies_oldest_job_default
 539 };
 540
 541 /* ======= ua_restore.c */
 542
 543 /* List Jobs where a particular file is saved */
 544 const char *uar_file[] = {
 545    /* Mysql */
 546    "SELECT Job.JobId as JobId,"
 547    "CONCAT(Path.Path,Filename.Name) as Name, "
 548    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
 549    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
 550    "AND Client.ClientId=Job.ClientId "
 551    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
 552    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
 553    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
 554
 555    /* Postgresql */
 556    "SELECT Job.JobId as JobId,"
 557    "Path.Path||Filename.Name as Name, "
 558    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
 559    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
 560    "AND Client.ClientId=Job.ClientId "
 561    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
 562    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
 563    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
 564
 565    /* SQLite3 */
 566    "SELECT Job.JobId as JobId,"
 567    "Path.Path||Filename.Name as Name, "
 568    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
 569    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
 570    "AND Client.ClientId=Job.ClientId "
 571    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
 572    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
 573    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20"
 574 };
 575
 576 const char *uar_create_temp[] = {
 577    /* Mysql */
 578    "CREATE TEMPORARY TABLE temp ("
 579    "JobId INTEGER UNSIGNED NOT NULL,"
 580    "JobTDate BIGINT UNSIGNED,"
 581    "ClientId INTEGER UNSIGNED,"
 582    "Level CHAR,"
 583    "JobFiles INTEGER UNSIGNED,"
 584    "JobBytes BIGINT UNSIGNED,"
 585    "StartTime TEXT,"
 586    "VolumeName TEXT,"
 587    "StartFile INTEGER UNSIGNED,"
 588    "VolSessionId INTEGER UNSIGNED,"
 589    "VolSessionTime INTEGER UNSIGNED)",
 590
 591    /* Postgresql */
 592    "CREATE TEMPORARY TABLE temp ("
 593    "JobId INTEGER NOT NULL,"
 594    "JobTDate BIGINT,"
 595    "ClientId INTEGER,"
 596    "Level CHAR,"
 597    "JobFiles INTEGER,"
 598    "JobBytes BIGINT,"
 599    "StartTime TEXT,"
 600    "VolumeName TEXT,"
 601    "StartFile INTEGER,"
 602    "VolSessionId INTEGER,"
 603    "VolSessionTime INTEGER)",
 604
 605    /* SQLite3 */
 606    "CREATE TEMPORARY TABLE temp ("
 607    "JobId INTEGER UNSIGNED NOT NULL,"
 608    "JobTDate BIGINT UNSIGNED,"
 609    "ClientId INTEGER UNSIGNED,"
 610    "Level CHAR,"
 611    "JobFiles INTEGER UNSIGNED,"
 612    "JobBytes BIGINT UNSIGNED,"
 613    "StartTime TEXT,"
 614    "VolumeName TEXT,"
 615    "StartFile INTEGER UNSIGNED,"
 616    "VolSessionId INTEGER UNSIGNED,"
 617    "VolSessionTime INTEGER UNSIGNED)"
 618 };
 619
 620 const char *uar_create_temp1[] = {
 621    /* Mysql */
 622    "CREATE TEMPORARY TABLE temp1 ("
 623    "JobId INTEGER UNSIGNED NOT NULL,"
 624    "JobTDate BIGINT UNSIGNED)",
 625
 626    /* Postgresql */
 627    "CREATE TEMPORARY TABLE temp1 ("
 628    "JobId INTEGER NOT NULL,"
 629    "JobTDate BIGINT)",
 630
 631    /* SQLite3 */
 632    "CREATE TEMPORARY TABLE temp1 ("
 633    "JobId INTEGER UNSIGNED NOT NULL,"
 634    "JobTDate BIGINT UNSIGNED)"
 635 };
 636
 637 /* Query to get all files in a directory -- no recursing
 638  *  Note, for PostgreSQL since it respects the "Single Value
 639  *  rule", the results of the SELECT will be unoptimized.
 640  *  I.e. the same file will be restored multiple times, once
 641  *  for each time it was backed up.
 642  */
 643
 644 const char *uar_jobid_fileindex_from_dir[] = {
 645    /* Mysql */
 646    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
 647    "WHERE Job.JobId IN (%s) "
 648    "AND Job.JobId=File.JobId "
 649    "AND Path.Path='%s' "
 650    "AND Client.Name='%s' "
 651    "AND Job.ClientId=Client.ClientId "
 652    "AND Path.PathId=File.Pathid "
 653    "AND Filename.FilenameId=File.FilenameId "
 654    "GROUP BY File.FileIndex ",
 655
 656    /* Postgresql */
 657    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
 658    "WHERE Job.JobId IN (%s) "
 659    "AND Job.JobId=File.JobId "
 660    "AND Path.Path='%s' "
 661    "AND Client.Name='%s' "
 662    "AND Job.ClientId=Client.ClientId "
 663    "AND Path.PathId=File.Pathid "
 664    "AND Filename.FilenameId=File.FilenameId",
 665
 666    /* SQLite3 */
 667    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
 668    "WHERE Job.JobId IN (%s) "
 669    "AND Job.JobId=File.JobId "
 670    "AND Path.Path='%s' "
 671    "AND Client.Name='%s' "
 672    "AND Job.ClientId=Client.ClientId "
 673    "AND Path.PathId=File.Pathid "
 674    "AND Filename.FilenameId=File.FilenameId "
 675    "GROUP BY File.FileIndex "
 676 };
 677
 678 const char *sql_media_order_most_recently_written[] = {
 679    /* Mysql */
 680    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
 681
 682    /* Postgresql */
 683    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
 684
 685    /* SQLite3 */
 686    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId"
 687 };
 688
 689 const char *sql_get_max_connections[] = {
 690    /* Mysql */
 691    "SHOW VARIABLES LIKE 'max_connections'",
 692
 693    /* Postgresql */
 694    "SHOW max_connections",
 695
 696    /* SQLite3 */
 697    "SELECT 0"
 698 };
 699
 700 /*
 701  *  The Group By can return strange numbers when having multiple
 702  *  version of a file in the same dataset.
 703  */
 704 const char *default_sql_bvfs_select =
 705 "CREATE TABLE %s AS "
 706 "SELECT File.JobId, File.FileIndex, File.FileId "
 707 "FROM Job, File, ( "
 708     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
 709        "FROM btemp%s GROUP BY PathId, FilenameId "
 710     ") AS T1 JOIN Filename USING (FilenameId) "
 711 "WHERE T1.JobTDate = Job.JobTDate "
 712   "AND Job.JobId = File.JobId "
 713   "AND T1.PathId = File.PathId "
 714   "AND T1.FilenameId = File.FilenameId "
 715   "AND File.FileIndex > 0 "
 716   "AND Job.JobId IN (SELECT DISTINCT JobId FROM btemp%s) ";
 717
 718 const char *sql_bvfs_select[] = {
 719    /* Mysql */
 720    default_sql_bvfs_select,
 721
 722    /* Postgresql */
 723    "CREATE TABLE %s AS ( "
 724         "SELECT JobId, FileIndex, FileId "
 725           "FROM ( "
 726              "SELECT DISTINCT ON (PathId, FilenameId) "
 727                     "JobId, FileIndex, FileId "
 728                "FROM btemp%s "
 729               "ORDER BY PathId, FilenameId, JobTDate DESC "
 730           ") AS T "
 731           "WHERE FileIndex > 0)",
 732
 733    /* SQLite3 */
 734    default_sql_bvfs_select
 735 };
 736
 737 static const char *sql_bvfs_list_files_default =
 738 "SELECT 'F', T1.PathId, T1.FilenameId, Filename.Name, "
 739         "File.JobId, File.LStat, File.FileId "
 740 "FROM Job, File, ( "
 741     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
 742       "FROM ( "
 743         "SELECT JobTDate, PathId, FilenameId "
 744           "FROM File JOIN Job USING (JobId) "
 745          "WHERE File.JobId IN (%s) AND PathId = %s "
 746           "UNION ALL "
 747         "SELECT JobTDate, PathId, FilenameId "
 748           "FROM BaseFiles "
 749                "JOIN File USING (FileId) "
 750                "JOIN Job  ON    (BaseJobId = Job.JobId) "
 751          "WHERE BaseFiles.JobId IN (%s)   AND PathId = %s "
 752        ") AS tmp GROUP BY PathId, FilenameId "
 753      "LIMIT %lld OFFSET %lld"
 754     ") AS T1 JOIN Filename USING (FilenameId) "
 755 "WHERE T1.JobTDate = Job.JobTDate "
 756   "AND Job.JobId = File.JobId "
 757   "AND T1.PathId = File.PathId "
 758   "AND T1.FilenameId = File.FilenameId "
 759   "AND Filename.Name != '' "
 760   "AND File.FileIndex > 0 "
 761   " %s "                     /* AND Name LIKE '' */
 762   "AND (Job.JobId IN ( "
 763         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
 764        "OR Job.JobId IN (%s)) ";
 765
 766 const char *sql_bvfs_list_files[] = {
 767    /* Mysql */
 768    /* JobId PathId JobId PathId Limit Offset AND? Filename? JobId JobId*/
 769    sql_bvfs_list_files_default,
 770
 771    /* JobId PathId JobId PathId WHERE? Filename? Limit Offset*/
 772    /* Postgresql */
 773  "SELECT Type, PathId, FilenameId, Name, JobId, LStat, FileId "
 774   "FROM ("
 775    "SELECT DISTINCT ON (FilenameId) 'F' as Type, PathId, T.FilenameId, "
 776     "Filename.Name, JobId, LStat, FileId, FileIndex "
 777      "FROM "
 778          "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5 "
 779             "FROM File WHERE JobId IN (%s) AND PathId = %s "
 780            "UNION ALL "
 781           "SELECT File.FileId, File.JobId, PathId, FilenameId, "
 782                  "File.FileIndex, LStat, MD5 "
 783             "FROM BaseFiles JOIN File USING (FileId) "
 784            "WHERE BaseFiles.JobId IN (%s) AND File.PathId = %s "
 785           ") AS T JOIN Job USING (JobId) JOIN Filename USING (FilenameId) "
 786           " WHERE Filename.Name != '' "
 787           " %s "               /* AND Name LIKE '' */
 788      "ORDER BY FilenameId, StartTime DESC "
 789    ") AS A WHERE A.FileIndex > 0 "
 790    "LIMIT %lld OFFSET %lld ",
 791
 792    /* SQLite */
 793    sql_bvfs_list_files_default,
 794
 795    /* SQLite3 */
 796    sql_bvfs_list_files_default
 797 };
 798
 799 /* Basically the same thing than select_recent_version_with_basejob_and_delta_default,
 800  * but we specify a single file with FilenameId/PathId
 801  *
 802  * Input:
 803  * 1 JobId to look at
 804  * 2 FilenameId
 805  * 3 PathId
 806  * 4 JobId to look at
 807  * 5 FilenameId
 808  * 6 PathId
 809  * 7 Jobid
 810  * 8 JobId
 811  */
 812 const char *bvfs_select_delta_version_with_basejob_and_delta_default =
 813 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
 814        "File.FilenameId AS FilenameId, LStat, MD5, File.DeltaSeq AS DeltaSeq, "
 815        "Job.JobTDate AS JobTDate "
 816 "FROM Job, File, ( "
 817     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId, DeltaSeq "
 818       "FROM ( "
 819        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all normal files*/
 820          "FROM File JOIN Job USING (JobId) "          /* from selected backup */
 821         "WHERE File.JobId IN (%s) AND FilenameId = %s AND PathId = %s "
 822          "UNION ALL "
 823        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all files from */
 824          "FROM BaseFiles "                            /* BaseJob */
 825               "JOIN File USING (FileId) "
 826               "JOIN Job  ON    (BaseJobId = Job.JobId) "
 827         "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
 828              " AND FilenameId = %s AND PathId = %s "
 829        ") AS tmp "
 830        "GROUP BY PathId, FilenameId, DeltaSeq "    /* the latest file version */
 831     ") AS T1 "
 832 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
 833         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
 834         "OR Job.JobId IN (%s)) "
 835   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
 836   "AND Job.JobId = File.JobId "     /* Job/File record */
 837   "AND T1.PathId = File.PathId "
 838   "AND T1.FilenameId = File.FilenameId";
 839
 840
 841 const char *bvfs_select_delta_version_with_basejob_and_delta[] = {
 842    /* MySQL */
 843    bvfs_select_delta_version_with_basejob_and_delta_default,
 844
 845    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
 846    "SELECT DISTINCT ON (FilenameId, PathId, DeltaSeq) JobTDate, JobId, FileId, "
 847          "FileIndex, PathId, FilenameId, LStat, MD5, DeltaSeq "
 848    "FROM "
 849     "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5,DeltaSeq "
 850          "FROM File WHERE JobId IN (%s) AND FilenameId = %s AND PathId = %s "
 851         "UNION ALL "
 852        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
 853               "File.FileIndex, LStat, MD5, DeltaSeq "
 854          "FROM BaseFiles JOIN File USING (FileId) "
 855         "WHERE BaseFiles.JobId IN (%s) AND FilenameId = %s AND PathId = %s "
 856        ") AS T JOIN Job USING (JobId) "
 857    "ORDER BY FilenameId, PathId, DeltaSeq, JobTDate DESC ",
 858
 859    /* SQLite3 */
 860    bvfs_select_delta_version_with_basejob_and_delta_default
 861 };
 862
 863
 864 const char *batch_lock_path_query[] = {
 865    /* Mysql */
 866    "LOCK TABLES Path write, batch write, Path as p write",
 867
 868    /* Postgresql */
 869    "BEGIN; LOCK TABLE Path IN SHARE ROW EXCLUSIVE MODE",
 870
 871    /* SQLite3 */
 872    "BEGIN"
 873 };
 874
 875 const char *batch_lock_filename_query[] = {
 876    /* Mysql */
 877    "LOCK TABLES Filename write, batch write, Filename as f write",
 878
 879    /* Postgresql */
 880    "BEGIN; LOCK TABLE Filename IN SHARE ROW EXCLUSIVE MODE",
 881
 882    /* SQLite3 */
 883    "BEGIN"
 884 };
 885
 886 const char *batch_unlock_tables_query[] = {
 887    /* Mysql */
 888    "UNLOCK TABLES",
 889
 890    /* Postgresql */
 891    "COMMIT",
 892
 893    /* SQLite3 */
 894    "COMMIT"
 895 };
 896
 897 const char *batch_fill_path_query[] = {
 898    /* Mysql */
 899    "INSERT INTO Path (Path) "
 900       "SELECT a.Path FROM "
 901          "(SELECT DISTINCT Path FROM batch) AS a WHERE NOT EXISTS "
 902          "(SELECT Path FROM Path AS p WHERE p.Path = a.Path)",
 903
 904    /* Postgresql */
 905    "INSERT INTO Path (Path) "
 906       "SELECT a.Path FROM "
 907          "(SELECT DISTINCT Path FROM batch) AS a "
 908        "WHERE NOT EXISTS (SELECT Path FROM Path WHERE Path = a.Path) ",
 909
 910    /* SQLite3 */
 911    "INSERT INTO Path (Path) "
 912       "SELECT DISTINCT Path FROM batch "
 913       "EXCEPT SELECT Path FROM Path"
 914 };
 915
 916 const char *batch_fill_filename_query[] = {
 917    /* Mysql */
 918    "INSERT INTO Filename (Name) "
 919       "SELECT a.Name FROM "
 920          "(SELECT DISTINCT Name FROM batch) AS a WHERE NOT EXISTS "
 921          "(SELECT Name FROM Filename AS f WHERE f.Name = a.Name)",
 922
 923    /* Postgresql */
 924    "INSERT INTO Filename (Name) "
 925       "SELECT a.Name FROM "
 926          "(SELECT DISTINCT Name FROM batch) as a "
 927        "WHERE NOT EXISTS "
 928         "(SELECT Name FROM Filename WHERE Name = a.Name)",
 929
 930    /* SQLite3 */
 931    "INSERT INTO Filename (Name) "
 932       "SELECT DISTINCT Name FROM batch "
 933       "EXCEPT SELECT Name FROM Filename"
 934 };
 935
 936 const char *match_query[] = {
 937    /* Mysql */
 938    "REGEXP",
 939
 940    /* Postgresql */
 941    "~",
 942
 943    /* SQLite3 */
 944    "LIKE"                      /* MATCH doesn't seems to work anymore... */
 945 };
 946
 947 static const char *insert_counter_values_default =
 948    "INSERT INTO Counters (Counter, MinValue, "
 949    "MaxValue, CurrentValue, WrapCounter) "
 950    "VALUES ('%s','%d','%d','%d','%s')";
 951
 952 const char *insert_counter_values[] = {
 953    /* Mysql */
 954    "INSERT INTO Counters (Counter, Counters.MinValue, "
 955    "Counters.MaxValue, CurrentValue, WrapCounter) "
 956    "VALUES ('%s','%d','%d','%d','%s')",
 957
 958    /* Postgresql */
 959    insert_counter_values_default,
 960
 961    /* SQLite3 */
 962    insert_counter_values_default
 963 };
 964
 965 static const char *select_counter_values_default =
 966    "SELECT MinValue, MaxValue, CurrentValue, WrapCounter "
 967    "FROM Counters WHERE Counter='%s'";
 968
 969 const char *select_counter_values[] = {
 970    /* Mysql */
 971    "SELECT Counters.MinValue, Counters.MaxValue, CurrentValue, WrapCounter "
 972    "FROM Counters WHERE Counter='%s'",
 973
 974    /* Postgresql */
 975    select_counter_values_default,
 976
 977    /* SQLite3 */
 978    select_counter_values_default
 979 };
 980
 981 static const char *update_counter_values_default =
 982    "UPDATE Counters SET "
 983    "MinValue=%d, MaxValue=%d, CurrentValue=%d, WrapCounter='%s'"
 984    "WHERE Counter='%s'";
 985
 986 const char *update_counter_values[] = {
 987    /* Mysql */
 988    "UPDATE Counters SET "
 989    "Counters.MinValue=%d, Counters.MaxValue=%d, CurrentValue=%d, WrapCounter='%s'"
 990    "WHERE Counter='%s'",
 991
 992    /* Postgresql */
 993    update_counter_values_default,
 994
 995    /* SQLite3 */
 996    update_counter_values_default
 997 };
 998
 999 static const char *expired_volumes_defaults =
1000 "SELECT Media.VolumeName  AS volumename, "
1001        "Media.LastWritten AS lastwritten "
1002 " FROM  Media "
1003 " WHERE VolStatus IN ('Full', 'Used') "
1004      " AND ( Media.LastWritten +  Media.VolRetention ) < NOW() "
1005      " %s ";
1006
1007 const char *expired_volumes[] = {
1008    /* Mysql */
1009    expired_volumes_defaults,
1010
1011    /* Postgresql */
1012    "SELECT Media.VolumeName, Media.LastWritten "
1013    " FROM  Media "
1014    " WHERE VolStatus IN ('Full', 'Used') "
1015      " AND ( Media.LastWritten + (interval '1 second' * Media.VolRetention ) < NOW()) "
1016      " %s ",
1017
1018    /* SQLite3 */
1019    expired_volumes_defaults
1020 };