]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/cats/sql_cmds.c
Backport of class based catalog backends into Branch-5.1.
[bacula/bacula] / bacula / src / cats / sql_cmds.c
1 /*
2    Bacula® - The Network Backup Solution
3
4    Copyright (C) 2002-2010 Free Software Foundation Europe e.V.
5
6    The main author of Bacula is Kern Sibbald, with contributions from
7    many others, a complete list can be found in the file AUTHORS.
8    This program is Free Software; you can redistribute it and/or
9    modify it under the terms of version three of the GNU Affero General Public
10    License as published by the Free Software Foundation and included
11    in the file LICENSE.
12
13    This program is distributed in the hope that it will be useful, but
14    WITHOUT ANY WARRANTY; without even the implied warranty of
15    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
16    General Public License for more details.
17
18    You should have received a copy of the GNU Affero General Public License
19    along with this program; if not, write to the Free Software
20    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
21    02110-1301, USA.
22
23    Bacula® is a registered trademark of Kern Sibbald.
24    The licensor of Bacula is the Free Software Foundation Europe
25    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
26    Switzerland, email:ftf@fsfeurope.org.
27 */
28 /*
29  *  This file contains all the SQL commands that are either issued by the
30  *  Director or which are database backend specific.
31  *
32  *     Kern Sibbald, July MMII
33  */
34 /*
35  * Note, PostgreSQL imposes some constraints on using DISTINCT and GROUP BY
36  *  for example, the following is illegal in PostgreSQL:
37  *  SELECT DISTINCT JobId FROM temp ORDER BY StartTime ASC;
38  *  because all the ORDER BY expressions must appear in the SELECT list!
39  */
40
41 #include "bacula.h"
42
43 const char *cleanup_created_job =
44    "UPDATE Job SET JobStatus='f', StartTime=SchedTime, EndTime=SchedTime "
45    "WHERE JobStatus = 'C'";
46 const char *cleanup_running_job = 
47    "UPDATE Job SET JobStatus='f', EndTime=StartTime WHERE JobStatus = 'R'";
48
49 /* For sql_update.c db_update_stats */
50 const char *fill_jobhisto =
51         "INSERT INTO JobHisto (" 
52            "JobId, Job, Name, Type, Level, ClientId, JobStatus, "
53            "SchedTime, StartTime, EndTime, RealEndTime, JobTDate, "
54            "VolSessionId, VolSessionTime, JobFiles, JobBytes, ReadBytes, "
55            "JobErrors, JobMissingFiles, PoolId, FileSetId, PriorJobId, "
56            "PurgedFiles, HasBase, Reviewed, Comment ) "
57         "SELECT " 
58            "JobId, Job, Name, Type, Level, ClientId, JobStatus, "
59            "SchedTime, StartTime, EndTime, RealEndTime, JobTDate, "
60            "VolSessionId, VolSessionTime, JobFiles, JobBytes, ReadBytes, "
61            "JobErrors, JobMissingFiles, PoolId, FileSetId, PriorJobId, "
62            "PurgedFiles, HasBase, Reviewed, Comment "
63           "FROM Job "
64          "WHERE JobStatus IN ('T','W','f','A','E') "
65            "AND NOT EXISTS "
66                 "(SELECT JobHisto.JobId "
67                    "FROM JobHisto WHERE JobHisto.Jobid=Job.JobId) "
68            "AND JobTDate < %s ";
69
70 /* For ua_update.c */
71 const char *list_pool = "SELECT * FROM Pool WHERE PoolId=%s";
72
73 /* For ua_dotcmds.c */
74 const char *client_backups =
75    "SELECT DISTINCT Job.JobId,Client.Name as Client,Level,StartTime,"
76    "JobFiles,JobBytes,VolumeName,MediaType,FileSet,Media.Enabled as Enabled"
77    " FROM Client,Job,JobMedia,Media,FileSet"
78    " WHERE Client.Name='%s'"
79    " AND FileSet='%s'"
80    " AND Client.ClientId=Job.ClientId"
81    " AND JobStatus IN ('T','W') AND Type='B'" 
82    " AND JobMedia.JobId=Job.JobId AND JobMedia.MediaId=Media.MediaId"
83    " AND Job.FileSetId=FileSet.FileSetId"
84    " ORDER BY Job.StartTime";
85
86
87 /* ====== ua_prune.c */
88
89 const char *del_File     = "DELETE FROM File WHERE JobId=%s";
90 const char *upd_Purged   = "UPDATE Job Set PurgedFiles=1 WHERE JobId=%s";
91 const char *cnt_DelCand  = "SELECT count(*) FROM DelCandidates";
92 const char *del_Job      = "DELETE FROM Job WHERE JobId=%s";
93 const char *del_JobMedia = "DELETE FROM JobMedia WHERE JobId=%s";
94 const char *cnt_JobMedia = "SELECT count(*) FROM JobMedia WHERE MediaId=%s";
95
96 const char *sel_JobMedia = 
97    "SELECT DISTINCT JobMedia.JobId FROM JobMedia,Job "
98    "WHERE MediaId=%s AND Job.JobId=JobMedia.JobId "
99    "AND Job.JobTDate<%s";
100
101 /* Count Select JobIds for File deletion */
102 const char *count_select_job = 
103    "SELECT count(*) from Job "
104    "WHERE JobTDate<%s "
105    "AND ClientId=%s "
106    "AND PurgedFiles=0";
107
108
109 /* Select JobIds for File deletion. */
110 const char *select_job =
111    "SELECT DISTINCT JobId from Job "
112    "WHERE JobTDate<%s "
113    "AND ClientId=%s "
114    "AND PurgedFiles=0";
115
116 /* Delete temp tables and indexes  */
117 const char *drop_deltabs[] = {
118    "DROP TABLE DelCandidates",
119    NULL};
120
121 const char *create_delindex = "CREATE INDEX DelInx1 ON DelCandidates (JobId)";
122
123 /* ======= ua_restore.c */
124 const char *uar_count_files =
125    "SELECT JobFiles FROM Job WHERE JobId=%s";
126
127 /* List last 20 Jobs */
128 const char *uar_list_jobs =
129    "SELECT JobId,Client.Name as Client,StartTime,Level as "
130    "JobLevel,JobFiles,JobBytes "
131    "FROM Client,Job WHERE Client.ClientId=Job.ClientId AND JobStatus IN ('T','W') "
132    "AND Type='B' ORDER BY StartTime DESC LIMIT 20";
133
134 const char *uar_print_jobs =  
135    "SELECT DISTINCT JobId,Level,JobFiles,JobBytes,StartTime,VolumeName"
136    " FROM Job JOIN JobMedia USING (JobId) JOIN Media USING (MediaId) "
137    " WHERE JobId IN (%s) "
138    " ORDER BY StartTime ASC";
139
140 /*
141  * Find all files for a particular JobId and insert them into
142  *  the tree during a restore.
143  */
144 const char *uar_sel_files =
145    "SELECT Path.Path,Filename.Name,FileIndex,JobId,LStat "
146    "FROM File,Filename,Path "
147    "WHERE File.JobId IN (%s) AND Filename.FilenameId=File.FilenameId "
148    "AND Path.PathId=File.PathId";
149
150 const char *uar_del_temp  = "DROP TABLE temp";
151 const char *uar_del_temp1 = "DROP TABLE temp1";
152
153 const char *uar_last_full =
154    "INSERT INTO temp1 SELECT Job.JobId,JobTdate "
155    "FROM Client,Job,JobMedia,Media,FileSet WHERE Client.ClientId=%s "
156    "AND Job.ClientId=%s "
157    "AND Job.StartTime < '%s' "
158    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
159    "AND JobMedia.JobId=Job.JobId "
160    "AND Media.Enabled=1 "
161    "AND JobMedia.MediaId=Media.MediaId "
162    "AND Job.FileSetId=FileSet.FileSetId "
163    "AND FileSet.FileSet='%s' "
164    "%s"
165    "ORDER BY Job.JobTDate DESC LIMIT 1";
166
167 const char *uar_full =
168    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,"
169    "Job.ClientId,Job.Level,Job.JobFiles,Job.JobBytes,"
170    "StartTime,VolumeName,JobMedia.StartFile,VolSessionId,VolSessionTime "
171    "FROM temp1,Job,JobMedia,Media WHERE temp1.JobId=Job.JobId "
172    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
173    "AND Media.Enabled=1 "
174    "AND JobMedia.JobId=Job.JobId "
175    "AND JobMedia.MediaId=Media.MediaId";
176
177 const char *uar_dif =
178    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,Job.ClientId,"
179    "Job.Level,Job.JobFiles,Job.JobBytes,"
180    "Job.StartTime,Media.VolumeName,JobMedia.StartFile,"
181    "Job.VolSessionId,Job.VolSessionTime "
182    "FROM Job,JobMedia,Media,FileSet "
183    "WHERE Job.JobTDate>%s AND Job.StartTime<'%s' "
184    "AND Job.ClientId=%s "
185    "AND JobMedia.JobId=Job.JobId "
186    "AND Media.Enabled=1 "
187    "AND JobMedia.MediaId=Media.MediaId "
188    "AND Job.Level='D' AND JobStatus IN ('T','W') AND Type='B' "
189    "AND Job.FileSetId=FileSet.FileSetId "
190    "AND FileSet.FileSet='%s' "
191    "%s"
192    "ORDER BY Job.JobTDate DESC LIMIT 1";
193
194 const char *uar_inc =
195    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,Job.ClientId,"
196    "Job.Level,Job.JobFiles,Job.JobBytes,"
197    "Job.StartTime,Media.VolumeName,JobMedia.StartFile,"
198    "Job.VolSessionId,Job.VolSessionTime "
199    "FROM Job,JobMedia,Media,FileSet "
200    "WHERE Job.JobTDate>%s AND Job.StartTime<'%s' "
201    "AND Job.ClientId=%s "
202    "AND Media.Enabled=1 "
203    "AND JobMedia.JobId=Job.JobId "
204    "AND JobMedia.MediaId=Media.MediaId "
205    "AND Job.Level='I' AND JobStatus IN ('T','W') AND Type='B' "
206    "AND Job.FileSetId=FileSet.FileSetId "
207    "AND FileSet.FileSet='%s' "
208    "%s";
209
210 const char *uar_list_temp =
211    "SELECT DISTINCT JobId,Level,JobFiles,JobBytes,StartTime,VolumeName"
212    " FROM temp"
213    " ORDER BY StartTime ASC";
214
215
216 const char *uar_sel_jobid_temp = 
217    "SELECT DISTINCT JobId,StartTime FROM temp ORDER BY StartTime ASC";
218
219 const char *uar_sel_all_temp1 = "SELECT * FROM temp1";
220
221 const char *uar_sel_all_temp = "SELECT * FROM temp";
222
223
224
225 /* Select FileSet names for this Client */
226 const char *uar_sel_fileset =
227    "SELECT DISTINCT FileSet.FileSet FROM Job,"
228    "Client,FileSet WHERE Job.FileSetId=FileSet.FileSetId "
229    "AND Job.ClientId=%s AND Client.ClientId=%s "
230    "ORDER BY FileSet.FileSet";
231
232 /* Select all different FileSet for this client
233  * This query doesn't guarantee that the Id is the latest
234  * version of the FileSet. Can be used with other queries that
235  * use Ids to select the FileSet name. (like in accurate)
236  */
237 const char *uar_sel_filesetid =
238    "SELECT MAX(FileSetId) "
239      "FROM FileSet JOIN Job USING (FileSetId) "
240          "WHERE Job.ClientId=%s "
241         "GROUP BY FileSet";
242
243 /* Find MediaType used by this Job */
244 const char *uar_mediatype =
245    "SELECT MediaType FROM JobMedia,Media WHERE JobMedia.JobId=%s "
246    "AND JobMedia.MediaId=Media.MediaId";
247
248 /*
249  *  Find JobId, FileIndex for a given path/file and date
250  *  for use when inserting individual files into the tree.
251  */
252 const char *uar_jobid_fileindex =
253    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
254    "WHERE Job.JobId=File.JobId "
255    "AND Job.StartTime<='%s' "
256    "AND Path.Path='%s' "
257    "AND Filename.Name='%s' "
258    "AND Client.Name='%s' "
259    "AND Job.ClientId=Client.ClientId "
260    "AND Path.PathId=File.PathId "
261    "AND Filename.FilenameId=File.FilenameId "
262    "AND JobStatus IN ('T','W') AND Type='B' "
263    "ORDER BY Job.StartTime DESC LIMIT 1";
264
265 const char *uar_jobids_fileindex =
266    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
267    "WHERE Job.JobId IN (%s) "
268    "AND Job.JobId=File.JobId "
269    "AND Job.StartTime<='%s' "
270    "AND Path.Path='%s' "
271    "AND Filename.Name='%s' "
272    "AND Client.Name='%s' "
273    "AND Job.ClientId=Client.ClientId "
274    "AND Path.PathId=File.PathId "
275    "AND Filename.FilenameId=File.FilenameId "
276    "ORDER BY Job.StartTime DESC LIMIT 1";
277
278 /* Query to get list of files from table -- presuably built by an external program */
279 const char *uar_jobid_fileindex_from_table = 
280    "SELECT JobId,FileIndex from %s";
281
282 /* Get the list of the last recent version per Delta with a given jobid list 
283  * This is a tricky part because with SQL the result of 
284  *
285  * SELECT MAX(A), B, C, D FROM... GROUP BY (B,C)
286  *
287  * doesn't give the good result (for D).
288  *
289  * With PostgreSQL, we can use DISTINCT ON(), but with Mysql or Sqlite,
290  * we need an extra join using JobTDate. 
291  */
292 const char *select_recent_version_with_basejob_default = 
293 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
294        "File.FilenameId AS FilenameId, LStat, MD5, MarkId, "
295        "Job.JobTDate AS JobTDate "
296 "FROM Job, File, ( "
297     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
298       "FROM ( "
299         "SELECT JobTDate, PathId, FilenameId "   /* Get all normal files */
300           "FROM File JOIN Job USING (JobId) "    /* from selected backup */
301          "WHERE File.JobId IN (%s) "
302           "UNION ALL "
303         "SELECT JobTDate, PathId, FilenameId "   /* Get all files from */ 
304           "FROM BaseFiles "                      /* BaseJob */
305                "JOIN File USING (FileId) "
306                "JOIN Job  ON    (BaseJobId = Job.JobId) "
307          "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
308        ") AS tmp "
309        "GROUP BY PathId, FilenameId "            /* the latest file version */
310     ") AS T1 "
311 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
312         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
313         "OR Job.JobId IN (%s)) "
314   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
315   "AND Job.JobId = File.JobId "     /* Job/File record */
316   "AND T1.PathId = File.PathId "
317   "AND T1.FilenameId = File.FilenameId";
318
319 const char *select_recent_version_with_basejob[] = {
320    /* MySQL */
321    select_recent_version_with_basejob_default,
322
323    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
324    "SELECT DISTINCT ON (FilenameId, PathId) JobTDate, JobId, FileId, "
325          "FileIndex, PathId, FilenameId, LStat, MD5, MarkId "
326    "FROM "
327      "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5, MarkId "
328          "FROM File WHERE JobId IN (%s) "
329         "UNION ALL "
330        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
331               "File.FileIndex, LStat, MD5, MarkId "
332          "FROM BaseFiles JOIN File USING (FileId) "
333         "WHERE BaseFiles.JobId IN (%s) "
334        ") AS T JOIN Job USING (JobId) "
335    "ORDER BY FilenameId, PathId, JobTDate DESC ",
336
337    /* SQLite3 */
338    select_recent_version_with_basejob_default,
339
340    /* Ingres */
341    select_recent_version_with_basejob_default
342 };
343
344 /* We do the same thing than the previous query, but we include
345  * all delta parts. If the file has been deleted, we can have irrelevant
346  * parts.
347  *
348  * The code that uses results should control the delta sequence with
349  * the following rules:
350  * First Delta = 0
351  * Delta = Previous Delta + 1
352  *
353  * If we detect a gap, we can discard further pieces
354  * If a file starts at 1 instead of 0, the file has been deleted, and further
355  * pieces are useless.
356  * 
357  * This control should be reset for each new file
358  */
359 const char *select_recent_version_with_basejob_and_delta_default = 
360 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
361        "File.FilenameId AS FilenameId, LStat, MD5, File.MarkId AS MarkId, "
362        "Job.JobTDate AS JobTDate "
363 "FROM Job, File, ( "
364     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId, MarkId "
365       "FROM ( "
366        "SELECT JobTDate, PathId, FilenameId, MarkId " /* Get all normal files */
367          "FROM File JOIN Job USING (JobId) "          /* from selected backup */
368         "WHERE File.JobId IN (%s) "
369          "UNION ALL "
370        "SELECT JobTDate, PathId, FilenameId, MarkId " /* Get all files from */ 
371          "FROM BaseFiles "                            /* BaseJob */
372               "JOIN File USING (FileId) "
373               "JOIN Job  ON    (BaseJobId = Job.JobId) "
374         "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
375        ") AS tmp "
376        "GROUP BY PathId, FilenameId, MarkId "    /* the latest file version */
377     ") AS T1 "
378 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
379         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
380         "OR Job.JobId IN (%s)) "
381   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
382   "AND Job.JobId = File.JobId "     /* Job/File record */
383   "AND T1.PathId = File.PathId "
384   "AND T1.FilenameId = File.FilenameId";
385
386 const char *select_recent_version_with_basejob_and_delta[] = {
387    /* MySQL */
388    select_recent_version_with_basejob_and_delta_default,
389
390    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
391    "SELECT DISTINCT ON (FilenameId, PathId, MarkId) JobTDate, JobId, FileId, "
392          "FileIndex, PathId, FilenameId, LStat, MD5, MarkId "
393    "FROM "
394      "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5, MarkId "
395          "FROM File WHERE JobId IN (%s) "
396         "UNION ALL "
397        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
398               "File.FileIndex, LStat, MD5, MarkId "
399          "FROM BaseFiles JOIN File USING (FileId) "
400         "WHERE BaseFiles.JobId IN (%s) "
401        ") AS T JOIN Job USING (JobId) "
402    "ORDER BY FilenameId, PathId, MarkId, JobTDate DESC ",
403
404    /* SQLite3 */
405    select_recent_version_with_basejob_and_delta_default,
406
407    /* Ingres */
408    select_recent_version_with_basejob_and_delta_default
409 };
410
411 /* Get the list of the last recent version with a given BaseJob jobid list
412  * We don't handle Delta with BaseJobs, they have only Full files
413  */
414 const char *select_recent_version_default = 
415   "SELECT j1.JobId AS JobId, f1.FileId AS FileId, f1.FileIndex AS FileIndex, "
416           "f1.PathId AS PathId, f1.FilenameId AS FilenameId, "
417           "f1.LStat AS LStat, f1.MD5 AS MD5, j1.JobTDate "
418      "FROM ( "     /* Choose the last version for each Path/Filename */
419        "SELECT max(JobTDate) AS JobTDate, PathId, FilenameId "
420          "FROM File JOIN Job USING (JobId) "
421         "WHERE File.JobId IN (%s) "
422        "GROUP BY PathId, FilenameId "
423      ") AS t1, Job AS j1, File AS f1 "
424     "WHERE t1.JobTDate = j1.JobTDate "
425       "AND j1.JobId IN (%s) "
426       "AND t1.FilenameId = f1.FilenameId "
427       "AND t1.PathId = f1.PathId "
428       "AND j1.JobId = f1.JobId";
429
430 const char *select_recent_version[] = {
431    /* MySQL */
432    select_recent_version_default,
433
434    /* Postgresql */
435    "SELECT DISTINCT ON (FilenameId, PathId) JobTDate, JobId, FileId, "
436           "FileIndex, PathId, FilenameId, LStat, MD5 "
437      "FROM File JOIN Job USING (JobId) "
438     "WHERE JobId IN (%s) "
439     "ORDER BY FilenameId, PathId, JobTDate DESC ",
440
441    /* SQLite3 */
442    select_recent_version_default,
443
444    /* Ingres */
445    select_recent_version_default
446 };
447
448 /* We don't create this table as TEMPORARY because MySQL MyISAM 
449  * 5.0 and 5.1 are unable to run further queries in this mode
450  */
451 const char *create_temp_accurate_jobids_default =
452  "CREATE TABLE btemp3%s AS "
453     "SELECT JobId, StartTime, EndTime, JobTDate, PurgedFiles "
454       "FROM Job JOIN FileSet USING (FileSetId) "
455      "WHERE ClientId = %s "
456        "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
457        "AND StartTime<'%s' "
458        "AND FileSet.FileSet=(SELECT FileSet FROM FileSet WHERE FileSetId = %s) "
459      "ORDER BY Job.JobTDate DESC LIMIT 1";
460
461 const char *create_temp_accurate_jobids[] = {
462    /* Mysql */
463    create_temp_accurate_jobids_default,
464
465    /* Postgresql */
466    create_temp_accurate_jobids_default,
467
468    /* SQLite3 */
469    create_temp_accurate_jobids_default,
470
471    /* Ingres */
472    "DECLARE GLOBAL TEMPORARY TABLE btemp3%s AS "
473    "SELECT JobId, StartTime, EndTime, JobTDate, PurgedFiles "
474    "FROM Job JOIN FileSet USING (FileSetId) "
475    "WHERE ClientId = %s "
476    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
477    "AND StartTime<'%s' "
478    "AND FileSet.FileSet=(SELECT FileSet FROM FileSet WHERE FileSetId = %s) "
479    "ORDER BY Job.JobTDate DESC FETCH FIRST 1 ROW ONLY "
480    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
481 };
482
483 const char *create_temp_basefile[] = {
484    /* Mysql */
485    "CREATE TEMPORARY TABLE basefile%lld ("
486    "Path BLOB NOT NULL,"
487    "Name BLOB NOT NULL)",
488
489    /* Postgresql */
490    "CREATE TEMPORARY TABLE basefile%lld ("
491    "Path TEXT,"
492    "Name TEXT)",
493
494    /* SQLite3 */
495    "CREATE TEMPORARY TABLE basefile%lld ("
496    "Path TEXT,"
497    "Name TEXT)",
498
499    /* Ingres */
500    "DECLARE GLOBAL TEMPORARY TABLE basefile%lld ("
501    "Path VARBYTE(32000) NOT NULL,"
502    "Name VARBYTE(32000) NOT NULL) "
503    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
504 };
505
506 const char *create_temp_new_basefile[] = {
507    /* Mysql */
508    "CREATE TEMPORARY TABLE new_basefile%lld AS "
509    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
510    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
511    "Temp.MD5 AS MD5 "
512    "FROM ( %s ) AS Temp "
513    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
514    "JOIN Path ON (Path.PathId = Temp.PathId) "
515    "WHERE Temp.FileIndex > 0",
516
517    /* Postgresql */
518    "CREATE TEMPORARY TABLE new_basefile%lld AS "
519    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
520    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
521    "Temp.MD5 AS MD5 "
522    "FROM ( %s ) AS Temp "
523    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
524    "JOIN Path ON (Path.PathId = Temp.PathId) "
525    "WHERE Temp.FileIndex > 0",
526
527    /* SQLite3 */
528    "CREATE TEMPORARY TABLE new_basefile%lld AS "
529    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
530    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
531    "Temp.MD5 AS MD5 "
532    "FROM ( %s ) AS Temp "
533    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
534    "JOIN Path ON (Path.PathId = Temp.PathId) "
535    "WHERE Temp.FileIndex > 0",
536
537    /* Ingres */
538    "DECLARE GLOBAL TEMPORARY TABLE new_basefile%lld AS "
539    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
540    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
541    "Temp.MD5 AS MD5 "
542    "FROM ( %s ) AS Temp "
543    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
544    "JOIN Path ON (Path.PathId = Temp.PathId) "
545    "WHERE Temp.FileIndex > 0 "
546    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
547 };
548
549 /* ====== ua_prune.c */
550
551 /* List of SQL commands to create temp table and indicies  */
552 const char *create_deltabs[] = {
553    /* MySQL */
554    "CREATE TEMPORARY TABLE DelCandidates ("
555    "JobId INTEGER UNSIGNED NOT NULL, "
556    "PurgedFiles TINYINT, "
557    "FileSetId INTEGER UNSIGNED, "
558    "JobFiles INTEGER UNSIGNED, "
559    "JobStatus BINARY(1))",
560
561    /* Postgresql */
562    "CREATE TEMPORARY TABLE DelCandidates (" 
563    "JobId INTEGER NOT NULL, "
564    "PurgedFiles SMALLINT, "
565    "FileSetId INTEGER, "
566    "JobFiles INTEGER, "
567    "JobStatus char(1))",
568
569    /* SQLite3 */
570    "CREATE TEMPORARY TABLE DelCandidates ("
571    "JobId INTEGER UNSIGNED NOT NULL, "
572    "PurgedFiles TINYINT, "
573    "FileSetId INTEGER UNSIGNED, "
574    "JobFiles INTEGER UNSIGNED, "
575    "JobStatus CHAR)",
576
577    /* Ingres */
578    "DECLARE GLOBAL TEMPORARY TABLE DelCandidates (" 
579    "JobId INTEGER NOT NULL, "
580    "PurgedFiles SMALLINT, "
581    "FileSetId INTEGER, "
582    "JobFiles INTEGER, "
583    "JobStatus CHAR(1)) "
584    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
585 };
586
587 /* ======= ua_purge.c */
588
589 /* Select the first available Copy Job that must be upgraded to a Backup job when the original backup job is expired. */
590
591 const char *uap_upgrade_copies_oldest_job_default = 
592 "CREATE TEMPORARY TABLE cpy_tmp AS "
593        "SELECT MIN(JobId) AS JobId FROM Job "     /* Choose the oldest job */
594         "WHERE Type='%c' "                        /* JT_JOB_COPY */
595           "AND ( PriorJobId IN (%s) "             /* JobId selection */
596               "OR "
597                " PriorJobId IN ( "
598                   "SELECT PriorJobId "
599                     "FROM Job "
600                    "WHERE JobId IN (%s) "         /* JobId selection */
601                     " AND Type='B' "
602                  ") "
603               ") "
604           "GROUP BY PriorJobId ";           /* one result per copy */
605
606 const char *uap_upgrade_copies_oldest_job[] = {
607    /* Mysql */
608    uap_upgrade_copies_oldest_job_default,
609
610    /* Postgresql */
611    uap_upgrade_copies_oldest_job_default,
612
613    /* SQLite3 */
614    uap_upgrade_copies_oldest_job_default,
615
616    /* Ingres */
617    "DECLARE GLOBAL TEMPORARY TABLE cpy_tmp AS "
618        "SELECT MIN(JobId) AS JobId FROM Job "     /* Choose the oldest job */
619         "WHERE Type='%c' "                        /* JT_JOB_COPY */
620           "AND ( PriorJobId IN (%s) "             /* JobId selection */
621               "OR "
622                " PriorJobId IN ( "
623                   "SELECT PriorJobId "
624                     "FROM Job "
625                    "WHERE JobId IN (%s) "         /* JobId selection */
626                     " AND Type='B' "
627                  ") "
628               ") "
629           "GROUP BY PriorJobId "           /* one result per copy */
630    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
631 };
632
633 /* ======= ua_restore.c */
634
635 /* List Jobs where a particular file is saved */
636 const char *uar_file[] = {
637    /* Mysql */
638    "SELECT Job.JobId as JobId,"
639    "CONCAT(Path.Path,Filename.Name) as Name, "
640    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
641    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
642    "AND Client.ClientId=Job.ClientId "
643    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
644    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
645    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
646
647    /* Postgresql */
648    "SELECT Job.JobId as JobId,"
649    "Path.Path||Filename.Name as Name, "
650    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
651    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
652    "AND Client.ClientId=Job.ClientId "
653    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
654    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
655    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
656
657    /* SQLite3 */
658    "SELECT Job.JobId as JobId,"
659    "Path.Path||Filename.Name as Name, "
660    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
661    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
662    "AND Client.ClientId=Job.ClientId "
663    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
664    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
665    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
666
667    /* Ingres */
668    "SELECT Job.JobId as JobId,"
669    "Path.Path||Filename.Name as Name, "
670    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
671    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
672    "AND Client.ClientId=Job.ClientId "
673    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
674    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
675    "AND Filename.Name='%s' ORDER BY StartTime DESC FETCH FIRST 20 ROWS ONLY"
676 };
677
678 const char *uar_create_temp[] = {
679    /* Mysql */
680    "CREATE TEMPORARY TABLE temp ("
681    "JobId INTEGER UNSIGNED NOT NULL,"
682    "JobTDate BIGINT UNSIGNED,"
683    "ClientId INTEGER UNSIGNED,"
684    "Level CHAR,"
685    "JobFiles INTEGER UNSIGNED,"
686    "JobBytes BIGINT UNSIGNED,"
687    "StartTime TEXT,"
688    "VolumeName TEXT,"
689    "StartFile INTEGER UNSIGNED,"
690    "VolSessionId INTEGER UNSIGNED,"
691    "VolSessionTime INTEGER UNSIGNED)",
692
693    /* Postgresql */
694    "CREATE TEMPORARY TABLE temp ("
695    "JobId INTEGER NOT NULL,"
696    "JobTDate BIGINT,"
697    "ClientId INTEGER,"
698    "Level CHAR,"
699    "JobFiles INTEGER,"
700    "JobBytes BIGINT,"
701    "StartTime TEXT,"
702    "VolumeName TEXT,"
703    "StartFile INTEGER,"
704    "VolSessionId INTEGER,"
705    "VolSessionTime INTEGER)",
706
707    /* SQLite3 */
708    "CREATE TEMPORARY TABLE temp ("
709    "JobId INTEGER UNSIGNED NOT NULL,"
710    "JobTDate BIGINT UNSIGNED,"
711    "ClientId INTEGER UNSIGNED,"
712    "Level CHAR,"
713    "JobFiles INTEGER UNSIGNED,"
714    "JobBytes BIGINT UNSIGNED,"
715    "StartTime TEXT,"
716    "VolumeName TEXT,"
717    "StartFile INTEGER UNSIGNED,"
718    "VolSessionId INTEGER UNSIGNED,"
719    "VolSessionTime INTEGER UNSIGNED)",
720
721    /* Ingres */
722    "DECLARE GLOBAL TEMPORARY TABLE temp ("
723    "JobId INTEGER NOT NULL,"
724    "JobTDate BIGINT,"
725    "ClientId INTEGER,"
726    "Level CHAR(1),"
727    "JobFiles INTEGER,"
728    "JobBytes BIGINT,"
729    "StartTime TIMESTAMP WITHOUT TIME ZONE,"
730    "VolumeName VARBYTE(128),"
731    "StartFile INTEGER,"
732    "VolSessionId INTEGER,"
733    "VolSessionTime INTEGER) "
734    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
735 };
736
737 const char *uar_create_temp1[] = {
738    /* Mysql */
739    "CREATE TEMPORARY TABLE temp1 ("
740    "JobId INTEGER UNSIGNED NOT NULL,"
741    "JobTDate BIGINT UNSIGNED)",
742
743    /* Postgresql */
744    "CREATE TEMPORARY TABLE temp1 ("
745    "JobId INTEGER NOT NULL,"
746    "JobTDate BIGINT)",
747
748    /* SQLite3 */
749    "CREATE TEMPORARY TABLE temp1 ("
750    "JobId INTEGER UNSIGNED NOT NULL,"
751    "JobTDate BIGINT UNSIGNED)",
752
753    /* Ingres */
754    "DECLARE GLOBAL TEMPORARY TABLE temp1 ("
755    "JobId INTEGER NOT NULL,"
756    "JobTDate BIGINT) "
757    "ON COMMIT PRESERVE ROWS WITH NORECOVERY"
758 };
759
760 /* Query to get all files in a directory -- no recursing   
761  *  Note, for PostgreSQL since it respects the "Single Value
762  *  rule", the results of the SELECT will be unoptimized.
763  *  I.e. the same file will be restored multiple times, once
764  *  for each time it was backed up.
765  */
766
767 const char *uar_jobid_fileindex_from_dir[] = {
768    /* Mysql */
769    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
770    "WHERE Job.JobId IN (%s) "
771    "AND Job.JobId=File.JobId "
772    "AND Path.Path='%s' "
773    "AND Client.Name='%s' "
774    "AND Job.ClientId=Client.ClientId "
775    "AND Path.PathId=File.Pathid "
776    "AND Filename.FilenameId=File.FilenameId "
777    "GROUP BY File.FileIndex ",
778
779    /* Postgresql */
780    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
781    "WHERE Job.JobId IN (%s) "
782    "AND Job.JobId=File.JobId "
783    "AND Path.Path='%s' "
784    "AND Client.Name='%s' "
785    "AND Job.ClientId=Client.ClientId "
786    "AND Path.PathId=File.Pathid "
787    "AND Filename.FilenameId=File.FilenameId",
788
789    /* SQLite3 */
790    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
791    "WHERE Job.JobId IN (%s) "
792    "AND Job.JobId=File.JobId "
793    "AND Path.Path='%s' "
794    "AND Client.Name='%s' "
795    "AND Job.ClientId=Client.ClientId "
796    "AND Path.PathId=File.Pathid "
797    "AND Filename.FilenameId=File.FilenameId "
798    "GROUP BY File.FileIndex ",
799
800    /* Ingres */
801    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
802    "WHERE Job.JobId IN (%s) "
803    "AND Job.JobId=File.JobId "
804    "AND Path.Path='%s' "
805    "AND Client.Name='%s' "
806    "AND Job.ClientId=Client.ClientId "
807    "AND Path.PathId=File.Pathid "
808    "AND Filename.FilenameId=File.FilenameId"
809 };
810
811 const char *sql_media_order_most_recently_written[] = {
812    /* Mysql */
813    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
814
815    /* Postgresql */
816    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
817
818    /* SQLite3 */
819    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
820
821    /* Ingres */
822    "ORDER BY IFNULL(LastWritten, '1970-01-01 00:00:00') DESC,MediaId"
823 };
824
825 const char *sql_get_max_connections[] = {
826    /* Mysql */
827    "SHOW VARIABLES LIKE 'max_connections'",
828
829    /* Postgresql */
830    "SHOW max_connections",
831
832    /* SQLite3 */
833    "SELECT 0",
834
835    /* Ingres (TODO) */
836    "SELECT 0"
837 };
838
839 const char *sql_bvfs_select[] = {
840    /* Mysql */
841    "CREATE TABLE %s AS ( "
842       "SELECT JobId, FileIndex, FileId, max(JobTDate) as JobTDate "
843         "FROM btemp%s "
844       "GROUP BY PathId, FilenameId "
845    "HAVING FileIndex > 0)",
846
847    /* Postgresql */
848    "CREATE TABLE %s AS ( "
849         "SELECT JobId, FileIndex, FileId "
850           "FROM ( "
851              "SELECT DISTINCT ON (PathId, FilenameId) "
852                     "JobId, FileIndex, FileId "
853                "FROM btemp%s "
854               "ORDER BY PathId, FilenameId, JobTDate DESC "
855           ") AS T "
856           "WHERE FileIndex > 0)",
857
858    /* SQLite3 */
859    "SELECT 0",
860
861    /* Ingres (TODO) */
862    "SELECT 0"
863 };
864
865 const char *sql_bvfs_list_files_default = 
866 "SELECT 'F', PathId, T1.FilenameId, Filename.Name, "
867         "File.JobId, LStat, FileId "
868 "FROM Job, File, ( "
869     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
870       "FROM ( "
871         "SELECT JobTDate, PathId, FilenameId "
872           "FROM File JOIN Job USING (JobId) "
873          "WHERE File.JobId IN (%s) AND PathId = %s "
874           "UNION ALL "
875         "SELECT JobTDate, PathId, FilenameId "
876           "FROM BaseFiles "
877                "JOIN File USING (FileId) "
878                "JOIN Job  ON    (BaseJobId = Job.JobId) "
879          "WHERE BaseFiles.JobId IN (%s)   AND PathId = %s "
880        ") AS tmp GROUP BY PathId, FilenameId LIMIT %lld OFFSET %lld"
881     ") AS T1 JOIN Filename USING (FilenameId) "
882 "WHERE T1.JobTDate = Job.JobTDate "
883   "AND Job.JobId = File.JobId "
884   "AND T1.PathId = File.PathId "
885   "AND T1.FilenameId = File.FilenameId "
886   "AND Filename.Name != '' "
887   " %s "                     /* AND Name LIKE '' */
888   "AND (Job.JobId IN ( "
889         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
890        "OR Job.JobId IN (%s)) ";
891
892 const char *sql_bvfs_list_files[] = {
893    /* Mysql */
894    /* JobId PathId JobId PathId Limit Offset AND? Filename? JobId JobId*/
895    sql_bvfs_list_files_default,
896
897    /* JobId PathId JobId PathId WHERE? Filename? Limit Offset*/
898    /* Postgresql */
899  "SELECT DISTINCT ON (FilenameId) 'F', PathId, T.FilenameId, "
900   "Filename.Name, JobId, LStat, FileId "
901    "FROM "
902        "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5 "
903           "FROM File WHERE JobId IN (%s) AND PathId = %s "
904          "UNION ALL "
905         "SELECT File.FileId, File.JobId, PathId, FilenameId, "
906                "File.FileIndex, LStat, MD5 "
907           "FROM BaseFiles JOIN File USING (FileId) "
908          "WHERE BaseFiles.JobId IN (%s) AND File.PathId = %s "
909         ") AS T JOIN Job USING (JobId) JOIN Filename USING (FilenameId) "
910         " WHERE Filename.Name != '' "
911         " %s "               /* AND Name LIKE '' */
912    "ORDER BY FilenameId, StartTime DESC LIMIT %lld OFFSET %lld",
913
914    /* SQLite */
915    sql_bvfs_list_files_default,
916
917    /* SQLite3 */
918    sql_bvfs_list_files_default,
919
920    /* Ingres (TODO) */
921    sql_bvfs_list_files_default
922 };
923
924 const char *batch_lock_path_query[] = {
925    /* Mysql */
926    "LOCK TABLES Path write, batch write, Path as p write",
927
928    /* Postgresql */
929    "BEGIN; LOCK TABLE Path IN SHARE ROW EXCLUSIVE MODE",
930
931    /* SQLite3 */
932    "BEGIN",
933
934    /* Ingres */
935    "BEGIN"
936 };
937
938 const char *batch_lock_filename_query[] = {
939    /* Mysql */
940    "LOCK TABLES Filename write, batch write, Filename as f write",
941
942    /* Postgresql */
943    "BEGIN; LOCK TABLE Filename IN SHARE ROW EXCLUSIVE MODE",
944
945    /* SQLite3 */
946    "BEGIN",
947
948    /* Ingres */
949    "BEGIN"
950 };
951
952 const char *batch_unlock_tables_query[] = {
953    /* Mysql */
954    "UNLOCK TABLES",
955
956    /* Postgresql */
957    "COMMIT",
958
959    /* SQLite3 */
960    "COMMIT",
961
962    /* Ingres */
963    "COMMIT"
964 };
965
966 const char *batch_fill_path_query[] = {
967    /* Mysql */
968    "INSERT INTO Path (Path) "
969    "SELECT a.Path FROM "
970    "(SELECT DISTINCT Path FROM batch) AS a WHERE NOT EXISTS "
971    "(SELECT Path FROM Path AS p WHERE p.Path = a.Path)",
972
973    /* Postgresql */
974    "INSERT INTO Path (Path) "
975    "SELECT a.Path FROM "
976    "(SELECT DISTINCT Path FROM batch) AS a "
977    "WHERE NOT EXISTS (SELECT Path FROM Path WHERE Path = a.Path) ",
978
979    /* SQLite3 */
980    "INSERT INTO Path (Path) "
981    "SELECT DISTINCT Path FROM batch "
982    "EXCEPT SELECT Path FROM Path",
983
984    /* Ingres */
985    "INSERT INTO Path (Path) "
986    "SELECT DISTINCT b.Path FROM batch b "
987    "WHERE NOT EXISTS (SELECT Path FROM Path p WHERE p.Path = b.Path)"
988 };
989
990 const char *batch_fill_filename_query[] = {
991    /* Mysql */
992    "INSERT INTO Filename (Name) "
993    "SELECT a.Name FROM "
994    "(SELECT DISTINCT Name FROM batch) AS a WHERE NOT EXISTS "
995    "(SELECT Name FROM Filename AS f WHERE f.Name = a.Name)",
996
997    /* Postgresql */
998    "INSERT INTO Filename (Name) "
999    "SELECT a.Name FROM "
1000    "(SELECT DISTINCT Name FROM batch) as a "
1001    "WHERE NOT EXISTS "
1002    "(SELECT Name FROM Filename WHERE Name = a.Name)",
1003
1004    /* SQLite3 */
1005    "INSERT INTO Filename (Name) "
1006    "SELECT DISTINCT Name FROM batch "
1007    "EXCEPT SELECT Name FROM Filename",
1008
1009    /* Ingres */
1010    "INSERT INTO Filename (Name) "
1011    "SELECT DISTINCT b.Name FROM batch b "
1012    "WHERE NOT EXISTS (SELECT Name FROM Filename f WHERE f.Name = b.Name)"
1013 };
1014
1015 const char *match_query[] = {
1016    /* Mysql */
1017    "MATCH",
1018
1019    /* Postgresql */
1020    "~",
1021
1022    /* SQLite3 */
1023    "MATCH",
1024
1025    /* Ingres */
1026    "~"
1027 };