]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/cats/sql_cmds.c
Put FilenameId in .bvfs_lsfiles output
[bacula/bacula] / bacula / src / cats / sql_cmds.c
1 /*
2    Bacula(R) - The Network Backup Solution
3
4    Copyright (C) 2000-2015 Kern Sibbald
5    Copyright (C) 2000-2014 Free Software Foundation Europe e.V.
6
7    The original author of Bacula is Kern Sibbald, with contributions
8    from many others, a complete list can be found in the file AUTHORS.
9
10    You may use this file and others of this release according to the
11    license defined in the LICENSE file, which includes the Affero General
12    Public License, v3.0 ("AGPLv3") and some additional permissions and
13    terms pursuant to its AGPLv3 Section 7.
14
15    This notice must be preserved when any source code is 
16    conveyed and/or propagated.
17
18    Bacula(R) is a registered trademark of Kern Sibbald.
19 */
20 /*
21  *  This file contains all the SQL commands that are either issued by
22  *   the Director or which are database backend specific.
23  *
24  *     Written by Kern Sibbald, July MMII
25  */
26 /*
27  * Note, PostgreSQL imposes some constraints on using DISTINCT and GROUP BY
28  *  for example, the following is illegal in PostgreSQL:
29  *  SELECT DISTINCT JobId FROM temp ORDER BY StartTime ASC;
30  *  because all the ORDER BY expressions must appear in the SELECT list!
31  */
32
33 #include "bacula.h"
34
35 const char *get_restore_objects = 
36    "SELECT JobId,ObjectLength,ObjectFullLength,ObjectIndex,"
37            "ObjectType,ObjectCompression,FileIndex,ObjectName,"
38            "RestoreObject,PluginName "
39     "FROM RestoreObject "
40    "WHERE JobId IN (%s) "
41      "AND ObjectType = %d "
42    "ORDER BY ObjectIndex ASC";
43
44 const char *cleanup_created_job =
45    "UPDATE Job SET JobStatus='f', StartTime=SchedTime, EndTime=SchedTime "
46    "WHERE JobStatus = 'C'";
47 const char *cleanup_running_job = 
48    "UPDATE Job SET JobStatus='f', EndTime=StartTime WHERE JobStatus = 'R'";
49
50 /* For sql_update.c db_update_stats */
51 const char *fill_jobhisto =
52         "INSERT INTO JobHisto (JobId, Job, Name, Type, Level,"
53            "ClientId, JobStatus,"
54            "SchedTime, StartTime, EndTime, RealEndTime, JobTDate,"
55            "VolSessionId, VolSessionTime, JobFiles, JobBytes, ReadBytes,"
56            "JobErrors, JobMissingFiles, PoolId, FileSetId, PriorJobId,"
57            "PurgedFiles, HasBase, Reviewed, Comment)"
58         "SELECT JobId, Job, Name, Type, Level, ClientId, JobStatus,"
59            "SchedTime, StartTime, EndTime, RealEndTime, JobTDate,"
60            "VolSessionId, VolSessionTime, JobFiles, JobBytes, ReadBytes,"
61            "JobErrors, JobMissingFiles, PoolId, FileSetId, PriorJobId,"
62            "PurgedFiles, HasBase, Reviewed, Comment "
63           "FROM Job "
64          "WHERE JobStatus IN ('T','W','f','A','E')"
65            "AND NOT EXISTS "
66                 "(SELECT JobHisto.JobId "
67                    "FROM JobHisto WHERE JobHisto.Jobid=Job.JobId)"
68            "AND JobTDate < %s ";
69
70 /* For ua_update.c */
71 const char *list_pool = "SELECT * FROM Pool WHERE PoolId=%s";
72
73 /* For ua_dotcmds.c */
74 const char *client_backups =
75    "SELECT DISTINCT Job.JobId,Client.Name as Client,Level,StartTime,"
76    "JobFiles,JobBytes,VolumeName,MediaType,FileSet,Media.Enabled as Enabled"
77    " FROM Client,Job,JobMedia,Media,FileSet"
78    " WHERE Client.Name='%s'"
79    " AND FileSet='%s'"
80    " AND Client.ClientId=Job.ClientId "
81    " AND JobStatus IN ('T','W') AND Type='B' "
82    " AND JobMedia.JobId=Job.JobId AND JobMedia.MediaId=Media.MediaId "
83    " AND Job.FileSetId=FileSet.FileSetId"
84    " ORDER BY Job.StartTime";
85
86 /* ====== ua_prune.c */
87
88 const char *sel_JobMedia = 
89    "SELECT DISTINCT JobMedia.JobId FROM JobMedia,Job"
90    " WHERE MediaId=%s AND Job.JobId=JobMedia.JobId "
91    " AND Job.JobTDate<%s";
92
93 /* Delete temp tables and indexes  */
94 const char *drop_deltabs[] = {
95    "DROP TABLE DelCandidates",
96    NULL};
97
98 const char *create_delindex = "CREATE INDEX DelInx1 ON DelCandidates (JobId)";
99
100 /* ======= ua_restore.c */
101 const char *uar_count_files =
102    "SELECT JobFiles FROM Job WHERE JobId=%s";
103
104 /* List last 20 Jobs */
105 const char *uar_list_jobs =
106    "SELECT JobId,Client.Name as Client,StartTime,Level as "
107    "JobLevel,JobFiles,JobBytes "
108    "FROM Client,Job WHERE Client.ClientId=Job.ClientId AND JobStatus IN ('T','W') "
109    "AND Type='B' ORDER BY StartTime DESC LIMIT 20";
110
111 const char *uar_print_jobs = 
112    "SELECT DISTINCT JobId,Level,JobFiles,JobBytes,StartTime,VolumeName"
113    " FROM Job JOIN JobMedia USING (JobId) JOIN Media USING (MediaId) "
114    " WHERE JobId IN (%s) "
115    " ORDER BY StartTime ASC";
116
117 /*
118  * Find all files for a particular JobId and insert them into
119  *  the tree during a restore.
120  */
121 const char *uar_sel_files =
122    "SELECT Path.Path,Filename.Name,FileIndex,JobId,LStat "
123    "FROM File,Filename,Path "
124    "WHERE File.JobId IN (%s) AND Filename.FilenameId=File.FilenameId "
125    "AND Path.PathId=File.PathId";
126
127 const char *uar_del_temp  = "DROP TABLE temp";
128 const char *uar_del_temp1 = "DROP TABLE temp1";
129
130 const char *uar_last_full =
131    "INSERT INTO temp1 SELECT Job.JobId,JobTdate "
132    "FROM Client,Job,JobMedia,Media,FileSet WHERE Client.ClientId=%s "
133    "AND Job.ClientId=%s "
134    "AND Job.StartTime < '%s' "
135    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
136    "AND JobMedia.JobId=Job.JobId "
137    "AND Media.Enabled=1 "
138    "AND JobMedia.MediaId=Media.MediaId "
139    "AND Job.FileSetId=FileSet.FileSetId "
140    "AND FileSet.FileSet='%s' "
141    "%s"
142    "ORDER BY Job.JobTDate DESC LIMIT 1";
143
144 const char *uar_full =
145    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,"
146    "Job.ClientId,Job.Level,Job.JobFiles,Job.JobBytes,"
147    "StartTime,VolumeName,JobMedia.StartFile,VolSessionId,VolSessionTime "
148    "FROM temp1,Job,JobMedia,Media WHERE temp1.JobId=Job.JobId "
149    "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
150    "AND Media.Enabled=1 "
151    "AND JobMedia.JobId=Job.JobId "
152    "AND JobMedia.MediaId=Media.MediaId";
153
154 const char *uar_dif =
155    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,Job.ClientId,"
156    "Job.Level,Job.JobFiles,Job.JobBytes,"
157    "Job.StartTime,Media.VolumeName,JobMedia.StartFile,"
158    "Job.VolSessionId,Job.VolSessionTime "
159    "FROM Job,JobMedia,Media,FileSet "
160    "WHERE Job.JobTDate>%s AND Job.StartTime<'%s' "
161    "AND Job.ClientId=%s "
162    "AND JobMedia.JobId=Job.JobId "
163    "AND Media.Enabled=1 "
164    "AND JobMedia.MediaId=Media.MediaId "
165    "AND Job.Level='D' AND JobStatus IN ('T','W') AND Type='B' "
166    "AND Job.FileSetId=FileSet.FileSetId "
167    "AND FileSet.FileSet='%s' "
168    "%s"
169    "ORDER BY Job.JobTDate DESC LIMIT 1";
170
171 const char *uar_inc =
172    "INSERT INTO temp SELECT Job.JobId,Job.JobTDate,Job.ClientId,"
173    "Job.Level,Job.JobFiles,Job.JobBytes,"
174    "Job.StartTime,Media.VolumeName,JobMedia.StartFile,"
175    "Job.VolSessionId,Job.VolSessionTime "
176    "FROM Job,JobMedia,Media,FileSet "
177    "WHERE Job.JobTDate>%s AND Job.StartTime<'%s' "
178    "AND Job.ClientId=%s "
179    "AND Media.Enabled=1 "
180    "AND JobMedia.JobId=Job.JobId "
181    "AND JobMedia.MediaId=Media.MediaId "
182    "AND Job.Level='I' AND JobStatus IN ('T','W') AND Type='B' "
183    "AND Job.FileSetId=FileSet.FileSetId "
184    "AND FileSet.FileSet='%s' "
185    "%s";
186
187 const char *uar_list_temp =
188    "SELECT DISTINCT JobId,Level,JobFiles,JobBytes,StartTime,VolumeName"
189    " FROM temp"
190    " ORDER BY StartTime ASC";
191
192
193 const char *uar_sel_jobid_temp = 
194    "SELECT DISTINCT JobId,StartTime FROM temp ORDER BY StartTime ASC";
195
196 const char *uar_sel_all_temp1 = "SELECT * FROM temp1";
197
198 const char *uar_sel_all_temp = "SELECT * FROM temp";
199
200
201
202 /* Select FileSet names for this Client */
203 const char *uar_sel_fileset =
204    "SELECT DISTINCT FileSet.FileSet FROM Job,"
205    "Client,FileSet WHERE Job.FileSetId=FileSet.FileSetId "
206    "AND Job.ClientId=%s AND Client.ClientId=%s "
207    "ORDER BY FileSet.FileSet";
208
209 /* Select all different FileSet for this client
210  * This query doesn't guarantee that the Id is the latest
211  * version of the FileSet. Can be used with other queries that
212  * use Ids to select the FileSet name. (like in accurate)
213  */
214 const char *uar_sel_filesetid =
215    "SELECT MAX(FileSet.FileSetId) "
216      "FROM FileSet JOIN Job USING (FileSetId) "
217          "WHERE Job.ClientId=%s "
218         "GROUP BY FileSet";
219
220 /*
221  *  Find JobId, FileIndex for a given path/file and date
222  *  for use when inserting individual files into the tree.
223  */
224 const char *uar_jobid_fileindex =
225    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
226    "WHERE Job.JobId=File.JobId "
227    "AND Job.StartTime<='%s' "
228    "AND Path.Path='%s' "
229    "AND Filename.Name='%s' "
230    "AND Client.Name='%s' "
231    "AND Job.ClientId=Client.ClientId "
232    "AND Path.PathId=File.PathId "
233    "AND Filename.FilenameId=File.FilenameId "
234    "AND JobStatus IN ('T','W') AND Type='B' "
235    "ORDER BY Job.StartTime DESC LIMIT 1";
236
237 const char *uar_jobids_fileindex =
238    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
239    "WHERE Job.JobId IN (%s) "
240    "AND Job.JobId=File.JobId "
241    "AND Job.StartTime<='%s' "
242    "AND Path.Path='%s' "
243    "AND Filename.Name='%s' "
244    "AND Client.Name='%s' "
245    "AND Job.ClientId=Client.ClientId "
246    "AND Path.PathId=File.PathId "
247    "AND Filename.FilenameId=File.FilenameId "
248    "ORDER BY Job.StartTime DESC LIMIT 1";
249
250 /* Query to get list of files from table -- presuably built by an external program */
251 const char *uar_jobid_fileindex_from_table = 
252    "SELECT JobId, FileIndex FROM %s ORDER BY JobId, FileIndex ASC";
253
254 /* Get the list of the last recent version per Delta with a given
255  *  jobid list. This is a tricky part because with SQL the result of:
256  *
257  *   SELECT MAX(A), B, C, D FROM... GROUP BY (B,C)
258  *
259  * doesn't give the good result (for D).
260  *
261  * With PostgreSQL, we can use DISTINCT ON(), but with Mysql or Sqlite,
262  *  we need an extra join using JobTDate.
263  */
264 static const char *select_recent_version_with_basejob_default =
265 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
266        "File.FilenameId AS FilenameId, LStat, MD5, DeltaSeq, "
267        "Job.JobTDate AS JobTDate "
268 "FROM Job, File, ( "
269     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
270       "FROM ( "
271         "SELECT JobTDate, PathId, FilenameId "   /* Get all normal files */
272           "FROM File JOIN Job USING (JobId) "    /* from selected backup */
273          "WHERE File.JobId IN (%s) "
274           "UNION ALL "
275         "SELECT JobTDate, PathId, FilenameId "   /* Get all files from */
276           "FROM BaseFiles "                      /* BaseJob */
277                "JOIN File USING (FileId) "
278                "JOIN Job  ON    (BaseJobId = Job.JobId) "
279          "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
280        ") AS tmp "
281        "GROUP BY PathId, FilenameId "            /* the latest file version */
282     ") AS T1 "
283 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
284         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
285         "OR Job.JobId IN (%s)) "
286   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
287   "AND Job.JobId = File.JobId "     /* Job/File record */
288   "AND T1.PathId = File.PathId "
289   "AND T1.FilenameId = File.FilenameId";
290
291 const char *select_recent_version_with_basejob[] =
292 {
293    /* MySQL  */
294    select_recent_version_with_basejob_default,
295
296    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
297    "SELECT DISTINCT ON (FilenameId, PathId) JobTDate, JobId, FileId, "
298          "FileIndex, PathId, FilenameId, LStat, MD5, DeltaSeq "
299    "FROM "
300      "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5, DeltaSeq "
301          "FROM File WHERE JobId IN (%s) "
302         "UNION ALL "
303        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
304               "File.FileIndex, LStat, MD5, DeltaSeq "
305          "FROM BaseFiles JOIN File USING (FileId) "
306         "WHERE BaseFiles.JobId IN (%s) "
307        ") AS T JOIN Job USING (JobId) "
308    "ORDER BY FilenameId, PathId, JobTDate DESC ",
309
310    /* SQLite */
311    select_recent_version_with_basejob_default
312 };
313  
314 /* We do the same thing than the previous query, but we include
315  * all delta parts. If the file has been deleted, we can have irrelevant
316  * parts.
317  *
318  * The code that uses results should control the delta sequence with
319  * the following rules:
320  * First Delta = 0
321  * Delta = Previous Delta + 1
322  *
323  * If we detect a gap, we can discard further pieces
324  * If a file starts at 1 instead of 0, the file has been deleted, and further
325  *   pieces are useless.
326  * This control should be reset for each new file
327  */
328 static const char *select_recent_version_with_basejob_and_delta_default =
329 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
330        "File.FilenameId AS FilenameId, LStat, MD5, File.DeltaSeq AS DeltaSeq, "
331        "Job.JobTDate AS JobTDate "
332 "FROM Job, File, ( "
333     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId, DeltaSeq "
334       "FROM ( "
335        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all normal files*/
336          "FROM File JOIN Job USING (JobId) "          /* from selected backup */
337         "WHERE File.JobId IN (%s) "
338          "UNION ALL "
339        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all files from */
340          "FROM BaseFiles "                            /* BaseJob */
341               "JOIN File USING (FileId) "
342               "JOIN Job  ON    (BaseJobId = Job.JobId) "
343         "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
344        ") AS tmp "
345        "GROUP BY PathId, FilenameId, DeltaSeq "    /* the latest file version */
346     ") AS T1 "
347 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
348         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
349         "OR Job.JobId IN (%s)) "
350   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
351   "AND Job.JobId = File.JobId "     /* Job/File record */
352   "AND T1.PathId = File.PathId "
353   "AND T1.FilenameId = File.FilenameId";
354
355 const char *select_recent_version_with_basejob_and_delta[] = {
356    /* MySQL */
357    select_recent_version_with_basejob_and_delta_default,
358
359    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
360    "SELECT DISTINCT ON (FilenameId, PathId, DeltaSeq) JobTDate, JobId, FileId, "
361          "FileIndex, PathId, FilenameId, LStat, MD5, DeltaSeq "
362    "FROM "
363     "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5,DeltaSeq "
364          "FROM File WHERE JobId IN (%s) "
365         "UNION ALL "
366        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
367               "File.FileIndex, LStat, MD5, DeltaSeq "
368          "FROM BaseFiles JOIN File USING (FileId) "
369         "WHERE BaseFiles.JobId IN (%s) "
370        ") AS T JOIN Job USING (JobId) "
371    "ORDER BY FilenameId, PathId, DeltaSeq, JobTDate DESC ",
372
373    /* SQLite */
374    select_recent_version_with_basejob_and_delta_default
375 };
376
377 /* Get the list of the last recent version with a given BaseJob jobid list
378  * We don't handle Delta with BaseJobs, they have only Full files
379  */
380 static const char *select_recent_version_default = 
381   "SELECT j1.JobId AS JobId, f1.FileId AS FileId, f1.FileIndex AS FileIndex, "
382           "f1.PathId AS PathId, f1.FilenameId AS FilenameId, "
383           "f1.LStat AS LStat, f1.MD5 AS MD5, j1.JobTDate "
384      "FROM ( "     /* Choose the last version for each Path/Filename */
385        "SELECT max(JobTDate) AS JobTDate, PathId, FilenameId "
386          "FROM File JOIN Job USING (JobId) "
387         "WHERE File.JobId IN (%s) "
388        "GROUP BY PathId, FilenameId "
389      ") AS t1, Job AS j1, File AS f1 "
390     "WHERE t1.JobTDate = j1.JobTDate "
391       "AND j1.JobId IN (%s) "
392       "AND t1.FilenameId = f1.FilenameId "
393       "AND t1.PathId = f1.PathId "
394       "AND j1.JobId = f1.JobId";
395
396 const char *select_recent_version[] =
397 {
398    /* MySQL */
399    select_recent_version_default,
400
401    /* Postgresql */
402    "SELECT DISTINCT ON (FilenameId, PathId) JobTDate, JobId, FileId, "
403           "FileIndex, PathId, FilenameId, LStat, MD5 "
404      "FROM File JOIN Job USING (JobId) "
405     "WHERE JobId IN (%s) "
406     "ORDER BY FilenameId, PathId, JobTDate DESC ",
407
408    /* SQLite */
409    select_recent_version_default
410 };
411
412 /* We don't create this table as TEMPORARY because MySQL 
413     MyISAM 5.0 and 5.1 are unable to run further queries in this mode
414  */
415 static const char *create_temp_accurate_jobids_default = 
416  "CREATE TABLE btemp3%s AS "
417     "SELECT JobId, StartTime, EndTime, JobTDate, PurgedFiles "
418       "FROM Job JOIN FileSet USING (FileSetId) "
419      "WHERE ClientId = %s "
420        "AND Level='F' AND JobStatus IN ('T','W') AND Type='B' "
421        "AND StartTime<'%s' "
422        "AND FileSet.FileSet=(SELECT FileSet FROM FileSet WHERE FileSetId = %s) "
423      "ORDER BY Job.JobTDate DESC LIMIT 1";
424
425 const char *create_temp_accurate_jobids[] = {
426    /* Mysql */
427    create_temp_accurate_jobids_default,
428
429    /* Postgresql */
430    create_temp_accurate_jobids_default,
431
432    /* SQLite3 */
433    create_temp_accurate_jobids_default
434 };
435
436 const char *create_temp_basefile[] = {
437    /* Mysql */
438    "CREATE TEMPORARY TABLE basefile%lld ("
439    "Path BLOB NOT NULL,"
440    "Name BLOB NOT NULL,"
441    "INDEX (Path(255), Name(255)))",
442
443    /* Postgresql */
444    "CREATE TEMPORARY TABLE basefile%lld ("
445    "Path TEXT,"
446    "Name TEXT)",
447
448    /* SQLite3 */
449    "CREATE TEMPORARY TABLE basefile%lld ("
450    "Path TEXT,"
451    "Name TEXT)"
452 };
453
454 const char *create_temp_new_basefile[] = {
455    /* Mysql */
456    "CREATE TEMPORARY TABLE new_basefile%lld AS "
457    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
458    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
459    "Temp.MD5 AS MD5 "
460    "FROM ( %s ) AS Temp "
461    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
462    "JOIN Path ON (Path.PathId = Temp.PathId) "
463    "WHERE Temp.FileIndex > 0",
464
465    /* Postgresql */
466    "CREATE TEMPORARY TABLE new_basefile%lld AS "
467    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
468    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
469    "Temp.MD5 AS MD5 "
470    "FROM ( %s ) AS Temp "
471    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
472    "JOIN Path ON (Path.PathId = Temp.PathId) "
473    "WHERE Temp.FileIndex > 0",
474
475    /* SQLite3 */
476    "CREATE TEMPORARY TABLE new_basefile%lld AS "
477    "SELECT Path.Path AS Path, Filename.Name AS Name, Temp.FileIndex AS FileIndex,"
478    "Temp.JobId AS JobId, Temp.LStat AS LStat, Temp.FileId AS FileId, "
479    "Temp.MD5 AS MD5 "
480    "FROM ( %s ) AS Temp "
481    "JOIN Filename ON (Filename.FilenameId = Temp.FilenameId) "
482    "JOIN Path ON (Path.PathId = Temp.PathId) "
483    "WHERE Temp.FileIndex > 0"
484 };
485
486 /* ====== ua_prune.c */
487
488 /* List of SQL commands to create temp table and indicies  */
489 const char *create_deltabs[] =
490 {
491    /* MySQL */
492    "CREATE TEMPORARY TABLE DelCandidates ("
493    "JobId INTEGER UNSIGNED NOT NULL, "
494    "PurgedFiles TINYINT, "
495    "FileSetId INTEGER UNSIGNED, "
496    "JobFiles INTEGER UNSIGNED, "
497    "JobStatus BINARY(1))",
498  
499    /* PostgreSQL */
500    "CREATE TEMPORARY TABLE DelCandidates ( "
501    "JobId INTEGER NOT NULL, "
502    "PurgedFiles SMALLINT, "
503    "FileSetId INTEGER, "
504    "JobFiles INTEGER, "
505    "JobStatus char(1))",
506  
507    /* SQLite */
508    "CREATE TEMPORARY TABLE DelCandidates ("
509    "JobId INTEGER UNSIGNED NOT NULL, "
510    "PurgedFiles TINYINT, "
511    "FileSetId INTEGER UNSIGNED, "
512    "JobFiles INTEGER UNSIGNED, "
513    "JobStatus CHAR)"
514 }; 
515
516 /* ======= ua_purge.c ====== */
517 /* Select the first available Copy Job that must be upgraded 
518  *   to a Backup job when the original backup job is expired.
519  */
520 static const char *uap_upgrade_copies_oldest_job_default = 
521 "CREATE TEMPORARY TABLE cpy_tmp AS "
522        "SELECT MIN(JobId) AS JobId FROM Job "     /* Choose the oldest job */
523         "WHERE Type='%c' "                        /* JT_JOB_COPY */
524           "AND ( PriorJobId IN (%s) "             /* JobId selection */
525               "OR "
526                " PriorJobId IN ( "
527                   "SELECT PriorJobId "
528                     "FROM Job "
529                    "WHERE JobId IN (%s) "         /* JobId selection */
530                     " AND Type='B' "
531                  ") "
532               ") "
533           "GROUP BY PriorJobId ";           /* one result per copy */
534
535 const char *uap_upgrade_copies_oldest_job[] =
536 {
537    /* MySQL */
538    uap_upgrade_copies_oldest_job_default,
539    /* PostgreSQL */
540    uap_upgrade_copies_oldest_job_default,
541    /* SQLite */
542    uap_upgrade_copies_oldest_job_default
543 }; 
544  
545 /* ======= ua_restore.c ====== */
546
547 /* List Jobs where a particular file is saved */
548 const char *uar_file[] =
549 {
550    /* MySQL */
551    "SELECT Job.JobId as JobId,"
552    "CONCAT(Path.Path,Filename.Name) as Name, "
553    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
554    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
555    "AND Client.ClientId=Job.ClientId "
556    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
557    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
558    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
559
560    /* Postgresql */
561    "SELECT Job.JobId as JobId,"
562    "Path.Path||Filename.Name as Name, "
563    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
564    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
565    "AND Client.ClientId=Job.ClientId "
566    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
567    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
568    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20",
569
570    /* SQLite3 */
571    "SELECT Job.JobId as JobId,"
572    "Path.Path||Filename.Name as Name, "
573    "StartTime,Type as JobType,JobStatus,JobFiles,JobBytes "
574    "FROM Client,Job,File,Filename,Path WHERE Client.Name='%s' "
575    "AND Client.ClientId=Job.ClientId "
576    "AND Job.JobId=File.JobId AND File.FileIndex > 0 "
577    "AND Path.PathId=File.PathId AND Filename.FilenameId=File.FilenameId "
578    "AND Filename.Name='%s' ORDER BY StartTime DESC LIMIT 20"
579 };
580
581 const char *uar_create_temp[] = {
582    /* Mysql */
583    "CREATE TEMPORARY TABLE temp ("
584    "JobId INTEGER UNSIGNED NOT NULL,"
585    "JobTDate BIGINT UNSIGNED,"
586    "ClientId INTEGER UNSIGNED,"
587    "Level CHAR,"
588    "JobFiles INTEGER UNSIGNED,"
589    "JobBytes BIGINT UNSIGNED,"
590    "StartTime TEXT,"
591    "VolumeName TEXT,"
592    "StartFile INTEGER UNSIGNED,"
593    "VolSessionId INTEGER UNSIGNED,"
594    "VolSessionTime INTEGER UNSIGNED)",
595  
596    /* PostgreSQL */
597    "CREATE TEMPORARY TABLE temp ("
598    "JobId INTEGER NOT NULL,"
599    "JobTDate BIGINT,"
600    "ClientId INTEGER,"
601    "Level CHAR,"
602    "JobFiles INTEGER,"
603    "JobBytes BIGINT,"
604    "StartTime TEXT,"
605    "VolumeName TEXT,"
606    "StartFile INTEGER,"
607    "VolSessionId INTEGER,"
608    "VolSessionTime INTEGER)",
609  
610    /* SQLite */
611    "CREATE TEMPORARY TABLE temp ("
612    "JobId INTEGER UNSIGNED NOT NULL,"
613    "JobTDate BIGINT UNSIGNED,"
614    "ClientId INTEGER UNSIGNED,"
615    "Level CHAR,"
616    "JobFiles INTEGER UNSIGNED,"
617    "JobBytes BIGINT UNSIGNED,"
618    "StartTime TEXT,"
619    "VolumeName TEXT,"
620    "StartFile INTEGER UNSIGNED,"
621    "VolSessionId INTEGER UNSIGNED,"
622    "VolSessionTime INTEGER UNSIGNED)"
623 }; 
624
625 const char *uar_create_temp1[] =
626 {
627    /* MySQL */
628    "CREATE TEMPORARY TABLE temp1 ("
629    "JobId INTEGER UNSIGNED NOT NULL,"
630    "JobTDate BIGINT UNSIGNED)",
631    /* PostgreSQL */
632    "CREATE TEMPORARY TABLE temp1 ("
633    "JobId INTEGER NOT NULL,"
634    "JobTDate BIGINT)",
635    /* SQLite */
636    "CREATE TEMPORARY TABLE temp1 ("
637    "JobId INTEGER UNSIGNED NOT NULL,"
638    "JobTDate BIGINT UNSIGNED)"
639 }; 
640
641 /* Query to get all files in a directory no recursing
642  *  Note, for PostgreSQL since it respects the "Single Value
643  *  rule", the results of the SELECT will be unoptimized.
644  *  I.e. the same file will be restored multiple times, once
645  *  for each time it was backed up.
646  */
647
648 const char *uar_jobid_fileindex_from_dir[] = {
649    /* Mysql */
650    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
651    "WHERE Job.JobId IN (%s) "
652    "AND Job.JobId=File.JobId "
653    "AND Path.Path='%s' "
654    "AND Client.Name='%s' "
655    "AND Job.ClientId=Client.ClientId "
656    "AND Path.PathId=File.Pathid "
657    "AND Filename.FilenameId=File.FilenameId "
658    "GROUP BY File.FileIndex ",
659
660    /* Postgresql */
661    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
662    "WHERE Job.JobId IN (%s) "
663    "AND Job.JobId=File.JobId "
664    "AND Path.Path='%s' "
665    "AND Client.Name='%s' "
666    "AND Job.ClientId=Client.ClientId "
667    "AND Path.PathId=File.Pathid "
668    "AND Filename.FilenameId=File.FilenameId",
669
670    /* SQLite3 */
671    "SELECT Job.JobId,File.FileIndex FROM Job,File,Path,Filename,Client "
672    "WHERE Job.JobId IN (%s) "
673    "AND Job.JobId=File.JobId "
674    "AND Path.Path='%s' "
675    "AND Client.Name='%s' "
676    "AND Job.ClientId=Client.ClientId "
677    "AND Path.PathId=File.Pathid "
678    "AND Filename.FilenameId=File.FilenameId "
679    "GROUP BY File.FileIndex "
680 };
681
682 const char *sql_media_order_most_recently_written[] = {
683    /* Mysql */
684    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
685
686    /* Postgresql */
687    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId",
688
689    /* SQLite3 */
690    "ORDER BY LastWritten IS NULL,LastWritten DESC,MediaId"
691 };
692
693 const char *sql_get_max_connections[] = {
694    /* Mysql */
695    "SHOW VARIABLES LIKE 'max_connections'",
696    /* PostgreSQL */
697    "SHOW max_connections",
698    /* SQLite */
699    "SELECT  0"
700 };
701
702 /*
703  *  The Group By can return strange numbers when having multiple
704  *  version of a file in the same dataset.
705  */
706 const char *default_sql_bvfs_select =
707 "CREATE TABLE %s AS "
708 "SELECT File.JobId, File.FileIndex, File.FileId "
709 "FROM Job, File, ( "
710     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
711        "FROM btemp%s GROUP BY PathId, FilenameId "
712     ") AS T1 JOIN Filename USING (FilenameId) "
713 "WHERE T1.JobTDate = Job.JobTDate "
714   "AND Job.JobId = File.JobId "
715   "AND T1.PathId = File.PathId "
716   "AND T1.FilenameId = File.FilenameId "
717   "AND File.FileIndex > 0 "
718   "AND Job.JobId IN (SELECT DISTINCT JobId FROM btemp%s) ";
719
720 const char *sql_bvfs_select[] =
721 {
722    /* MySQL */
723    default_sql_bvfs_select,
724    /* PostgreSQL */
725    "CREATE TABLE %s AS ( "
726         "SELECT JobId, FileIndex, FileId "
727           "FROM ( "
728              "SELECT DISTINCT ON (PathId, FilenameId) "
729                     "JobId, FileIndex, FileId "
730                "FROM btemp%s "
731               "ORDER BY PathId, FilenameId, JobTDate DESC "
732           ") AS T "
733           "WHERE FileIndex > 0)",
734    /* SQLite */
735    default_sql_bvfs_select
736 };
737
738 static const char *sql_bvfs_list_files_default =
739 "SELECT 'F', T1.PathId, File.FilenameId, "
740         "File.JobId, File.LStat, File.FileId "
741 "FROM Job, File, ( "
742     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId "
743       "FROM ( "
744         "SELECT JobTDate, PathId, FilenameId "
745           "FROM File JOIN Job USING (JobId) "
746          "WHERE File.JobId IN (%s) AND PathId = %s "
747           "UNION ALL "
748         "SELECT JobTDate, PathId, FilenameId "
749           "FROM BaseFiles "
750                "JOIN File USING (FileId) "
751                "JOIN Job  ON    (BaseJobId = Job.JobId) "
752          "WHERE BaseFiles.JobId IN (%s)   AND PathId = %s "
753        ") AS tmp GROUP BY PathId, FilenameId "
754      "LIMIT %lld OFFSET %lld"
755     ") AS T1 JOIN Filename USING (FilenameId) "
756 "WHERE T1.JobTDate = Job.JobTDate "
757   "AND Job.JobId = File.JobId "
758   "AND T1.PathId = File.PathId "
759   "AND T1.FilenameId = File.FilenameId "
760   "AND Filename.Name != '' "
761   "AND File.FileIndex > 0 "
762   " %s "                     /* AND Name LIKE '' */
763   "AND (Job.JobId IN ( "
764         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
765        "OR Job.JobId IN (%s)) ";
766
767 const char *sql_bvfs_list_files[] = {
768    /* MySQL */
769    sql_bvfs_list_files_default,
770
771    /* JobId PathId JobId PathId WHERE? Filename? Limit Offset*/
772    /* Postgresql */
773  "SELECT Type, PathId, FilenameId, JobId, LStat, FileId "
774   "FROM ("
775    "SELECT DISTINCT ON (FilenameId) 'F' as Type, PathId, T.FilenameId, "
776     "Filename.Name, JobId, LStat, FileId, FileIndex "
777      "FROM "
778          "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5 "
779             "FROM File WHERE JobId IN (%s) AND PathId = %s "
780            "UNION ALL "
781           "SELECT File.FileId, File.JobId, PathId, FilenameId, "
782                  "File.FileIndex, LStat, MD5 "
783             "FROM BaseFiles JOIN File USING (FileId) "
784            "WHERE BaseFiles.JobId IN (%s) AND File.PathId = %s "
785           ") AS T JOIN Job USING (JobId) JOIN Filename USING (FilenameId) "
786           " WHERE Filename.Name != '' "
787           " %s "               /* AND Name LIKE '' */
788      "ORDER BY FilenameId, StartTime DESC "
789    ") AS A WHERE A.FileIndex > 0 "
790    "LIMIT %lld OFFSET %lld ",
791
792    /* SQLite */
793    sql_bvfs_list_files_default,
794
795    /* SQLite */
796    sql_bvfs_list_files_default
797 };
798
799 /* Basically the same thing than select_recent_version_with_basejob_and_delta_default,
800  * but we specify a single file with FilenameId/PathId
801  * 
802  * Input:
803  * 1 JobId to look at
804  * 2 FilenameId
805  * 3 PathId
806  * 4 JobId to look at
807  * 5 FilenameId
808  * 6 PathId
809  * 7 Jobid
810  * 8 JobId
811  */
812 const char *bvfs_select_delta_version_with_basejob_and_delta_default =
813 "SELECT FileId, Job.JobId AS JobId, FileIndex, File.PathId AS PathId, "
814        "File.FilenameId AS FilenameId, LStat, MD5, File.DeltaSeq AS DeltaSeq, "
815        "Job.JobTDate AS JobTDate "
816 "FROM Job, File, ( "
817     "SELECT MAX(JobTDate) AS JobTDate, PathId, FilenameId, DeltaSeq "
818       "FROM ( "
819        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all normal files*/
820          "FROM File JOIN Job USING (JobId) "          /* from selected backup */
821         "WHERE File.JobId IN (%s) AND FilenameId = %s AND PathId = %s "
822          "UNION ALL "
823        "SELECT JobTDate, PathId, FilenameId, DeltaSeq " /*Get all files from */ 
824          "FROM BaseFiles "                            /* BaseJob */
825               "JOIN File USING (FileId) "
826               "JOIN Job  ON    (BaseJobId = Job.JobId) "
827         "WHERE BaseFiles.JobId IN (%s) "        /* Use Max(JobTDate) to find */
828              " AND FilenameId = %s AND PathId = %s "
829        ") AS tmp "
830        "GROUP BY PathId, FilenameId, DeltaSeq "    /* the latest file version */
831     ") AS T1 "
832 "WHERE (Job.JobId IN ( "  /* Security, we force JobId to be valid */
833         "SELECT DISTINCT BaseJobId FROM BaseFiles WHERE JobId IN (%s)) "
834         "OR Job.JobId IN (%s)) "
835   "AND T1.JobTDate = Job.JobTDate " /* Join on JobTDate to get the orginal */
836   "AND Job.JobId = File.JobId "     /* Job/File record */
837   "AND T1.PathId = File.PathId "
838   "AND T1.FilenameId = File.FilenameId";
839
840
841 const char *bvfs_select_delta_version_with_basejob_and_delta[] =
842 {
843    /* MySQL */
844    bvfs_select_delta_version_with_basejob_and_delta_default,
845
846    /* Postgresql */    /* The DISTINCT ON () permits to avoid extra join */
847    "SELECT DISTINCT ON (FilenameId, PathId, DeltaSeq) JobTDate, JobId, FileId, "
848          "FileIndex, PathId, FilenameId, LStat, MD5, DeltaSeq "
849    "FROM "
850     "(SELECT FileId, JobId, PathId, FilenameId, FileIndex, LStat, MD5,DeltaSeq "
851          "FROM File WHERE JobId IN (%s) AND FilenameId = %s AND PathId = %s "
852         "UNION ALL "
853        "SELECT File.FileId, File.JobId, PathId, FilenameId, "
854               "File.FileIndex, LStat, MD5, DeltaSeq "
855          "FROM BaseFiles JOIN File USING (FileId) "
856         "WHERE BaseFiles.JobId IN (%s) AND FilenameId = %s AND PathId = %s "
857        ") AS T JOIN Job USING (JobId) "
858    "ORDER BY FilenameId, PathId, DeltaSeq, JobTDate DESC ",
859
860    /* SQLite */
861    bvfs_select_delta_version_with_basejob_and_delta_default
862 };
863
864
865 const char *batch_lock_path_query[] = {
866    /* Mysql */
867    "LOCK TABLES Path write, batch write, Path as p write",
868
869    /* Postgresql */
870    "BEGIN; LOCK TABLE Path IN SHARE ROW EXCLUSIVE MODE",
871
872    /* SQLite3 */
873    "BEGIN"
874 };
875
876 const char *batch_lock_filename_query[] = {
877    /* Mysql */
878    "LOCK TABLES Filename write, batch write, Filename as f write",
879
880    /* Postgresql */
881    "BEGIN; LOCK TABLE Filename IN SHARE ROW EXCLUSIVE MODE",
882
883    /* SQLite3 */
884    "BEGIN"
885 };
886
887 const char *batch_unlock_tables_query[] = {
888    /* Mysql */
889    "UNLOCK TABLES",
890
891    /* Postgresql */
892    "COMMIT",
893
894    /* SQLite3 */
895    "COMMIT"
896 };
897
898 const char *batch_fill_path_query[] = {
899    /* Mysql */
900    "INSERT INTO Path (Path) "
901       "SELECT a.Path FROM "
902          "(SELECT DISTINCT Path FROM batch) AS a WHERE NOT EXISTS "
903          "(SELECT Path FROM Path AS p WHERE p.Path = a.Path)",
904  
905    /* PostgreSQL */
906    "INSERT INTO Path (Path)"
907       "SELECT a.Path FROM "
908          "(SELECT DISTINCT Path FROM batch) AS a "
909        "WHERE NOT EXISTS (SELECT Path FROM Path WHERE Path = a.Path) ",
910  
911    /* SQLite */
912    "INSERT INTO Path (Path)"
913       "SELECT DISTINCT Path FROM batch "
914       "EXCEPT SELECT Path FROM Path"
915 };
916
917 const char *batch_fill_filename_query[] = {
918    /* Mysql */
919    "INSERT INTO Filename (Name) "
920       "SELECT a.Name FROM "
921          "(SELECT DISTINCT Name FROM batch) AS a WHERE NOT EXISTS "
922          "(SELECT Name FROM Filename AS f WHERE f.Name = a.Name)",
923
924    /* Postgresql */
925    "INSERT INTO Filename (Name) "
926       "SELECT a.Name FROM "
927          "(SELECT DISTINCT Name FROM batch) as a "
928        "WHERE NOT EXISTS "
929         "(SELECT Name FROM Filename WHERE Name = a.Name)",
930
931    /* SQLite3 */
932    "INSERT INTO Filename (Name) "
933       "SELECT DISTINCT Name FROM batch "
934       "EXCEPT SELECT Name FROM Filename"
935 };
936
937 const char *match_query[] = {
938    /* Mysql */
939    "REGEXP",
940    /* PostgreSQL */
941    "~", 
942    /* SQLite */
943    "LIKE"                       /* MATCH doesn't seems to work anymore... */
944 }; 
945  
946 static const char *insert_counter_values_default =
947    "INSERT INTO Counters (Counter, MinValue, "
948    "MaxValue, CurrentValue, WrapCounter) "
949    "VALUES ('%s','%d','%d','%d','%s')";
950
951 const char *insert_counter_values[] = {
952    /* MySQL */
953    "INSERT INTO Counters (Counter, Counters.MinValue, "
954    "Counters.MaxValue, CurrentValue, WrapCounter) "
955    "VALUES ('%s','%d','%d','%d','%s')",
956
957    /* PostgreSQL */
958    insert_counter_values_default,
959
960    /* SQLite */
961    insert_counter_values_default
962 };
963
964 static const char *select_counter_values_default = 
965    "SELECT MinValue, MaxValue, CurrentValue, WrapCounter"
966    " FROM Counters WHERE Counter='%s'";
967  
968 const char *select_counter_values[] =
969 {
970    /* MySQL */
971    "SELECT Counters.MinValue, Counters.MaxValue, CurrentValue, WrapCounter"
972    " FROM Counters WHERE Counter='%s'",
973  
974    /* PostgreSQL */
975    select_counter_values_default, 
976  
977    /* SQLite */
978    select_counter_values_default 
979 }; 
980  
981 static const char *update_counter_values_default = 
982    "UPDATE Counters SET MinValue=%d, MaxValue=%d, CurrentValue=%d,"
983     "WrapCounter='%s' WHERE Counter='%s'";
984  
985 const char *update_counter_values[] =
986 {
987    /* MySQL */
988    "UPDATE Counters SET Counters.MinValue=%d, Counters.MaxValue=%d,"
989      "CurrentValue=%d, WrapCounter='%s' WHERE Counter='%s'",
990    /* PostgreSQL */
991    update_counter_values_default, 
992    /* SQLite */
993    update_counter_values_default 
994 }; 
995  
996 static const char *expired_volumes_defaults =
997 "SELECT Media.VolumeName  AS volumename,"
998        "Media.LastWritten AS lastwritten"
999 " FROM  Media"
1000 " WHERE VolStatus IN ('Full', 'Used')"
1001      " AND ( Media.LastWritten +  Media.VolRetention ) < NOW()"
1002      " %s ";
1003
1004 const char *prune_cache[] = {
1005    /* MySQL */
1006    " (Media.LastWritten + Media.CacheRetention) < NOW() ",
1007    /* PostgreSQL */
1008    " (Media.LastWritten + (interval '1 second' * Media.CacheRetention)) < NOW() ",
1009    /* SQLite */
1010    " ( strftime('%s', Media.LastWritten) + Media.CacheRetention < strftime('%s', datetime('now', 'localtime'))) "
1011 };
1012
1013 const char *expired_volumes[] = {
1014    /* MySQL */
1015    expired_volumes_defaults,
1016    /* PostgreSQL */
1017    "SELECT Media.VolumeName, Media.LastWritten "
1018    " FROM  Media "
1019    " WHERE VolStatus IN ('Full', 'Used') "
1020      " AND ( Media.LastWritten + (interval '1 second' * Media.VolRetention ) < NOW()) "
1021      " %s ",
1022    /* SQLite */
1023    expired_volumes_defaults
1024 };
1025
1026 const char *expires_in[] = {
1027    /* MySQL */
1028    "(GREATEST(0, CAST(UNIX_TIMESTAMP(LastWritten) + Media.VolRetention AS SIGNED) - UNIX_TIMESTAMP(NOW())))",
1029    /* PostgreSQL */
1030    "GREATEST(0, (extract('epoch' from LastWritten + Media.VolRetention * interval '1second' - NOW())::bigint))",
1031    /* SQLite */
1032    "MAX(0, (strftime('%s', LastWritten) + Media.VolRetention - strftime('%s', datetime('now', 'localtime'))))"
1033 };
1034
1035 const char *strip_restore[] = {
1036    /* MySQL */
1037    "DELETE FROM %s WHERE FileId IN (SELECT * FROM (SELECT FileId FROM %s as B JOIN File USING (FileId) WHERE PathId IN (%s)) AS C)",
1038    /* PostgreSQL */
1039    "DELETE FROM %s WHERE FileId IN (SELECT FileId FROM %s JOIN File USING (FileId) WHERE PathId IN (%s))",
1040    /* SQLite */
1041    "DELETE FROM %s WHERE FileId IN (SELECT FileId FROM %s JOIN File USING (FileId) WHERE PathId IN (%s))"
1042 };