]> git.sur5r.net Git - bacula/bacula/blob - bacula/src/tools/bbatch.c
c7d5cab5576a3dd15ee47113866f3bed8c92cb46
[bacula/bacula] / bacula / src / tools / bbatch.c
1 /*
2  *
3  *  Program to test batch mode
4  *
5  *   Eric Bollengier, March 2007
6  *
7  *
8  *   Version $Id$
9  */
10 /*
11    Bacula® - The Network Backup Solution
12
13    Copyright (C) 2001-2006 Free Software Foundation Europe e.V.
14
15    The main author of Bacula is Kern Sibbald, with contributions from
16    many others, a complete list can be found in the file AUTHORS.
17    This program is Free Software; you can redistribute it and/or
18    modify it under the terms of version three of the GNU Affero General Public
19    License as published by the Free Software Foundation and included
20    in the file LICENSE.
21
22    This program is distributed in the hope that it will be useful, but
23    WITHOUT ANY WARRANTY; without even the implied warranty of
24    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
25    General Public License for more details.
26
27    You should have received a copy of the GNU Affero General Public License
28    along with this program; if not, write to the Free Software
29    Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
30    02110-1301, USA.
31
32    Bacula® is a registered trademark of Kern Sibbald.
33    The licensor of Bacula is the Free Software Foundation Europe
34    (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zürich,
35    Switzerland, email:ftf@fsfeurope.org.
36 */
37
38 /*
39   to create datafile
40  
41   for i in $(seq 10000 99999) ; do
42      j=$((($i % 1000) + 555))
43      echo "$i;/tmp/totabofds$j/fiddddle${j}$i;xxxLSTATxxxx;xxxxxxxMD5xxxxxx"
44   done  > dat1
45  
46   or
47
48   j=0
49   find / | while read a; do
50    j=$(($j+1))
51    echo "$j;$a;xxxLSTATxxxx;xxxxxxxMD5xxxxxx"
52   done > dat1
53  */
54
55 #include "bacula.h"
56 #include "stored/stored.h"
57 #include "findlib/find.h"
58 #include "cats/cats.h"
59  
60 /* Forward referenced functions */
61 static void *do_batch(void *);
62
63
64 /* Local variables */
65 static B_DB *db;
66
67 static const char *db_name = "bacula";
68 static const char *db_user = "bacula";
69 static const char *db_password = "";
70 static const char *db_host = NULL;
71
72 static pthread_mutex_t mutex = PTHREAD_MUTEX_INITIALIZER;
73
74 static void usage()
75 {
76    fprintf(stderr, _(
77 PROG_COPYRIGHT
78 "\nVersion: %s (%s)\n"
79 "Example : bbatch -w /path/to/workdir -h localhost -f dat1 -f dat -f datx\n"
80 " will start 3 thread and load dat1, dat and datx in your catalog\n"
81 "See bbatch.c to generate datafile\n\n"
82 "Usage: bbatch [ options ] -w working/dir -f datafile\n"
83 "       -d <nn>           set debug level to <nn>\n"
84 "       -dt               print timestamp in debug output\n"
85 "       -n <name>         specify the database name (default bacula)\n"
86 "       -u <user>         specify database user name (default bacula)\n"
87 "       -P <password      specify database password (default none)\n"
88 "       -h <host>         specify database host (default NULL)\n"
89 "       -w <working>      specify working directory\n"
90 "       -r <jobids>       call restore code with given jobids\n"
91 "       -v                verbose\n"
92 "       -f <file>         specify data file\n"
93 "       -?                print this message\n\n"), 2001, VERSION, BDATE);
94    exit(1);
95 }
96
97 /* number of thread started */
98 int nb=0;
99
100 static int list_handler(void *ctx, int num_fields, char **row)
101 {
102    uint64_t *a = (uint64_t*) ctx;
103    (*a)++;
104    return 0;
105 }
106
107 int main (int argc, char *argv[])
108 {
109    int ch;
110    char *restore_list=NULL;
111    setlocale(LC_ALL, "");
112    bindtextdomain("bacula", LOCALEDIR);
113    textdomain("bacula");
114    init_stack_dump();
115    lmgr_init_thread();
116    
117    char **files = (char **) malloc (10 * sizeof(char *));
118    int i;
119    my_name_is(argc, argv, "bbatch");
120    init_msg(NULL, NULL);
121
122    OSDependentInit();
123
124    while ((ch = getopt(argc, argv, "h:c:d:n:P:Su:vf:w:r:?")) != -1) {
125       switch (ch) {
126       case 'r':
127          restore_list=bstrdup(optarg);
128          break;
129
130       case 'd':                    /* debug level */
131          if (*optarg == 't') {
132             dbg_timestamp = true;
133          } else {
134             debug_level = atoi(optarg);
135             if (debug_level <= 0) {
136                debug_level = 1;
137             }
138          }
139          break;
140
141       case 'h':
142          db_host = optarg;
143          break;
144
145       case 'n':
146          db_name = optarg;
147          break;
148
149       case 'w':
150          working_directory = optarg;
151          break;
152
153       case 'u':
154          db_user = optarg;
155          break;
156
157       case 'P':
158          db_password = optarg;
159          break;
160
161       case 'v':
162          verbose++;
163          break;
164
165       case 'f':
166          if (nb < 10 ) {
167             files[nb++] = optarg;
168          }
169          break;
170
171       case '?':
172       default:
173          usage();
174
175       }
176    }
177    argc -= optind;
178    argv += optind;
179
180    if (argc != 0) {
181       Pmsg0(0, _("Wrong number of arguments: \n"));
182       usage();
183    }
184
185    if (restore_list) {
186       uint64_t nb_file=0;
187       btime_t start, end;
188       /* To use the -r option, the catalog should already contains records */
189       
190       if ((db=db_init(NULL, NULL, db_name, db_user, db_password,
191                       db_host, 0, NULL, 0)) == NULL) {
192          Emsg0(M_ERROR_TERM, 0, _("Could not init Bacula database\n"));
193       }
194       if (!db_open_database(NULL, db)) {
195          Emsg0(M_ERROR_TERM, 0, db_strerror(db));
196       }
197
198       start = get_current_btime();
199       db_get_file_list(NULL, db, restore_list, list_handler, &nb_file);
200       end = get_current_btime();
201
202       Pmsg3(0, _("Computing file list for jobid=%s files=%lld secs=%d\n"), 
203             restore_list, nb_file, (uint32_t)btime_to_unix(end-start));
204       
205       free(restore_list);
206       return 0;
207    }
208
209 #ifdef HAVE_BATCH_FILE_INSERT
210    printf("With new Batch mode\n");
211 #else
212    printf("Without new Batch mode\n");
213 #endif
214    i = nb;
215    while (--i >= 0) {
216       pthread_t thid;
217       JCR *bjcr = new_jcr(sizeof(JCR), NULL);
218       bjcr->bsr = NULL;
219       bjcr->VolSessionId = 1;
220       bjcr->VolSessionTime = (uint32_t)time(NULL);
221       bjcr->NumReadVolumes = 0;
222       bjcr->NumWriteVolumes = 0;
223       bjcr->JobId = getpid();
224       bjcr->set_JobType(JT_CONSOLE);
225       bjcr->set_JobLevel(L_FULL);
226       bjcr->JobStatus = JS_Running;
227       bjcr->where = bstrdup(files[i]);
228       bjcr->job_name = get_pool_memory(PM_FNAME);
229       pm_strcpy(bjcr->job_name, "Dummy.Job.Name");
230       bjcr->client_name = get_pool_memory(PM_FNAME);
231       pm_strcpy(bjcr->client_name, "Dummy.Client.Name");
232       bstrncpy(bjcr->Job, "bbatch", sizeof(bjcr->Job));
233       bjcr->fileset_name = get_pool_memory(PM_FNAME);
234       pm_strcpy(bjcr->fileset_name, "Dummy.fileset.name");
235       bjcr->fileset_md5 = get_pool_memory(PM_FNAME);
236       pm_strcpy(bjcr->fileset_md5, "Dummy.fileset.md5");
237       
238       if ((db=db_init(NULL, NULL, db_name, db_user, db_password,
239                       db_host, 0, NULL, 0)) == NULL) {
240          Emsg0(M_ERROR_TERM, 0, _("Could not init Bacula database\n"));
241       }
242       if (!db_open_database(NULL, db)) {
243          Emsg0(M_ERROR_TERM, 0, db_strerror(db));
244       }
245       Dmsg0(200, "Database opened\n");
246       if (verbose) {
247          Pmsg2(000, _("Using Database: %s, User: %s\n"), db_name, db_user);
248       }
249       
250       bjcr->db = db;
251
252       pthread_create(&thid, NULL, do_batch, bjcr);
253    }
254
255    while (nb > 0) {
256       bmicrosleep(1,0);
257    }
258
259    return 0;
260 }
261
262 static void fill_attr(ATTR_DBR *ar, char *data)
263 {
264    char *p;
265    char *b;
266    int index=0;
267    ar->Stream = STREAM_UNIX_ATTRIBUTES;
268    ar->JobId = getpid();
269
270    for(p = b = data; *p; p++) {
271       if (*p == ';') {
272          *p = '\0';
273          switch (index) {
274          case 0:
275             ar->FileIndex = str_to_int64(b);
276             break;
277          case 1:
278             ar->fname = b;
279             break;
280          case 2:
281             ar->attr = b;
282             break;
283          case 3:
284             ar->Digest = b;
285             break;
286          }
287          index++;
288          b = ++p;
289       }
290    }
291 }
292
293 static void *do_batch(void *jcr)
294 {
295    JCR *bjcr = (JCR *)jcr;
296    char data[1024];
297    int lineno = 0;
298    struct ATTR_DBR ar;
299    memset(&ar, 0, sizeof(ar));
300    btime_t begin = get_current_btime();
301    char *datafile = bjcr->where;
302
303    FILE *fd = fopen(datafile, "r");
304    if (!fd) {
305       Emsg1(M_ERROR_TERM, 0, _("Error opening datafile %s\n"), datafile);
306    }
307    while (fgets(data, sizeof(data)-1, fd)) {
308       strip_trailing_newline(data);
309       lineno++;
310       if (verbose && ((lineno % 5000) == 1)) {
311          printf("\r%i", lineno);
312       }
313       fill_attr(&ar, data);
314       if (!db_create_file_attributes_record(bjcr, bjcr->db, &ar)) {
315          Emsg0(M_ERROR_TERM, 0, _("Error while inserting file\n"));
316       }
317    }
318    fclose(fd);
319    db_write_batch_file_records(bjcr);
320    btime_t end = get_current_btime();
321    
322    P(mutex);
323    char ed1[200], ed2[200];
324    printf("\rbegin = %s, end = %s\n", edit_int64(begin, ed1),edit_int64(end, ed2));
325    printf("Insert time = %sms\n", edit_int64((end - begin) / 10000, ed1));
326    printf("Create %u files at %.2f/s\n", lineno, 
327           (lineno / ((float)((end - begin) / 1000000))));
328    nb--;
329    V(mutex);
330    pthread_exit(NULL);
331    return NULL;
332 }