]> git.sur5r.net Git - bacula/bacula/blobdiff - gui/bweb/lib/Bweb.pm
ebl Doesn't display running job more in job hist
[bacula/bacula] / gui / bweb / lib / Bweb.pm
index 15172036c8d92823831895ac7b3c002b41c572bb..5b14313b5ef450d93e8b6068963f0773e82812c4 100644 (file)
@@ -3,22 +3,34 @@ use strict;
 
 =head1 LICENSE
 
-    Copyright (C) 2006 Eric Bollengier
-        All rights reserved.
+   Bweb - A Bacula web interface
+   Bacula® - The Network Backup Solution
 
-    This program is free software; you can redistribute it and/or modify
-    it under the terms of the GNU General Public License as published by
-    the Free Software Foundation; either version 2 of the License, or
-    any later version.
+   Copyright (C) 2000-2006 Free Software Foundation Europe e.V.
 
-    This program is distributed in the hope that it will be useful,
-    but WITHOUT ANY WARRANTY; without even the implied warranty of
-    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-    GNU General Public License for more details.
+   The main author of Bweb is Eric Bollengier.
+   The main author of Bacula is Kern Sibbald, with contributions from
+   many others, a complete list can be found in the file AUTHORS.
 
-    You should have received a copy of the GNU General Public License
-    along with this program; if not, write to the Free Software
-    Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+   This program is Free Software; you can redistribute it and/or
+   modify it under the terms of version two of the GNU General Public
+   License as published by the Free Software Foundation plus additions
+   that are listed in the file LICENSE.
+
+   This program is distributed in the hope that it will be useful, but
+   WITHOUT ANY WARRANTY; without even the implied warranty of
+   MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
+   General Public License for more details.
+
+   You should have received a copy of the GNU General Public License
+   along with this program; if not, write to the Free Software
+   Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+   02110-1301, USA.
+
+   Bacula® is a registered trademark of John Walker.
+   The licensor of Bacula is the Free Software Foundation Europe
+   (FSFE), Fiduciary Program, Sumatrastrasse 25, 8006 Zurich,
+   Switzerland, email:ftf@fsfeurope.org.
 
 =head1 VERSION
 
@@ -41,7 +53,6 @@ package Bweb::Gui;
 use HTML::Template;
 our $template_dir='/usr/share/bweb/tpl';
 
-
 =head1 FUNCTION
 
     new - creation a of new Bweb object
@@ -123,7 +134,7 @@ sub error
 
 =head2 EXAMPLE
 
-    $ref = { name => 'me', age => 26 };
+    $ref = { name => 'me', age => 26 };
     $self->display($ref, "people.tpl");
 
 =cut
@@ -196,6 +207,7 @@ use CGI;
 our %k_re = ( dbi      => qr/^(dbi:(Pg|mysql):(?:\w+=[\w\d\.-]+;?)+)$/i,
              user     => qr/^([\w\d\.-]+)$/i,
              password => qr/^(.*)$/i,
+             fv_write_path => qr!^([/\w\d\.-]*)$!,
              template_dir => qr!^([/\w\d\.-]+)$!,
              debug    => qr/^(on)?$/,
              email_media => qr/^([\w\d\.-]+@[\d\w\.-]+)$/,
@@ -203,6 +215,8 @@ our %k_re = ( dbi      => qr/^(dbi:(Pg|mysql):(?:\w+=[\w\d\.-]+;?)+)$/i,
              bconsole    => qr!^(.+)?$!,
              syslog_file => qr!^(.+)?$!,
              log_dir     => qr!^(.+)?$!,
+             stat_job_table => qr!^(\w*)$!,
+             display_log_time => qr!^(on)?$!,
              );
 
 =head1 FUNCTION
@@ -219,16 +233,58 @@ sub load
 {
     my ($self) = @_ ;
 
+    unless (open(FP, $self->{config_file}))
+    {
+       return $self->error("can't load config_file $self->{config_file} : $!");
+    }
+    my $f=''; my $tmpbuffer;
+    while(read FP,$tmpbuffer,4096)
+    {
+       $f .= $tmpbuffer;
+    }
+    close(FP);
+
+    my $VAR1;
+
+    no strict; # I have no idea of the contents of the file
+    eval "$f" ;
+    use strict;
+
+    if ($f and $@) {
+       $self->load_old();
+       $self->save();
+       return $self->error("If you update from an old bweb install, your must reload this page and if it's fail again, you have to configure bweb again...") ;
+    }
+
+    foreach my $k (keys %$VAR1) {
+       $self->{$k} = $VAR1->{$k};
+    }
+
+    return 1;
+}
+
+=head1 FUNCTION
+
+    load_old - load old configuration format
+
+=cut
+
+sub load_old
+{
+    my ($self) = @_ ;
+
     unless (open(FP, $self->{config_file}))
     {
        return $self->error("$self->{config_file} : $!");
     }
 
-    while (my $line = <FP>) 
+    while (my $line = <FP>)
     {
        chomp($line);
        my ($k, $v) = split(/\s*=\s*/, $line, 2);
-       $self->{$k} = $v;
+       if ($k_re{$k}) {
+           $self->{$k} = $v;
+       }
     }
 
     close(FP);
@@ -245,17 +301,22 @@ sub save
 {
     my ($self) = @_ ;
 
-    unless (open(FP, ">$self->{config_file}"))
-    {
-       return $self->error("$self->{config_file} : $!");
+    if ($self->{ach_list}) {
+       # shortcut for display_begin
+       $self->{achs} = [ map {{ name => $_ }} 
+                         keys %{$self->{ach_list}}
+                       ];
     }
-    
-    foreach my $k (keys %$self)
+
+    unless (open(FP, ">$self->{config_file}"))
     {
-       next unless (exists $k_re{$k}) ;
-       print FP "$k = $self->{$k}\n";
+       return $self->error("$self->{config_file} : $!\n" .
+                           "You must add this to your config file\n" 
+                           . Data::Dumper::Dumper($self));
     }
 
+    print FP Data::Dumper::Dumper($self);
+    
     close(FP);       
     return 1;
 }
@@ -276,8 +337,7 @@ sub edit
 sub view
 {
     my ($self) = @_ ;
-
-    $self->display($self, "config_view.tpl");    
+    $self->display($self, "config_view.tpl");
 }
 
 sub modify
@@ -298,7 +358,7 @@ sub modify
        }
     }
 
-    $self->display($self, "config_view.tpl");
+    $self->view();
 
     if ($self->{error}) {      # an error as occured
        $self->display($self, 'error.tpl');
@@ -466,21 +526,6 @@ use base q/Bweb::Gui/;
 
 =cut
 
-# TODO : get autochanger definition from config/dump file
-my %ach_list ;
-
-sub get
-{
-    my ($name, $bweb) = @_;
-    my $a = new Bweb::Autochanger(debug => $bweb->{debug}, 
-                                 bweb => $bweb,
-                                 name => 'S1_L80',
-                                 precmd => 'sudo',
-                                 drive_name => ['S1_L80_SDLT0', 'S1_L80_SDLT1'],
-                                 );
-    return $a;
-}
-
 sub new
 {
     my ($class, %arg) = @_;
@@ -817,12 +862,13 @@ sub send_to_io
 sub transfer
 {
     my ($self, $src, $dst) = @_ ;
-    print "<pre>$self->{precmd} $self->{mtxcmd} -f $self->{device} transfer $src $dst</pre>\n";
+    if ($self->{debug}) {
+       print "<pre>$self->{precmd} $self->{mtxcmd} -f $self->{device} transfer $src $dst</pre>\n";
+    }
     my $out = `$self->{precmd} $self->{mtxcmd} -f $self->{device} transfer $src $dst 2>&1`;
     
     if ($? == 0) {
        my $content = $self->get_slot($src);
-       print "content = $content<br/> $src => $dst<br/>";
        $self->{slot}->[$src] = 'empty';
        $self->set_slot($dst, $content);
        return 1;
@@ -858,13 +904,17 @@ sub clear_io
        if ($self->slot_is_full($slot))
        {
            my $free = $self->slot_get_first_free() ;
-           print "want to move $slot to $free\n";
+           print "move $slot to $free :\n";
 
            if ($free) {
-               $self->transfer($slot, $free) || print "$self->{error}\n";
+               if ($self->transfer($slot, $free)) {
+                   print "<img src='/bweb/T.png' alt='ok'><br/>\n";
+               } else {
+                   print "<img src='/bweb/E.png' alt='ok' title='$self->{error}'><br/>\n";
+               }
                
            } else {
-               $self->{error} = "E : Can't find free slot";
+               $self->{error} = "<img src='/bweb/E.png' alt='ok' title='E : Can t find free slot'><br/>\n";
            }
        }
     }
@@ -921,13 +971,12 @@ WHERE Media.VolumeName IN ($media_list)
                }
                
                $all->{$vol}->{realslot} = $slot;
-               $all->{$vol}->{volbytes} = Bweb::human_size($all->{$vol}->{volbytes}) ;
-               
+
                push @{ $param }, $all->{$vol};
 
            } else {            # empty or no label
                push @{ $param }, {realslot => $slot,
-                                  volstatus => 'Unknow',
+                                  volstatus => 'Unknown',
                                   volumename => $self->{slot}->[$slot]} ;
            }
        } else {                # empty
@@ -976,8 +1025,7 @@ use base q/Bweb::Gui/;
 use DBI;
 use POSIX qw/strftime/;
 
-our $bpath="/usr/local/bacula";
-our $bconsole="$bpath/sbin/bconsole -c $bpath/etc/bconsole.conf";
+our $config_file='/etc/bacula/bweb.conf';
 
 our $cur_id=0;
 
@@ -988,21 +1036,51 @@ our $cur_id=0;
 =cut
 
 our %sql_func = ( 
-                 Pg => { 
-                     UNIX_TIMESTAMP => '',
-                     FROM_UNIXTIME => '',
-                     TO_SEC => " interval '1 second' * ",
-                     SEC_TO_INT => "SEC_TO_INT",
-                     SEC_TO_TIME => '',
-                 },
-                 mysql => {
-                     UNIX_TIMESTAMP => 'UNIX_TIMESTAMP',
-                     FROM_UNIXTIME => 'FROM_UNIXTIME',
-                     SEC_TO_INT => '',
-                     TO_SEC => '',
-                     SEC_TO_TIME => 'SEC_TO_TIME',
-                 },
-                );
+         Pg => { 
+             UNIX_TIMESTAMP => '',
+             FROM_UNIXTIME => '',
+             TO_SEC => " interval '1 second' * ",
+             SEC_TO_INT => "SEC_TO_INT",
+             SEC_TO_TIME => '',
+             MATCH => " ~ ",
+             STARTTIME_DAY  => " date_trunc('day', Job.StartTime) ",
+             STARTTIME_HOUR => " date_trunc('hour', Job.StartTime) ",
+             STARTTIME_MONTH  => " date_trunc('month', Job.StartTime) ",
+             STARTTIME_PHOUR=> " date_part('hour', Job.StartTime) ",
+             STARTTIME_PDAY => " date_part('day', Job.StartTime) ",
+             STARTTIME_PMONTH => " date_part('month', Job.StartTime) ",
+             DB_SIZE => " SELECT pg_database_size(current_database()) ",
+             CAT_POOL_TYPE => " MediaType || '_' || Pool.Name ",
+         },
+         mysql => {
+             UNIX_TIMESTAMP => 'UNIX_TIMESTAMP',
+             FROM_UNIXTIME => 'FROM_UNIXTIME',
+             SEC_TO_INT => '',
+             TO_SEC => '',
+             SEC_TO_TIME => 'SEC_TO_TIME',
+             MATCH => " REGEXP ",
+             STARTTIME_DAY  => " DATE_FORMAT(StartTime, '%Y-%m-%d') ",
+             STARTTIME_HOUR => " DATE_FORMAT(StartTime, '%Y-%m-%d %H') ",
+             STARTTIME_MONTH => " DATE_FORMAT(StartTime, '%Y-%m') ",
+             STARTTIME_PHOUR=> " DATE_FORMAT(StartTime, '%H') ",
+             STARTTIME_PDAY => " DATE_FORMAT(StartTime, '%d') ",
+             STARTTIME_PMONTH => " DATE_FORMAT(StartTime, '%m') ",
+             # with mysql < 5, you have to play with the ugly SHOW command
+             DB_SIZE => " SELECT 0 ",
+             # works only with mysql 5
+             # DB_SIZE => " SELECT sum(DATA_LENGTH) FROM INFORMATION_SCHEMA.TABLES ",
+             CAT_POOL_TYPE => " CONCAT(MediaType,'_',Pool.Name) ",
+         },
+        );
+
+sub dbh_disconnect
+{
+    my ($self) = @_;
+    if ($self->{dbh}) {
+       $self->{dbh}->disconnect();
+       undef $self->{dbh};
+    }
+}
 
 sub dbh_selectall_arrayref
 {
@@ -1059,7 +1137,7 @@ sub dbh_selectrow_hashref
 # display Mb/Gb/Kb
 sub human_size
 {
-    my @unit = qw(b Kb Mb Gb Tb);
+    my @unit = qw(B KB MB GB TB);
     my $val = shift || 0;
     my $i=0;
     my $format = '%i %s';
@@ -1129,10 +1207,14 @@ sub connect_db
                                    $self->{info}->{user},
                                    $self->{info}->{password});
 
-       print "Can't connect to your database, see error log\n"
+       $self->error("Can't connect to your database:\n$DBI::errstr\n")
            unless ($self->{dbh});
 
        $self->{dbh}->{FetchHashKeyName} = 'NAME_lc';
+
+       if ($self->{info}->{dbi} =~ /^dbi:Pg/i) {
+           $self->{dbh}->do("SET datestyle TO 'ISO, YMD'");
+       }
     }
 }
 
@@ -1176,27 +1258,43 @@ sub display_clients
 {
     my ($self) = @_;
 
+    my $where='';
+    my $arg = $self->get_form("client", "qre_client", "jclient_groups", "qnotingroup");
+
+    if ($arg->{qre_client}) {
+       $where = "WHERE Name $self->{sql}->{MATCH} $arg->{qre_client} ";
+    } elsif ($arg->{client}) {
+       $where = "WHERE Name = '$arg->{client}' ";
+    } elsif ($arg->{jclient_groups}) {
+       $where = "JOIN client_group_member ON (Client.ClientId = client_group_member.clientid) 
+                  JOIN client_group USING (client_group_id)
+                  WHERE client_group_name IN ($arg->{jclient_groups})";
+    } elsif ($arg->{qnotingroup}) {
+       $where =   "
+  WHERE NOT EXISTS
+   (SELECT 1 FROM client_group_member
+     WHERE Client.ClientId = client_group_member.ClientId
+   )
+";
+   
+    }
+
     my $query = "
 SELECT Name   AS name,
        Uname  AS uname,
        AutoPrune AS autoprune,
        FileRetention AS fileretention,
        JobRetention  AS jobretention
-
 FROM Client
+$where
 ";
 
     my $all = $self->dbh_selectall_hashref($query, 'name') ;
 
-    foreach (values %$all) {
-       $_->{fileretention} = human_sec($_->{fileretention});
-       $_->{jobretention} = human_sec($_->{jobretention});
-    }
-
-    my $arg = { ID => $cur_id++,
+    my $dsp = { ID => $cur_id++,
                clients => [ values %$all] };
 
-    $self->display($arg, "client_list.tpl") ;
+    $self->display($dsp, "client_list.tpl") ;
 }
 
 sub get_limit
@@ -1218,6 +1316,10 @@ sub get_limit
        $label = "last " . human_sec($arg{age});
     }
 
+    if ($arg{groupby}) {
+       $limit .= " GROUP BY $arg{groupby} ";
+    }
+
     if ($arg{order}) {
        $limit .= " ORDER BY $arg{order} ";
     }
@@ -1280,18 +1382,46 @@ sub get_form
                 priority => 10,
                 age    => 60*60*24*7,
                 days   => 1,
+                maxvoljobs  => 0,
+                maxvolbytes => 0,
+                maxvolfiles => 0,
+                pathid => 1,
                 );
 
+    my %opt_ss =(              # string with space
+                job     => 1,
+                storage => 1,
+                );
     my %opt_s = (              # default to ''
                 ach    => 1,
                 status => 1,
+                volstatus => 1,
+                 inchanger => 1,
                  client => 1,
                 level  => 1,
                 pool   => 1,
                 media  => 1,
                  ach    => 1,
                  jobtype=> 1,
+                graph  => 1,
+                 gtype  => 1,
+                 type   => 1,
+                poolrecycle => 1,
+                replace => 1,
                 );
+    my %opt_p = (              # option with path
+                fileset=> 1,
+                mtxcmd => 1,
+                precmd => 1,
+                device => 1,
+                where  => 1,
+                );
+    my %opt_r = (regexwhere => 1);
+
+    my %opt_d = (              # option with date
+                voluseduration=> 1,
+                volretention => 1,
+               );
 
     foreach my $i (@what) {
        if (exists $opt_i{$i}) {# integer param
@@ -1304,8 +1434,13 @@ sub get_form
            if ($value =~ /^([\w\d\.-]+)$/) {
                $ret{$i} = $1;
            }
-       } elsif ($i =~ /^j(\w+)s$/) { # quote join args
-           my @value = CGI::param($1) ;
+       } elsif ($opt_ss{$i}) { # simple string param (with space)
+           my $value = CGI::param($i) || '';
+           if ($value =~ /^([\w\d\.\-\s]+)$/) {
+               $ret{$i} = $1;
+           }
+       } elsif ($i =~ /^j(\w+)s$/) { # quote join args "'arg1', 'arg2'"
+           my @value = grep { ! /^\s*$/ } CGI::param($1) ;
            if (@value) {
                $ret{$i} = $self->dbh_join(@value) ;
            }
@@ -1318,7 +1453,22 @@ sub get_form
 
        } elsif ($i =~ /^q(\w+)s$/) { #[ 'arg1', 'arg2']
            $ret{$i} = [ map { { name => $self->dbh_quote($_) } } 
-                                 CGI::param($1) ];
+                                          grep { ! /^\s*$/ } CGI::param($1) ];
+       } elsif (exists $opt_p{$i}) {
+           my $value = CGI::param($i) || '';
+           if ($value =~ /^([\w\d\.\/\s:\@\-]+)$/) {
+               $ret{$i} = $1;
+           }
+       } elsif (exists $opt_r{$i}) {
+           my $value = CGI::param($i) || '';
+           if ($value =~ /^([^'"']+)$/) {
+               $ret{$i} = $1;
+           }
+       } elsif (exists $opt_d{$i}) {
+           my $value = CGI::param($i) || '';
+           if ($value =~ /^\s*(\d+\s+\w+)$/) {
+               $ret{$i} = $1;
+           }
        }
     }
 
@@ -1330,10 +1480,17 @@ sub get_form
        }
     }
 
+    if ($what{when}) {
+       my $when = CGI::param('when') || '';
+       if ($when =~ /^(\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})$/) {
+           $ret{when} = $1;
+       }
+    }
+
     if ($what{db_clients}) {
        my $query = "
 SELECT Client.Name as clientname
-FROM Client
+  FROM Client
 ";
 
        my $clients = $self->dbh_selectall_hashref($query, 'clientname');
@@ -1341,10 +1498,21 @@ FROM Client
                              values %$clients] ;
     }
 
+    if ($what{db_client_groups}) {
+       my $query = "
+SELECT client_group_name AS name 
+  FROM client_group
+";
+
+       my $grps = $self->dbh_selectall_hashref($query, 'name');
+       $ret{db_client_groups} = [sort {$a->{name} cmp $b->{name} } 
+                                 values %$grps] ;
+    }
+
     if ($what{db_mediatypes}) {
        my $query = "
 SELECT MediaType as mediatype
-FROM MediaType
+  FROM MediaType
 ";
 
        my $medias = $self->dbh_selectall_hashref($query, 'mediatype');
@@ -1354,7 +1522,8 @@ FROM MediaType
 
     if ($what{db_locations}) {
        my $query = "
-SELECT Location as location, Cost as cost FROM Location
+SELECT Location as location, Cost as cost 
+  FROM Location
 ";
        my $loc = $self->dbh_selectall_hashref($query, 'location');
        $ret{db_locations} = [ sort { $a->{location} 
@@ -1373,27 +1542,37 @@ SELECT Location as location, Cost as cost FROM Location
     if ($what{db_filesets}) {
        my $query = "
 SELECT FileSet.FileSet AS fileset 
-FROM FileSet
+  FROM FileSet
 ";
 
        my $filesets = $self->dbh_selectall_hashref($query, 'fileset');
 
        $ret{db_filesets} = [sort {lc($a->{fileset}) cmp lc($b->{fileset}) } 
                               values %$filesets] ;
-
     }
 
     if ($what{db_jobnames}) {
        my $query = "
 SELECT DISTINCT Job.Name AS jobname 
-FROM Job
+  FROM Job
 ";
 
        my $jobnames = $self->dbh_selectall_hashref($query, 'jobname');
 
        $ret{db_jobnames} = [sort {lc($a->{jobname}) cmp lc($b->{jobname}) } 
                               values %$jobnames] ;
+    }
 
+    if ($what{db_devices}) {
+       my $query = "
+SELECT Device.Name AS name
+  FROM Device
+";
+
+       my $devices = $self->dbh_selectall_hashref($query, 'name');
+
+       $ret{db_devices} = [sort {lc($a->{name}) cmp lc($b->{name}) } 
+                              values %$devices] ;
     }
 
     return \%ret;
@@ -1404,8 +1583,9 @@ sub display_graph
     my ($self) = @_;
 
     my $fields = $self->get_form(qw/age level status clients filesets 
-                                  db_clients limit db_filesets width height
-                                  qclients qfilesets qjobnames db_jobnames/);
+                                    graph gtype type
+                                   db_clients limit db_filesets width height
+                                   qclients qfilesets qjobnames db_jobnames/);
                                
 
     my $url = CGI::url(-full => 0,
@@ -1413,16 +1593,6 @@ sub display_graph
                       -query => 1);
     $url =~ s/^.+?\?//;        # http://path/to/bweb.pl?arg => arg
 
-    my $type = CGI::param('graph') || '';
-    if ($type =~ /^(\w+)$/) {
-       $fields->{graph} = $1;
-    }
-
-    my $gtype = CGI::param('gtype') || '';
-    if ($gtype =~ /^(\w+)$/) {
-       $fields->{gtype} = $1;
-    } 
-
 # this organisation is to keep user choice between 2 click
 # TODO : fileset and client selection doesn't work
 
@@ -1462,10 +1632,6 @@ SELECT DISTINCT Job.JobId       AS jobid,
 
     my $all = $self->dbh_selectall_hashref($query, 'jobid') ;
 
-    foreach (values %$all) {
-       $_->{jobbytes} = human_size($_->{jobbytes}) ;
-    }
-
     $self->display({ clientname => $arg{clientname},
                     Filter => $label,
                     ID => $cur_id++,
@@ -1639,6 +1805,7 @@ SELECT
     (SELECT count(Media.MediaId) FROM Media)  AS nb_media,
     (SELECT count(Job.JobId)     FROM Job)    AS nb_job,
     (SELECT sum(VolBytes)        FROM Media)  AS nb_bytes,
+    ($self->{sql}->{DB_SIZE})                 AS db_size,
     (SELECT count(Job.JobId)
       FROM Job
       WHERE Job.JobStatus IN ('E','e','f','A')
@@ -1651,7 +1818,7 @@ SELECT
 
     $row->{nb_bytes} = human_size($row->{nb_bytes});
 
-    $row->{db_size} = '???';
+    $row->{db_size} = human_size($row->{db_size});
     $row->{label} = $label;
 
     $self->display($row, "general.tpl");
@@ -1666,7 +1833,7 @@ sub get_param
     my $limit = '';
 
     if ($elt{clients}) {
-       my @clients = CGI::param('client');
+       my @clients = grep { ! /^\s*$/ } CGI::param('client');
        if (@clients) {
            $ret{clients} = \@clients;
            my $str = $self->dbh_join(@clients);
@@ -1674,8 +1841,17 @@ sub get_param
        }
     }
 
+    if ($elt{client_groups}) {
+       my @clients = grep { ! /^\s*$/ } CGI::param('client_group');
+       if (@clients) {
+           $ret{client_groups} = \@clients;
+           my $str = $self->dbh_join(@clients);
+           $limit .= "AND client_group_name IN ($str) ";
+       }
+    }
+
     if ($elt{filesets}) {
-       my @filesets = CGI::param('fileset');
+       my @filesets = grep { ! /^\s*$/ } CGI::param('fileset');
        if (@filesets) {
            $ret{filesets} = \@filesets;
            my $str = $self->dbh_join(@filesets);
@@ -1684,7 +1860,7 @@ sub get_param
     }
 
     if ($elt{mediatypes}) {
-       my @medias = CGI::param('mediatype');
+       my @medias = grep { ! /^\s*$/ } CGI::param('mediatype');
        if (@medias) {
            $ret{mediatypes} = \@medias;
            my $str = $self->dbh_join(@medias);
@@ -1720,12 +1896,26 @@ sub get_param
        my $status = CGI::param('status') || '';
        if ($status =~ /^(\w)$/) {
            $ret{status} = $1;
-           $limit .= "AND Job.JobStatus = '$1' ";
+           if ($1 eq 'f') {
+               $limit .= "AND Job.JobStatus IN ('f','E') ";            
+           } elsif ($1 eq 'W') {
+               $limit .= "AND Job.JobStatus = 'T' AND Job.JobErrors > 0 ";             
+            } else {
+               $limit .= "AND Job.JobStatus = '$1' ";          
+           }
+       }
+    }
+
+    if ($elt{volstatus}) {
+       my $status = CGI::param('volstatus') || '';
+       if ($status =~ /^(\w+)$/) {
+           $ret{status} = $1;
+           $limit .= "AND Media.VolStatus = '$1' ";            
        }
     }
 
     if ($elt{locations}) {
-       my @location = CGI::param('location') ;
+       my @location = grep { ! /^\s*$/ } CGI::param('location') ;
        if (@location) {
            $ret{locations} = \@location;           
            my $str = $self->dbh_join(@location);
@@ -1734,7 +1924,7 @@ sub get_param
     }
 
     if ($elt{pools}) {
-       my @pool = CGI::param('pool') ;
+       my @pool = grep { ! /^\s*$/ } CGI::param('pool') ;
        if (@pool) {
            $ret{pools} = \@pool; 
            my $str = $self->dbh_join(@pool);
@@ -1775,25 +1965,6 @@ sub get_param
 
     get last backup
 
-SELECT DISTINCT Job.JobId       AS jobid,
-                Client.Name     AS client,
-                FileSet.FileSet AS fileset,
-               Job.Name        AS jobname,
-                Level           AS level,
-                StartTime       AS starttime,
-                JobFiles        AS jobfiles, 
-                JobBytes        AS jobbytes,
-                VolumeName      AS volumename,
-               JobStatus       AS jobstatus,
-                JobErrors      AS joberrors
-
- FROM Client,Job,JobMedia,Media,FileSet
- WHERE Client.ClientId=Job.ClientId
-   AND Job.FileSetId=FileSet.FileSetId
-   AND JobMedia.JobId=Job.JobId 
-   AND JobMedia.MediaId=Media.MediaId
- $limit
-
 =cut 
 
 sub display_job
@@ -1804,12 +1975,22 @@ sub display_job
 
     my ($limit, $label) = $self->get_limit(%arg);
     my ($where, undef) = $self->get_param('clients',
+                                         'client_groups',
                                          'level',
                                          'filesets',
                                          'jobtype',
+                                         'pools',
                                          'jobid',
                                          'status');
 
+    my $cgq = '';
+    if (CGI::param('client_group')) {
+       $cgq = "
+LEFT JOIN client_group_member ON (Job.ClientId = client_group_member.ClientId)
+LEFT JOIN client_group USING (client_group_id)
+";
+    }
+
     my $query="
 SELECT  Job.JobId       AS jobid,
         Client.Name     AS client,
@@ -1817,6 +1998,7 @@ SELECT  Job.JobId       AS jobid,
        Job.Name        AS jobname,
         Level           AS level,
         StartTime       AS starttime,
+        EndTime         AS endtime,
         Pool.Name       AS poolname,
         JobFiles        AS jobfiles, 
         JobBytes        AS jobbytes,
@@ -1830,17 +2012,15 @@ SELECT  Job.JobId       AS jobid,
  FROM Client, 
       Job LEFT JOIN Pool     ON (Job.PoolId    = Pool.PoolId)
           LEFT JOIN FileSet  ON (Job.FileSetId = FileSet.FileSetId)
+          $cgq
  WHERE Client.ClientId=Job.ClientId
+   AND Job.JobStatus NOT IN ('R', 'C')
  $where
  $limit
 ";
 
     my $all = $self->dbh_selectall_hashref($query, 'jobid') ;
 
-    foreach (values %$all) {
-       $_->{jobbytes} = human_size($_->{jobbytes}) ;
-    }
-
     $self->display({ Filter => $label,
                     ID => $cur_id++,
                     Jobs => 
@@ -1870,6 +2050,7 @@ SELECT DISTINCT Job.JobId       AS jobid,
                 JobFiles        AS jobfiles, 
                 JobBytes        AS jobbytes,
                JobStatus       AS jobstatus,
+                JobErrors       AS joberrors,
                 $self->{sql}->{SEC_TO_TIME}(  $self->{sql}->{UNIX_TIMESTAMP}(EndTime)  
                                             - $self->{sql}->{UNIX_TIMESTAMP}(StartTime)) AS duration
 
@@ -1882,8 +2063,6 @@ SELECT DISTINCT Job.JobId       AS jobid,
 
     my $row = $self->dbh_selectrow_hashref($query) ;
 
-    $row->{jobbytes} = human_size($row->{jobbytes}) ;
-
     # display all volumes associate with this job
     $query="
 SELECT Media.VolumeName as volumename
@@ -1900,18 +2079,82 @@ WHERE Job.JobId = $jobid
     $self->display($row, "display_job_zoom.tpl");
 }
 
+sub display_job_group
+{
+    my ($self, %arg) = @_;
+
+    my ($limit, $label) = $self->get_limit(groupby => 'client_group_name',  %arg);
+
+    my ($where, undef) = $self->get_param('client_groups',
+                                         'level',
+                                         'pools');
+    
+    my $query = 
+"
+SELECT client_group_name AS client_group_name,
+       COALESCE(jobok.jobfiles,0)  + COALESCE(joberr.jobfiles,0)  AS jobfiles,
+       COALESCE(jobok.jobbytes,0)  + COALESCE(joberr.jobbytes,0)  AS jobbytes,
+       COALESCE(jobok.joberrors,0) + COALESCE(joberr.joberrors,0) AS joberrors,
+       COALESCE(jobok.nbjobs,0)  AS nbjobok,
+       COALESCE(joberr.nbjobs,0) AS nbjoberr,
+       COALESCE(jobok.duration, '0:0:0') AS duration
+
+FROM client_group LEFT JOIN (
+    SELECT client_group_name AS client_group_name, COUNT(1) AS nbjobs, 
+           SUM(JobFiles) AS jobfiles, SUM(JobBytes) AS jobbytes, 
+           SUM(JobErrors) AS joberrors,
+           SUM($self->{sql}->{SEC_TO_TIME}(  $self->{sql}->{UNIX_TIMESTAMP}(EndTime)  
+                              - $self->{sql}->{UNIX_TIMESTAMP}(StartTime)))
+                        AS duration
+
+    FROM Job JOIN client_group_member ON (Job.ClientId = client_group_member.ClientId)
+             JOIN client_group USING (client_group_id)
+    
+    WHERE JobStatus = 'T'
+    $where
+    $limit
+) AS jobok USING (client_group_name) LEFT JOIN
+
+(
+    SELECT client_group_name AS client_group_name, COUNT(1) AS nbjobs, 
+           SUM(JobFiles) AS jobfiles, SUM(JobBytes) AS jobbytes, 
+           SUM(JobErrors) AS joberrors
+    FROM Job JOIN client_group_member ON (Job.ClientId = client_group_member.ClientId)
+             JOIN client_group USING (client_group_id)
+    
+    WHERE JobStatus IN ('f','E', 'A')
+    $where
+    $limit
+) AS joberr USING (client_group_name)
+
+    ";
+
+    my $all = $self->dbh_selectall_hashref($query, 'client_group_name');
+
+    my $rep = { groups => [ values %$all ], age => $arg{age}, filter => $label };
+                
+    $self->debug($rep);
+    $self->display($rep, "display_job_group.tpl");
+}
+
 sub display_media
 {
-    my ($self) = @_ ;
+    my ($self, %arg) = @_ ;
 
-    my ($where, %elt) = $self->get_param('pool',
-                                        'location');
+    my ($limit, $label) = $self->get_limit(%arg);    
+    my ($where, %elt) = $self->get_param('pools',
+                                        'mediatypes',
+                                        'volstatus',
+                                        'locations');
 
-    my $arg = $self->get_form('jmedias');
+    my $arg = $self->get_form('jmedias', 'qre_media');
 
     if ($arg->{jmedias}) {
        $where = "AND Media.VolumeName IN ($arg->{jmedias}) $where"; 
     }
+    if ($arg->{qre_media}) {
+       $where = "AND Media.VolumeName $self->{sql}->{MATCH} $arg->{qre_media} $where"; 
+    }
 
     my $query="
 SELECT Media.VolumeName  AS volumename, 
@@ -1938,12 +2181,10 @@ LEFT JOIN (SELECT avg(Media.VolBytes) AS size,
 
 WHERE Media.PoolId=Pool.PoolId
 $where
+$limit
 ";
 
     my $all = $self->dbh_selectall_hashref($query, 'volumename') ;
-    foreach (values %$all) {
-       $_->{volbytes} = human_size($_->{volbytes}) ;
-    }
 
     $self->display({ ID => $cur_id++,
                     Pool => $elt{pool},
@@ -1991,8 +2232,10 @@ SELECT InChanger     AS online,
        Media.Recycle AS recycle,
        Media.VolRetention AS volretention,
        Media.LastWritten  AS lastwritten,
-       Media.VolReadTime/100000  AS volreadtime,
-       Media.VolWriteTime/100000  AS volwritetime,
+       Media.VolReadTime/1000000  AS volreadtime,
+       Media.VolWriteTime/1000000 AS volwritetime,
+       Media.RecycleCount AS recyclecount,
+       Media.Comment      AS comment,
        $self->{sql}->{FROM_UNIXTIME}(
           $self->{sql}->{UNIX_TIMESTAMP}(Media.LastWritten) 
         + $self->{sql}->{TO_SEC}(Media.VolRetention)
@@ -2006,11 +2249,6 @@ SELECT InChanger     AS online,
     my $all = $self->dbh_selectall_hashref($query, 'volumename') ;
 
     foreach my $media (values %$all) {
-       $media->{nb_bytes} = human_size($media->{nb_bytes}) ;
-       $media->{voluseduration} = human_sec($media->{voluseduration});
-       $media->{volretention} = human_sec($media->{volretention});
-       $media->{volreadtime}  = human_sec($media->{volreadtime});
-       $media->{volwritetime}  = human_sec($media->{volwritetime});
        my $mq = $self->dbh_quote($media->{volumename});
 
        $query = "
@@ -2030,11 +2268,23 @@ SELECT DISTINCT Job.JobId AS jobid,
 
        my $jobs = $self->dbh_selectall_hashref($query, 'jobid') ;
 
-       foreach (values %$jobs) {
-           $_->{bytes} = human_size($_->{bytes}) ;
+       $query = "
+SELECT LocationLog.Date    AS date,
+       Location.Location   AS location,
+       LocationLog.Comment AS comment
+ FROM Media,LocationLog INNER JOIN Location ON (LocationLog.LocationId = Location.LocationId)
+ WHERE Media.MediaId = LocationLog.MediaId
+   AND Media.VolumeName = $mq
+";
+
+       my $logtxt = '';
+       my $log = $self->dbh_selectall_arrayref($query) ;
+       if ($log) {
+           $logtxt = join("\n", map { ($_->[0] . ' ' . $_->[1] . ' ' . $_->[2])} @$log ) ;
        }
 
        $self->display({ jobs => [ values %$jobs ],
+                        LocationLog => $logtxt,
                         %$media },
                       "display_media_zoom.tpl");
     }
@@ -2091,9 +2341,40 @@ WHERE Location.Location = $arg->{qlocation}
 
     $self->dbh_do($query);
 
-    $self->display_location();
+    $self->location_display();
 }
 
+sub location_del
+{
+    my ($self) = @_ ;
+    my $arg = $self->get_form(qw/qlocation/) ;
+
+    unless ($arg->{qlocation}) {
+       return $self->error("Can't get location");
+    }
+
+    my $query = "
+SELECT count(Media.MediaId) AS nb 
+  FROM Media INNER JOIN Location USING (LocationID)
+WHERE Location = $arg->{qlocation}
+";
+
+    my $res = $self->dbh_selectrow_hashref($query);
+
+    if ($res->{nb}) {
+       return $self->error("Sorry, the location must be empty");
+    }
+
+    $query = "
+DELETE FROM Location WHERE Location = $arg->{qlocation} LIMIT 1
+";
+
+    $self->dbh_do($query);
+
+    $self->location_display();
+}
+
+
 sub location_add
 {
     my ($self) = @_ ;
@@ -2117,10 +2398,10 @@ INSERT INTO Location (Location, Cost, Enabled)
 
     $self->dbh_do($query);
 
-    $self->display_location();
+    $self->location_display();
 }
 
-sub display_location
+sub location_display
 {
     my ($self) = @_ ;
 
@@ -2160,98 +2441,165 @@ sub update_location
                   "update_location.tpl");
 }
 
-sub get_media_max_size
+###########################################################
+
+sub groups_edit
 {
-    my ($self, $type) = @_;
-    my $query = 
-"SELECT avg(VolBytes) AS size
-  FROM Media 
- WHERE Media.VolStatus = 'Full' 
-   AND Media.MediaType = '$type'
+    my ($self) = @_;
+
+    my $grp = $self->get_form(qw/qclient_group db_clients/);
+    $self->debug($grp);
+
+    unless ($grp->{qclient_group}) {
+       return $self->error("Can't get group");
+    }
+
+    my $query = "
+SELECT Name AS name 
+  FROM Client JOIN client_group_member using (clientid)
+              JOIN client_group using (client_group_id)
+WHERE client_group_name = $grp->{qclient_group}
 ";
+
+    my $row = $self->dbh_selectall_hashref($query, "name");
+    $self->debug($row);
+    $self->display({ ID => $cur_id++,
+                    client_group => $grp->{qclient_group},
+                    %$grp,
+                    client_group_member => [ values %$row]}, 
+                  "groups_edit.tpl");
+}
+
+sub groups_save
+{
+    my ($self) = @_;
+
+    my $arg = $self->get_form(qw/qclient_group jclients qnewgroup/);
+    unless ($arg->{qclient_group}) {
+       return $self->error("Can't get groups");
+    }
     
-    my $res = $self->selectrow_hashref($query);
+    $self->{dbh}->begin_work();
 
-    if ($res) {
-       return $res->{size};
-    } else {
-       return 0;
+    my $query = "
+DELETE FROM client_group_member 
+      WHERE client_group_id IN 
+           (SELECT client_group_id 
+              FROM client_group 
+             WHERE client_group_name = $arg->{qclient_group})
+";
+    $self->dbh_do($query);
+
+    $query = "
+    INSERT INTO client_group_member (clientid, client_group_id) 
+       (SELECT  Clientid, 
+                (SELECT client_group_id 
+                   FROM client_group 
+                  WHERE client_group_name = $arg->{qclient_group})
+          FROM Client WHERE Name IN ($arg->{jclients})
+       )
+";
+    $self->dbh_do($query);
+
+    if ($arg->{qclient_group} ne $arg->{qnewgroup}) {
+       $query = "
+UPDATE client_group 
+   SET client_group_name = $arg->{qnewgroup}
+ WHERE client_group_name = $arg->{qclient_group}
+";
+
+       $self->dbh_do($query);
     }
+
+    $self->{dbh}->commit() or $self->error($self->{dbh}->errstr);
+
+    $self->display_groups();
 }
 
-sub do_update_media
+sub groups_del
 {
-    my ($self) = @_ ;
+    my ($self) = @_;
+    my $arg = $self->get_form(qw/qclient_group/);
 
-    my $media = CGI::param('media');
-    unless ($media) {
-       return $self->error("Can't find media selection");
+    unless ($arg->{qclient_group}) {
+       return $self->error("Can't get groups");
     }
 
-    $media = $self->dbh_quote($media);
+    $self->{dbh}->begin_work();
 
-    my $update = '';
+    my $query = "
+DELETE FROM client_group_member 
+      WHERE client_group_id IN 
+           (SELECT client_group_id 
+              FROM client_group 
+             WHERE client_group_name = $arg->{qclient_group});
+
+DELETE FROM client_group
+      WHERE client_group_name = $arg->{qclient_group};
+";
+    $self->dbh_do($query);
 
-    my $volstatus = CGI::param('volstatus') || ''; 
-    $volstatus = $self->dbh_quote($volstatus); # is checked by db
-    $update .= " VolStatus=$volstatus, ";
+    $self->{dbh}->commit();
     
-    my $inchanger = CGI::param('inchanger') || '';
-    if ($inchanger) {
-       $update .= " InChanger=1, " ;
-       my $slot = CGI::param('slot') || '';
-       if ($slot =~ /^(\d+)$/) {
-           $update .= " Slot=$1, ";
-       } else {
-           $update .= " Slot=0, ";
-       }
-    } else {
-       $update = " Slot=0, InChanger=0, ";
-    }
+    $self->display_groups();
+}
+
 
-    my $pool = CGI::param('pool') || '';
-    $pool = $self->dbh_quote($pool); # is checked by db
-    $update .= " PoolId=(SELECT PoolId FROM Pool WHERE Name=$pool), ";
+sub groups_add
+{
+    my ($self) = @_;
+    my $arg = $self->get_form(qw/qclient_group/) ;
 
-    my $volretention = CGI::param('volretention') || '';
-    $volretention = from_human_sec($volretention);
-    unless ($volretention) {
-       return $self->error("Can't get volume retention");
+    unless ($arg->{qclient_group}) {
+       $self->display({}, "groups_add.tpl");
+       return 1;
     }
 
-    $update .= " VolRetention = $volretention, ";
+    my $query = "
+INSERT INTO client_group (client_group_name) 
+VALUES ($arg->{qclient_group})
+";
 
-    my $loc = CGI::param('location') || '';
-    $loc = $self->dbh_quote($loc); # is checked by db
-    $update .= " LocationId=(SELECT LocationId FROM Location WHERE Location=$loc), ";
+    $self->dbh_do($query);
 
-    my $usedu = CGI::param('voluseduration') || '0';
-    $usedu = from_human_sec($usedu);
-    $update .= " VolUseDuration=$usedu, ";
+    $self->display_groups();
+}
 
-    my $maxj = CGI::param('maxvoljobs') || '0';
-    unless ($maxj =~ /^(\d+)$/) {
-       return $self->error("Can't get max jobs");
-    }
-    $update .= " MaxVolJobs=$1, " ;
+sub display_groups
+{
+    my ($self) = @_;
 
-    my $maxf = CGI::param('maxvolfiles') || '0';
-    unless ($maxj =~ /^(\d+)$/) {
-       return $self->error("Can't get max files");
-    }
-    $update .= " MaxVolFiles=$1, " ;
-   
-    my $maxb = CGI::param('maxvolbytes') || '0';
-    unless ($maxb =~ /^(\d+)$/) {
-       return $self->error("Can't get max bytes");
+    my $arg = $self->get_form(qw/db_client_groups/) ;
+
+    if ($self->{dbh}->errstr) {
+       return $self->error("Can't use groups with bweb, read INSTALL to enable them");
     }
-    $update .= " MaxVolBytes=$1 " ;
-    
-    my $row=$self->dbh_do("UPDATE Media SET $update WHERE VolumeName=$media");
+
+    $self->debug($arg);
+
+    $self->display({ ID => $cur_id++,
+                    %$arg},
+                  "display_groups.tpl");
+}
+
+###########################################################
+
+sub get_media_max_size
+{
+    my ($self, $type) = @_;
+    my $query = 
+"SELECT avg(VolBytes) AS size
+  FROM Media 
+ WHERE Media.VolStatus = 'Full' 
+   AND Media.MediaType = '$type'
+";
     
-    if ($row) {
-       print "Update Ok\n";
-       $self->update_media();
+    my $res = $self->selectrow_hashref($query);
+
+    if ($res) {
+       return $res->{size};
+    } else {
+       return 0;
     }
 }
 
@@ -2267,7 +2615,7 @@ sub update_media
 
     my $query = "
 SELECT Media.Slot         AS slot,
-       Pool.Name          AS poolname,
+       PoolMedia.Name     AS poolname,
        Media.VolStatus    AS volstatus,
        Media.InChanger    AS inchanger,
        Location.Location  AS location,
@@ -2276,9 +2624,12 @@ SELECT Media.Slot         AS slot,
        Media.MaxVolJobs   AS maxvoljobs,
        Media.MaxVolFiles  AS maxvolfiles,
        Media.VolUseDuration AS voluseduration,
-       Media.VolRetention AS volretention
+       Media.VolRetention AS volretention,
+       Media.Comment      AS comment,
+       PoolRecycle.Name   AS poolrecycle
 
-FROM Media INNER JOIN Pool ON (Media.PoolId = Pool.PoolId)
+FROM Media INNER JOIN Pool AS PoolMedia ON (Media.PoolId = PoolMedia.PoolId)
+           LEFT  JOIN Pool AS PoolRecycle ON (Media.RecyclePoolId = PoolRecycle.PoolId)
            LEFT  JOIN Location ON (Media.LocationId = Location.LocationId)
 
 WHERE Media.VolumeName = $media->{qmedia}
@@ -2293,8 +2644,7 @@ WHERE Media.VolumeName = $media->{qmedia}
     $self->display({
        %$elt,
         %$row,
-    },
-                  "update_media.tpl");
+    }, "update_media.tpl");
 }
 
 sub save_location
@@ -2321,10 +2671,12 @@ sub save_location
 
     my $nb = $self->dbh_do($query);
 
-    print "$nb media updated";
+    print "$nb media updated, you may have to update your autochanger.";
+
+    $self->display_media();
 }
 
-sub change_location
+sub location_change
 {
     my ($self) = @_ ;
 
@@ -2334,7 +2686,7 @@ sub change_location
     }
     my $newloc = CGI::param('newlocation');
 
-    my $user = CGI::param('user') || 'unknow';
+    my $user = CGI::param('user') || 'unknown';
     my $comm = CGI::param('comment') || '';
     $comm = $self->dbh_quote("$user: $comm");
 
@@ -2349,7 +2701,7 @@ INSERT LocationLog (Date, Comment, MediaId, LocationId, NewVolStatus)
        (SELECT VolStatus FROM Media WHERE VolumeName = '$media')
       )
 ";
-       
+       $self->dbh_do($query);
        $self->debug($query);
     }
 
@@ -2360,7 +2712,7 @@ INSERT LocationLog (Date, Comment, MediaId, LocationId, NewVolStatus)
     $self->display({ email  => $self->{info}->{email_media},
                     url => $url,
                     newlocation => $newloc,
-                    # [ { volumename => 'vol1' }, { volumename => 'vol2' },..]
+                    # [ { volumename => 'vol1' }, { volumename => 'vol2'Â\81Â\81 },..]
                     medias => [ values %$medias ],
                   },
                   "change_location.tpl");
@@ -2372,6 +2724,7 @@ sub display_client_stats
     my ($self, %arg) = @_ ;
 
     my $client = $self->dbh_quote($arg{clientname});
+
     my ($limit, $label) = $self->get_limit(%arg);
 
     my $query = "
@@ -2381,7 +2734,7 @@ SELECT
     sum(Job.JobErrors)   AS nb_err,
     sum(Job.JobFiles)    AS nb_files,
     Client.Name          AS clientname
-FROM Job INNER JOIN Client USING (ClientId)
+FROM Job JOIN Client USING (ClientId)
 WHERE 
     Client.Name = $client
     $limit 
@@ -2392,7 +2745,45 @@ GROUP BY Client.Name
 
     $row->{ID} = $cur_id++;
     $row->{label} = $label;
-    $row->{nb_bytes}    = human_size($row->{nb_bytes}) ;
+    $row->{grapharg} = "client";
+
+    $self->display($row, "display_client_stats.tpl");
+}
+
+
+sub display_group_stats
+{
+    my ($self, %arg) = @_ ;
+
+    my $carg = $self->get_form(qw/qclient_group/);
+
+    unless ($carg->{qclient_group}) {
+       return $self->error("Can't get group");
+    }
+
+    my ($limit, $label) = $self->get_limit(%arg);
+
+    my $query = "
+SELECT 
+    count(Job.JobId)     AS nb_jobs,
+    sum(Job.JobBytes)    AS nb_bytes,
+    sum(Job.JobErrors)   AS nb_err,
+    sum(Job.JobFiles)    AS nb_files,
+    client_group.client_group_name  AS clientname
+FROM Job JOIN Client USING (ClientId) 
+         JOIN client_group_member ON (Client.ClientId = client_group_member.clientid) 
+         JOIN client_group USING (client_group_id)
+WHERE 
+    client_group.client_group_name = $carg->{qclient_group}
+    $limit 
+GROUP BY client_group.client_group_name
+";
+
+    my $row = $self->dbh_selectrow_hashref($query);
+
+    $row->{ID} = $cur_id++;
+    $row->{label} = $label;
+    $row->{grapharg} = "client_group";
 
     $self->display($row, "display_client_stats.tpl");
 }
@@ -2401,13 +2792,21 @@ GROUP BY Client.Name
 sub display_pool
 {
     my ($self, $poolname) = @_ ;
+    my $whereA = '';
+    my $whereW = '';
+
+    my $arg = $self->get_form('jmediatypes', 'qmediatypes');
+    if ($arg->{jmediatypes}) { 
+       $whereW = "WHERE MediaType IN ($arg->{jmediatypes}) ";
+       $whereA = "AND   MediaType IN ($arg->{jmediatypes}) ";
+    }
     
 # TODO : afficher les tailles et les dates
 
     my $query = "
-SELECT sum(subq.volmax)   AS volmax,
-       sum(subq.volnum)   AS volnum,
-       sum(subq.voltotal) AS voltotal,
+SELECT subq.volmax        AS volmax,
+       subq.volnum        AS volnum,
+       subq.voltotal      AS voltotal,
        Pool.Name          AS name,
        Pool.Recycle       AS recycle,
        Pool.VolRetention  AS volretention,
@@ -2415,7 +2814,9 @@ SELECT sum(subq.volmax)   AS volmax,
        Pool.MaxVolJobs    AS maxvoljobs,
        Pool.MaxVolFiles   AS maxvolfiles,
        Pool.MaxVolBytes   AS maxvolbytes,
-       subq.PoolId        AS PoolId
+       subq.PoolId        AS PoolId,
+       subq.MediaType     AS mediatype,
+       $self->{sql}->{CAT_POOL_TYPE}  AS uniq
 FROM
   (
     SELECT COALESCE(media_avg_size.volavg,0) * count(Media.MediaId) AS volmax,
@@ -2430,20 +2831,30 @@ FROM
               WHERE Media.VolStatus = 'Full' 
               GROUP BY Media.MediaType
                ) AS media_avg_size ON (Media.MediaType = media_avg_size.MediaType)
-    GROUP BY Media.MediaType, Media.PoolId
-  ) AS subq 
-INNER JOIN Pool ON (Pool.PoolId = subq.PoolId) 
-GROUP BY subq.PoolId
+    GROUP BY Media.MediaType, Media.PoolId, media_avg_size.volavg
+  ) AS subq
+LEFT JOIN Pool ON (Pool.PoolId = subq.PoolId)
+$whereW
 ";
 
-    my $all = $self->dbh_selectall_hashref($query, 'name') ;
+    my $all = $self->dbh_selectall_hashref($query, 'uniq') ;
 
-    foreach my $p (values %$all) {
-       $p->{maxvolbytes}    = human_size($p->{maxvolbytes}) ;
-       $p->{volretention}   = human_sec($p->{volretention}) ;
-       $p->{voluseduration} = human_sec($p->{voluseduration}) ;
+    $query = "
+SELECT Pool.Name AS name,
+       sum(VolBytes) AS size
+FROM   Media JOIN Pool ON (Media.PoolId = Pool.PoolId)
+WHERE  Media.VolStatus IN ('Recycled', 'Purged')
+       $whereA
+GROUP BY Pool.Name;
+";
+    my $empty = $self->dbh_selectall_hashref($query, 'name');
 
-       if ($p->{volmax}) {
+    foreach my $p (values %$all) {
+       if ($p->{volmax} > 0) { # mysql returns 0.0000
+           # we remove Recycled/Purged media from pool usage
+           if (defined $empty->{$p->{name}}) {
+               $p->{voltotal} -= $empty->{$p->{name}}->{size};
+           }
            $p->{poolusage} = sprintf('%.2f', $p->{voltotal} * 100/ $p->{volmax}) ;
        } else {
            $p->{poolusage} = 0;
@@ -2452,7 +2863,9 @@ GROUP BY subq.PoolId
        $query = "
   SELECT VolStatus AS volstatus, count(MediaId) AS nb
     FROM Media 
-   WHERE PoolId=$p->{poolid} 
+   WHERE PoolId=$p->{poolid}
+     AND Media.MediaType = '$p->{mediatype}'
+         $whereA
 GROUP BY VolStatus
 ";
        my $content = $self->dbh_selectall_hashref($query, 'volstatus');
@@ -2463,6 +2876,7 @@ GROUP BY VolStatus
 
     $self->debug($all);
     $self->display({ ID => $cur_id++,
+                    MediaType => $arg->{qmediatypes}, # [ { name => type1 } , { name => type2 } ]
                     Pools => [ values %$all ]},
                   "display_pool.tpl");
 }
@@ -2527,15 +2941,17 @@ WHERE JobStatus IN ('C','R','B','e','D','F','S','m','M','s','j','c','d','t','p')
                   "running_job.tpl") ;
 }
 
+# return the autochanger list to update
 sub eject_media
 {
     my ($self) = @_;
-    my $arg = $self->get_form('jmedias', 'slots', 'ach');
+    my %ret; 
+    my $arg = $self->get_form('jmedias');
 
     unless ($arg->{jmedias}) {
        return $self->error("Can't get media selection");
     }
-    
+
     my $query = "
 SELECT Media.VolumeName  AS volumename,
        Storage.Name      AS storage,
@@ -2549,17 +2965,41 @@ WHERE Media.VolumeName IN ($arg->{jmedias})
 
     my $all = $self->dbh_selectall_hashref($query, 'volumename');
 
-    my $a = Bweb::Autochanger::get('S1_L80', $self);
-
-    $a->status();
     foreach my $vol (values %$all) {
+       my $a = $self->ach_get($vol->{location});
+       next unless ($a) ;
+       $ret{$vol->{location}} = 1;
+
+       unless ($a->{have_status}) {
+           $a->status();
+           $a->{have_status} = 1;
+       }
+
        print "eject $vol->{volumename} from $vol->{storage} : ";
        if ($a->send_to_io($vol->{slot})) {
-           print "ok</br>";
+           print "<img src='/bweb/T.png' alt='ok'><br/>";
        } else {
-           print "err</br>";
+           print "<img src='/bweb/E.png' alt='err'><br/>";
        }
     }
+    return keys %ret;
+}
+
+sub move_email
+{
+    my ($self) = @_;
+
+    my ($to, $subject, $content) = (CGI::param('email'),
+                                   CGI::param('subject'),
+                                   CGI::param('content'));
+    $to =~ s/[^\w\d\.\@<>,]//;
+    $subject =~ s/[^\w\d\.\[\]]/ /;    
+
+    open(MAIL, "|mail -s '$subject' '$to'") ;
+    print MAIL $content;
+    close(MAIL);
+
+    print "Mail sent";
 }
 
 sub restore
@@ -2579,46 +3019,269 @@ sub restore
 # TODO : make this internal to not eject tape ?
 use Bconsole;
 
+
+sub ach_get
+{
+    my ($self, $name) = @_;
+    
+    unless ($name) {
+       return $self->error("Can't get your autochanger name ach");
+    }
+
+    unless ($self->{info}->{ach_list}) {
+       return $self->error("Could not find any autochanger");
+    }
+    
+    my $a = $self->{info}->{ach_list}->{$name};
+
+    unless ($a) {
+       $self->error("Can't get your autochanger $name from your ach_list");
+       return undef;
+    }
+
+    $a->{bweb}  = $self;
+    $a->{debug} = $self->{debug};
+
+    return $a;
+}
+
+sub ach_register
+{
+    my ($self, $ach) = @_;
+
+    $self->{info}->{ach_list}->{$ach->{name}} = $ach;
+
+    $self->{info}->save();
+    
+    return 1;
+}
+
+sub ach_edit
+{
+    my ($self) = @_;
+    my $arg = $self->get_form('ach');
+    if (!$arg->{ach} 
+       or !$self->{info}->{ach_list} 
+       or !$self->{info}->{ach_list}->{$arg->{ach}}) 
+    {
+       return $self->error("Can't get autochanger name");
+    }
+
+    my $ach = $self->{info}->{ach_list}->{$arg->{ach}};
+
+    my $i=0;
+    $ach->{drives} = 
+       [ map { { name => $_, index => $i++ } } @{$ach->{drive_name}} ] ;
+
+    my $b = $self->get_bconsole();
+
+    my @storages = $b->list_storage() ;
+
+    $ach->{devices} = [ map { { name => $_ } } @storages ];
+    
+    $self->display($ach, "ach_add.tpl");
+    delete $ach->{drives};
+    delete $ach->{devices};
+    return 1;
+}
+
+sub ach_del
+{
+    my ($self) = @_;
+    my $arg = $self->get_form('ach');
+
+    if (!$arg->{ach} 
+       or !$self->{info}->{ach_list} 
+       or !$self->{info}->{ach_list}->{$arg->{ach}}) 
+    {
+       return $self->error("Can't get autochanger name");
+    }
+   
+    delete $self->{info}->{ach_list}->{$arg->{ach}} ;
+   
+    $self->{info}->save();
+    $self->{info}->view();
+}
+
+sub ach_add
+{
+    my ($self) = @_;
+    my $arg = $self->get_form('ach', 'mtxcmd', 'device', 'precmd');
+
+    my $b = $self->get_bconsole();
+    my @storages = $b->list_storage() ;
+
+    unless ($arg->{ach}) {
+       $arg->{devices} = [ map { { name => $_ } } @storages ];
+       return $self->display($arg, "ach_add.tpl");
+    }
+
+    my @drives ;
+    foreach my $drive (CGI::param('drives'))
+    {
+       unless (grep(/^$drive$/,@storages)) {
+           return $self->error("Can't find $drive in storage list");
+       }
+
+       my $index = CGI::param("index_$drive");
+       unless (defined $index and $index =~ /^(\d+)$/) {
+           return $self->error("Can't get $drive index");
+       }
+
+       $drives[$index] = $drive;
+    }
+
+    unless (@drives) {
+       return $self->error("Can't get drives from Autochanger");
+    }
+
+    my $a = new Bweb::Autochanger(name   => $arg->{ach},
+                                 precmd => $arg->{precmd},
+                                 drive_name => \@drives,
+                                 device => $arg->{device},
+                                 mtxcmd => $arg->{mtxcmd});
+
+    $self->ach_register($a) ;
+    
+    $self->{info}->view();
+}
+
 sub delete
 {
     my ($self) = @_;
     my $arg = $self->get_form('jobid');
 
-    my $b = new Bconsole(pref => $self->{info});
-
     if ($arg->{jobid}) {
+       my $b = $self->get_bconsole();
        my $ret = $b->send_cmd("delete jobid=\"$arg->{jobid}\"");
+
        $self->display({
-           content => $b->send_cmd("delete jobid=\"$arg->{jobid}\""),
+           content => $ret,
            title => "Delete a job ",
            name => "delete jobid=$arg->{jobid}",
        }, "command.tpl");      
     }
 }
 
+sub do_update_media
+{
+    my ($self) = @_ ;
+
+    my $arg = $self->get_form(qw/media volstatus inchanger pool
+                                slot volretention voluseduration 
+                                maxvoljobs maxvolfiles maxvolbytes
+                                qcomment poolrecycle
+                             /);
+
+    unless ($arg->{media}) {
+       return $self->error("Can't find media selection");
+    }
+
+    my $update = "update volume=$arg->{media} ";
+
+    if ($arg->{volstatus}) {
+       $update .= " volstatus=$arg->{volstatus} ";
+    }
+    
+    if ($arg->{inchanger}) {
+       $update .= " inchanger=yes " ;
+       if ($arg->{slot}) {
+           $update .= " slot=$arg->{slot} ";
+       }
+    } else {
+       $update .= " slot=0 inchanger=no ";
+    }
+
+    if ($arg->{pool}) {
+       $update .= " pool=$arg->{pool} " ;
+    }
+
+    if (defined $arg->{volretention}) {
+       $update .= " volretention=\"$arg->{volretention}\" " ;
+    }
+
+    if (defined $arg->{voluseduration}) {
+       $update .= " voluse=\"$arg->{voluseduration}\" " ;
+    }
+
+    if (defined $arg->{maxvoljobs}) {
+       $update .= " maxvoljobs=$arg->{maxvoljobs} " ;
+    }
+    
+    if (defined $arg->{maxvolfiles}) {
+       $update .= " maxvolfiles=$arg->{maxvolfiles} " ;
+    }    
+
+    if (defined $arg->{maxvolbytes}) {
+       $update .= " maxvolbytes=$arg->{maxvolbytes} " ;
+    }    
+
+    my $b = $self->get_bconsole();
+
+    $self->display({
+       content => $b->send_cmd($update),
+       title => "Update a volume ",
+       name => $update,
+    }, "command.tpl"); 
+
+
+    my @q;
+    my $media = $self->dbh_quote($arg->{media});
+
+    my $loc = CGI::param('location') || '';
+    if ($loc) {
+       $loc = $self->dbh_quote($loc); # is checked by db
+       push @q, "LocationId=(SELECT LocationId FROM Location WHERE Location=$loc)";
+    }
+    if ($arg->{poolrecycle}) {
+       push @q, "RecyclePoolId=(SELECT PoolId FROM Pool WHERE Name='$arg->{poolrecycle}')";
+    }
+    if (!$arg->{qcomment}) {
+       $arg->{qcomment} = "''";
+    }
+    push @q, "Comment=$arg->{qcomment}";
+    
+
+    my $query = "
+UPDATE Media 
+   SET " . join (',', @q) . "
+ WHERE Media.VolumeName = $media
+";
+    $self->dbh_do($query);
+
+    $self->update_media();
+}
+
 sub update_slots
 {
     my ($self) = @_;
 
     my $ach = CGI::param('ach') ;
-    unless ($ach =~ /^([\w\d\.-]+)$/) {
+    $ach = $self->ach_get($ach);
+    unless ($ach) {
        return $self->error("Bad autochanger name");
     }
 
-    my $b = new Bconsole(pref => $self->{info});
-    print "<pre>" . $b->update_slots($ach) . "</pre>";
+    print "<pre>";
+    my $b = new Bconsole(pref => $self->{info},timeout => 60,log_stdout => 1);
+    $b->update_slots($ach->{name});
+    print "</pre>\n" 
 }
 
 sub get_job_log
 {
     my ($self) = @_;
 
-    my $arg = $self->get_form('jobid');
+    my $arg = $self->get_form('jobid', 'limit', 'offset');
     unless ($arg->{jobid}) {
        return $self->error("Can't get jobid");
     }
 
-    my $t = CGI::param('time') || '';
+    if ($arg->{limit} == 100) {
+        $arg->{limit} = 1000;
+    }
+
+    my $t = CGI::param('time') || $self->{info}->{display_log_time} || '';
 
     my $query = "
 SELECT Job.Name as name, Client.Name as clientname
@@ -2631,14 +3294,19 @@ SELECT Job.Name as name, Client.Name as clientname
     unless ($row) {
        return $self->error("Can't find $arg->{jobid} in catalog");
     }
-    
 
     $query = "
-SELECT Time AS time, LogText AS log
- FROM  Log
- WHERE JobId = $arg->{jobid}
- ORDER BY Time
+SELECT Time AS time, LogText AS log 
+  FROM  Log 
+ WHERE Log.JobId = $arg->{jobid} 
+    OR (Log.JobId = 0 AND Time >= (SELECT StartTime FROM Job WHERE JobId=$arg->{jobid}) 
+                      AND Time <= (SELECT COALESCE(EndTime,NOW()) FROM Job WHERE JobId=$arg->{jobid})
+       )
+ ORDER BY LogId
+ LIMIT $arg->{limit}
+ OFFSET $arg->{offset}
 ";
+
     my $log = $self->dbh_selectall_arrayref($query);
     unless ($log) {
        return $self->error("Can't get log for jobid $arg->{jobid}");
@@ -2656,6 +3324,8 @@ SELECT Time AS time, LogText AS log
                     jobid => $arg->{jobid},
                     name  => $row->{name},
                     client => $row->{clientname},
+                    offset => $arg->{offset},
+                    limit  => $arg->{limit},
                 }, 'display_log.tpl');
 }
 
@@ -2670,19 +3340,47 @@ sub label_barcodes
        return $self->error("Can't find autochanger name");
     }
 
+    my $a = $self->ach_get($arg->{ach});
+    unless ($a) {
+       return $self->error("Can't find autochanger name in configuration");
+    } 
+
+    my $storage = $a->get_drive_name($arg->{drive});
+    unless ($storage) {
+       return $self->error("Can't get your drive name");
+    }
+
     my $slots = '';
+    my $slots_sql = '';
+    my $t = 300 ;
     if ($arg->{slots}) {
        $slots = join(",", @{ $arg->{slots} });
+       $slots_sql = " AND Slot IN ($slots) ";
+       $t += 60*scalar( @{ $arg->{slots} }) ;
     }
 
-    my $t = 60*scalar( @{ $arg->{slots} }) + 300 ;
+    $self->dbh_do("
+  UPDATE Media 
+       SET LocationId =   (SELECT LocationId 
+                             FROM Location 
+                            WHERE Location = '$arg->{ach}'),
+
+           RecyclePoolId = (SELECT PoolId 
+                             FROM Pool
+                            WHERE Name = 'Scratch')
+
+     WHERE (LocationId = 0 OR LocationId IS NULL)
+       $slots_sql
+");
+
     my $b = new Bconsole(pref => $self->{info}, timeout => $t,log_stdout => 1);
     print "<h1>This command can take long time, be patient...</h1>";
     print "<pre>" ;
-    $b->label_barcodes(storage => $arg->{ach},
+    $b->label_barcodes(storage => $storage,
                       drive => $arg->{drive},
                       pool  => 'Scratch',
                       slots => $slots) ;
+    $b->close();
     print "</pre>";
 }
 
@@ -2692,6 +3390,10 @@ sub purge
 
     my @volume = CGI::param('media');
 
+    unless (@volume) {
+       return $self->error("Can't get media selection");
+    }
+
     my $b = new Bconsole(pref => $self->{info}, timeout => 60);
 
     $self->display({
@@ -2699,20 +3401,27 @@ sub purge
        title => "Purge media",
        name => "purge volume=" . join(' volume=', @volume),
     }, "command.tpl"); 
+    $b->close();
 }
 
 sub prune
 {
     my ($self) = @_;
 
+    my @volume = CGI::param('media');
+    unless (@volume) {
+       return $self->error("Can't get media selection");
+    }
+
     my $b = new Bconsole(pref => $self->{info}, timeout => 60);
 
-    my @volume = CGI::param('media');
     $self->display({
        content => $b->prune_volume(@volume),
        title => "Prune media",
        name => "prune volume=" . join(' volume=', @volume),
     }, "command.tpl"); 
+
+    $b->close();
 }
 
 sub cancel_job
@@ -2721,10 +3430,10 @@ sub cancel_job
 
     my $arg = $self->get_form('jobid');
     unless ($arg->{jobid}) {
-       return $self->error('Bad jobid');
+       return $self->error("Can't get jobid");
     }
 
-    my $b = new Bconsole(pref => $self->{info});
+    my $b = $self->get_bconsole();
     $self->display({
        content => $b->cancel($arg->{jobid}),
        title => "Cancel job",
@@ -2732,14 +3441,31 @@ sub cancel_job
     }, "command.tpl"); 
 }
 
+sub fileset_view
+{
+    # Warning, we display current fileset
+    my ($self) = @_;
+
+    my $arg = $self->get_form('fileset');
+
+    if ($arg->{fileset}) {
+       my $b = $self->get_bconsole();
+       my $ret = $b->get_fileset($arg->{fileset});
+       $self->display({ fileset => $arg->{fileset},
+                        %$ret,
+                    }, "fileset_view.tpl");
+    } else {
+       $self->error("Can't get fileset name");
+    }
+}
+
 sub director_show_sched
 {
     my ($self) = @_ ;
 
     my $arg = $self->get_form('days');
 
-    my $b = new Bconsole(pref => $self->{info}) ;
-    
+    my $b = $self->get_bconsole();
     my $ret = $b->director_get_sched( $arg->{days} );
 
     $self->display({
@@ -2757,7 +3483,7 @@ sub enable_disable_job
        return $self->error("Can't find job name");
     }
 
-    my $b = new Bconsole(pref => $self->{info}) ;
+    my $b = $self->get_bconsole();
 
     my $cmd;
     if ($what) {
@@ -2773,12 +3499,18 @@ sub enable_disable_job
     }, "command.tpl"); 
 }
 
+sub get_bconsole
+{
+    my ($self) = @_;
+    return new Bconsole(pref => $self->{info});
+}
+
 sub run_job_select
 {
     my ($self) = @_;
-    $b = new Bconsole(pref => $self->{info});
+    my $b = $self->get_bconsole();
 
-    my $joblist = [ map { { name => $_ } } split(/\r\n/, $b->send_cmd(".job")) ];
+    my $joblist = [ map { { name => $_ } } $b->list_job() ];
 
     $self->display({ Jobs => $joblist }, "run_job.tpl");
 }
@@ -2811,19 +3543,23 @@ sub run_parse_job
 sub run_job_mod
 {
     my ($self) = @_;
-    $b = new Bconsole(pref => $self->{info});
+    my $b = $self->get_bconsole();
     
     my $job = CGI::param('job') || '';
 
+    # we take informations from director, and we overwrite with user wish
     my $info = $b->send_cmd("show job=\"$job\"");
     my $attr = $self->run_parse_job($info);
+
+    my $arg = $self->get_form('pool', 'level', 'client', 'fileset', 'storage');
+    my %job_opt = (%$attr, %$arg);
     
-    my $jobs   = [ map {{ name => $_ }} split(/\r\n/, $b->send_cmd(".job")) ];
+    my $jobs   = [ map {{ name => $_ }} $b->list_job() ];
 
-    my $pools  = [ map { { name => $_ } } split(/\r\n/, $b->send_cmd(".pool")) ];
-    my $clients = [ map { { name => $_ } } split(/\r\n/, $b->send_cmd(".client")) ];
-    my $filesets= [ map { { name => $_ } } split(/\r\n/, $b->send_cmd(".fileset")) ];
-    my $storages= [ map { { name => $_ } } split(/\r\n/, $b->send_cmd(".storage")) ];
+    my $pools  = [ map { { name => $_ } } $b->list_pool() ];
+    my $clients = [ map { { name => $_ } }$b->list_client()];
+    my $filesets= [ map { { name => $_ } }$b->list_fileset() ];
+    my $storages= [ map { { name => $_ } }$b->list_storage()];
 
     $self->display({
        jobs     => $jobs,
@@ -2831,16 +3567,16 @@ sub run_job_mod
        clients  => $clients,
        filesets => $filesets,
        storages => $storages,
-       %$attr,
+       %job_opt,
     }, "run_job_mod.tpl");
 }
 
 sub run_job
 {
     my ($self) = @_;
-    $b = new Bconsole(pref => $self->{info});
+    my $b = $self->get_bconsole();
     
-    my $jobs   = [ map {{ name => $_ }} split(/\r\n/, $b->send_cmd(".job")) ];
+    my $jobs   = [ map {{ name => $_ }} $b->list_job() ];
 
     $self->display({
        jobs     => $jobs,
@@ -2850,11 +3586,11 @@ sub run_job
 sub run_job_now
 {
     my ($self) = @_;
-    $b = new Bconsole(pref => $self->{info});
+    my $b = $self->get_bconsole();
     
     # TODO: check input (don't use pool, level)
 
-    my $arg = $self->get_form('pool', 'level', 'client', 'priority');
+    my $arg = $self->get_form('pool', 'level', 'client', 'priority', 'when', 'fileset');
     my $job = CGI::param('job') || '';
     my $storage = CGI::param('storage') || '';
 
@@ -2864,6 +3600,8 @@ sub run_job_now
                        level => $arg->{level},
                        storage => $storage,
                        pool => $arg->{pool},
+                       fileset => $arg->{fileset},
+                       when => $arg->{when},
                        );
 
     print $jobid, $b->{error};