]> git.sur5r.net Git - openldap/blobdiff - tests/scripts/test045-syncreplication-proxied
ITS#5189
[openldap] / tests / scripts / test045-syncreplication-proxied
index 6d2be1e1fb01dd569efd2fea1785f0f570be4b8c..87727fe2ba46400a66b4be4d307a074abc0e891f 100755 (executable)
@@ -2,7 +2,7 @@
 # $OpenLDAP$
 ## This work is part of OpenLDAP Software <http://www.openldap.org/>.
 ##
-## Copyright 1998-2005 The OpenLDAP Foundation.
+## Copyright 1998-2007 The OpenLDAP Foundation.
 ## All rights reserved.
 ##
 ## Redistribution and use in source and binary forms, with or without
@@ -18,10 +18,11 @@ if test "$BACKEND" != "bdb" && test "$BACKEND" != "hdb" ; then
        exit 0
 fi
 
-if test x"$PROXYSYNC" = x ; then
-       echo "Test disabled; set PROXYSYNC=yes to enable"
-       exit 0
-fi
+# test now handles known issues
+#if test x"$PROXYSYNC" = x ; then
+#      echo "Test disabled; set PROXYSYNC=yes to enable"
+#      exit 0
+#fi
 
 echo "running defines.sh"
 . $SRCDIR/scripts/defines.sh
@@ -36,6 +37,11 @@ if test $SYNCPROV = syncprovno; then
        exit 0
 fi 
 
+if test $MONITORDB = no; then 
+       echo "Monitor backend not available, test skipped"
+       exit 0
+fi 
+
 mkdir -p $TESTDIR $DBDIR1 $DBDIR2
 
 #
@@ -63,7 +69,7 @@ sleep 1
 echo "Using ldapsearch to check that master slapd is running..."
 for i in 0 1 2 3 4 5; do
        $LDAPSEARCH -s base -b "$MONITOR" -h $LOCALHOST -p $PORT1 \
-               'objectclass=*' > /dev/null 2>&1
+               '(objectClass=*)' > /dev/null 2>&1
        RC=$?
        if test $RC = 0 ; then
                break
@@ -89,7 +95,7 @@ if test $RC != 0 ; then
 fi
 
 echo "Starting slave slapd on TCP/IP port $PORT2..."
-. $CONFFILTER $BACKEND $MONITORDB < $SLAVECONF > $CONF2
+. $CONFFILTER $BACKEND $MONITORDB < $RSLAVECONF > $CONF2
 $SLAPD -f $CONF2 -h $URI2 -d $LVL $TIMING > $LOG2 2>&1 &
 SLAVEPID=$!
 if test $WAIT != 0 ; then
@@ -103,7 +109,7 @@ sleep 1
 echo "Using ldapsearch to check that slave slapd is running..."
 for i in 0 1 2 3 4 5; do
        $LDAPSEARCH -s base -b "$MONITOR" -h $LOCALHOST -p $PORT2 \
-               'objectclass=*' > /dev/null 2>&1
+               '(objectClass=*)' > /dev/null 2>&1
        RC=$?
        if test $RC = 0 ; then
                break
@@ -133,22 +139,32 @@ sleep 1
 echo "Using ldapsearch to check that proxy slapd is running..."
 for i in 0 1 2 3 4 5; do
        $LDAPSEARCH -s base -b "$MONITOR" -h $LOCALHOST -p $PORT3 \
-               'objectclass=*' > /dev/null 2>&1
+               '(objectClass=*)' > /dev/null 2>&1
        RC=$?
-       if test $RC = 0 ; then
+       if test $RC = 0 || test $RC = 53 ; then
                break
        fi
        echo "Waiting 5 seconds for slapd to start..."
        sleep 5
 done
 
-if test $RC != 0 ; then
+case $RC in
+0 )
+       echo "ldapsearch should have failed ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit -1
+       ;;
+53)
+       ;;
+*)
        echo "ldapsearch failed ($RC)!"
        test $KILLSERVERS != no && kill -HUP $KILLPIDS
        exit $RC
-fi
+       ;;
+esac
 
-echo "Using ldapadd to populate the master directory..."
+CHECK=1
+echo "$CHECK > Using ldapadd to populate the master directory..."
 $LDAPADD -D "$MANAGERDN" -h $LOCALHOST -p $PORT1 -w $PASSWD < \
        $LDIFORDEREDNOCP > /dev/null 2>&1
 RC=$?
@@ -158,13 +174,43 @@ if test $RC != 0 ; then
        exit $RC
 fi
 
-echo "Waiting 15 seconds for syncrepl to receive changes..."
-sleep 15
+# get master contextCSN
+$LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
+       '(objectClass=*)' -s base contextCSN > "${MASTEROUT}.$CHECK" 2>&1
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapsearch failed at master ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# check slave contextCSN
+sleep 1
+for i in 1 2 3; do
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' -s base contextCSN > "${SLAVEOUT}.$CHECK" 2>&1
+       RC=$?
+
+       if test $RC != 0 ; then
+               echo "ldapsearch failed at slave ($RC)!"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit $RC
+       fi
+
+       $CMP ${MASTEROUT}.$CHECK ${SLAVEOUT}.$CHECK > $CMPOUT
+
+       if test $? = 0 ; then
+               break
+       fi
+
+       SLEEP=5
+       echo "Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+done
 
-# first check
 #echo "Using ldapsearch to read all the entries from the master..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
-       'objectclass=*' > $MASTEROUT 2>&1
+       '(objectClass=*)' > "${MASTEROUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -175,7 +221,7 @@ fi
 
 #echo "Using ldapsearch to read all the entries from the slave..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
-       'objectclass=*' > $SLAVEOUT 2>&1
+       '(objectClass=*)' > "${SLAVEOUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -185,11 +231,11 @@ if test $RC != 0 ; then
 fi
 
 #echo "Filtering master results..."
-. $LDIFFILTER < $MASTEROUT > $MASTERFLT
+. $LDIFFILTER < "${MASTEROUT}.$CHECK" > $MASTERFLT
 #echo "Filtering slave results..."
-. $LDIFFILTER < $SLAVEOUT > $SLAVEFLT
+. $LDIFFILTER < "${SLAVEOUT}.$CHECK" > $SLAVEFLT
 
-echo "1 - Comparing retrieved entries from master and slave..."
+echo "$CHECK < Comparing retrieved entries from master and slave..."
 $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
 
 if test $? != 0 ; then
@@ -198,10 +244,14 @@ if test $? != 0 ; then
        exit 1
 fi
 
-echo "Stopping the provider, sleeping 10 seconds and restarting it..."
+CHECK=`expr $CHECK + 1`
+SLEEP=10
+echo "$CHECK > Stopping the provider, sleeping $SLEEP seconds and restarting it..."
 kill -HUP "$MASTERPID"
-sleep 10
-echo "RESTART" >> $LOG1
+wait $MASTERPID
+sleep $SLEEP
+
+echo "======================= RESTART =======================" >> $LOG1
 $SLAPD -f $CONF1 -h $URI1 -d $LVL $TIMING >> $LOG1 2>&1 &
 MASTERPID=$!
 if test $WAIT != 0 ; then
@@ -215,7 +265,7 @@ sleep 1
 echo "Using ldapsearch to check that master slapd is running..."
 for i in 0 1 2 3 4 5; do
        $LDAPSEARCH -s base -b "$MONITOR" -h $LOCALHOST -p $PORT1 \
-               'objectclass=*' > /dev/null 2>&1
+               '(objectClass=*)' > /dev/null 2>&1
        RC=$?
        if test $RC = 0 ; then
                break
@@ -317,13 +367,42 @@ if test $RC != 0 ; then
        exit $RC
 fi
 
-echo "Waiting 15 seconds for syncrepl to receive changes..."
-sleep 15
+# get master contextCSN
+$LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
+       '(objectClass=*)' -s base contextCSN > "${MASTEROUT}.$CHECK" 2>&1
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapsearch failed at master ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# check slave contextCSN
+for i in 1 2 3; do
+       SLEEP=5
+       echo "Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' -s base contextCSN > "${SLAVEOUT}.$CHECK" 2>&1
+       RC=$?
+
+       if test $RC != 0 ; then
+               echo "ldapsearch failed at slave ($RC)!"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit $RC
+       fi
+
+       $CMP ${MASTEROUT}.$CHECK ${SLAVEOUT}.$CHECK > $CMPOUT
+
+       if test $? = 0 ; then
+               break
+       fi
+done
 
-# second check
 #echo "Using ldapsearch to read all the entries from the master..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
-       'objectclass=*' > $MASTEROUT 2>&1
+       '(objectClass=*)' > "${MASTEROUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -334,7 +413,7 @@ fi
 
 #echo "Using ldapsearch to read all the entries from the slave..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
-       'objectclass=*' > $SLAVEOUT 2>&1
+       '(objectClass=*)' > "${SLAVEOUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -344,11 +423,11 @@ if test $RC != 0 ; then
 fi
 
 #echo "Filtering master results..."
-. $LDIFFILTER < $MASTEROUT > $MASTERFLT
+. $LDIFFILTER < "${MASTEROUT}.$CHECK" > $MASTERFLT
 #echo "Filtering slave results..."
-. $LDIFFILTER < $SLAVEOUT > $SLAVEFLT
+. $LDIFFILTER < "${SLAVEOUT}.$CHECK" > $SLAVEFLT
 
-echo "2 - Comparing retrieved entries from master and slave..."
+echo "$CHECK < Comparing retrieved entries from master and slave..."
 $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
 
 if test $? != 0 ; then
@@ -357,9 +436,10 @@ if test $? != 0 ; then
        exit 1
 fi
 
-echo "Stopping proxy to test recovery..."
+CHECK=`expr $CHECK + 1`
+echo "$CHECK > Stopping proxy to test recovery..."
 kill -HUP $PROXYPID
-sleep 10
+wait $PROXYPID
 
 echo "Modifying more entries on the master..."
 $LDAPMODIFY -v -D "$MANAGERDN" -h $LOCALHOST -p $PORT1 -w $PASSWD >> \
@@ -373,13 +453,20 @@ dn: cn=James T. Kirk, ou=Retired, ou=People, dc=example,dc=com
 changetype: add
 objectclass: OpenLDAPperson
 sn: Kirk
-uid: jkirk
+uid: jtk
 cn: James T. Kirk
 
+dn: cn=Tiberius J. Hooker, ou=Retired, ou=People, dc=example,dc=com
+changetype: add
+objectclass: OpenLDAPperson
+sn: Hooker
+uid: tjh
+cn: Tiberius J. Hooker
+
 EOMODS
 
 echo "Restarting proxy..."
-echo "RESTART" >> $LOG3
+echo "======================= RESTART =======================" >> $LOG3
 $SLAPD -f $CONF3 -h $URI3 -d $LVL $TIMING >> $LOG3 2>&1 &
 PROXYPID=$!
 if test $WAIT != 0 ; then
@@ -388,13 +475,42 @@ if test $WAIT != 0 ; then
 fi
 KILLPIDS="$MASTERPID $SLAVEPID $PROXYPID"
 
-echo "Waiting 25 seconds for syncrepl to receive changes..."
-sleep 25
+# get master contextCSN
+$LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
+       '(objectClass=*)' -s base contextCSN > "${MASTEROUT}.$CHECK" 2>&1
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapsearch failed at master ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# check slave contextCSN
+for i in 1 2 3 4 5; do
+       SLEEP=5
+       echo "Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' -s base contextCSN > "${SLAVEOUT}.$CHECK" 2>&1
+       RC=$?
+
+       if test $RC != 0 ; then
+               echo "ldapsearch failed at slave ($RC)!"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit $RC
+       fi
+
+       $CMP ${MASTEROUT}.$CHECK ${SLAVEOUT}.$CHECK > $CMPOUT
+
+       if test $? = 0 ; then
+               break
+       fi
+done
 
-# third check
 #echo "Using ldapsearch to read all the entries from the master..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
-       'objectclass=*' > $MASTEROUT 2>&1
+       '(objectClass=*)' > "${MASTEROUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -405,7 +521,7 @@ fi
 
 #echo "Using ldapsearch to read all the entries from the slave..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
-       'objectclass=*' > $SLAVEOUT 2>&1
+       '(objectClass=*)' > "${SLAVEOUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -415,11 +531,11 @@ if test $RC != 0 ; then
 fi
 
 #echo "Filtering master results..."
-. $LDIFFILTER < $MASTEROUT > $MASTERFLT
+. $LDIFFILTER < "${MASTEROUT}.$CHECK" > $MASTERFLT
 #echo "Filtering slave results..."
-. $LDIFFILTER < $SLAVEOUT > $SLAVEFLT
+. $LDIFFILTER < "${SLAVEOUT}.$CHECK" > $SLAVEFLT
 
-echo "3 - Comparing retrieved entries from master and slave..."
+echo "$CHECK < Comparing retrieved entries from master and slave..."
 $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
 
 if test $? != 0 ; then
@@ -428,10 +544,10 @@ if test $? != 0 ; then
        exit 1
 fi
 
-if test ! $BACKLDAP = "ldapno" ; then
-       echo "Try updating the slave slapd..."
-       $LDAPMODIFY -v -D "$MANAGERDN" -h $LOCALHOST -p $PORT2 -w $PASSWD > \
-               $TESTOUT 2>&1 << EOMODS
+CHECK=`expr $CHECK + 1`
+echo "$CHECK > Try updating the slave slapd..."
+$LDAPMODIFY -v -D "$MANAGERDN" -h $LOCALHOST -p $PORT2 -w $PASSWD > \
+       $TESTOUT 2>&1 << EOMODS
 dn: cn=James A Jones 1, ou=Alumni Association, ou=People, dc=example, dc=com
 changetype: modify
 add: description
@@ -440,21 +556,51 @@ description: unless the chain overlay is configured appropriately ;)
 
 EOMODS
 
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapmodify failed ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# get master contextCSN
+$LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
+       '(objectClass=*)' -s base contextCSN > "${MASTEROUT}.$CHECK" 2>&1
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapsearch failed at master ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# check slave contextCSN
+sleep 1
+
+for i in 1 2 3; do
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' -s base contextCSN > "${SLAVEOUT}.$CHECK" 2>&1
        RC=$?
+
        if test $RC != 0 ; then
-               echo "ldapmodify failed ($RC)!"
+               echo "ldapsearch failed at slave ($RC)!"
                test $KILLSERVERS != no && kill -HUP $KILLPIDS
                exit $RC
        fi
 
-       echo "Waiting 15 seconds for syncrepl to receive changes..."
-       sleep 15
-fi
+       $CMP ${MASTEROUT}.$CHECK ${SLAVEOUT}.$CHECK > $CMPOUT
+
+       if test $? = 0 ; then
+               break
+       fi
+
+       SLEEP=5
+       echo "Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+done
 
-# fourth check
 #echo "Using ldapsearch to read all the entries from the master..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
-       'objectclass=*' > $MASTEROUT 2>&1
+       '(objectClass=*)' > "${MASTEROUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -465,7 +611,7 @@ fi
 
 #echo "Using ldapsearch to read all the entries from the slave..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
-       'objectclass=*' > $SLAVEOUT 2>&1
+'(objectClass=*)' > "${SLAVEOUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -475,11 +621,11 @@ if test $RC != 0 ; then
 fi
 
 #echo "Filtering master results..."
-. $LDIFFILTER < $MASTEROUT > $MASTERFLT
+. $LDIFFILTER < "${MASTEROUT}.$CHECK" > $MASTERFLT
 #echo "Filtering slave results..."
-. $LDIFFILTER < $SLAVEOUT > $SLAVEFLT
+. $LDIFFILTER < "${SLAVEOUT}.$CHECK" > $SLAVEFLT
 
-echo "4 - Comparing retrieved entries from master and slave..."
+echo "$CHECK < Comparing retrieved entries from master and slave..."
 $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
 
 if test $? != 0 ; then
@@ -488,9 +634,10 @@ if test $? != 0 ; then
        exit 1
 fi
 
-echo "Stopping consumer to test recovery..."
+CHECK=`expr $CHECK + 1`
+echo "$CHECK > Stopping consumer to test recovery..."
 kill -HUP $SLAVEPID
-sleep 10
+wait $SLAVEPID
 
 echo "Modifying more entries on the master..."
 $LDAPMODIFY -v -D "$MANAGERDN" -h $LOCALHOST -p $PORT1 -w $PASSWD >> \
@@ -502,8 +649,12 @@ drink: Mad Dog 20/20
 
 EOMODS
 
+SLEEP=10
+echo "Waiting $SLEEP seconds for syncrepl to retry..."
+sleep $SLEEP
+
 echo "Restarting consumer..."
-echo "RESTART" >> $LOG2
+echo "======================= RESTART =======================" >> $LOG2
 $SLAPD -f $CONF2 -h $URI2 -d $LVL $TIMING >> $LOG2 2>&1 &
 SLAVEPID=$!
 if test $WAIT != 0 ; then
@@ -512,13 +663,43 @@ if test $WAIT != 0 ; then
 fi
 KILLPIDS="$MASTERPID $SLAVEPID $PROXYPID"
 
-echo "Waiting 25 seconds for syncrepl to receive changes..."
-sleep 25
+# get master contextCSN
+$LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
+       '(objectClass=*)' -s base contextCSN > "${MASTEROUT}.$CHECK" 2>&1
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapsearch failed at master ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# check slave contextCSN
+
+for i in 1 2 3 4 5; do
+       SLEEP=5
+       echo "Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' -s base contextCSN > "${SLAVEOUT}.$CHECK" 2>&1
+       RC=$?
+
+       if test $RC != 0 ; then
+               echo "ldapsearch failed at slave ($RC)!"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit $RC
+       fi
+
+       $CMP ${MASTEROUT}.$CHECK ${SLAVEOUT}.$CHECK > $CMPOUT
+
+       if test $? = 0 ; then
+               break
+       fi
+done
 
-# fifth check
 #echo "Using ldapsearch to read all the entries from the master..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
-       'objectclass=*' > $MASTEROUT 2>&1
+       '(objectClass=*)' > "${MASTEROUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -529,7 +710,7 @@ fi
 
 #echo "Using ldapsearch to read all the entries from the slave..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
-       'objectclass=*' > $SLAVEOUT 2>&1
+       '(objectClass=*)' > "${SLAVEOUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -539,24 +720,69 @@ if test $RC != 0 ; then
 fi
 
 #echo "Filtering master results..."
-. $LDIFFILTER < $MASTEROUT > $MASTERFLT
+. $LDIFFILTER < "${MASTEROUT}.$CHECK" > $MASTERFLT
 #echo "Filtering slave results..."
-. $LDIFFILTER < $SLAVEOUT > $SLAVEFLT
+. $LDIFFILTER < "${SLAVEOUT}.$CHECK" > $SLAVEFLT
 
-echo "5 - Comparing retrieved entries from master and slave..."
+echo "$CHECK < Comparing retrieved entries from master and slave..."
 $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
 
 if test $? != 0 ; then
-       echo "test failed - master and slave databases differ (ignored by now)"
-       #echo "test failed - master and slave databases differ"
-       #test $KILLSERVERS != no && kill -HUP $KILLPIDS
-       #exit 1
+       # FIXME: keep the original workaround in place, in case we needed again
+       if test 1 = 1 ; then
+               echo "test failed - master and slave databases differ"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit 1
+       fi
+
+       echo "  test failed - master and slave databases differ (ignored by now)"
+       echo "  Stopping proxy to see if it auto-recovers..."
+       kill -HUP $PROXYPID
+       wait $PROXYPID
+
+       echo "  ${CHECK}.1 > Restarting proxy..."
+       echo "======================= RESTART =======================" >> $LOG3
+       $SLAPD -f $CONF3 -h $URI3 -d $LVL $TIMING >> $LOG3 2>&1 &
+       PROXYPID=$!
+       if test $WAIT != 0 ; then
+               echo PROXYPID $PROXYPID
+               read foo
+       fi
+       KILLPIDS="$MASTERPID $SLAVEPID $PROXYPID"
+
+       SLEEP=15
+       echo "  Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+
+       #echo "Using ldapsearch to read all the entries from the slave..."
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' > "${SLAVEOUT}.5.1" 2>&1
+       RC=$?
+
+       if test $RC != 0 ; then
+               echo "  ldapsearch failed at slave ($RC)!"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit $RC
+       fi
+
+       #echo "Filtering slave results..."
+       . $LDIFFILTER < "${SLAVEOUT}.5.1" > $SLAVEFLT
+
+       echo "  ${CHECK}.1 < Comparing retrieved entries from master and slave..."
+       $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
+
+       if test $? != 0 ; then
+               echo "  test failed - master and slave databases differ"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit 1
+       fi
 fi
 
 #
-# Modifications known to fail
+# Modifications formerly known to fail
 #
-
+CHECK=`expr $CHECK + 1`
+echo "$CHECK > Performing modifications that were formerly known to fail..."
 $LDAPMODIFY -v -D "$MANAGERDN" -h $LOCALHOST -p $PORT1 -w $PASSWD > \
        $TESTOUT 2>&1 << EOMODS
 # First, back out previous change
@@ -565,7 +791,7 @@ changetype: modify
 delete: drink
 drink: Mad Dog 20/20
 
-# From now on, place modifications that are known to fail
+# From now on, perform modifications that were formerly known to fail
 dn: cn=All Staff,ou=Groups,dc=example,dc=com
 changetype: modify
 delete: description
@@ -579,13 +805,43 @@ if test $RC != 0 ; then
        exit $RC
 fi
 
-echo "Waiting 15 seconds for syncrepl to receive changes..."
-sleep 15
+# get master contextCSN
+$LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
+       '(objectClass=*)' -s base contextCSN > "${MASTEROUT}.$CHECK" 2>&1
+RC=$?
+if test $RC != 0 ; then
+       echo "ldapsearch failed at master ($RC)!"
+       test $KILLSERVERS != no && kill -HUP $KILLPIDS
+       exit $RC
+fi
+
+# check slave contextCSN
+sleep 1
+for i in 1 2 3; do
+       $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
+               '(objectClass=*)' -s base contextCSN > "${SLAVEOUT}.$CHECK" 2>&1
+       RC=$?
+
+       if test $RC != 0 ; then
+               echo "ldapsearch failed at slave ($RC)!"
+               test $KILLSERVERS != no && kill -HUP $KILLPIDS
+               exit $RC
+       fi
+
+       $CMP ${MASTEROUT}.$CHECK ${SLAVEOUT}.$CHECK > $CMPOUT
+
+       if test $? = 0 ; then
+               break
+       fi
+
+       SLEEP=5
+       echo "Waiting $SLEEP seconds for syncrepl to receive changes..."
+       sleep $SLEEP
+done
 
-# sixth check
 #echo "Using ldapsearch to read all the entries from the master..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT1 \
-       'objectclass=*' > $MASTEROUT 2>&1
+       '(objectClass=*)' > "${MASTEROUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -596,7 +852,7 @@ fi
 
 #echo "Using ldapsearch to read all the entries from the slave..."
 $LDAPSEARCH -S "" -b "$BASEDN" -h $LOCALHOST -p $PORT2 \
-       'objectclass=*' > $SLAVEOUT 2>&1
+       '(objectClass=*)' > "${SLAVEOUT}.$CHECK" 2>&1
 RC=$?
 
 if test $RC != 0 ; then
@@ -606,11 +862,11 @@ if test $RC != 0 ; then
 fi
 
 #echo "Filtering master results..."
-. $LDIFFILTER < $MASTEROUT > $MASTERFLT
+. $LDIFFILTER < "${MASTEROUT}.$CHECK" > $MASTERFLT
 #echo "Filtering slave results..."
-. $LDIFFILTER < $SLAVEOUT > $SLAVEFLT
+. $LDIFFILTER < "${SLAVEOUT}.$CHECK" > $SLAVEFLT
 
-echo "6 - Comparing retrieved entries from master and slave..."
+echo "$CHECK < Comparing retrieved entries from master and slave..."
 $CMP $MASTERFLT $SLAVEFLT > $CMPOUT
 
 if test $? != 0 ; then
@@ -623,4 +879,7 @@ fi
 test $KILLSERVERS != no && kill -HUP $KILLPIDS
 
 echo ">>>>> Test succeeded"
+
+test $KILLSERVERS != no && wait
+
 exit 0