projects / invirt/third/libt4.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | tree
raw | inline | side by side
Reduced timeouts by 10x
[invirt/third/libt4.git] / rsm_tester.pl
diff --git a/rsm_tester.pl b/rsm_tester.pl
index 7018164..43a0fb4 100755 (executable)
--- a/rsm_tester.pl
+++ b/rsm_tester.pl
@@ -2,6 +2,7 @@
 
 use POSIX ":sys_wait_h";
 use Getopt::Std;
 
 use POSIX ":sys_wait_h";
 use Getopt::Std;
+use Time::HiRes (usleep);
 use strict;
 
 
 use strict;
 
 
@@ -34,7 +35,7 @@ sub killprocess {
 sub cleanup {
   kill 9, @pid;
   unlink(@logs);
 sub cleanup {
   kill 9, @pid;
   unlink(@logs);
-  sleep 2;
+  usleep 200000;
 }
 
 sub spawn {
 }
 
 sub spawn {
@@ -43,9 +44,6 @@ sub spawn {
   if (my $pid = fork) {
 # parent
     push( @logs, "$p-$aa.log" );
   if (my $pid = fork) {
 # parent
     push( @logs, "$p-$aa.log" );
-    if( $p =~ /config_server/ ) {
-      push( @logs, paxos_log($a[1]) );
-    }
     if( $p =~ /lock_server/ ) {
       push( @logs, paxos_log($a[1]) );
     }
     if( $p =~ /lock_server/ ) {
       push( @logs, paxos_log($a[1]) );
     }
@@ -70,7 +68,7 @@ sub randports {
   my $num = shift;
   my @p = ();
   for( my $i = 0; $i < $num; $i++ ) {
   my $num = shift;
   my @p = ();
   for( my $i = 0; $i < $num; $i++ ) {
-    push( @p, int(rand(54000))+10000 );
+    push( @p, int(rand(54000/2))*2+10000 );
   }
   my @sp = sort { $a <=> $b } @p;
   return @sp;
   }
   my @sp = sort { $a <=> $b } @p;
   return @sp;
@@ -91,12 +89,6 @@ sub spawn_ls {
   return spawn( "./lock_server", $master, $port );
 }
 
   return spawn( "./lock_server", $master, $port );
 }
 
-sub spawn_config {
-  my $master = shift;
-  my $port = shift;
-  return spawn( "./config_server", $master, $port );
-}
-
 sub check_views {
 
   my $l = shift;
 sub check_views {
 
   my $l = shift;
@@ -168,10 +160,10 @@ sub wait_for_view_change {
   my $start = time();
   while( (get_num_views( $log, $including ) < $num_views) and
       ($start + $timeout > time()) ) {
   my $start = time();
   while( (get_num_views( $log, $including ) < $num_views) and
       ($start + $timeout > time()) ) {
-               my $lastv = `grep done  $log | tail -n 1`;
-               chomp $lastv;
+    my $lastv = `grep done  $log | tail -n 1`;
+    chomp $lastv;
     print "   Waiting for $including to be present in >=$num_views views in $log (Last view: $lastv)\n";
     print "   Waiting for $including to be present in >=$num_views views in $log (Last view: $lastv)\n";
-    sleep 1;
+    usleep 100000;
   }
 
   if( get_num_views( $log, $including ) < $num_views) {
   }
 
   if( get_num_views( $log, $including ) < $num_views) {
@@ -188,7 +180,7 @@ sub waitpid_to {
   my $start = time();
   my $done_pid;
   do {
   my $start = time();
   my $done_pid;
   do {
-    sleep 1;
+    usleep 100000;
     $done_pid = waitpid($pid, POSIX::WNOHANG);
   } while( $done_pid <= 0 and (time() - $start) < $to );
 
     $done_pid = waitpid($pid, POSIX::WNOHANG);
   } while( $done_pid <= 0 and (time() - $start) < $to );
 
@@ -229,14 +221,11 @@ sub start_nodes ($$){
   my $command = shift;
 
   for (my $i = 0; $i < $n; $i++) {
   my $command = shift;
 
   for (my $i = 0; $i < $n; $i++) {
-               if ($command eq "ls") {
-                       @pid = (@pid, spawn_ls($p[0],$p[$i]));
-                       print "Start lock_server on $p[$i]\n";
-               }elsif ($command eq "config_server"){
-                       @pid = (@pid, spawn_config($p[0],$p[$i]));
-                       print "Start config on $p[$i]\n";
-               }
-    sleep 1;
+    if ($command eq "ls") {
+      @pid = (@pid, spawn_ls($p[0],$p[$i]));
+      print "Start lock_server on $p[$i]\n";
+    }
+    usleep 100000;
 
     my @vv = @p[0..$i];
     wait_and_check_expected_view(\@vv);
 
     my @vv = @p[0..$i];
     wait_and_check_expected_view(\@vv);
@@ -278,7 +267,7 @@ if ($do_run[0]) {
   print "test0: start 3-process lock server\n";
   start_nodes(3,"ls");
   cleanup();
   print "test0: start 3-process lock server\n";
   start_nodes(3,"ls");
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[1]) {
 }
 
 if ($do_run[1]) {
@@ -288,14 +277,14 @@ if ($do_run[1]) {
   print "Kill third server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
   
   print "Kill third server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
   
-  sleep 5;
+  usleep 500000;
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
   
   cleanup();
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
   
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[2]) {
 }
 
 if ($do_run[2]) {
@@ -305,14 +294,14 @@ if ($do_run[2]) {
   print "Kill first (PID: $pid[0]) on port $p[0]\n";
   kill "TERM", $pid[0];
 
   print "Kill first (PID: $pid[0]) on port $p[0]\n";
   kill "TERM", $pid[0];
 
-  sleep 5;
+  usleep 500000;
 
   # it should go through 4 views
   my @v4 = ($p[1], $p[2]);
   wait_and_check_expected_view(\@v4);
 
   cleanup();
 
   # it should go through 4 views
   my @v4 = ($p[1], $p[2]);
   wait_and_check_expected_view(\@v4);
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 
 }
 
 
@@ -324,7 +313,7 @@ if ($do_run[3]) {
   print "Kill server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
   print "Kill server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
-  sleep 5;
+  usleep 500000;
 
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
 
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
@@ -332,13 +321,13 @@ if ($do_run[3]) {
   print "Restart killed server on port $p[2]\n";
   $pid[2] = spawn_ls ($p[0], $p[2]);
 
   print "Restart killed server on port $p[2]\n";
   $pid[2] = spawn_ls ($p[0], $p[2]);
 
-  sleep 5;
+  usleep 500000;
 
   my @v5 = ($p[0], $p[1], $p[2]);
   wait_and_check_expected_view(\@v5);
 
   cleanup();
 
   my @v5 = ($p[0], $p[1], $p[2]);
   wait_and_check_expected_view(\@v5);
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[4]) {
 }
 
 if ($do_run[4]) {
@@ -348,20 +337,20 @@ if ($do_run[4]) {
   print "Kill server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
   print "Kill server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
-  sleep 5;
+  usleep 500000;
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
 
   print "Kill server (PID: $pid[1]) on port $p[1]\n";
   kill "TERM", $pid[1];
 
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
 
   print "Kill server (PID: $pid[1]) on port $p[1]\n";
   kill "TERM", $pid[1];
 
-  sleep 5;
+  usleep 500000;
   #no view change can happen because of a lack of majority
 
   print "Restarting server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
   #no view change can happen because of a lack of majority
 
   print "Restarting server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
-  sleep 5;
+  usleep 500000;
 
   #no view change can happen because of a lack of majority
   foreach my $port (@p[0..2]) {
 
   #no view change can happen because of a lack of majority
   foreach my $port (@p[0..2]) {
@@ -373,13 +362,13 @@ if ($do_run[4]) {
   print "Kill server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
   print "Kill server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
-  sleep 5;
+  usleep 500000;
 
 
   print "Restarting server on port $p[1]\n";
   $pid[1] = spawn_ls($p[0], $p[1]);
 
 
 
   print "Restarting server on port $p[1]\n";
   $pid[1] = spawn_ls($p[0], $p[1]);
 
-  sleep 7;
+  usleep 700000;
 
   foreach my $port (@p[0..1]) {
     $in_views{$port} = get_num_views( paxos_log($port), $port );
 
   foreach my $port (@p[0..1]) {
     $in_views{$port} = get_num_views( paxos_log($port), $port );
@@ -412,12 +401,12 @@ if ($do_run[5]) {
   print "Sending paxos breakpoint 1 to first server on port $p[0]\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 3);
 
   print "Sending paxos breakpoint 1 to first server on port $p[0]\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 3);
 
-  sleep 1;
+  usleep 100000;
 
   print "Kill third server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
 
   print "Kill third server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
-  sleep 5;
+  usleep 500000;
   foreach my $port (@p[0..2]) {
     my $num_v = get_num_views( paxos_log($port), $port );
     die "$num_v views in ", paxos_log($port), " : no new views should be formed due to the lack of majority\n" if ($num_v != $in_views{$port});
   foreach my $port (@p[0..2]) {
     my $num_v = get_num_views( paxos_log($port), $port );
     die "$num_v views in ", paxos_log($port), " : no new views should be formed due to the lack of majority\n" if ($num_v != $in_views{$port});
@@ -429,7 +418,7 @@ if ($do_run[5]) {
   foreach my $port (@lastv) {
     wait_for_view_change(paxos_log($port), $in_views{$port}+1, $port, 20);
   }
   foreach my $port (@lastv) {
     wait_for_view_change(paxos_log($port), $in_views{$port}+1, $port, 20);
   }
-       sleep 10;
+  usleep 1000000;
 
 # now check the paxos logs and make sure the logs go through the right
 # views
 
 # now check the paxos logs and make sure the logs go through the right
 # views
@@ -448,24 +437,24 @@ if ($do_run[6]) {
   print "Sending paxos breakpoint 2 to first server on port $p[0]\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 4);
 
   print "Sending paxos breakpoint 2 to first server on port $p[0]\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 4);
 
-  sleep 1;
+  usleep 100000;
 
   print "Kill fourth server (PID: $pid[3]) on port $p[3]\n";
   kill "TERM", $pid[3];
 
 
   print "Kill fourth server (PID: $pid[3]) on port $p[3]\n";
   kill "TERM", $pid[3];
 
-  sleep 5;
+  usleep 500000;
 
   foreach my $port ($p[1],$p[2]) {
       my $num_v = get_num_views( paxos_log($port), $port );
       die "$num_v views in ", paxos_log($port), " : no new views should be formed due to the lack of majority\n" if ($num_v != $in_views{$port});
   }
 
 
   foreach my $port ($p[1],$p[2]) {
       my $num_v = get_num_views( paxos_log($port), $port );
       die "$num_v views in ", paxos_log($port), " : no new views should be formed due to the lack of majority\n" if ($num_v != $in_views{$port});
   }
 
-  sleep 5;
+  usleep 500000;
 
   print "Restarting fourth server on port $p[3]\n";
   $pid[3] = spawn_ls($p[1], $p[3]);
 
 
   print "Restarting fourth server on port $p[3]\n";
   $pid[3] = spawn_ls($p[1], $p[3]);
 
-  sleep 5;
+  usleep 500000;
 
   my @v5 = ($p[0],$p[1],$p[2]);
   foreach my $port (@v5) {
 
   my @v5 = ($p[0],$p[1],$p[2]);
   foreach my $port (@v5) {
@@ -473,7 +462,7 @@ if ($do_run[6]) {
   }
   push @views, \@v5;
 
   }
   push @views, \@v5;
 
-  sleep 10;
+  usleep 1000000;
 
   # the 6th view will be (2,3)  or (1,2,3,4)
   my @v6 = ($p[1],$p[2]);
 
   # the 6th view will be (2,3)  or (1,2,3,4)
   my @v6 = ($p[1],$p[2]);
@@ -501,12 +490,12 @@ if ($do_run[7]) {
   start_nodes(4,"ls");
   print "Sending paxos breakpoint 2 to first server on port $p[0]\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 4);
   start_nodes(4,"ls");
   print "Sending paxos breakpoint 2 to first server on port $p[0]\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 4);
-  sleep 3;
+  usleep 300000;
 
   print "Kill fourth server (PID: $pid[3]) on port $p[3]\n";
   kill "TERM", $pid[3];
 
 
   print "Kill fourth server (PID: $pid[3]) on port $p[3]\n";
   kill "TERM", $pid[3];
 
-  sleep 5;
+  usleep 500000;
 
   print "Kill third server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
   print "Kill third server (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
@@ -514,17 +503,17 @@ if ($do_run[7]) {
   print "Kill second server (PID: $pid[1]) on port $p[1]\n";
   kill "TERM", $pid[1];
 
   print "Kill second server (PID: $pid[1]) on port $p[1]\n";
   kill "TERM", $pid[1];
 
-  sleep 5;
+  usleep 500000;
 
   print "Restarting second server on port $p[1]\n";
   $pid[1] = spawn_ls($p[0], $p[1]);
 
 
   print "Restarting second server on port $p[1]\n";
   $pid[1] = spawn_ls($p[0], $p[1]);
 
-  sleep 5;
+  usleep 500000;
 
   print "Restarting third server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
 
   print "Restarting third server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
-  sleep 5;
+  usleep 500000;
 
 #no view change is possible by now because there is no majority
   foreach my $port ($p[1],$p[2]) {
 
 #no view change is possible by now because there is no majority
   foreach my $port ($p[1],$p[2]) {
@@ -535,7 +524,7 @@ if ($do_run[7]) {
   print "Restarting fourth server on port $p[3]\n";
   $pid[3] = spawn_ls($p[1], $p[3]);
 
   print "Restarting fourth server on port $p[3]\n";
   $pid[3] = spawn_ls($p[1], $p[3]);
 
-  sleep 5;
+  usleep 500000;
 
   my @v5 = ($p[0], $p[1], $p[2]);
   push @views, \@v5;
 
   my @v5 = ($p[0], $p[1], $p[2]);
   push @views, \@v5;
@@ -543,7 +532,7 @@ if ($do_run[7]) {
     $in_views{$port}++;
   }
 
     $in_views{$port}++;
   }
 
-  sleep 15;
+  usleep 1500000;
   my @lastv = ($p[1],$p[2],$p[3]);
   foreach my $port (@lastv) {
     wait_for_view_change(paxos_log($port), $in_views{$port}+1, $port, 20);
   my @lastv = ($p[1],$p[2],$p[3]);
   foreach my $port (@lastv) {
     wait_for_view_change(paxos_log($port), $in_views{$port}+1, $port, 20);
@@ -559,7 +548,7 @@ if ($do_run[7]) {
 
 if ($do_run[8]) {
   print "test8: start 3-process lock service\n";
 
 if ($do_run[8]) {
   print "test8: start 3-process lock service\n";
-       start_nodes(3,"ls");
+  start_nodes(3,"ls");
   
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
   
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
@@ -572,13 +561,13 @@ if ($do_run[8]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[9]) {
 
   print "test9: start 3-process rsm, kill second slave while lock_tester is running\n";
 }
 
 if ($do_run[9]) {
 
   print "test9: start 3-process rsm, kill second slave while lock_tester is running\n";
-       start_nodes(3,"ls");
+  start_nodes(3,"ls");
   
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
   
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
@@ -588,7 +577,7 @@ if ($do_run[9]) {
   print "Kill slave (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
   print "Kill slave (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
-  sleep 3;
+  usleep 300000;
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
@@ -602,13 +591,13 @@ if ($do_run[9]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[10]) {
 
   print "test10: start 3-process rsm, kill second slave and restarts it later while lock_tester is running\n";
 }
 
 if ($do_run[10]) {
 
   print "test10: start 3-process rsm, kill second slave and restarts it later while lock_tester is running\n";
-       start_nodes(3,"ls");
+  start_nodes(3,"ls");
   
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
   
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
@@ -618,13 +607,13 @@ if ($do_run[10]) {
   print "Kill slave (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
   print "Kill slave (PID: $pid[2]) on port $p[2]\n";
   kill "TERM", $pid[2];
 
-  sleep 3;
+  usleep 300000;
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
 
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
   wait_and_check_expected_view(\@v4);
 
-  sleep 3;
+  usleep 300000;
 
   print "Restarting killed lock_server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
   print "Restarting killed lock_server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
@@ -639,14 +628,14 @@ if ($do_run[10]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 
 if ($do_run[11]) {
 
   print "test11: start 3-process rsm, kill primary while lock_tester is running\n";
 }
 
 
 if ($do_run[11]) {
 
   print "test11: start 3-process rsm, kill primary while lock_tester is running\n";
-       start_nodes(3,"ls");
+  start_nodes(3,"ls");
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
@@ -656,7 +645,7 @@ if ($do_run[11]) {
   print "Kill primary (PID: $pid[0]) on port $p[0]\n";
   kill "TERM", $pid[0];
 
   print "Kill primary (PID: $pid[0]) on port $p[0]\n";
   kill "TERM", $pid[0];
 
-  sleep 3;
+  usleep 300000;
 
   # it should go through 4 views
   my @v4 = ($p[1], $p[2]);
 
   # it should go through 4 views
   my @v4 = ($p[1], $p[2]);
@@ -670,7 +659,7 @@ if ($do_run[11]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[12]) {
 }
 
 if ($do_run[12]) {
@@ -682,13 +671,13 @@ if ($do_run[12]) {
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
-  sleep 1;
+  usleep 100000;
 
   print "Kill master (PID: $pid[0]) on port $p[0] at breakpoint 1\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 1);
 
 
 
   print "Kill master (PID: $pid[0]) on port $p[0] at breakpoint 1\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 1);
 
 
-  sleep 1;
+  usleep 100000;
 
   # it should go through 5 views
   my @v4 = ($p[1], $p[2]);
 
   # it should go through 5 views
   my @v4 = ($p[1], $p[2]);
@@ -697,7 +686,7 @@ if ($do_run[12]) {
   print "Restarting killed lock_server on port $p[0]\n";
   $pid[0] = spawn_ls($p[1], $p[0]);
 
   print "Restarting killed lock_server on port $p[0]\n";
   $pid[0] = spawn_ls($p[1], $p[0]);
 
-  sleep 3;
+  usleep 300000;
 
   # the last view should include all nodes
   my @lastv = ($p[0],$p[1],$p[2]);
 
   # the last view should include all nodes
   my @lastv = ($p[0],$p[1],$p[2]);
@@ -717,7 +706,7 @@ if ($do_run[12]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[13]) {
 }
 
 if ($do_run[13]) {
@@ -729,12 +718,12 @@ if ($do_run[13]) {
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
-  sleep 1;
+  usleep 100000;
 
   print "Kill slave (PID: $pid[2]) on port $p[2] at breakpoint 1\n";
   spawn("./rsm_tester", $p[2]+1, "breakpoint", 1);
 
 
   print "Kill slave (PID: $pid[2]) on port $p[2] at breakpoint 1\n";
   spawn("./rsm_tester", $p[2]+1, "breakpoint", 1);
 
-  sleep 1;
+  usleep 100000;
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
 
   # it should go through 4 views
   my @v4 = ($p[0], $p[1]);
@@ -743,7 +732,7 @@ if ($do_run[13]) {
   print "Restarting killed lock_server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
   print "Restarting killed lock_server on port $p[2]\n";
   $pid[2] = spawn_ls($p[0], $p[2]);
 
-  sleep 3;
+  usleep 300000;
 
   # the last view should include all nodes
   my @lastv = ($p[0],$p[1],$p[2]);
 
   # the last view should include all nodes
   my @lastv = ($p[0],$p[1],$p[2]);
@@ -763,7 +752,7 @@ if ($do_run[13]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[14]) {
 }
 
 if ($do_run[14]) {
@@ -775,7 +764,7 @@ if ($do_run[14]) {
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
-  sleep 1;
+  usleep 100000;
 
   print "Kill slave (PID: $pid[4]) on port $p[4] at breakpoint 1\n";
   spawn("./rsm_tester", $p[4]+1, "breakpoint", 1);
 
   print "Kill slave (PID: $pid[4]) on port $p[4] at breakpoint 1\n";
   spawn("./rsm_tester", $p[4]+1, "breakpoint", 1);
@@ -785,7 +774,7 @@ if ($do_run[14]) {
   spawn("./rsm_tester", $p[3]+1, "breakpoint", 2);
 
 
   spawn("./rsm_tester", $p[3]+1, "breakpoint", 2);
 
 
-  sleep 1;
+  usleep 100000;
 
   # two view changes:
 
 
   # two view changes:
 
@@ -810,7 +799,7 @@ if ($do_run[14]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[15]) {
 }
 
 if ($do_run[15]) {
@@ -822,7 +811,7 @@ if ($do_run[15]) {
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
-  sleep 1;
+  usleep 100000;
 
   print "Kill slave (PID: $pid[4]) on port $p[4] at breakpoint 1\n";
   spawn("./rsm_tester", $p[4]+1, "breakpoint", 1);
 
   print "Kill slave (PID: $pid[4]) on port $p[4] at breakpoint 1\n";
   spawn("./rsm_tester", $p[4]+1, "breakpoint", 1);
@@ -831,7 +820,7 @@ if ($do_run[15]) {
   print "Kill primary (PID: $pid[0]) on port $p[0] at breakpoint 2\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 2);
 
   print "Kill primary (PID: $pid[0]) on port $p[0] at breakpoint 2\n";
   spawn("./rsm_tester", $p[0]+1, "breakpoint", 2);
 
-  sleep 1;
+  usleep 100000;
 
   # two view changes:
 
 
   # two view changes:
 
@@ -856,7 +845,7 @@ if ($do_run[15]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 if ($do_run[16]) {
 }
 
 if ($do_run[16]) {
@@ -868,13 +857,13 @@ if ($do_run[16]) {
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
   print "Start lock_tester $p[0]\n";
   $t = spawn("./lock_tester", $p[0]);
 
-  sleep 1;
+  usleep 100000;
 
   print "Partition primary (PID: $pid[0]) on port $p[0] at breakpoint\n";
 
   spawn("./rsm_tester", $p[0]+1, "partition", 0);
 
 
   print "Partition primary (PID: $pid[0]) on port $p[0] at breakpoint\n";
 
   spawn("./rsm_tester", $p[0]+1, "partition", 0);
 
-  sleep 3;
+  usleep 300000;
 
   print "first view change wait\n";
   my @lastv = ($p[1],$p[2]);
 
   print "first view change wait\n";
   my @lastv = ($p[1],$p[2]);
@@ -882,12 +871,12 @@ if ($do_run[16]) {
     wait_for_view_change(paxos_log($port), $in_views{$port}+1, $port, 20);
   }
 
     wait_for_view_change(paxos_log($port), $in_views{$port}+1, $port, 20);
   }
 
-  sleep 1;
+  usleep 100000;
 
   print "Heal partition primary (PID: $pid[0]) on port $p[0] at breakpoint\n";
   spawn("./rsm_tester", $p[0]+1, "partition", 1);
 
 
   print "Heal partition primary (PID: $pid[0]) on port $p[0] at breakpoint\n";
   spawn("./rsm_tester", $p[0]+1, "partition", 1);
 
-  sleep 1;
+  usleep 100000;
 
   # xxx it should test that this is the 5th view!
   print "second view change wait\n";
 
   # xxx it should test that this is the 5th view!
   print "second view change wait\n";
@@ -904,7 +893,7 @@ if ($do_run[16]) {
   }
 
   cleanup();
   }
 
   cleanup();
-  sleep 2;
+  usleep 200000;
 }
 
 print "tests done OK\n";
 }
 
 print "tests done OK\n";
Clustered locking manager to replace clvmd/corosync