Ständiger Serverabsturtz

Apache, Lighttpd, nginx, Cherokee
accelerator
Posts: 55
Joined: 2007-01-10 04:00

Ständiger Serverabsturtz

Post by accelerator » 2007-01-28 03:33

Hi,
ich hoffe ihr könnt mir helfen. Mein Server stürtzt immer zur Hauptzeit wenn 80 User online kommen ab, ich kann dann nichtmal in den SSH auf den Server.
Ich weiss auch nicht so wirklich woran es liegt, manchmal geht alles blitz schnell, dann wieder total lamm. Und ich glaube stark das es am Webserver Apache2 liegt.

Hier mal ein paar Statistiken:

Code: Select all

processor	: 0
vendor_id	: GenuineIntel
cpu family	: 15
model		: 6
model name	: Intel(R) Pentium(R) D CPU 3.20GHz
stepping	: 2
cpu MHz		: 3194.502
cache size	: 2048 KB
fdiv_bug	: no
hlt_bug		: no
f00f_bug	: no
coma_bug	: no
fpu		: yes
fpu_exception	: yes
cpuid level	: 6
wp		: yes
flags		: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe lm constant_tsc pni monitor ds_cpl vmx cid cx16 xtpr lahf_lm
bogomips	: 6390.28

Code: Select all

top - 03:27:31 up  4:03,  0 users,  load average: 3.42, 3.91, 3.78
Tasks:  92 total,   1 running,  91 sleeping,   0 stopped,   0 zombie
Cpu(s): 34.9% us,  4.3% sy,  0.0% ni,  6.8% id, 53.7% wa,  0.1% hi,  0.1% si
Mem:   3888284k total,  1650236k used,  2238048k free,   130836k buffers
Swap:  1001464k total,        0k used,  1001464k free,   835368k cached
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
21737 wwwrun    16   0 42156  17m 3276 S 23.8  0.4   0:05.37 httpd2-prefork     
    1 root      15   0   692  268  228 S  0.0  0.0   0:00.09 init               
    2 root      34  19     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/0        
    3 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 events/0           
    4 root      13  -5     0    0    0 S  0.0  0.0   0:00.00 khelper            
    5 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 kthread            
    8 root      10  -5     0    0    0 S  0.0  0.0   0:00.18 kblockd/0          
    9 root      13  -5     0    0    0 S  0.0  0.0   0:00.00 kseriod            
  100 root      25   0     0    0    0 S  0.0  0.0   0:00.00 pdflush            
  101 root      15   0     0    0    0 D  0.0  0.0   0:00.41 pdflush            
  102 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 kswapd0            
  103 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 aio/0              
  104 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 jfsIO              
  105 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 jfsCommit          
  106 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 jfsSync            
  107 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 xfslogd/0          
  108 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 xfsdatad/0         
  791 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 scsi_eh_0          
  796 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 ata/0              
  797 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 ata_aux            
  818 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 kpsmoused          
  821 root      10  -5     0    0    0 D  0.0  0.0   0:01.60 kjournald          
  931 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 kjournald          
 1214 messageb  15   0  3528  984  768 S  0.0  0.0   0:00.00 dbus-daemon        
 2025 root      21   0  4088  804  576 S  0.0  0.0   0:00.00 saslauthd          
 2031 root      16   0  1516  400  320 S  0.0  0.0   0:00.00 klogd              
 2038 root      19   0  1892  764  568 S  0.0  0.0   0:00.11 syslog-ng          
 2052 root      18   0  4704 1228  860 S  0.0  0.0   0:00.16 sshd               
 2071 root      18   0  2220  864  708 S  0.0  0.0   0:00.00 xinetd             
 2072 root      18   0  4088  476  248 S  0.0  0.0   0:00.00 saslauthd          
 2073 root      18   0  4088  432  204 S  0.0  0.0   0:00.00 saslauthd          
 2074 root      21   0  4088  432  204 S  0.0  0.0   0:00.00 saslauthd          
 2075 root      21   0  4088  432  204 S  0.0  0.0   0:00.00 saslauthd          
 2094 named     20   0 30240 2656 1804 S  0.0  0.1   0:00.00 named              
 2160 root      16   0  4792 1676 1356 S  0.0  0.0   0:00.15 master             
 2177 postfix   15   0  4960 1888 1404 S  0.0  0.0   0:00.09 qmgr               
 2194 root      15   0  1780  680  556 S  0.0  0.0   0:00.00 cron               
 2206 root      15   0  3488 1816 1228 S  0.0  0.0   0:00.00 hald               
 2407 root      18   0  1928  756  636 S  0.0  0.0   0:00.02 mingetty           
 2409 root      18   0  1924  748  636 S  0.0  0.0   0:00.02 mingetty           
 2410 root      18   0  1928  756  636 S  0.0  0.0   0:00.02 mingetty           
 2411 root      18   0  1924  748  636 S  0.0  0.0   0:00.02 mingetty           
 2412 root      19   0  1928  752  636 S  0.0  0.0   0:00.02 mingetty           
 2413 root      20   0  1928  752  636 S  0.0  0.0   0:00.02 mingetty           
13598 root      15   0  7904 2568 2028 S  0.0  0.1   0:00.09 sshd               
13617 root      15   0  4320 1416 1036 S  0.0  0.0   0:00.08 sftp-server        
14050 root      15   0  7904 2576 2028 S  0.0  0.1   0:00.08 sshd               
14055 root      15   0  3832 1564 1264 S  0.0  0.0   0:00.05 bash               
14231 root      15   0  7888 2576 2028 S  0.0  0.1   0:00.07 sshd               
14237 root      15   0  4484 1432 1040 S  0.0  0.0   0:00.05 sftp-server        
19202 root      21   0  2496 1256 1020 S  0.0  0.0   0:00.00 mysqld_safe        
19438 mysql     15   0  467m 100m 4044 S  0.0  2.6   0:56.95 mysqld             
21649 root      18   0 33672  13m 8036 S  0.0  0.3   0:00.21 httpd2-prefork     
21650 root      18   0  3468 1536 1256 S  0.0  0.0   0:00.01 pipelog.pl         
21659 root      25   0 33604 6000  512 S  0.0  0.2   0:00.00 httpd2-prefork     
21660 wwwrun    16   0 41732  17m 4312 S  0.0  0.5   0:06.57 httpd2-prefork     
21661 wwwrun    16   0 41432  16m 3260 S  0.0  0.4   0:03.94 httpd2-prefork     
21662 wwwrun    15   0 42452  17m 3308 S  0.0  0.5   0:06.04 httpd2-prefork     
21663 wwwrun    15   0 41952  17m 4216 S  0.0  0.5   0:06.11 httpd2-prefork     
21664 wwwrun    16   0 42360  17m 3564 S  0.0  0.5   0:04.95 httpd2-prefork     
21665 wwwrun    16   0 42384  17m 3580 S  0.0  0.5   0:05.52 httpd2-prefork     
21668 wwwrun    16   0 42048  17m 4224 D  0.0  0.5   0:06.29 httpd2-prefork     
21669 wwwrun    20   0 42076  17m 4196 S  0.0  0.5   0:05.79 httpd2-prefork     
21670 wwwrun    24   0 41616  17m 4204 S  0.0  0.5   0:05.59 httpd2-prefork     
21671 wwwrun    15   0 41452  17m 4472 S  0.0  0.5   0:05.71 httpd2-prefork     
21692 wwwrun    15   0 41460  17m 4504 S  0.0  0.5   0:05.67 httpd2-prefork     
21693 wwwrun    15   0 42124  17m 4220 S  0.0  0.5   0:05.98 httpd2-prefork     
21694 wwwrun    15   0 41544  17m 4224 S  0.0  0.5   0:05.51 httpd2-prefork     
21695 wwwrun    18   0 42068  17m 3396 S  0.0  0.4   0:05.75 httpd2-prefork     
21697 wwwrun    15   0 41020  15m 3276 S  0.0  0.4   0:04.55 httpd2-prefork     
21698 wwwrun    16   0 41628  16m 3292 S  0.0  0.4   0:05.58 httpd2-prefork     
21699 wwwrun    15   0 41208  17m 5148 S  0.0  0.5   0:04.42 httpd2-prefork     
21700 wwwrun    15   0 42000  18m 4488 S  0.0  0.5   0:07.13 httpd2-prefork     
21729 wwwrun    15   0 42092  16m 3292 S  0.0  0.4   0:06.25 httpd2-prefork     
21730 wwwrun    16   0 42048  17m 4372 S  0.0  0.5   0:06.41 httpd2-prefork     
21731 wwwrun    17   0 41728  17m 4212 S  0.0  0.5   0:04.97 httpd2-prefork     
21732 wwwrun    16   0 41936  17m 4208 S  0.0  0.5   0:05.24 httpd2-prefork     
21733 wwwrun    18   0 41616  16m 3276 S  0.0  0.4   0:04.70 httpd2-prefork     
21734 wwwrun    17   0 42088  16m 3308 S  0.0  0.4   0:06.45 httpd2-prefork     
21735 wwwrun    16   0 42452  18m 4224 D  0.0  0.5   0:05.67 httpd2-prefork     
21736 wwwrun    15   0 41624  16m 3284 S  0.0  0.4   0:04.04 httpd2-prefork     
21738 wwwrun    15   0 41868  17m 4364 S  0.0  0.5   0:05.30 httpd2-prefork     
21739 wwwrun    17   0 41860  17m 3580 S  0.0  0.4   0:05.05 httpd2-prefork     
21740 wwwrun    16   0 42136  17m 4208 S  0.0  0.5   0:04.31 httpd2-prefork     
21741 wwwrun    15   0 41488  17m 4304 S  0.0  0.5   0:05.21 httpd2-prefork     
21742 wwwrun    17   0 41360  16m 3276 S  0.0  0.4   0:04.36 httpd2-prefork     
21743 wwwrun    15   0 41980  17m 4224 S  0.0  0.5   0:06.00 httpd2-prefork     
22251 postfix   15   0  4800 1680 1356 S  0.0  0.0   0:00.00 pickup             
22343 postfix   16   0  4832 2052 1664 S  0.0  0.1   0:00.00 cleanup            
22346 postfix   15   0  4816 1984 1620 S  0.0  0.1   0:00.00 trivial-rewrite    
22350 postfix   15   0  4908 1876 1520 S  0.0  0.0   0:00.00 smtp               
22429 root      15   0  2104 1008  740 R  0.0  0.0   0:00.00 top  
Jetzt gucke ich gerade nach dem Apache restart nochmal mit neuer Konfiguration und jetzt steht dort folgendes:

Code: Select all

top - 03:34:20 up  4:10,  0 users,  load average: 3.13, 3.61, 3.70
Tasks:  92 total,   2 running,  90 sleeping,   0 stopped,   0 zombie
Cpu(s): 34.8% us,  4.3% sy,  0.0% ni,  6.9% id, 53.8% wa,  0.1% hi,  0.1% si
Mem:   3888284k total,  1616948k used,  2271336k free,   131988k buffers
Swap:  1001464k total,        0k used,  1001464k free,   848832k cached
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
22954 wwwrun    15   0 41468  16m 3184 S 35.7  0.4   0:00.69 httpd2-prefork     
22924 wwwrun    16   0 39164  13m 3240 R 27.7  0.4   0:00.46 httpd2-prefork     
22941 wwwrun    16   0 40092  14m 3236 D 13.9  0.4   0:00.44 httpd2-prefork     
22938 wwwrun    15   0 40336  15m 3200 S  5.9  0.4   0:00.52 httpd2-prefork     
19438 mysql     15   0  467m 100m 4048 S  4.0  2.6   1:05.22 mysqld       

Hier noch die Konfiguration aus der server-tuning.conf:

Code: Select all

<IfModule prefork.c>
	# number of server processes to start
	StartServers         2
	# minimum number of server processes which are kept spare
	MinSpareServers      20
	# maximum number of server processes which are kept spare
	MaxSpareServers     100
	# highest possible MaxClients setting for the lifetime of the Apache process.
	ServerLimit        300
	# maximum number of server processes allowed to start
	MaxClients         300
	# maximum number of requests a server process serves
	MaxRequestsPerChild  10000
</IfModule>

KeepAlive Off
MaxKeepAliveRequests 30
KeepAliveTimeout 30

Ich glaube das es am httpd2-prefork Befehl dort oben liegt, manchmal sind dort 2 Stück mit je mindestens 26% CPU Auslastung, wie kann das möglich sein?

Und kann ich dort irgendwie eine Sperre einbauen? Oder eine CPU Begrenzung?

User avatar
daemotron
Administrator
Administrator
Posts: 2635
Joined: 2004-01-21 17:44

Re: Ständiger Serverabsturtz

Post by daemotron » 2007-01-28 08:34

Ich tippe jetzt mal, dass Dein Apache nicht nur statische Seiten ausliefert... PHP? Wenn ja, wie eingebunden (mod_php, suPHP, FastCGI...)?

Du hast gigantischen I/O-Wait, d. h. Deine CPU wartet auf Antworten von der Festplatte. Wenn Du MySQL einsetzt, dort die Caches vergrößern (siehe http://www.rootforum.org/forum/viewtopic.php?t=36343). Wenn Du viele statische Inhalte anbietest (z. B. Bildergallerie), lohnt ein Blick auf Memory Caching (http://httpd.apache.org/docs/2.0/mod/mod_mem_cache.html) oder gleich der Umstieg auf Lighttpd.

Ansonsten bietet sich ev. noch ein OpCode-Cache wie APC an - natürlich nur, wenn die Load besonders duch PHP-Seiten getrieben wird.
Accelerator wrote:Und kann ich dort irgendwie eine Sperre einbauen? Oder eine CPU Begrenzung?

Code: Select all

man nice
Allerdings willst Du das nicht wirklich, Dein Webserver soll die Inhalte doch online liefern und nicht nach ner dreistündigen Batch-Verarbeitung :wink: Bleib lieber bei der server-tuning.conf und finde die Ursache für diese überhöhte Load - mit der CPU und dem RAM müsstest Du auch 800 oder 8000 User bedienen können...

[EDIT]
Bei richtigen Hochlast-Szenarien mit viel statischem Content (Bilder, Videos, Flash etc.) hättest Du noch die Möglichkeit, die statischen Hosting-Inhalte auf eine Ramdisk zu kopieren, um an dieser Stelle CPU-Wait zu umgehen.
[/EDIT]

accelerator
Posts: 55
Joined: 2007-01-10 04:00

Re: Ständiger Serverabsturtz

Post by accelerator » 2007-01-28 09:22

Es ist ein Foren Hosting Service der eigentlich zu 95% nur mit PHP und MySQL arbeitet ca. 50-80 Prozesse die Sekunden, aber das ist nicht das Problem, da MySQL nur manchmal auf 4-8% CPU geht, wenn z.B. ein neues Forum angemeldet wird, da dann ca. 100 neue Tabellen in die Datenbank geschrieben werden. Die Abfragen werden dort auch meistens schnell ausgeführt trotz den 300000 Tabellen in einer Datenbank. :?
Erst neulich habe ich MySQL genau nach den vorgaben hier getuned, aber das hat nicht wirklich etwas gebracht nur kurzzeitig.
Dadurch natürlich alles dynamisch.

Das Problem ist nur das ich nicht weiss warum es manchmal zu solchen extremen Loads kommt.

PHP ist per LoadModule php4_module eingebunden.

Und diese anderen:

Code: Select all

LoadModule access_module                  /usr/lib/apache2-prefork/mod_access.so
LoadModule actions_module                 /usr/lib/apache2-prefork/mod_actions.so
LoadModule alias_module                   /usr/lib/apache2-prefork/mod_alias.so
LoadModule auth_module                    /usr/lib/apache2-prefork/mod_auth.so
LoadModule auth_dbm_module                /usr/lib/apache2-prefork/mod_auth_dbm.so
LoadModule autoindex_module               /usr/lib/apache2-prefork/mod_autoindex.so
LoadModule cgi_module                     /usr/lib/apache2-prefork/mod_cgi.so
LoadModule dir_module                     /usr/lib/apache2-prefork/mod_dir.so
LoadModule env_module                     /usr/lib/apache2-prefork/mod_env.so
LoadModule expires_module                 /usr/lib/apache2-prefork/mod_expires.so
LoadModule include_module                 /usr/lib/apache2-prefork/mod_include.so
LoadModule log_config_module              /usr/lib/apache2-prefork/mod_log_config.so
LoadModule mime_module                    /usr/lib/apache2-prefork/mod_mime.so
LoadModule negotiation_module             /usr/lib/apache2-prefork/mod_negotiation.so
LoadModule setenvif_module                /usr/lib/apache2-prefork/mod_setenvif.so
LoadModule ssl_module                     /usr/lib/apache2-prefork/mod_ssl.so
LoadModule suexec_module                  /usr/lib/apache2-prefork/mod_suexec.so
LoadModule userdir_module                 /usr/lib/apache2-prefork/mod_userdir.so
LoadModule rewrite_module                 /usr/lib/apache2-prefork/mod_rewrite.so
LoadModule php4_module                    /usr/lib/apache2-prefork/libphp4.so
LoadModule python_module                  /usr/lib/apache2/mod_python.so

User avatar
daemotron
Administrator
Administrator
Posts: 2635
Joined: 2004-01-21 17:44

Re: Ständiger Serverabsturtz

Post by daemotron » 2007-01-28 10:34

Wenn nicht zwingend benötigt, solltest Du mal folgende Module rauswerfen (da ziemliche Performance-Fresser):
  • cgi_module
  • ssl_module
  • rewrite_module
  • python_module
Das verschlankt die einzelnen Apache-Prozesse schon mal etwas...

Dein Hauptproblem sind nach wie vor die Festplattenzugriffe, die offenbar andere Prozesse zum warten verdonnern (Du hast ca. 1,5GB ungenutzen RAM, aber über 50% I/O-Wait!). Bei reinen PHP/MySQL-Geschichten kann das eigentlich nur die Datenbank in größerem Umfang sein. Welche Engines nutzt Du denn? MyISAM, oder auch InnoDB? Bei 3GB RAM, die Dir zur Verfügung stehen, und der großen Anzahl an Tabellen in Deinem mysqld kannst Du die Caches aus der oben vorgeschlagenen Konfiguration getrost mindestens verdoppeln; v. a. den query_cache kannst Du mächtig nach oben anpassen. Wenn Du InnoDB gar nicht nutzt, schalte es mit skip-innodb ganz ab.

Session-Tabellen kannst Du auf die MEMORY-Engine umstellen (die verliert zwar mit jedem Neustart des mysqld ihre Daten, aber für temporären Kram wie Sessions ist das perfekt), und Du solltest mal Dein Slow Query Log durchschauen, ob Du in Größenordnungen lang laufende Abfragen hast.

HTH

accelerator
Posts: 55
Joined: 2007-01-10 04:00

Re: Ständiger Serverabsturtz

Post by accelerator » 2007-01-28 11:49

Ok, ich hab die Config von hier drin, bloß wenn ich irgendwas ändere, startet MySQL nicht mehr neu und der Server geht jetzt noch langsamer als vorher, also vielleicht liegt es doch an MySQL.

Könnte mir bitte jemand für meinen Server die my.cnf anpassen, ich versteh solangsam nichts mehr. :?


my.cnf:

Code: Select all

[client]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8
port                  = 3306
socket                = /var/run/mysqld/mysqld.sock

[mysql]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8
no-auto-rehash

[mysqladmin]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8

[mysqlcheck]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8

[mysqldump]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8
max_allowed_packet    = 16M
quick

[mysqlimport]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8

[mysqlshow]
character-sets-dir    = /usr/share/mysql/charsets
default-character-set = utf8

[isamchk]
character-sets-dir    = /usr/share/mysql/charsets
key_buffer_size       = 256M
sort_buffer_size      = 256M
read_buffer_size      = 4M
write_buffer_size     = 4M

[myisamchk]
character-sets-dir    = /usr/share/mysql/charsets
key_buffer_size       = 256M
sort_buffer_size      = 256M
read_buffer_size      = 4M
write_buffer_size     = 4M

[myisampack]
character-sets-dir    = /usr/share/mysql/charsets

[mysqld_safe]
err-log               = /var/log/mysql/mysql.err
open-files-limit      = 4096

[mysqld]
character-sets-dir    = /usr/share/mysql/charsets
character-set-server  = utf8
default-character-set = utf8
user                  = mysql
port                  = 3306
bind-address          = 127.0.0.1
socket                = /var/run/mysqld/mysqld.sock
pid-file              = /var/run/mysqld/mysqld.pid
log-error             = /var/log/mysql/mysqld.err
basedir               = /usr
datadir               = /var/lib/mysql
tmpdir                = /tmp
language              = /usr/share/mysql/english
log-bin               = mysql-bin
server-id             = 1
sync_binlog           = 1
binlog_cache_size     = 1M
max_binlog_size       = 10M
slave_compressed_protocol = 1
delay-key-write       = ALL
skip-locking
skip-networking
skip-name-resolve
skip-external-locking
skip-show-database
safe-user-create      = 1
default_table_type    = MYISAM
transaction_isolation = REPEATABLE-READ
max_allowed_packet    = 16M
max_heap_table_size   = 64M
tmp_table_size        = 64M
key_buffer_size       = 384M
sort_buffer_size      = 8M
join_buffer_size      = 8M
read_buffer_size      = 8M
read_rnd_buffer_size  = 16M
bulk_insert_buffer_size = 32M
myisam_sort_buffer_size = 64M
myisam_max_sort_file_size = 1G
myisam_max_extra_sort_file_size = 1G
myisam_repair_threads = 1
thread_cache_size     = 8
table_cache           = 512
query_cache_type      = 1
query_cache_size      = 32M
query_cache_limit     = 2M
thread_concurrency    = 8
local-infile          = 0
long_query_time       = 3
log_slow_queries
log_long_format
myisam_recover
#skip-innodb
innodb_thread_concurrency = 8
innodb_buffer_pool_size = 384M
innodb_additional_mem_pool_size = 20M
innodb_data_home_dir = /var/lib/mysql
innodb_log_arch_dir = /var/lib/mysql
innodb_log_group_home_dir = /var/lib/mysql
innodb_data_file_path = ibdata1:2000M;ibdata2:10M:autoextend
innodb_log_file_size = 100M
innodb_log_buffer_size = 8M
innodb_log_files_in_group = 2
innodb_flush_log_at_trx_commit = 1
innodb_lock_wait_timeout = 60

[mysqlhotcopy]
interactive-timeout 

accelerator
Posts: 55
Joined: 2007-01-10 04:00

Re: Ständiger Serverabsturtz

Post by accelerator » 2007-01-28 14:56

Der ganze Server hängt ununterbrochen schon seit heute morgen 7 Uhr... und ich kriege keine Verbesserung rein... in der Prozesslistet von MySQL steht folgendes:

Code: Select all

 Befehl 
 Dauer 
 Status 
 Query 
 40 
 Opening tables 
 Sleep 
 36 
 --- 
 Query 
 10 
 Opening tables 
 Query 
 4 
 closing tables 
 Query 
 39 
 closing tables 
 Query 
 9 
 Opening tables 
 Query 
 10 
 Opening tables 
 Query 
 58 
 closing tables 
 Query 
 10 
 Opening tables 
 Query 
 39 
 closing tables 
 Query 
 10 
 Opening tables 
 Query 
 3 
 Opening tables 
 Query 
 10 
 Opening tables 
 Query 
 29 
 closing tables 
 Query 
 28 
 closing tables 
 Query 
 36 
 Opening tables 
 Query 
 13 
 Opening tables 
 Query 
 3 
 Opening tables 
 Sleep 
 0 
 --- 
 Query 
 4 
 Opening tables 
 Query 
 1 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 25 
 closing tables 
 Query 
 13 
 Opening tables 
 Query 
 39 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 43 
 closing tables 
 Query 
 4 
 Opening tables 
 Sleep 
 36 
 --- 
 Query 
 3 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 3 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 3 
 Opening tables 
 Query 
 23 
 Opening tables 
 Query 
 22 
 Opening tables 
 Query 
 0 
 --- 
 Sleep 
 0 
 --- 
 Query 
 17 
 Opening tables 
 Query 
 16 
 Opening tables 
 Query 
 16 
 Opening tables 
 Query 
 14 
 Opening tables 
 Query 
 12 
 Opening tables 
 Query 
 12 
 Opening tables 
 Query 
 11 
 Opening tables 
 Query 
 11 
 Opening tables 
 Query 
 10 
 Opening tables 
 Query 
 9 
 Opening tables 
 Query 
 9 
 Opening tables 
 Query 
 9 
 Opening tables 
 Query 
 9 
 Opening tables 
 Query 
 9 
 Opening tables 
 Query 
 8 
 Opening tables 
 Query 
 8 
 Opening tables 
 Query 
 8 
 Opening tables 
 Query 
 7 
 Opening tables 
 Query 
 6 
 Opening tables 
 Query 
 5 
 Opening tables 
 Query 
 5 
 Opening tables 
 Query 
 4 
 Opening tables 
 Query 
 3 
 Opening tables 
 Query 
 3 
 Opening tables 
 Query 
 3 
 Opening tables 
 Query 
 0 
 Opening tables 
 Query 
 0 
 Opening tables 
 Query 
 0 
 Opening tables