postfix, apache, mysql und Server unter Hochdampf (?)

[huby]

Hallo,
ich habe auf einem Server ein Problem: Dieser lief bis zu einer missglückten ghostscript Installation per rpm und danach von Hand (make, make install) problemlos.
Nachdem der Server neu gebootet wurde, weil ssh nicht mehr reagierte, lädt er den apache nicht mehr von selbst, postfix ist dead, cron-jobs funktionieren nicht.
Wenn man dann alles per Hand macht, (das geht gerade so, manchmal kommt man aber per ssh nicht rein, nach "Have a lot of fun . . ." kommt nichts mehr). Mir scheint der Server pfeift aus dem letzen Loch, mysql ist heute mit der Fehlermeldung "out of memory" gekommen.
Der Kernel schießt -so glaube ich- einfach postfix, oder apache ab, oder führt diese gar nicht erst aus.
Wenn ich yast starten will kommt mit etwas Glück nach 20-30 Minuten erst die GUI.
Ich habe im Moment einfach mal alle Postfächer entfernt also webXpX in ein Backup Verzeichnis geschoben.
kill all postfix - und nur so konnte ich zum Beispiel postfix überhaupt zum laufen kriegen.
Ein Schnitt von top:

top - 15:00:42 up 4:58, 2 users, load average: 0.04, 0.03, 0.00
Tasks: 894 total, 1 running, 291 sleeping, 209 stopped, 393 zombie
Cpu(s): 1.0% us, 1.6% sy, 0.0% ni, 97.4% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 248188k total, 229764k used, 18424k free, 11344k buffers
Swap: 2048248k total, 4k used, 2048244k free, 100652k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
11527 root 17 0 2280 1404 1540 R 2.6 0.6 0:18.75 top
1 root 16 0 588 240 444 S 0.0 0.1 0:00.36 init
2 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0

Mir scheinen die Zombies arg viel zu sein.
Dabei ist der Server erst ein paar Stunden am laufen.
In den logfiles und startup skripten konnte ich nichts auffaelliges, bis auf die akuten Probleme selbst, finden.
Danke schonmal im voraus fuers durchlesen,
Huby

[Joe User]

256MB RAM?

[huby]

Meinst du damit, dass man sich nicht wundern muss dass der Server zu swappen anfaengt bei nur 256MB RAM?
Der Server hat c.a. 55 user, das muesste er doch abkoennen...
Das load average ist doch nur bei 0.04...

[Joe User]

Es hätte ja auch ein gestorbener Riegel sein können. Wenn die 55 User überwiegend mit unoptimierten 0815-PHP-Scripten auf den MySQL einschlagen, dann können 256MB RAM + 256MB Swap schnell verbraucht sein und die von Dir beobachteten/vermuteten Symptome hervorrufen.

[isotopp]

Code: Select all

top - 15:00:42 up  4:58,  2 users,  load average: 0.04, 0.03, 0.00
Tasks: 894 total,   1 running, 291 sleeping, 209 stopped, 393 zombie
Cpu(s):  1.0% us,  1.6% sy,  0.0% ni, 97.4% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:    248188k total,   229764k used,    18424k free,    11344k buffers
Swap:  2048248k total,        4k used,  2048244k free,   100652k cached

Mir scheinen die Zombies arg viel zu sein.

Dein Server hat extrem viele Prozesse (894), darunter auch extrem viele Stopped und Zombie-Prozesse. Er verwendet keinen Swap (4k used) und er hat auch kein I/O-Wait (0.0% wa). Er swappt also nicht. Er hat auch keine Load.

Genaueres kann man erst sagen, wenn man in der Prozeßliste einmal nach dem Zombie und Stopped-Prozessen sucht.

[huby]

Ich habe nochmal ein top nach Mem. sortiert;
top - 17:34:41 up 7:32, 1 user, load average: 0.10, 0.04, 0.01
Tasks: 1394 total, 1 running, 428 sleeping, 333 stopped, 632 zombie
Cpu(s): 1.9% us, 2.9% sy, 0.0% ni, 95.2% id, 0.0% wa, 0.0% hi, 0.0% si
Mem: 248188k total, 236876k used, 11312k free, 2088k buffers
Swap: 2048248k total, 972k used, 2047276k free, 90008k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10480 spamd 17 0 30768 27m 4328 S 0.0 11.4 0:02.29 spamd
19624 wwwrun 15 0 62236 12m 55m S 0.0 5.1 0:00.09 httpd2-prefork
19710 wwwrun 16 0 62232 12m 55m S 0.0 5.1 0:00.05 httpd2-prefork
19804 wwwrun 16 0 62232 12m 55m S 0.0 5.1 0:00.05 httpd2-prefork
19569 wwwrun 16 0 62208 12m 55m S 0.0 5.1 0:00.11 httpd2-prefork
19582 wwwrun 16 0 62104 12m 55m S 0.0 5.0 0:00.08 httpd2-prefork
19616 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.03 httpd2-prefork
19623 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.03 httpd2-prefork
19635 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.03 httpd2-prefork
19670 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.02 httpd2-prefork
19776 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.01 httpd2-prefork
19781 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.01 httpd2-prefork
19794 wwwrun 16 0 62104 11m 55m S 0.0 4.9 0:00.01 httpd2-prefork
19816 wwwrun 15 0 62104 11m 55m S 0.0 4.9 0:00.00 httpd2-prefork
3828 root 16 0 61952 11m 55m S 0.0 4.8 0:06.89 httpd2-prefork
10472 root 17 0 61952 11m 55m S 0.0 4.8 0:00.00 httpd2-prefork
1202 mysql 16 0 24744 4680 4680 S 0.0 1.9 0:00.43 mysqld
5595 root 24 0 4748 3364 2676 S 0.0 1.4 0:00.18 ftptraffik.pl
5820 root 21 0 4748 3356 2676 S 0.0 1.4 0:00.17 httpdtraffik.pl
2692 ntp 16 0 2696 2696 1948 S 0.0 1.1 0:00.03 ntpd
5820 root 21 0 4748 3356 2676 S 0.0 1.4 0:00.17 httpdtraffik.pl
2692 ntp 16 0 2696 2696 1948 S 0.0 1.1 0:00.03 ntpd
19668 root 16 0 7844 2356 4488 S 0.0 0.9 0:00.18 sshd
13453 root 15 0 7684 2276 4488 S 0.0 0.9 0:00.04 sshd
1138 root 17 0 4640 1756 4260 S 0.0 0.7 0:02.62 sshd
19813 root 17 0 2552 1668 1540 R 3.5 0.7 0:01.38 top

Weiterhin ergibt ps aux:
wwwrun 19670 0.0 4.8 62104 12140 ? S 17:27 0:00 /usr/sbin/httpd2-prefork -f /et
root 19672 0.0 0.6 2664 1640 pts/0 Ss 17:27 0:00 -bash
root 19705 0.0 0.2 1396 584 ? S 17:28 0:00 /USR/SBIN/CRON
root 19706 0.1 0.0 0 0 ? Zs 17:28 0:00 [confixx_counter] <defunct>
root 19707 0.0 0.1 2320 336 ? T 17:28 0:00 /root/confixx/confixx_countersc
root 19708 0.0 0.0 0 0 ? Z 17:28 0:00 [confixx_counter] <defunct>
wwwrun 19710 0.0 5.1 62232 12712 ? S 17:28 0:00 /usr/sbin/httpd2-prefork -f /et
root 19713 0.0 0.2 1396 588 ? S 17:29 0:00 /USR/SBIN/CRON
root 19714 0.1 0.0 0 0 ? Zs 17:29 0:00 [confixx_counter] <defunct>
root 19715 0.0 0.1 2320 384 ? T 17:29 0:00 /root/confixx/confixx_countersc
root 19716 0.0 0.0 0 0 ? Z 17:29 0:00 [confixx_counter] <defunct>
root 19721 0.0 0.2 1396 592 ? S 17:30 0:00 /USR/SBIN/CRON
root 19722 0.0 0.4 2312 1004 ? Ss 17:30 0:00 /bin/sh -c test -x /usr/lib/cr
root 19728 0.0 0.4 2312 1000 ? S 17:30 0:00 /bin/bash /usr/lib/cron/run-cro
root 19742 0.0 0.0 1228 212 ? T 17:30 0:00 /usr/bin/basename /usr/lib/cron
root 19744 0.0 0.0 0 0 ? Z 17:30 0:00 [basename] <defunct>
wwwrun 19776 0.0 5.0 62104 12500 ? S 17:30 0:00 /usr/sbin/httpd2-prefork -f /et
wwwrun 19781 0.0 4.8 62104 12132 ? S 17:30 0:00 /usr/sbin/httpd2-prefork -f /et
root 19782 0.0 0.2 1396 592 ? S 17:31 0:00 /USR/SBIN/CRON
root 19783 0.2 0.0 0 0 ? Zs 17:31 0:00 [confixx_counter] <defunct>
root 19784 0.0 0.1 2320 384 ? T 17:31 0:00 /root/confixx/confixx_countersc
root 19785 0.0 0.0 0 0 ? Z 17:31 0:00 [confixx_counter] <defunct>
root 19789 0.0 0.2 1396 592 ? S 17:32 0:00 /USR/SBIN/CRON
root 19790 0.3 0.0 0 0 ? Zs 17:32 0:00 [confixx_counter] <defunct>
root 19791 0.0 0.1 2320 384 ? T 17:32 0:00 /root/confixx/confixx_countersc
root 19792 0.0 0.0 0 0 ? Z 17:32 0:00 [confixx_counter] <defunct>
wwwrun 19794 0.0 4.9 62104 12336 ? S 17:32 0:00 /usr/sbin/httpd2-prefork -f /et
root 19795 0.0 0.2 1396 592 ? S 17:33 0:00 /USR/SBIN/CRON
root 19796 0.4 0.0 0 0 ? Zs 17:33 0:00 [confixx_counter] <defunct>
root 19797 0.0 0.1 2320 384 ? T 17:33 0:00 /root/confixx/confixx_countersc
root 19798 0.0 0.0 0 0 ? Z 17:33 0:00 [confixx_counter] <defunct>
wwwrun 19804 0.0 5.1 62232 12708 ? S 17:34 0:00 /usr/sbin/httpd2-prefork -f /et
root 19805 0.0 0.2 1396 592 ? S 17:34 0:00 /USR/SBIN/CRON
root 19806 0.6 0.0 0 0 ? Zs 17:34 0:00 [confixx_counter] <defunct>
root 19808 0.0 0.1 2324 388 ? S 17:34 0:00 /root/confixx/confixx_countersc
root 19820 0.0 0.2 1396 592 ? S 17:35 0:00 /USR/SBIN/CRON
root 19821 1.3 0.0 0 0 ? Zs 17:35 0:00 [confixx_counter] <defunct>
root 19822 0.0 0.1 2320 384 ? T 17:35 0:00 /root/confixx/confixx_countersc
root 19823 0.0 0.0 0 0 ? Z 17:35 0:00 [confixx_counter] <defunct>
wwwrun 19837 0.0 4.8 62104 12124 ? S 17:35 0:00 /usr/sbin/httpd2-prefork -f /et
root 19838 0.0 0.2 2164 688 pts/0 R+ 17:35 0:00 ps aux

Diese Liste ist schier endlos.
Und anhand top habe ich das Gefuehl, dass es nicht mehr lange dauern kann, bis der Server am Anschlag ist.
ich meine tasks von 894 rauf auf 1394, zombies rauf auf 632 von 393...

@isotopp: Was meinst du damit, dass der Server keine Load hat, ich wuerde das als positiv interpretieren...(?)

Ich habe in den php skripten ueberall mysqlfreeresult eingefuegt.
MySql sieht so aus:
# mysqladmin processlist
+------+---------+-----------+---------+---------+-------+-------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+------+---------+-----------+---------+---------+-------+-------+------------------+
| 256 | confixx | localhost | confixx | Sleep | 22969 | | |
| 262 | confixx | localhost | confixx | Sleep | 22960 | | |
| 1762 | root | localhost | | Query | 0 | | show processlist |
+------+---------+-----------+---------+---------+-------+-------+------------------+
danke!

[Joe User]

http://www.rootforum.org/forum/viewtopic.php?t=36346
http://www.rootforum.org/forum/viewtopic.php?t=36343

Desweiteren solltest Du darüber nachdenken, die Confixx-Webstatistiken zu deaktivieren.

[isotopp]

Code: Select all

 0:00 /root/confixx/confixx_countersc
root     19708  0.0  0.0     0    0 ?        Z    17:28   0:00 [confixx_counter] <defunct>

Das (<defunct>) sind Deine Zombies, und aufgerufen wurden sie vom confixx_counterscript.

@isotopp: Was meinst du damit, dass der Server keine Load hat, ich wuerde das als positiv interpretieren...(?)

Load - hier: CPU Auslastung oder überlastung. Ja, Deine Problem ist kein Amokläufer, sondern Dein Problem sind herumfliegende Counterscript-Leichen.

[huby]

Hallo,
danke für die Antworten!
@Joe User:
Danke für die links.
Die Frage ist für mich, ob diese Tuning-maßnahmen viel bringen werden, denn diese waren ja bis zum "Problem" auch nicht eingebaut.
Die User-Zahl hat sich auch nicht stark erhöht.
Warum keine confixx-webstats? Gibt es bessere skripte dafür?
(sollte ich mich evtl. mal selber schlau machen...)

Auf dem Server wird auch ein Tuning für Apache geladen:
(server_tuning.conf in httpd.conf included):
# prefork MPM
<IfModule prefork.c>
# number of server processes to start
StartServers 5
# minimum number of server processes which are kept spare
MinSpareServers 5
# maximum number of server processes which are kept spare
MaxSpareServers 10
# highest possible MaxClients setting for the lifetime of the Apache pro
cess.
ServerLimit 150
# maximum number of server processes allowed to start
MaxClients 150
# maximum number of requests a server process serves
MaxRequestsPerChild 0
</IfModule>

# worker MPM
<IfModule worker.c>
# initial number of server processes to start
StartServers 2
# minimum number of worker threads which are kept spare
MinSpareThreads 25
# maximum number of worker threads which are kept spare
MaxSpareThreads 75
# maximum number of simultaneous client connections
MaxClients 150
# constant number of worker threads in each server process
ThreadsPerChild 25
# maximum number of requests a server process serves
MaxRequestsPerChild 0
</IfModule>

# leader MPM
<IfModule leader.c>
# initial number of server processes to start
StartServers 2
# minimum number of worker threads which are kept spare
MinSpareThreads 25
# maximum number of worker threads which are kept spare
MaxSpareThreads 75
# maximum number of simultaneous client connections
MaxClients 150
# constant number of worker threads in each server process
ThreadsPerChild 25
# maximum number of requests a server process serves
MaxRequestsPerChild 0
</IfModule>

# perchild MPM
<IfModule perchild.c>
# constant number of server processes
NumServers 5
# initial number of worker threads in each server process
StartThreads 5
# minimum number of worker threads which are kept spare
MinSpareThreads 5
# maximum number of worker threads which are kept spare
MaxSpareThreads 10
# maximum number of worker threads in each server process
MaxThreadsPerChild 20
# maximum number of connections per server process
MaxRequestsPerChild 0

AcceptMutex fcntl
</IfModule>

# metux MPM
<IfModule metuxmpm.c>
# initial number of worker threads in each server process
StartThreads 5
# minimum number of worker threads which are kept spare
MinSpareThreads 5
# maximum number of worker threads which are kept spare
MaxSpareThreads 10
# maximum number of connections per server process
MaxRequestsPerChild 0

Multiplexer "wwwrun" "www"

</IfModule>


#
# KeepAlive: Whether or not to allow persistent connections (more than
# one request per connection). Set to "Off" to deactivate.
#
KeepAlive On

#
# MaxKeepAliveRequests: The maximum number of requests to allow
# during a persistent connection. Set to 0 to allow an unlimited amount.
# We recommend you leave this number high, for maximum performance.
#
MaxKeepAliveRequests 100

#
# KeepAliveTimeout: Number of seconds to wait for the next request from the
# same client on the same connection.
#
KeepAliveTimeout 15

#
# The following directives modify normal HTTP response behavior to
# handle known problems with browser implementations.
#
BrowserMatch "Mozilla/2" nokeepalive
BrowserMatch "MSIE 4.0b2;" nokeepalive downgrade-1.0 force-response-1.0
BrowserMatch "RealPlayer 4.0" force-response-1.0
BrowserMatch "Java/1.0" force-response-1.0
BrowserMatch "JDK/1.0" force-response-1.0

AcceptMutex fcntl
</IfModule>

# metux MPM
<IfModule metuxmpm.c>
# initial number of worker threads in each server process
StartThreads 5
# minimum number of worker threads which are kept spare
MinSpareThreads 5
# maximum number of worker threads which are kept spare
MaxSpareThreads 10
# maximum number of connections per server process
MaxRequestsPerChild 0

Multiplexer "wwwrun" "www"

</IfModule>
# KeepAlive: Whether or not to allow persistent connections (more than
# one request per connection). Set to "Off" to deactivate.
#
KeepAlive On

#
# MaxKeepAliveRequests: The maximum number of requests to allow
# during a persistent connection. Set to 0 to allow an unlimited amount.
# We recommend you leave this number high, for maximum performance.
#
MaxKeepAliveRequests 100

#
# KeepAliveTimeout: Number of seconds to wait for the next request from the
# same client on the same connection.
#
KeepAliveTimeout 15

#
# The following directives modify normal HTTP response behavior to
# handle known problems with browser implementations.
#
BrowserMatch "Mozilla/2" nokeepalive
BrowserMatch "MSIE 4.0b2;" nokeepalive downgrade-1.0 force-response-1.0
BrowserMatch "RealPlayer 4.0" force-response-1.0
BrowserMatch "Java/1.0" force-response-1.0
BrowserMatch "JDK/1.0" force-response-1.0

#
# The following directive disables redirects on non-GET requests for
# a directory that does not include the trailing slash. This fixes a
# problem with Microsoft WebFolders which does not appropriately handle
# redirects for folders with DAV methods.
# Same deal with Apple's DAV filesystem and Gnome VFS support for DAV.
#
BrowserMatch "Microsoft Data Access Internet Publishing Provider" redirect-caref
ully
BrowserMatch "^WebDrive" redirect-carefully
BrowserMatch "^WebDAVFS/1.[012]" redirect-carefully
BrowserMatch "^gnome-vfs" redirect-carefully

damit sind doch die kindsprozesse / Apache threads so eingestellt, daß nicht allzuviel Prozesse laufen können.

Oder muss hier noch explizit sowas wie "MaxChilds = xx" rein?



Da das Problem da ist, seit ghostscript installiert wurde - was aufgrund von libs nicht klappte;
Kann es sein daß gewisse thread-libs beschädigt sind?
(durch google gefunden...)

@isotopp

Er verwendet keinen Swap (4k used) und er hat auch kein I/O-Wait (0.0% wa). Er swappt also nicht.

top jetzt:
top - 23:49:20 up 13:47, 1 user, load average: 0.07, 0.02, 0.03
Tasks: 2584 total, 1 running, 743 sleeping, 628 stopped, 1212 zombie
Cpu(s): 2.5% us, 4.7% sy, 0.0% ni, 92.5% id, 0.0% wa, 0.0% hi, 0.3% si
Mem: 248188k total, 246932k used, 1256k free, 256k buffers
Swap: 2048248k total, 7708k used, 2040540k free, 35992k cached

swapt er wirklich nicht? Von ehemals 4KB sind die used Swap auf 7708k angestiegen...

[isotopp]

Code: Select all

top - 23:49:20 up 13:47,  1 user,  load average: 0.07, 0.02, 0.03
Tasks: 2584 total,   1 running, 743 sleeping, 628 stopped, 1212 zombie
Cpu(s):  2.5% us,  4.7% sy,  0.0% ni, 92.5% id,  0.0% wa,  0.0% hi,  0.3% si
Mem:    248188k total,   246932k used,     1256k free,      256k buffers
Swap:  2048248k total,     7708k used,  2040540k free,    35992k cached

swapt er wirklich nicht? Von ehemals 4KB sind die used Swap auf 7708k angestiegen...

Das ist Swap, aber kein wa, also ist Zeugs ausgelagert worden, weil der Speicher übergelaufen ist, aber mit diesem Zeug wird nix gemacht. Ich würde sagen, die Kiste drückt abgestorbene Prozesse nach draußen (die Sleep-Prozesse, Zombies brauchen ja keinen Speicher), um weiter arbeiten zu können.

[alexander newald]

Poste doch mal die *komplette* Ausgabe von

ps xafu in [ CODE ] Tags ! Oder stell die Ausgabe noch besser als txt Datei zum Download bereit (oder von mir aus, schick die Datei per Mail an mich alexander@newald.de)

[huby]

Hallo,
inwzischen musste ich den Server mal wieder neu starten, deshalb siehts im Moment nich so schlimm aus...:
@Alexander Newald:

Code: Select all

 # ps xafu
USER       PID %CPU %MEM   VSZ  RSS TTY      STAT START   TIME COMMAND
root         1  0.0  0.0   588  240 ?        S    04:24   0:00 init [3]
root         2  0.0  0.0     0    0 ?        S    04:24   0:00 [migration/0]
root         3  0.0  0.0     0    0 ?        SN   04:24   0:00 [ksoftirqd/0]
root         4  0.0  0.0     0    0 ?        S<   04:24   0:00 [events/0]
root         5  0.0  0.0     0    0 ?        S<   04:24   0:00  _ [khelper]
root         6  0.0  0.0     0    0 ?        S<   04:24   0:00  _ [kblockd/0]
root         7  0.0  0.0     0    0 ?        S    04:24   0:00  _ [pdflush]
root         8  0.0  0.0     0    0 ?        S    04:24   0:00  _ [pdflush]
root        10  0.0  0.0     0    0 ?        S<   04:24   0:00  _ [aio/0]
root        11  0.0  0.0     0    0 ?        S<   04:24   0:00  _ [xfslogd/0]
root        12  0.0  0.0     0    0 ?        S<   04:24   0:00  _ [xfsdatad/0]
root        15  0.0  0.0     0    0 ?        S<   04:24   0:00  _ [ata/0]
root         9  0.0  0.0     0    0 ?        S    04:24   0:00 [kswapd0]
root        13  0.0  0.0     0    0 ?        S    04:24   0:00 [xfsbufd]
root        14  0.0  0.0     0    0 ?        S    04:24   0:00 [kseriod]
root        16  0.0  0.0     0    0 ?        S    04:24   0:00 [kjournald]
root       113  0.0  0.0     0    0 ?        S    04:24   0:00 [xfssyncd]
root       114  0.0  0.0     0    0 ?        S    04:24   0:00 [xfssyncd]
root       115  0.0  0.0     0    0 ?        S    04:24   0:00 [xfssyncd]
root       463  0.0  0.4  2320 1184 ?        Ss   04:24   0:00 /bin/bash /etc/init.d/rc 3
root      1086  0.0  0.1  1360  416 ?        S    04:25   0:00  _ /sbin/startpar -t 20 -T 3 -a start /etc/init.d/rc3.d/S09sshd
root      1091  0.0  0.5  2528 1304 ?        S    04:25   0:00      _ /bin/sh /etc/init.d/rc3.d/S09kbd start
root      1279  0.0  0.2  1556  544 ?        S    04:25   0:00          _ /bin/setfont -C /dev/tty1 lat9w-16.psfu -m trivial
root      1280  0.0  0.0     0    0 ?        Z    04:25   0:00              _ [gzip] <defunct>
root       479  0.0  0.2  9728  560 ?        Ss   04:24   0:00 /sbin/blogd /dev/tty1
root       905  0.0  0.1  1412  424 ?        S    04:25   0:00 [hwscand]
root      1031  0.0  0.2  1436  604 ?        Ss   04:25   0:00 /sbin/syslogd -a /var/lib/named/dev/log -a /var/lib/ntp/dev/log
root      1034  0.0  0.6  2400 1612 ?        Ss   04:25   0:00 /sbin/klogd -c 1 -2
root      1052  0.0  0.4  4048 1076 ?        Ss   04:25   0:00 /usr/sbin/saslauthd -a pam
root      1053  0.0  0.4  4048 1076 ?        S    04:25   0:00  _ /usr/sbin/saslauthd -a pam
root      1054  0.0  0.4  4048 1076 ?        S    04:25   0:00  _ /usr/sbin/saslauthd -a pam
root      1055  0.0  0.4  4048 1076 ?        S    04:25   0:00  _ /usr/sbin/saslauthd -a pam
root      1056  0.0  0.4  4048 1076 ?        S    04:25   0:00  _ /usr/sbin/saslauthd -a pam
root      1077  0.0  0.1  1400  480 ?        Ss   04:25   0:00 /sbin/resmgrd
root      1141  0.0  0.7  4640 1756 ?        Ss   04:25   0:00 /usr/sbin/sshd -o PidFile=/var/run/sshd.init.pid
root      2192  0.0  0.9  7848 2316 ?        Ss   05:33   0:00  _ sshd: root@pts/4
root      2195  0.0  0.7  2852 1768 pts/4    Ss   05:33   0:00  |   _ -bash
root      2528  0.0  0.3  1964  820 pts/4    S+   05:59   0:00  |       _ less /var/mail/web0p1
root      2607  0.0  0.9  7684 2300 ?        Ss   06:10   0:00  _ sshd: root@pts/5
root      2610  0.0  0.6  2848 1716 pts/5    Ss+  06:10   0:00  |   _ -bash
root      2621  0.0  0.9  7852 2312 ?        Ss   06:11   0:00  _ sshd: root@pts/7
root      2624  0.0  0.6  2848 1724 pts/7    Ss   06:11   0:00      _ -bash
root      2660  0.0  0.3  2344  832 pts/7    R+   06:14   0:00          _ ps xafu
root      1142  0.0  0.4  2316 1108 ?        S    04:25   0:00 /bin/sh /usr/bin/mysqld_safe --user=mysql --pid-file=/var/lib/mys
mysql     1198  0.0  1.5 22888 3932 ?        S    04:25   0:00  _ /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --us
root      1213  0.0  0.0  1328  240 ?        T    04:25   0:00 grep -q Num Lock: on
root      1214  0.0  0.0     0    0 ?        Z    04:25   0:00  _ [grep] <defunct>
root      1281  0.0  0.0  1588  236 ?        T    04:25   0:00 gzip -d -c /usr/share/kbd/consolefonts/lat9w-16.psfu.gz
root      1347  0.0  0.0     0    0 ?        Z    04:25   0:00  _ [gzip] <defunct>
spamd     1317  0.0 11.3 30768 28180 ?       Ss   04:25   0:01 /usr/sbin/spamd -x -q -d -a -u spamd -H /var/lib/spamd
root      1398  0.0  0.2  1404  556 ?        Ss   04:34   0:00 /sbin/dhcpcd -d -N -Y -t 999999 eth0
root      1708  0.0  4.6 61556 11560 ?       Ss   05:16   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      1709  0.0  0.5  3044 1412 ?        S    05:16   0:00  _ /usr/bin/perl /root/confixx/pipelog.pl
root      1719  0.0  4.6 61520 11516 ?       S    05:16   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1721  0.0  5.7 63460 14288 ?       S    05:16   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1722  0.0  5.5 62888 13688 ?       S    05:16   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1723  0.0  5.4 63028 13632 ?       S    05:16   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1724  0.0  5.3 62760 13364 ?       S    05:16   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1726  0.0  5.6 63268 13984 ?       S    05:16   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1783  0.0  5.4 62884 13568 ?       S    05:17   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    1784  0.0  5.6 63140 13908 ?       S    05:17   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    2037  0.0  5.6 63140 14028 ?       S    05:32   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    2047  0.1  5.6 63220 13992 ?       S    05:32   0:04  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    2048  0.0  5.3 62696 13224 ?       S    05:32   0:00  _ /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      1736  0.0  0.4  2500 1208 ?        S    05:17   0:00 /bin/sh /etc/postfix/postfix-script start
root      1740  0.0  0.5  2500 1248 ?        S    05:17   0:00  _ /bin/sh /etc/postfix/postfix-script check
root      1833  0.0  0.0  1332  244 ?        T    05:27   0:00 /bin/grep -E /(bin|etc|lib|usr)$
root      1834  0.0  0.0     0    0 ?        Z    05:27   0:00  _ [grep] <defunct>
root      1979  0.0  0.4  2500 1208 ?        S    05:32   0:00 /bin/sh /etc/postfix/postfix-script start
root      1982  0.0  0.5  2500 1248 ?        S    05:32   0:00  _ /bin/sh /etc/postfix/postfix-script check
root      2058  0.0  0.4  2500 1208 ?        S    05:32   0:00 /bin/sh /etc/postfix/postfix-script start
root      2061  0.0  0.5  2500 1248 ?        S    05:32   0:00  _ /bin/sh /etc/postfix/postfix-script check
root      2133  0.0  0.0  1332  244 ?        T    05:33   0:00 /bin/grep -E /(bin|etc|lib|usr)$
root      2134  0.0  0.0     0    0 ?        Z    05:33   0:00  _ [grep] <defunct>
root      2168  0.0  0.0  1332  244 ?        T    05:33   0:00 /bin/grep -E /(bin|etc|lib|usr)$
root      2172  0.0  0.0     0    0 ?        Z    05:33   0:00  _ [grep] <defunct>
root      2179  0.0  0.3  3864  800 ?        T    05:33   0:00 /usr/lib/postfix/master
root      2180  0.0  0.0     0    0 ?        Z    05:33   0:00  _ [master] <defunct>
root      2182  0.0  0.3  3908  804 ?        T    05:33   0:00 pickup -l -t fifo -u
root      2183  0.0  0.0     0    0 ?        Z    05:33   0:00  _ [pickup] <defunct>
root      2185  0.0  0.3  3940  804 ?        T    05:33   0:00 qmgr -l -t fifo -u
root      2186  0.0  0.0     0    0 ?        Z    05:33   0:00  _ [qmgr] <defunct>
root      2188  0.0  0.3  3916  808 ?        T    05:33   0:00 trivial-rewrite -n rewrite -t unix -u
root      2190  0.0  0.3  3984  812 ?        T    05:33   0:00 smtp -t unix -u
root      2191  0.0  0.0     0    0 ?        Z    05:33   0:00  _ [smtp] <defunct>
root      2219  0.0  0.3  3924  804 ?        T    05:34   0:00 bounce -z -n defer -t unix -u
root      2220  0.0  0.0     0    0 ?        Z    05:34   0:00  _ [bounce] <defunct>
ftp       2383  0.0  0.5  2860 1420 ?        Ss   05:49   0:00 proftpd: (accepting connections)

Code: Select all

top - 06:19:24 up  1:54,  3 users,  load average: 0.00, 0.00, 0.00
Tasks:  88 total,   1 running,  65 sleeping,  11 stopped,  11 zombie
Cpu(s):  0.0% us,  0.0% sy,  0.0% ni, 100.0% id,  0.0% wa,  0.0% hi,  0.0% si

Ich werde dann nochmal in ein paar Stunden, wenn die Userzahl wieder ansteigt das Ergebnis von ps xafu posten.

Was mich sehr verwirrt ist das Verhalten der Console.
Selbst wenn der Server gerade neu gestartet wurde, kommt nach dem "Have a lot auf fun..." nichts mehr.
Drücke ich dann Strg+C, dann kommt eine andere bash: -bash-2.05b# (!)
Was ist das für eine Shell Umgebung, ist das sozusagen eine abgespeckte Version einer Shell, die wenigstens die wichtigsten Sachen kann? Denn von Luxus keine Spur: "ll" geht nur mit "ls -X"
ersetzen und einige Kommandos kennt die Bash erst gar nicht.

Auch komisch: wenn ich mir mit less die log-files anschaue, dann kommt sehr oft auch einfach nichts, erst mit Strg+C kann ich dann auf dem Ergebnis navigieren.

postfix habe ich nur mit Hilfe zweier shells zum laufen gekriegt: in der abgespeckten bash mit & hinten am Kommando, und mit der anderen den status abgefragt.(oder umgekehrt - und alles durchprobiert.)

@isotopp: Also wie du schon meintest: Das Problem sind die umherfliegenden Leichen - gemeint sind damit die sleepers; zombies brauchen keinen Speicher - somit nicht wichtig - nur unschön...(ich meine damit, daß ich das so interpretiere...)

Das ist Swap, aber kein wa

Mit wa meinst du Anwendungen, die während ihrer Laufzeit sinnvollerweise ab und zu was auslagern - im Gegensatz zu dem was hier passiert; alter Garbage wird überall "untergebracht" und wenn das RAM nicht reicht, dann müllt man eben auf der Harddisk weiter...(?)

Ich hätte noch kurz eine Frage zum counterscript: dieses ist wie ich hier im Forum schon nachlesen konnte wichtig -(sonst macht confixx ja keine Ã?nderungen) - Joe User meinte ja, wenn es überwiegend 0815-PHP-Skripten sind, sei es kein Wunder, das die Maschine Druck bekommen kann.
Kann es sein, daß dieses counterscript mit dazu gehört - schließlich ist confixx ja tausendfach in Betrieb, da kann man sich doch solche "bugs" nicht erlauben...(?)

ich danke euch für die schnellen und nützlichen Antworten.
Tja jetzt ist es kurz nach 7.00Uhr und ich habe die Nacht mit dem Server verbracht ...Zombies lassen sich halt nicht killen, und wenn man dann von runlevel 3 auf 1 wechselt, damit die alle absterben, merkt man, daß der runlevel 1 wirklich ein single Modus ist und rescue angesagt ist...

bis bald,
Huby.

[flo]

Drücke ich dann Strg+C, dann kommt eine andere bash: -bash-2.05b# (!)
Was ist das für eine Shell Umgebung, ist das sozusagen eine abgespeckte Version einer Shell, die wenigstens die wichtigsten Sachen kann? Denn von Luxus keine Spur: "ll" geht nur mit "ls -X"
ersetzen und einige Kommandos kennt die Bash erst gar nicht.

Die Shell versucht wohl in dem Moment Deine Umgebung abzuarbeiten und bleibt dabei hängen - wenn Du dann ^C drückst, hat sie natürlich keine Aliase und evtl. weniger Pfade. - Die Shell selber ist nicht nur die gleiche, sondern die selbe.

Ich hätte noch kurz eine Frage zum counterscript: dieses ist wie ich hier im Forum schon nachlesen konnte wichtig -(sonst macht confixx ja keine Ã?nderungen) - Joe User meinte ja, wenn es überwiegend 0815-PHP-Skripten sind, sei es kein Wunder, das die Maschine Druck bekommen kann.
Kann es sein, daß dieses counterscript mit dazu gehört - schließlich ist confixx ja tausendfach in Betrieb, da kann man sich doch solche "bugs" nicht erlauben...(?)

<OT>Dein Wort in Gottes Ohr :-)</OT>

IMHO dreht sich bei Dir alles um Shells - die Probleme mit Postfix, sterbendes Counterscript

Code: Select all

/bin/bash /etc/init.d/rc 3 
   _ /sbin/startpar -t 20 -T 3 -a start /etc/init.d/rc3.d/S09sshd 
      _ /bin/sh /etc/init.d/rc3.d/S09kbd start 
       _ /bin/setfont -C /dev/tty1 lat9w-16.psfu -m trivial 
        _ [gzip] <defunct> 

Was passiert denn da? Warum knallt gzip weg? Ein paar Prozesse weiter unten ist es grep.

flo.

[huby]

Was passiert denn da? Warum knallt gzip weg? Ein paar Prozesse weiter unten ist es grep.

Also wenn ich das wüsste!!
Das gzip ist mir auch aufgefallen, aus dem Grund, daß ich es überhaupt nicht benutzt habe.
Hmm, aber gut - könnten natürlich auch cron - Backups laufen, die gzip gebrauchen.
Aber der Task stammt ja aus den init-Skripten-also beim booten, noch bevor überhaupt ein cron geladen wird (Wenn ich das so richtig sehe)...

[oxygen]

Also irgendwas ist das sehr im argen. Hast du eine Serielle Console mit der du den Bootvorgang beobachten kannst? kurz nach einem Neustart schon kaputte Prozesse und dann noch so viele ist wirklich ein schlechtes Zeichen. Da waren die vielen Confixx Scripts wohl nur ein Syntom.
Schau am besten mal in dmesg ob dir die Platte schon um die Ohren fliegt oß.

[flo]

Das gzip ist mir auch aufgefallen, aus dem Grund, daß ich es überhaupt nicht benutzt habe.
Hmm, aber gut - könnten natürlich auch cron - Backups laufen, die gzip gebrauchen.
Aber der Task stammt ja aus den init-Skripten-also beim booten, noch bevor überhaupt ein cron geladen wird (Wenn ich das so richtig sehe)...

Logesch benutzt Du gzip ... sonst stünde das nicht in der Prozeßliste und wenn Dein Rechner das braucht, um den Console-Font zu öffnen - gehe das ganze mal vo hinten durch. Macht gzip noch irgendetwas oder knallt der evtl. mit einem Error weg?

Solange da nichts geklärt wird, fahr die Dienste runter, das behindert nur und die fehlerhafte Dienste sind nur Symptome.

flo.

[huby]

@oxygen:

Hier mal das Ergebnis von dmesg:

Code: Select all

-bash-2.05b# dmesg
Linux version 2.6.9-041214 (jacko@neverland) (gcc version 2.95.4 20011002 (Debian prerelease)) #1 SMP Tue Dec 14 01:56:52 CET 2004
BIOS-provided physical RAM map:
 BIOS-e820: 0000000000000000 - 00000000000a0000 (usable)
 BIOS-e820: 00000000000f0000 - 0000000000100000 (reserved)
 BIOS-e820: 0000000000100000 - 000000000f7f0000 (usable)
 BIOS-e820: 000000000f7f0000 - 000000000f7f3000 (ACPI NVS)
 BIOS-e820: 000000000f7f3000 - 000000000f800000 (ACPI data)
 BIOS-e820: 000000000f800000 - 0000000010000000 (reserved)
 BIOS-e820: 00000000fec00000 - 0000000100000000 (reserved)
0MB HIGHMEM available.
247MB LOWMEM available.
found SMP MP-table at 000f58c0
On node 0 totalpages: 63472
  DMA zone: 4096 pages, LIFO batch:1
  Normal zone: 59376 pages, LIFO batch:14
  HighMem zone: 0 pages, LIFO batch:1
DMI 2.3 present.
ACPI: RSDP (v000 GBT                                   ) @ 0x000f7340
ACPI: RSDT (v001 GBT    AWRDACPI 0x42302e31 AWRD 0x00000000) @ 0x0f7f3000
ACPI: FADT (v001 GBT    AWRDACPI 0x42302e31 AWRD 0x00000000) @ 0x0f7f3040
ACPI: MADT (v001 GBT    AWRDACPI 0x42302e31 AWRD 0x00000000) @ 0x0f7f5dc0
ACPI: DSDT (v001 GBT    AWRDACPI 0x00001000 MSFT 0x0100000c) @ 0x00000000
ACPI: Local APIC address 0xfee00000
ACPI: LAPIC (acpi_id[0x00] lapic_id[0x00] enabled)
Processor #0 6:11 APIC version 17
ACPI: LAPIC_NMI (acpi_id[0xff] dfl dfl lint[0x1])
Using ACPI for processor (LAPIC) configuration information
Intel MultiProcessor Specification v1.4
    Virtual Wire compatibility mode.
OEM ID: OEM00000 Product ID: PROD00000000 APIC at: 0xFEE00000
I/O APIC #2 Version 17 at 0xFEC00000.
Enabling APIC mode:  Flat.  Using 1 I/O APICs
Processors: 1
Built 1 zonelists
Kernel command line: auto BOOT_IMAGE=lx ro root=301
Initializing CPU#0
PID hash table entries: 1024 (order: 10, 16384 bytes)
Detected 1203.376 MHz processor.
Using tsc for high-res timesource
Console: colour VGA+ 80x25
Dentry cache hash table entries: 32768 (order: 5, 131072 bytes)
Inode-cache hash table entries: 16384 (order: 4, 65536 bytes)
Memory: 247612k/253888k available (1957k kernel code, 5712k reserved, 798k data, 396k init, 0k highmem)
Checking if this processor honours the WP bit even in supervisor mode... Ok.
Calibrating delay loop... 2367.48 BogoMIPS (lpj=1183744)
Mount-cache hash table entries: 512 (order: 0, 4096 bytes)
CPU: After generic identify, caps: 0383fbff 00000000 00000000 00000000
CPU: After vendor identify, caps:  0383fbff 00000000 00000000 00000000
CPU: L1 I cache: 16K, L1 D cache: 16K
CPU: L2 cache: 256K
CPU: After all inits, caps:        0383fbff 00000000 00000000 00000040
Intel machine check architecture supported.
Intel machine check reporting enabled on CPU#0.
Enabling fast FPU save and restore... done.
Enabling unmasked SIMD FPU exception support... done.
Checking 'hlt' instruction... OK.
CPU0: Intel(R) Celeron(TM) CPU                1200MHz stepping 01
per-CPU timeslice cutoff: 731.54 usecs.
task migration cache decay timeout: 1 msecs.
Total of 1 processors activated (2367.48 BogoMIPS).
ENABLING IO-APIC IRQs
..TIMER: vector=0x31 pin1=2 pin2=0
Brought up 1 CPUs
NET: Registered protocol family 16
PCI: PCI BIOS revision 2.10 entry at 0xfaa80, last bus=1
PCI: Using configuration type 1
mtrr: v2.0 (20020519)
SCSI subsystem initialized
PCI: Probing PCI hardware
PCI: Probing PCI hardware (bus 00)
PCI: Using IRQ router VIA [1106/0686] at 0000:00:07.0
PCI->APIC IRQ transform: (B0,I13,P0) -> 31
PCI->APIC IRQ transform: (B1,I0,P0) -> 27
Machine check exception polling timer started.
VFS: Disk quotas dquot_6.5.1
Dquot-cache hash table entries: 1024 (order 0, 4096 bytes)
SGI XFS with ACLs, large block numbers, no debug enabled
SGI XFS Quota Management subsystem
Initializing Cryptographic API
PCI: Enabling Via external APIC routing
Real Time Clock Driver v1.12
Hangcheck: starting hangcheck timer 0.5.0 (tick is 180 seconds, margin is 60 seconds).
serio: i8042 AUX port at 0x60,0x64 irq 12
serio: i8042 KBD port at 0x60,0x64 irq 1
Serial: 8250/16550 driver $Revision: 1.90 $ 8 ports, IRQ sharing disabled
ttyS0 at I/O 0x3f8 (irq = 4) is a 16550A
Intel(R) PRO/1000 Network Driver - version 5.3.19-k2
Copyright (c) 1999-2004 Intel Corporation.
e100: Intel(R) PRO/100 Network Driver, 3.0.27-k2-NAPI
e100: Copyright(c) 1999-2004 Intel Corporation
8139too Fast Ethernet driver 0.9.27
eth0: RealTek RTL8139 at 0xd0000000, 00:20:ed:25:a3:11, IRQ 31
eth0:  Identified 8139 chip type 'RTL-8100'
Uniform Multi-Platform E-IDE driver Revision: 7.00alpha2
ide: Assuming 33MHz system bus speed for PIO modes; override with idebus=xx
VP_IDE: IDE controller at PCI slot 0000:00:07.1
VP_IDE: chipset revision 6
VP_IDE: not 100% native mode: will probe irqs later
VP_IDE: VIA vt82c686b (rev 40) IDE UDMA100 controller on pci0000:00:07.1
    ide0: BM-DMA at 0xe000-0xe007, BIOS settings: hda:DMA, hdb:pio
Probing IDE interface ide0...
hda: IC35L040AVVN07-0, ATA DISK drive
Using anticipatory io scheduler
ide0 at 0x1f0-0x1f7,0x3f6 on irq 14
hda: max request size: 128KiB
hda: 80418240 sectors (41174 MB) w/1863KiB Cache, CHS=65535/16/63, UDMA(100)
hda: cache flushes supported
 hda: hda1 hda2 hda4 < hda5 hda6 hda7 >
Loading Adaptec I2O RAID: Version 2.4 Build 5go
Detecting Adaptec I2O RAID controllers...
Red Hat/Adaptec aacraid driver (1.1.2-lk2 Dec 14 2004)
3ware Storage Controller device driver for Linux v1.26.00.039.
3w-xxxx: No cards found.
3ware 9000 Storage Controller device driver for Linux v2.26.02.001.
libata version 1.02 loaded.
mice: PS/2 mouse device common for all mice
NET: Registered protocol family 2
IP: routing cache hash table of 2048 buckets, 16Kbytes
TCP: Hash tables configured (established 16384 bind 16384)
NET: Registered protocol family 1
NET: Registered protocol family 17
EXT3-fs: INFO: recovery required on readonly filesystem.
EXT3-fs: write access will be enabled during recovery.
kjournald starting.  Commit interval 5 seconds
EXT3-fs: recovery complete.
EXT3-fs: mounted filesystem with ordered data mode.
VFS: Mounted root (ext3 filesystem) readonly.
Freeing unused kernel memory: 396k freed
Adding 2048248k swap on /dev/hda2.  Priority:-1 extents:1
EXT3 FS on hda1, internal journal
XFS mounting filesystem hda5
Starting XFS recovery on filesystem: hda5 (dev: hda5)
Ending XFS recovery on filesystem: hda5 (dev: hda5)
XFS mounting filesystem hda6
Starting XFS recovery on filesystem: hda6 (dev: hda6)
Ending XFS recovery on filesystem: hda6 (dev: hda6)
XFS mounting filesystem hda7
Starting XFS recovery on filesystem: hda7 (dev: hda7)
Ending XFS recovery on filesystem: hda7 (dev: hda7)
hostname uses obsolete (PF_INET,SOCK_PACKET)
device eth0 entered promiscuous mode
NET: Registered protocol family 10
Disabled Privacy Extensions on device c0375440(lo)
IPv6 over IPv4 tunneling driver
eth0: link up, 100Mbps, full-duplex, lpa 0x41E1
eth0: Promiscuous mode enabled.
eth0: Promiscuous mode enabled.
.
.
.
eth0: Promiscuous mode enabled.
-bash-2.05b#

@flo:
Ich weiß nicht genau was du mit von hinten durchgehen meinst, gzip steht auf einmal einfach drin in der Prozessliste.
Und in den Logfiles steht nichts, was das gzip erklärt....