Server pingbar, kann aber nicht verbinden

Alles was in keine andere Systemkategorie passt
theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Server pingbar, kann aber nicht verbinden

Post by theomega »

Hallo Leute,
ich habe ein ziemlich bescheuertes Problem: Sehr sporadisch fällt einer meiner Server aus. Plötzlich kann man keine Verbindungen (egal ob ssh, http oder telnet) mehr herstellt. Allerdings ist der Server problemlos zu pingen (guter ping, kein Paket-Loss). Weil ich keine serielle Konsole habe fällt das debugging schwer, der hoster hat auch keine Ahnung und ich kann immernur den Server neustarten und warten bis es wiederpassiert.

Das komische ist: Ab dem Zeitpunkt wo man nichtmehr verbinden kann laufen auch keine Cronjobs mehr ab (ich habe ein paar drin die jede Minute laufen, da sieht man es sehr deutlich), selbst diejenigen Cronjobs die nur ganz triviale Dinge tun (ich habe testweise mal einen hinzugefügt der nur 'date >> /var/log/test' macht) werden nichtmehr gestartet, das ganze system scheint stillzustehen. Macht es allerdings noch misteriöser wiso man den Server pingen kann.

Die Logdateien sagen rein garnichts, die hören einfach auf und beginnen erst wieder nach dem Neustart.

Was kann es den eurer Meinung nach sein.
Überprüft habe ich die Festplatte mit smart, scheint kein Problem zu sein.

In dem Server sind zwei Platten als Software-Raid 1 (mit mdadm) konfiguriert, evtl macht das probleme, wobei ich nicht weiß wie man das debuggt.
Ansonsten ist dummerweise die alles andere als problemlose Realtek RTL8111/8168B NIC verbaut, aber wie gesagt, der server scheint komplett zu hängen, ich gehe eigentlich nicht von einem Problem mit dem Netzwerk aus.
Dann läuft im Kernel-Space noch ein NFS-Server, wie problematisch das ist weiß ich auch nicht.

Userspace-Software dürfte ja ziemlich egal sein in dem Fall (ist: Postgres 8.3 Datenbankserver, Lighttpd zum ausliefern statischer Bilder)

Hat mir jemand einen Tipp wo man anfangen kann zu suchen?

Danke
TO

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Server pingbar, kann aber nicht verbinden

Post by Joe User »

Klingt für mich nach einem kaputten Init oder Kernel, diese mal up/downgraden...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

oxygen
Posts: 2138
Joined: 2002-12-15 00:10
Location: Bergheim

Re: Server pingbar, kann aber nicht verbinden

Post by oxygen »

Der Kernel läuft dann noch. Aber möglicherweise ist init durch einen OOM Kill abgeschosssen worden.

User avatar
daemotron
Administrator
Administrator
Posts: 2636
Joined: 2004-01-21 17:44

Re: Server pingbar, kann aber nicht verbinden

Post by daemotron »

Ich hätte auch auf OOM Kill getippt - da erwischt's ja einfach den nächstbesten Prozess, der versucht malloc() aufzurufen. Das muss ja nicht zwangsläufig init sein, aber falls der crond aktiv werden will, wäre der wahrscheinlich auch der erste Todeskandidat.

P. S. @Joe User: habe ich schon mal erwähnt dass der OOM Killer unter FreeBSD init grundsätzlich nicht abschießt...? *scnr*

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Server pingbar, kann aber nicht verbinden

Post by Joe User »

jfreund wrote:Ich hätte auch auf OOM Kill getippt - da erwischt's ja einfach den nächstbesten Prozess, der versucht malloc() aufzurufen. Das muss ja nicht zwangsläufig init sein, aber falls der crond aktiv werden will, wäre der wahrscheinlich auch der erste Todeskandidat.
Alles ausser Init sollte beim OOM-Kill aber im Syslog auftauchen...
jfreund wrote:P. S. @Joe User: habe ich schon mal erwähnt dass der OOM Killer unter FreeBSD init grundsätzlich nicht abschießt...? *scnr*
Du nicht, aber Andere ;)
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Server pingbar, kann aber nicht verbinden

Post by theomega »

Wohin würden den die Kills geloggt werden? Per Syslog müßte ich die dann doch im /var/log/syslog finden oder? Die ist wie gesagt komplett leer bis zum neustart. Wenn ich den Server nicht pingen könnte würde ich behaupten der server wäre ausgeschaltet. Ist er aber definitiv nicht, sonst würde ich wohl kaum einen ping zurückbekommen.
Das doofe ist halt auch: Nach einem Reboot ist die /var/log/dmesg weg bzw überschrieben durch den reboot. Sollten die Kills nur dort (und nicht im syslog) geschrieben werden dann bekomme ich es natürlich nicht mit.

User avatar
daemotron
Administrator
Administrator
Posts: 2636
Joined: 2004-01-21 17:44

Re: Server pingbar, kann aber nicht verbinden

Post by daemotron »

Hast Du denn keine dmesg.old?

theomega
Userprojekt
Userprojekt
Posts: 696
Joined: 2003-01-27 14:36

Re: Server pingbar, kann aber nicht verbinden

Post by theomega »

Nein, sollte es die geben? Wer erstellt die? System ist Debian Stable.
Ich hätte eine kern.log, die enthält vermutlich genau das was dmesg enthält nur nichts brauchbares, auch die datei hat ein "Loch".

User avatar
daemotron
Administrator
Administrator
Posts: 2636
Joined: 2004-01-21 17:44

Re: Server pingbar, kann aber nicht verbinden

Post by daemotron »

Hmm, hast recht - unter Gentoo gibt's die auch nicht. Bin mir aber eigentlich sicher, die schon mal auf einem Linux-System gesehen zu haben... seltsam.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Server pingbar, kann aber nicht verbinden

Post by Joe User »

jfreund wrote:Bin mir aber eigentlich sicher, die schon mal auf einem Linux-System gesehen zu haben... seltsam.
War garantiert eine SUSE, ist dort seit Urzeiten Standard...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Also ich habe im Prinzip genau das gleiche Symptom an einem neuen openSUSE 10.3 x86-64 Server mit Plesk 8.6 bei Strato.
In sehr unregelmäßigen Abständen, manchmal mehrmals am Tage, dann im Abstand von mehreren tagen, oder auch Wochen, kommt es durch einen OOM-Killer zum vollständigen Stillstand des Systems. Ich kann mich dann weder über ssh noch über die Remote-Console einloggen, es hilft nur ein Reset über das Strato Server-Konfigtool.
Der Server wurde vor 2 Monaten neu eingerichtet, Grund dafür war, dass genau dieses Problem auf dem alten Server nicht behoben werden konnte.
Ich habe unten einmal den letzten entsprechenden Eintrag aus /var/log/messages eingefügt.

Aufgrund des erfolglosen Serveraustauschs und der durchgeführten Tests kann ich einen Hardwaredefekt wohl ausschließen.
Hat hier vieleicht jemand Erfahrungen, wie ich diesem Problem zu Leibe rücken könnte?

Danke und LG Günter
--------------------------------------------------------------------------------------------------------

29.06.2009 21:05

Jun 29 21:03:37 123-server qmail-remote-handlers[30096]: from=
Jun 29 21:03:37 123-server qmail-remote-handlers[30096]: to=georgegroves@balitribune.com
Jun 29 21:03:42 123-server qmail: 1246302222.670166 delivery 10757: deferral: Sorry,_I_wasn't_able_to_establish_an_SMTP_connection._(#4.4.1)/
Jun 29 21:03:42 123-server qmail: 1246302222.670276 status: local 0/10 remote 0/20
Jun 29 21:03:43 123-server relaylock: /var/qmail/bin/relaylock: mail from 98.148.62.62:61006 (cpe-98-148-62-62.socal.res.rr.com)
Jun 29 21:04:11 123-server relaylock: /var/qmail/bin/relaylock: mail from 195.34.252.23:14720 (x23.d-ip05.lipetsk.ru)
Jun 29 21:04:27 123-server relaylock: /var/qmail/bin/relaylock: mail from 173.135.35.178:3554 (173-135-35-178.pools.spcsdns.net)
Jun 29 21:08:30 123-server syslog-ng[2832]: STATS: dropped 156

<bis hierher lief alles normal>

Jun 29 21:12:57 123-server kernel: xinetd invoked oom-killer: gfp_mask=0x201d2, order=0, oomkilladj=0
Jun 29 21:12:57 123-server kernel:
Jun 29 21:12:57 123-server kernel: Call Trace:
Jun 29 21:12:57 123-server kernel: [<ffffffff802675b6>] out_of_memory+0x74/0x2da
Jun 29 21:12:57 123-server kernel: [<ffffffff80269406>] __alloc_pages+0x27c/0x33d
Jun 29 21:12:57 123-server kernel: [<ffffffff8026aaf3>] __do_page_cache_readahead+0xa9/0x21b
Jun 29 21:12:57 123-server kernel: [<ffffffff803faba4>] __wait_on_bit_lock+0x64/0x72
Jun 29 21:12:57 123-server kernel: [<ffffffff80266a00>] filemap_nopage+0x14e/0x2b4
Jun 29 21:12:57 123-server kernel: [<ffffffff8027135c>] __handle_mm_fault+0x210/0xa3e
Jun 29 21:12:57 123-server kernel: [<ffffffff803fdcef>] do_page_fault+0x400/0x769
Jun 29 21:12:57 123-server kernel: [<ffffffff803930d9>] sys_accept+0x19e/0x1fb
Jun 29 21:12:57 123-server kernel: [<ffffffff803fc25d>] error_exit+0x0/0x84
Jun 29 21:12:58 123-server xinetd[30265]: warning: can't get client address: Connection reset by peer
Jun 29 21:12:58 123-server xinetd[30266]: warning: can't get client address: Connection reset by peer
Jun 29 21:12:58 123-server xinetd[30267]: warning: can't get client address: Connection reset by peer
Jun 29 21:13:36 123-server pop3d: Connection, ip=[82.212.53.233]
Jun 29 21:12:58 123-server xinetd[30270]: warning: can't get client address: Connection reset by peer
Jun 29 21:13:37 123-server imapd: Connection, ip=[82.212.53.233]
Jun 29 21:05:16 123-server qmail-queue[30189]: mail: all addreses are uncheckable - need to skip scanning (by deny mode)
Jun 29 21:22:50 123-server qmail: 1246303361.205097 starting delivery 10758: msg 33916535 to remote lcnspike@diesel-oliden.com.ar
Jun 29 21:22:59 123-server qmail: 1246303379.495274 status: local 0/10 remote 1/20
Jun 29 21:22:58 123-server kernel:
Jun 29 21:22:59 123-server kernel: Mem-info:
Jun 29 21:22:59 123-server kernel: Mem-info:
Jun 29 21:22:52 123-server dhclient: DHCPREQUEST on eth0 to 85.214.7.21 port 67
Jun 29 21:22:59 123-server kernel: Node 0 DMA per-cpu:
Jun 29 21:22:59 123-server dhclient: DHCPREQUEST on eth0 to 85.214.7.21 port 67
Jun 29 21:22:59 123-server kernel: CPU 0: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0
Jun 29 21:22:59 123-server kernel: CPU 1: Hot: hi: 0, btch: 1 usd: 0 Cold: hi: 0, btch: 1 usd: 0
Jun 29 21:22:59 123-server kernel: Node 0 DMA32 per-cpu:
Jun 29 21:22:59 123-server kernel: CPU 0: Hot: hi: 186, btch: 31 usd: 30 Cold: hi: 62, btch: 15 usd: 60
Jun 29 21:22:59 123-server kernel: CPU 1: Hot: hi: 186, btch: 31 usd: 123 Cold: hi: 62, btch: 15 usd: 34
Jun 29 21:22:59 123-server kernel: Node 0 Normal per-cpu:
Jun 29 21:22:59 123-server kernel: CPU 0: Hot: hi: 186, btch: 31 usd: 25 Cold: hi: 62, btch: 15 usd: 20
Jun 29 21:22:59 123-server kernel: CPU 1: Hot: hi: 186, btch: 31 usd: 64 Cold: hi: 62, btch: 15 usd: 22
Jun 29 21:22:59 123-server dhclient: DHCPACK from 85.214.7.21
Jun 29 21:22:59 123-server kernel: Active:484595 inactive:484012 dirty:0 writeback:0 unstable:0
Jun 29 21:22:59 123-server kernel: free:5339 slab:5207 mapped:34 pagetables:14640 bounce:0
Jun 29 21:22:59 123-server kernel: Node 0 DMA free:11196kB min:20kB low:24kB high:28kB active:0kB inactive:0kB present:10680kB pages_scanned:
0 all_unreclaimable? yes
Jun 29 21:22:59 123-server kernel: lowmem_reserve[]: 0 3479 3984
Jun 29 21:22:59 123-server kernel: Node 0 DMA32 free:9068kB min:7044kB low:8804kB high:10564kB active:1734892kB inactive:1735544kB present:35
63424kB pages_scanned:5391695 all_unreclaimable? yes
Jun 29 21:22:59 123-server kernel: lowmem_reserve[]: 0 0 505
Jun 29 21:22:59 123-server kernel: Node 0 Normal free:1092kB min:1020kB low:1272kB high:1528kB active:203488kB inactive:200504kB present:5171
20kB pages_scanned:640616 all_unreclaimable? yes
Jun 29 21:22:59 123-server pop3d: Connection, ip=[95.208.3.56]
Jun 29 21:23:38 123-server pop3d: LOGOUT, ip=[95.208.3.56]
Jun 29 21:23:38 123-server kernel: lowmem_reserve[]: 0 0 0
Jun 29 21:23:38 123-server kernel: Node 0 DMA: 5*4kB 5*8kB 4*16kB 4*32kB 5*64kB 3*128kB 2*256kB 1*512kB 1*1024kB 0*2048kB 2*4096kB = 11196kB
Jun 29 21:23:38 123-server kernel: Node 0 DMA32: 31*4kB 24*8kB 3*16kB 20*32kB 0*64kB 3*128kB 0*256kB 1*512kB 1*1024kB 1*2048kB 1*4096kB = 906
8kB
Jun 29 21:23:38 123-server pop3d: Connection, ip=[95.208.3.56]
Jun 29 21:23:38 123-server kernel: Node 0 Normal: 57*4kB 4*8kB 12*16kB 4*32kB 2*64kB 1*128kB 1*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 109
2kB
Jun 29 21:23:38 123-server pop3d: Connection, ip=[82.212.53.233]
Jun 29 21:23:38 123-server kernel: Swap cache: add 1474300, delete 1474299, find 6774206/6822721, race 0+219
Jun 29 21:23:38 123-server pop3d: IMAP connect from @ [95.208.3.56]DEBUG: Connection, ip=[84.157.229.16]
Jun 29 21:23:38 123-server kernel: Free swap = 0kB
Jun 29 21:23:38 123-server pop3d: Connection, ip=[92.74.250.93]
Jun 29 21:23:38 123-server kernel: Total swap = 2104496kB
Jun 29 21:22:57 123-server /usr/sbin/cron[30403]: (root) CMD (/usr/local/psa/admin/sbin/backupmng >/dev/null 2>&1)
Jun 29 21:23:01 123-server qmail-queue[30189]: scan: the message(drweb.tmp.a3Jrag) sent by KateMckay@allsaintsfan.com to kontakt@urlaub-albar
ella.de should be passed without checks, because contains uncheckable addresses
Jun 29 21:23:22 123-server /usr/sbin/cron[30423]: (root) CMD (/usr/local/psa/admin/sbin/backupmng >/dev/null 2>&1)
Jun 29 21:23:38 123-server pop3d: Connection, ip=[84.157.229.16]
Jun 29 21:23:38 123-server kernel: Free swap: 0kB
Jun 29 21:23:38 123-server pop3d: Connection, ip=[213.239.214.28]
Jun 29 21:23:38 123-server kernel: 1179648 pages of RAM
Jun 29 21:23:38 123-server pop3d: Connection, ip=[213.239.214.28]
Jun 29 21:23:38 123-server kernel: 173261 reserved pages
Jun 29 21:23:38 123-server pop3d: Connection, ip=[92.74.250.93]
Jun 29 21:23:38 123-server kernel: 56325 pages shared
Jun 29 21:23:38 123-server pop3d: Connection, ip=[95.208.3.56]
Jun 29 21:23:38 123-server kernel: 9 pages swap cached
Jun 29 21:23:38 123-server pop3d: Connection, ip=[82.212.53.233]
Jun 29 21:23:38 123-server kernel: Out of memory: kill process 30004 (httpd2-prefork) score 209178 or a child
Jun 29 21:23:38 123-server pop3d: Connection, ip=[84.157.229.16]
Jun 29 21:23:38 123-server kernel: Killed process 30004 (httpd2-prefork)
Jun 29 21:23:38 123-server pop3d: Connection, ip=[82.212.53.233]
Jun 29 21:23:46 123-server pop3d: Connection, ip=[84.157.229.16]
Jun 29 21:23:46 123-server pop3d: Connection, ip=[95.208.3.56]
Jun 29 21:23:46 123-server pop3d: LOGOUT, ip=[95.208.3.56]
Jun 29 21:28:37 123-server syslog-ng[2824]: syslog-ng version 1.6.12 starting
Jun 29 21:28:40 123-server dhclient: DHCPREQUEST on eth0 to 255.255.255.255 port 67
Jun 29 21:28:40 123-server dhclient: DHCPACK from 85.214.1.25
Jun 29 21:28:40 123-server dhclient: bound to 85.214.149.100 -- renewal in 5397 seconds.
Jun 29 21:28:40 123-server xinetd[3204]: Reading included configuration file: /etc/xinetd.d/chargen [file=/etc/xinetd.conf] [line=26]
Jun 29 21:28:40 123-server xinetd[3204]: Reading included configuration file: /etc/xinetd.d/chargen-udp [file=/etc/xinetd.d/chargen-udp] [lin
e=14]

User avatar
daemotron
Administrator
Administrator
Posts: 2636
Joined: 2004-01-21 17:44

Re: Server pingbar, kann aber nicht verbinden

Post by daemotron »

Der OOM-Killer wird dann aktiv, wenn der Kernel keinen Arbeitsspeicher mehr bereitstellen kann. Das ist also grundsätzlich erst mal kein Hardwareproblem (es sei denn, man betrachtet zu wenig RAM als solches :wink: ), sondern ein Software-Problem: die laufenden Programme fressen zu viel RAM. Wenn das periodisch auftritt, deutet es darauf hin, dass irgendeine Applikation Speicher leaked, also vom Kernel anfordert und nicht wieder freigibt. Dafür gibt es eine Menge Kandidaten, u. a. diverse Gameserver, exotische Apache-Module, ältere Versionen von Lighttpd, diverse ältere PHP-Versionen etc. Eine weitere Ursache kann darin bestehen, dass ein Dienst immerzu weitere Kindprozesse erzeugt, und zwar schneller, als die alten Kindprozesse entsorgt werden (können).

Wenn Du den Übeltäter finden möchtest (der einzige Weg, um an der Ecke wirklich Ruhe zu bekommen), musst Du RAM-Profile Deiner Anwendungen erstellen. Eine einfache Möglichkeit besteht darin, in regelmäßigen Abständen die Ausgabe von ps auxww in eine Datei zu dumpen (am besten mit Zeitbezug oder fortlaufender Nummerierung). Die Dateien kannst Du nachher mit einem Tool Deiner Wahl (sed, grep, awk, Texteditor, Excel, Calc, ...) so aufbereiten, dass Du sehen kannst, welcher Prozess wie viel RAM angefordert hat (interessant sind also neben PID und COMMAND in der Ausgabe von ps auxww auch die Felder %MEM, VSZ und RSS).

Ohne solche Daten lässt sich das Problem nicht sicher diagnostizieren - aber ins Blaue rein geraten würde ich mal darauf tippen, dass irgendein Dienst Amok läuft und einen Prozess nach dem anderen forked. Da jeder Prozess natürlich RAM anfordert, kriegt man auf die Tour jede Maschine ans Limit gedrückt. Ein Klassiker wäre dabei ein falsch konfigurierter Apache...
“Some humans would do anything to see if it was possible to do it. If you put a large switch in some cave somewhere, with a sign on it saying 'End-of-the-World Switch. PLEASE DO NOT TOUCH', the paint wouldn't even have time to dry.” — Terry Pratchett, Thief of Time

oxygen
Posts: 2138
Joined: 2002-12-15 00:10
Location: Bergheim

Re: Server pingbar, kann aber nicht verbinden

Post by oxygen »

Als "Zwischenlösung" könntest du auch den Swap (massiv) vergrößern. z.B. erstellt folgendes ein 8 GB Swap file:

Code: Select all

dd if=/dev/zero of=/var/swapfile bs=1M count=8000
mkswap /var/swapfile
swapon /var/swapfile
so hast du besser die Möglichkeit den Übeltäter auf frischer Tat zu ertappen. Ich würde auf Apache oder postfix tippen. Vermutlich spawnen sie zu viele Childs. Hierfür wäre wiederum ein DoS oder der Versuch Spam abzuladen eine Ursache, oder banal einfach eine großer Besucheransturm.

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

danke für die ausführliche Erklärung.
Das Prinzip wie so ein OOE-Killer aktv wird ist mir schon klar. Für die Beseitigung des Problems (und nur so, sehe ich auch eine wirkliche Lösung) werde ich dann mal über einen bestimmten Zeitraum den Output in ein File dumpen.
Im Prinzip war ich damit schon dran, was mir dabei aufgefallen ist, ist dass der mysql-Server kurzzeitig den kompletten Speicher belegt, den habe ich auch ehrlich gesagt im Verdacht, weil er durch unzählige Plesk-Aktivitäten und eine ganze Menge Typo3-Webseiten, sowie XTC-Shops ganz schon strapaziert wird. Zuerst dachte ich, dass es an den Backups liegt, die u.a. per Cron-Job die DB's dumpen, komprimieren und auf einen externen FTP-Server jagen, aber die bisherigen Ausfallzeiten waren tatsächlich immer zu einer Zeit wo kein Backup läuft.
Kann man dem MySql-Server eigentlich mit Parametern beibringen, wie viel Speicherplatz er max. leaken darf? Bei vorhanden 4 GB + Swap sollte er sich aber m.E damit auch zufrieden geben.
Am Apachen selbst, bzw. seiner Konfiguration glaube ich weniger das Problem zu finden, der läuft auf (Plesk-) Default Parametern.
Ansonsten laufen wirklich nur die benötigten Dienste wie Pop3, Smtp, etc. Auf jeden Fall keine Spiele oder andere speicherfressende Ungeheuer.

LG Günter

oxygen
Posts: 2138
Joined: 2002-12-15 00:10
Location: Bergheim

Re: Server pingbar, kann aber nicht verbinden

Post by oxygen »

brummbaer49 wrote: Kann man dem MySql-Server eigentlich mit Parametern beibringen, wie viel Speicherplatz er max. leaken darf? Bei vorhanden 4 GB + Swap sollte er sich aber m.E damit auch zufrieden geben.
Der Ramverbrauch sollte sowieso durch die globalen Buffer/Cache Größen und die Anzahl Threads * Thread Buffers begrenzt sein. Selbst ein gut ausgelasteter MySQL mit tausenden Tabellen sollte meiner Erfahrung nach nicht mehr als 200-300 MB Arbeitsspeicher verbrauchen.
Poste doch mal deine my.cnf und vielleicht ein SHOW STATUS; SHOW PROCESSLIST; wenn der MySQL wieder so viel Speicher verbraucht.

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Danke für die Antworten.

Hier die my.conf:

Code: Select all

[client]
port		= 3306
socket		= /var/lib/mysql/mysql.sock

[mysqld]
set-variable=local-infile=0
port		= 3306
socket		= /var/lib/mysql/mysql.sock
skip-locking
key_buffer = 16M
max_allowed_packet = 1M
table_cache = 64
sort_buffer_size = 512K
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M

server-id	= 1

[safe_mysqld]
err-log=/var/lib/mysql/mysqld.log

[mysqldump]
quick
max_allowed_packet = 16M

[mysql]
no-auto-rehash

[isamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[myisamchk]
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M

[mysqlhotcopy]
interactive-timeout

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Gestern Abend war es wieder soweit, um 20:43 meldete Nagios (der local auf einer Linux-Maschine läuft und den Server remote überwacht) fehlerhafte Dienste.
Der letzte Output über ps auxww davor war um 20:30 Uhr (wird alle 30 min. generiert). Etwas seltsam kommen mir die mingetti und wdcollect Prozesse vor.
zu wdcollect habe ich einiges hier gefunden:
http://forum.parallels.com/showthread.php?t=70547
Der Watchdog überwacht aber nur den Plesk-Server, Spamassaign und DrWeb, alles andere wird von Nagios überwacht.
Eine mehrfache eingetragene IP gibts auch nicht. Ich werde nun den Watchdog mal komplett abschalten, mal sehen, ob dann etwas Ruhe einkehrt.
Die Syslog zeigte übrigens keine Besonderheiten an, lediglich ne Menge Spam. Leider kam der 21:00 Uhr Dumpnicht mehr zustande, weil zu dieser Zeit bereits alles eingefroren war.
Kann jemand aus dem Dump mehr erkennen?

Danke und
lg Günter

Code: Select all

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root         1  0.1  0.0    812   300 ?        Ss   20:15   0:01 init [3]                   
root         2  0.0  0.0      0     0 ?        S<   20:15   0:00 [kthreadd]
root         3  0.0  0.0      0     0 ?        S<   20:15   0:00 [migration/0]
root         4  0.0  0.0      0     0 ?        SN   20:15   0:00 [ksoftirqd/0]
root         5  0.0  0.0      0     0 ?        S<   20:15   0:00 [migration/1]
root         6  0.0  0.0      0     0 ?        SN   20:15   0:00 [ksoftirqd/1]
root         7  0.0  0.0      0     0 ?        S<   20:15   0:00 [events/0]
root         8  0.0  0.0      0     0 ?        S<   20:15   0:00 [events/1]
root         9  0.0  0.0      0     0 ?        S<   20:15   0:00 [khelper]
root        30  0.0  0.0      0     0 ?        S<   20:15   0:00 [kblockd/0]
root        31  0.0  0.0      0     0 ?        S<   20:15   0:00 [kblockd/1]
root        32  0.0  0.0      0     0 ?        S<   20:15   0:00 [kacpid]
root        33  0.0  0.0      0     0 ?        S<   20:15   0:00 [kacpi_notify]
root       142  0.0  0.0      0     0 ?        S<   20:15   0:00 [cqueue/0]
root       143  0.0  0.0      0     0 ?        S<   20:15   0:00 [cqueue/1]
root       144  0.0  0.0      0     0 ?        S<   20:15   0:00 [kseriod]
root       179  0.0  0.0      0     0 ?        S    20:15   0:00 [pdflush]
root       180  0.0  0.0      0     0 ?        S    20:15   0:00 [pdflush]
root       181  0.0  0.0      0     0 ?        S<   20:15   0:00 [kswapd0]
root       182  0.0  0.0      0     0 ?        S<   20:15   0:00 [aio/0]
root       183  0.0  0.0      0     0 ?        S<   20:15   0:00 [aio/1]
root       414  0.0  0.0      0     0 ?        S<   20:15   0:00 [kpsmoused]
root       419  0.0  0.0      0     0 ?        S<   20:15   0:00 [kondemand/0]
root       420  0.0  0.0      0     0 ?        S<   20:15   0:00 [kondemand/1]
root       459  0.0  0.0      0     0 ?        S<   20:15   0:00 [ata/0]
root       460  0.0  0.0      0     0 ?        S<   20:15   0:00 [ata/1]
root       461  0.0  0.0      0     0 ?        S<   20:15   0:00 [ata_aux]
root       479  0.0  0.0      0     0 ?        S<   20:15   0:00 [scsi_eh_0]
root       480  0.0  0.0      0     0 ?        S<   20:15   0:00 [scsi_eh_1]
root       481  0.0  0.0      0     0 ?        S<   20:15   0:00 [scsi_eh_2]
root       482  0.0  0.0      0     0 ?        S<   20:15   0:00 [scsi_eh_3]
root       709  0.0  0.0      0     0 ?        S<   20:15   0:00 [ksuspend_usbd]
root       723  0.0  0.0      0     0 ?        S<   20:15   0:00 [khubd]
root      1086  0.0  0.0      0     0 ?        S<   20:15   0:00 [md1_raid1]
root      1107  0.0  0.0      0     0 ?        S<   20:16   0:00 [kjournald]
root      1156  0.3  0.0  12324   728 ?        S<s  20:16   0:02 /sbin/udevd --daemon
root      1802  0.0  0.0      0     0 ?        S<   20:16   0:00 [md0_raid1]
root      1857  0.0  0.0      0     0 ?        S<   20:16   0:00 [kauditd]
100       2210  0.0  0.0  14620   880 ?        Ss   20:16   0:00 /bin/dbus-daemon --system
root      2354  0.0  0.0   5824   332 ?        Ss   20:16   0:00 /sbin/resmgrd
root      2375  0.0  0.0  23996  1592 ?        Ss   20:16   0:00 /usr/sbin/console-kit-daemon
101       2376  0.0  0.0  32248  3408 ?        Ss   20:16   0:00 /usr/sbin/hald --daemon=yes
root      2377  0.0  0.0  17588  1152 ?        S    20:16   0:00 hald-runner
root      2623  0.0  0.0  28072  1252 ?        S    20:16   0:00 hald-addon-input: Listening on /dev/input/event2 /dev/input/event1
root      2635  0.0  0.0  28084  1236 ?        S    20:16   0:00 /usr/lib64/hal/hald-addon-cpufreq
101       2647  0.0  0.0  24888  1120 ?        S    20:16   0:00 /usr/lib64/hal/hald-addon-acpi
root      2823  0.0  0.0  18652   736 ?        Ss   20:16   0:00 /sbin/syslog-ng -a /var/lib/named/dev/log
root      2826  0.0  0.0   4000   700 ?        Ss   20:16   0:00 /sbin/klogd -c 1 -x -x
root      2853  0.0  0.0  18056   768 ?        S    20:16   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=imapd -maxprocs=40 -maxperip=4 -pid=/var/run/imapd.pid -nodnslookup -noidentlookup 143 /usr/sbin/imaplogin /usr/lib/courier-imap/authlib/authpsa /usr/bin/imapd Maildir
root      2855  0.0  0.0  13856  1116 ?        S    20:16   0:00 /usr/sbin/courierlogger imapd
root      2865  0.0  0.0  18052   752 ?        S    20:16   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=imapd-ssl -maxprocs=40 -maxperip=4 -pid=/var/run/imapd-ssl.pid -nodnslookup -noidentlookup 993 /usr/bin/couriertls -server -tcpd /usr/sbin/imaplogin /usr/lib/courier-imap/authlib/authpsa /usr/bin/imapd Maildir
root      2867  0.0  0.0  13724   940 ?        S    20:16   0:00 /usr/sbin/courierlogger imapd-ssl
root      2874  0.0  0.0  18052   764 ?        S    20:16   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=pop3d -maxprocs=40 -maxperip=4 -pid=/var/run/pop3d.pid -nodnslookup -noidentlookup 110 /usr/sbin/pop3login /usr/lib/courier-imap/authlib/authpsa /usr/bin/pop3d Maildir
root      2876  0.0  0.0  13860  1116 ?        S    20:16   0:00 /usr/sbin/courierlogger pop3d
root      2884  0.0  0.0  18052   752 ?        S    20:16   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=pop3d-ssl -maxprocs=40 -maxperip=4 -pid=/var/run/pop3d-ssl.pid -nodnslookup -noidentlookup 995 /usr/bin/couriertls -server -tcpd /usr/sbin/pop3login /usr/lib/courier-imap/authlib/authpsa /usr/bin/pop3d Maildir
root      2886  0.0  0.0  13728   940 ?        S    20:16   0:00 /usr/sbin/courierlogger pop3d-ssl
root      2899  0.0  0.0   8696   512 ?        Ss   20:16   0:00 /usr/sbin/irqbalance
root      3169  0.0  0.0  19028   940 ?        Ss   20:17   0:00 /usr/sbin/xinetd
root      3173  0.0  0.0  61812  1328 ?        Ss   20:17   0:00 /usr/sbin/sshd -o PidFile=/var/run/sshd.init.pid
ntp       3201  0.0  0.0  29452  1520 ?        Ss   20:17   0:00 /usr/sbin/ntpd -p /var/run/ntp/ntpd.pid -u ntp -i /var/lib/ntp
root      3230  0.0  0.0  20508   812 ?        Ss   20:17   0:00 /usr/sbin/cron
root      3261  0.0  0.0   6660   840 ?        Ss   20:17   0:00 /sbin/dhclient -q eth0
named     3315  0.0  0.2  68156  9464 ?        Ssl  20:17   0:00 /usr/sbin/named -t /var/lib/named -u named
root      3355  0.0  0.0  13144  1476 ?        S    20:17   0:00 /bin/sh /usr/bin/mysqld_safe --mysqld=mysqld --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql
mysql     3410 61.4  1.0 219740 40604 ?        Sl   20:17   7:57 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --skip-external-locking --port=3306 --socket=/var/lib/mysql/mysql.sock
qmails    3411  0.0  0.0   3784   480 ?        S    20:17   0:00 qmail-send
qmaill    3413  0.0  0.0   3732   536 ?        S    20:17   0:00 splogger qmail
root      3414  0.0  0.0   3768   460 ?        S    20:17   0:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
qmailr    3415  0.0  0.0   3764   472 ?        S    20:17   0:00 qmail-rspawn
qmailq    3416  0.0  0.0   3724   416 ?        S    20:17   0:00 qmail-clean
postgres  3537  0.0  0.1  89636  4088 ?        Ss   20:17   0:00 /usr/bin/postmaster -D /var/lib/pgsql/data
postgres  3591  0.0  0.0  51408  1028 ?        Ss   20:17   0:00 postgres: logger process                  
postgres  3611  0.0  0.0  89636  1408 ?        Ss   20:17   0:00 postgres: writer process                  
postgres  3612  0.0  0.0  51404  1080 ?        Ss   20:17   0:00 postgres: stats collector process         
root      3917  0.0  1.0  98976 42956 ?        Ss   20:17   0:00 /usr/sbin/spamd --username=popuser --daemonize --nouser-config --helper-home-dir=/var/qmail --max-children 5 --create-prefs --virtual-config-dir=/var/qmail/mailnames/%d/%l/.spamassassin --pidfile=/var/run/spamd/spamd_full.pid --socketpath=/tmp/spamd_full.sock
popuser   3918  1.4  1.2 106692 50632 ?        S    20:17   0:10 spamd child
popuser   3919  0.3  1.1 102972 46888 ?        S    20:17   0:02 spamd child
drweb     4102  0.0  0.6  30540 26304 ?        Ss   20:17   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     4103  0.0  0.6  30580 26700 ?        S    20:17   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     4104  0.0  0.6  30580 26652 ?        S    20:17   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     4105  0.0  0.6  30580 26780 ?        S    20:17   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     4106  0.0  0.6  30580 26644 ?        S    20:17   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
root      4332  0.0  0.6 377480 27616 ?        Ss   20:17   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4340  0.0  0.4 377300 19520 ?        S    20:17   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4344  1.6  1.0 397068 41632 ?        S    20:17   0:11 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      4368  0.0  0.2 173132  8800 ?        Ss   20:18   0:00 /usr/local/psa/admin/bin/httpsd
psaadm    4372  0.0  0.6 181900 27320 ?        S    20:18   0:00 /usr/local/psa/admin/bin/httpsd
wwwrun    4400  1.8 12.5 860664 504964 ?       S    20:18   0:13 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      4427  0.0  0.0  12412   832 tty1     Ss+  20:18   0:00 /sbin/mingetty --noclear tty1
root      4428  0.0  0.0  12416   836 tty2     Ss+  20:18   0:00 /sbin/[u]mingetty[/u] tty2
root      4429  0.0  0.0  12412   832 tty3     Ss+  20:18   0:00 /sbin/[u]mingetty [/u]tty3
root      4430  0.0  0.0  12416   836 tty4     Ss+  20:18   0:00 /sbin/mingetty tty4
root      4431  0.0  0.0  12416   836 tty5     Ss+  20:18   0:00 /sbin/mingetty tty5
root      4432  0.0  0.0  12416   832 tty6     Ss+  20:18   0:00 /sbin/mingetty tty6
root      4435  0.0  0.0   3732   564 ttyS0    Ss+  20:18   0:00 /sbin/agetty -L 57600 ttyS0 vt102
root      4437  0.0  0.2 114580 10920 ?        Ss   20:18   0:00 /usr/local/psa/admin/bin/php /usr/local/psa/admin/bin/modules/watchdog/[u]wdcollect [/u]-c /usr/local/psa/etc/modules/watchdog/wdcollect.inc.php
root      4438  0.0  0.0  37596  2820 ?        Ssl  20:18   0:00 /usr/local/psa/admin/bin/modules/watchdog/monit -Ic /usr/local/psa/etc/modules/watchdog/monitrc
psaadm    4476  0.0  0.7 181992 28764 ?        S    20:18   0:00 /usr/local/psa/admin/bin/httpsd
wwwrun    4675  3.0 12.5 860212 504612 ?       S    20:21   0:15 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4676  2.6  0.8 390044 34492 ?        S    20:21   0:14 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4905  2.1  1.1 402928 45764 ?        S    20:23   0:07 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4990  2.6  0.8 391112 35656 ?        S    20:24   0:08 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5006  1.6  0.8 390412 34964 ?        S    20:25   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5367  2.2  0.8 388284 32436 ?        S    20:28   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5401  0.0  0.5 377480 20740 ?        S    20:29   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5418  0.0  0.5 377480 20840 ?        S    20:29   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5419  2.3  0.7 388084 32080 ?        S    20:29   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5420  5.1  0.8 388340 32616 ?        S    20:29   0:02 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      5481  0.0  0.0  61744  1988 ?        S    20:30   0:00 /usr/sbin/cron
root      5482  0.0  0.0  13140  1340 ?        Ss   20:30   0:00 /bin/sh -c  test -x /usr/lib/cron/run-crons && /usr/lib/cron/run-crons >/dev/null 2>&1
root      5484  0.0  0.0  61744  1988 ?        S    20:30   0:00 /usr/sbin/cron
root      5485  0.0  0.0  13136  1336 ?        Ss   20:30   0:00 /bin/bash /root/bin/processlist.sh
root      5487  0.0  0.0  13140  1432 ?        S    20:30   0:00 /bin/bash /usr/lib/cron/run-crons
root      5494  0.0  0.0  12576   940 ?        R    20:30   0:00 ps auxww
root      5500  0.0  0.0  13140   700 ?        R    20:30   0:00 /bin/bash /usr/lib/cron/run-crons

oxygen
Posts: 2138
Joined: 2002-12-15 00:10
Location: Bergheim

Re: Server pingbar, kann aber nicht verbinden

Post by oxygen »

gettys und wdcollect sind normal. Du musst insbesondere die Spalte RSS (Resident Set Size, der aktuelle Ram Verbrauch des Prozess) beachten. Der meiste Ram (fast 1,5 GB) wird durch den Apache verbraucht.

User avatar
daemotron
Administrator
Administrator
Posts: 2636
Joined: 2004-01-21 17:44

Re: Server pingbar, kann aber nicht verbinden

Post by daemotron »

So wie ich das sehe, läuft einfach zu viel auf der Maschine (OK, ich weiß nicht, wie viel RAM drin steckt) - und es ist doch der Apache! Dein httpd2-prefork genehmigt sich da gemütlich ein ganzes Gigabyte an aktivem Arbeitsspeicher (v. a. ein Prozess läuft mit 500MB RSS deutlich aus dem Ruder). Der nächstgrößte Konsument sind dann SpamAssassin und Dr. Web (zusammen etwa 300MB RSS); der Rest ist eher Kleinkram (selbst MySQL ist mit 40MB RSS geradezu handzahm).

Im Moment des Zusammenbruchs müsste auch schon verdammt viel im Swap ausgelagert sein - wahrscheinlich ist, dass der Server sogar permanent swapped und ziemlich am Limit seiner Möglichkeiten operiert (überprüfbar mit swapctl -lsh).

Tja, da nur ein einzelner Apache-Prozess (und noch nicht mal der initiale) so extrem aus dem Ruder läuft, würde ich doch fast auf ein PHP-Skript tippen, das ganz gewaltig leaked. Als Symptombekämpfung könntest Du die maximale Anzahl an Apache-Prozessen einschränken und PHP mit restriktiven Vorgaben bezüglich Laufzeit und Speicherverbrauch belegen. Dann einfach mal durchtesten, welche Seiten nicht mehr generiert werden können, und Du hast die (potenziellen) Übeltäter eingekreist.
“Some humans would do anything to see if it was possible to do it. If you put a large switch in some cave somewhere, with a sign on it saying 'End-of-the-World Switch. PLEASE DO NOT TOUCH', the paint wouldn't even have time to dry.” — Terry Pratchett, Thief of Time

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Ich dreh hier noch durch,
gestern Abend konnte ich erst mal beobachten wie sich das Gewitter zusammenbraut.
Nach und nach bauten sich immer mehr http-prefork Prozesse (über 10, neben den "normalen mit 20 K) mit jeweils 300 - 500 K Speicher auf und machten Hauptspeicher und Swapfile total dicht.
Dabei hatte ich bereits den Apachen in der server-tuning.conf stark limitiert:

Code: Select all

# prefork MPM
<IfModule prefork.c>
	StartServers         5
	MinSpareServers      5
	MaxSpareServers     10
	ServerLimit         30
	MaxClients          30
	MaxRequestsPerChild  50
</IfModule>
KeepAlive On
MaxKeepAliveRequests 30
KeepAliveTimeout 15

In der php.ini hatte ich memory_limit = 32M gesetzt (vorher 128 M).
In der My.conf habe ich den Parametr max_connections = 40 gestzt.
Die Swapfile hatte ich auf 8 GB vergrößert.
Der Server selbst hat 4 GB Ram.

Es laufen 5 Typo3-Domains darauf die recht viel Verkehr haben.

Das System kommt ständig komplett zum Stillstand.
In den Apache Log-Files kann ich sehen, dass häufig Zugriffe auf Bilder einer hier gehosteten Domain von einem Referer namens Anonymouse.org mit der IP 193.200.150.152 erfolgen.

Ist das jemand bekannt?
Ich habe gesehen, dass das eine Art Proxy für anonymes Surfen ist.

lg

Günter

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Ja, das vermute ich auch.
Was wäre ein geeigneter Monitor?
Ich dumpe den Output von auxww halbstündlich.
Hier habe ich einen solchen von 00:30, das war kurz vor dem Sterben:

Code: Select all

USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
root      4314  0.0  0.0   3732   452 ttyS0    Ss+  Jul06   0:00 /sbin/agetty -L 57600 ttyS0 vt102
root       182  0.0  0.0      0     0 ?        S<   Jul06   0:00 [aio/0]
root       183  0.0  0.0      0     0 ?        S<   Jul06   0:00 [aio/1]
root       459  0.0  0.0      0     0 ?        S<   Jul06   0:00 [ata/0]
root       460  0.0  0.0      0     0 ?        S<   Jul06   0:00 [ata/1]
root       461  0.0  0.0      0     0 ?        S<   Jul06   0:00 [ata_aux]
root      3942  0.0  0.0  23684  1772 pts/1    Ss   Jul06   0:00 -bash
root      2380  0.0  0.0  23996   468 ?        Ss   Jul06   0:00 /usr/sbin/console-kit-daemon
root      2858  0.0  0.0  13856   532 ?        S    Jul06   0:00 /usr/sbin/courierlogger imapd
root      2869  0.0  0.0  13724   304 ?        S    Jul06   0:00 /usr/sbin/courierlogger imapd-ssl
root      2879  0.0  0.0  13856   528 ?        S    Jul06   0:00 /usr/sbin/courierlogger pop3d
root      2889  0.0  0.0  13728   304 ?        S    Jul06   0:00 /usr/sbin/courierlogger pop3d-ssl
root      2856  0.0  0.0  18056   472 ?        S    Jul06   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=imapd -maxprocs=40 -maxperip=4 -pid=/var/run/imapd.pid -nodnslookup -noidentlookup 143 /usr/sbin/imaplogin /usr/lib/courier-imap/authlib/authpsa /usr/bin/imapd Maildir
root      2867  0.0  0.0  18052   384 ?        S    Jul06   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=imapd-ssl -maxprocs=40 -maxperip=4 -pid=/var/run/imapd-ssl.pid -nodnslookup -noidentlookup 993 /usr/bin/couriertls -server -tcpd /usr/sbin/imaplogin /usr/lib/courier-imap/authlib/authpsa /usr/bin/imapd Maildir
root      2877  0.0  0.0  18052   460 ?        S    Jul06   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=pop3d -maxprocs=40 -maxperip=4 -pid=/var/run/pop3d.pid -nodnslookup -noidentlookup 110 /usr/sbin/pop3login /usr/lib/courier-imap/authlib/authpsa /usr/bin/pop3d Maildir
root      2887  0.0  0.0  18052   384 ?        S    Jul06   0:00 /usr/lib/courier-imap/couriertcpd -address=0 -stderrlogger=/usr/sbin/courierlogger -stderrloggername=pop3d-ssl -maxprocs=40 -maxperip=4 -pid=/var/run/pop3d-ssl.pid -nodnslookup -noidentlookup 995 /usr/bin/couriertls -server -tcpd /usr/sbin/pop3login /usr/lib/courier-imap/authlib/authpsa /usr/bin/pop3d Maildir
root       142  0.0  0.0      0     0 ?        S<   Jul06   0:00 [cqueue/0]
root       143  0.0  0.0      0     0 ?        S<   Jul06   0:00 [cqueue/1]
root      3255  0.0  0.0  20512   600 ?        Ss   Jul06   0:00 /usr/sbin/cron
root      7726  0.0  0.0  61748  1956 ?        S    00:30   0:00 /usr/sbin/cron
root      7727  0.0  0.0  61748  1952 ?        S    00:30   0:00 /usr/sbin/cron
root      7728  0.0  0.0  61748  1956 ?        S    00:30   0:00 /usr/sbin/cron
100       2213  0.0  0.0  14620   384 ?        Ss   Jul06   0:00 /bin/dbus-daemon --system
root      3218  0.0  0.0   6660   396 ?        Ss   Jul06   0:00 /sbin/dhclient -q eth0
drweb     3989  0.0  0.0  30544   280 ?        Ss   Jul06   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     3990  0.0  0.4  31116 19488 ?        S    Jul06   0:01 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     3994  0.0  0.4  30584 19564 ?        S    Jul06   0:01 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     7322  0.1  0.4  30584 19728 ?        S    00:20   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
drweb     7323  0.0  0.4  30584 19256 ?        S    00:20   0:00 /opt/drweb/drwebd -ini=/etc/drweb/drweb32.ini
root         7  0.0  0.0      0     0 ?        S<   Jul06   0:00 [events/0]
root         8  0.0  0.0      0     0 ?        S<   Jul06   0:00 [events/1]
root      7749  0.0  0.0   4664   164 ?        D    00:30   0:00 hal-find-by-capability --capability ac_adapter
101       2378  0.0  0.0  32244  1184 ?        Ss   Jul06   0:00 /usr/sbin/hald --daemon=yes
101       2631  0.0  0.0  24884   656 ?        S    Jul06   0:00 /usr/lib64/hal/hald-addon-acpi
root      2627  0.0  0.0  28088   448 ?        S    Jul06   0:00 /usr/lib64/hal/hald-addon-cpufreq
root      2570  0.0  0.0  28076   444 ?        S    Jul06   0:00 hald-addon-input: Listening on /dev/input/event2 /dev/input/event1
root      2379  0.0  0.0  17584   432 ?        S    Jul06   0:00 hald-runner
root      4147  0.0  0.1 379228  4536 ?        Ss   Jul06   0:01 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    4717  0.0  0.0 379224  2340 ?        S    Jul06   0:00 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5113  1.7  0.4 404576 18920 ?        D    Jul06   0:50 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5699  1.5  2.0 895104 83688 ?        D    Jul06   0:40 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    5855  1.6  7.0 664788 [color=#FF0000]285428[/color] ?       D    Jul06   0:39 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6816  1.2  7.9 894928 [color=#FF0000]321948[/color] ?       D    00:11   0:14 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6817  1.2  0.4 391888 17416 ?        D    00:11   0:14 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6820  1.1  2.1 461320 85652 ?        S    00:11   0:13 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6853  1.3 10.4 895048 [color=#FF0000]420040[/color] ?       D    00:11   0:14 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6865  2.4 10.7 896936 [color=#FF0000]431628[/color] ?       D    00:11   0:27 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6868  0.7  1.6 442296 67428 ?        D    00:11   0:08 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    6997  1.0  0.3 401540 13308 ?        D    00:14   0:09 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7228  0.6  0.6 400740 26476 ?        S    00:18   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7231  0.5  0.5 399992 22832 ?        D    00:18   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7238  0.6  3.1 503652 [color=#FF0000]128504[/color] ?       D    00:18   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7251  0.5  0.4 392332 16324 ?        D    00:18   0:03 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7256  0.7  0.6 401364 24952 ?        D    00:18   0:05 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7259  0.6  0.3 401108 15584 ?        D    00:18   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7266  0.6  0.3 401364 12928 ?        D    00:19   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7272  0.5  0.2 401180 11244 ?        D    00:19   0:03 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7273  0.6  6.3 635728 [color=#FF0000]254696[/color] ?       D    00:19   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7281  0.7 10.1 895820 [color=#FF0000]409956[/color] ?       S    00:19   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7289  0.7  0.2 467400  9088 ?        D    00:19   0:05 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7293  0.8  6.4 895780 [color=#FF0000]259248[/color] ?       D    00:19   0:05 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7294  0.6  0.2 401280 10984 ?        D    00:19   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7305  0.6  0.3 418620 13704 ?        D    00:19   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7313  0.5  0.3 401140 12100 ?        D    00:20   0:03 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7314  0.8  0.2 467628  9804 ?        D    00:20   0:05 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7318  0.6  0.2 401116 11628 ?        D    00:20   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7387  0.5  8.3 710096 [color=#FF0000]334984[/color] ?       D    00:21   0:02 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7391  0.8  0.2 425140  8384 ?        D    00:22   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
wwwrun    7395  0.8  0.2 418084  9840 ?        D    00:22   0:04 /usr/sbin/httpd2-prefork -f /etc/apache2/httpd.conf -DSSL
root      4247  0.0  0.0 173128   756 ?        Ss   Jul06   0:00 /usr/local/psa/admin/bin/httpsd
psaadm    4252  0.0  0.0 182380   720 ?        S    Jul06   0:00 /usr/local/psa/admin/bin/httpsd
psaadm    5903  0.0  0.1 188808  4428 ?        S    Jul06   0:02 /usr/local/psa/admin/bin/httpsd
root         1  0.0  0.0    808    64 ?        Ss   Jul06   0:00 init [3]                   
root      2902  0.0  0.0   8692   424 ?        Ss   Jul06   0:01 /usr/sbin/irqbalance
root        33  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kacpi_notify]
root        32  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kacpid]
root      1854  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kauditd]
root        30  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kblockd/0]
root        31  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kblockd/1]
root         9  0.0  0.0      0     0 ?        S<   Jul06   0:00 [khelper]
root       721  0.0  0.0      0     0 ?        S<   Jul06   0:00 [khubd]
root      1102  0.1  0.0      0     0 ?        D<   Jul06   0:03 [kjournald]
root      2828  0.0  0.0   4000   340 ?        Ss   Jul06   0:00 /sbin/klogd -c 1 -x -x
root       419  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kondemand/0]
root       420  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kondemand/1]
root       414  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kpsmoused]
root       144  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kseriod]
root         4  0.0  0.0      0     0 ?        SN   Jul06   0:00 [ksoftirqd/0]
root         6  0.0  0.0      0     0 ?        SN   Jul06   0:00 [ksoftirqd/1]
root       708  0.0  0.0      0     0 ?        S<   Jul06   0:00 [ksuspend_usbd]
root       181  1.4  0.0      0     0 ?        D<   Jul06   0:53 [kswapd0]
root         2  0.0  0.0      0     0 ?        S<   Jul06   0:00 [kthreadd]
root      7747  0.1  0.0  32144  1320 pts/1    D+   00:30   0:00 /usr/bin/mc -P /tmp/mc-root/mc.pwd.3942
root      1801  0.0  0.0      0     0 ?        S<   Jul06   0:00 [md0_raid1]
root      1081  0.3  0.0      0     0 ?        D<   Jul06   0:11 [md1_raid1]
root         3  0.0  0.0      0     0 ?        S<   Jul06   0:00 [migration/0]
root         5  0.0  0.0      0     0 ?        S<   Jul06   0:00 [migration/1]
root      4306  0.0  0.0  12416   576 tty1     Ss+  Jul06   0:00 /sbin/mingetty --noclear tty1
root      4307  0.0  0.0  12416   576 tty2     Ss+  Jul06   0:00 /sbin/mingetty tty2
root      4308  0.0  0.0  12412   576 tty3     Ss+  Jul06   0:00 /sbin/mingetty tty3
root      4310  0.0  0.0  12412   576 tty4     Ss+  Jul06   0:00 /sbin/mingetty tty4
root      4311  0.0  0.0  12412   576 tty5     Ss+  Jul06   0:00 /sbin/mingetty tty5
root      4313  0.0  0.0  12416   576 tty6     Ss+  Jul06   0:00 /sbin/mingetty tty6
mysql     3403 61.4  0.4 294228 19708 ?        Sl   Jul06  37:35 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --skip-external-locking --port=3306 --socket=/var/lib/mysql/mysql.sock
root      3352  0.0  0.0  13144   996 ?        S    Jul06   0:00 /bin/sh /usr/bin/mysqld_safe --mysqld=mysqld --user=mysql --pid-file=/var/lib/mysql/mysqld.pid --socket=/var/lib/mysql/mysql.sock --datadir=/var/lib/mysql
named     3322  0.0  0.0  68152  1716 ?        Ssl  Jul06   0:00 /usr/sbin/named -t /var/lib/named -u named
ntp       3245  0.0  0.0  29452   928 ?        Ss   Jul06   0:00 /usr/sbin/ntpd -p /var/run/ntp/ntpd.pid -u ntp -i /var/lib/ntp
root      7748  0.0  0.0  13140  1332 ?        S    00:30   0:00 /bin/bash /usr/bin/on_ac_power -q
root      5212  0.0  0.0      0     0 ?        D    Jul06   0:00 [pdflush]
root      7345  0.0  0.0      0     0 ?        D    00:21   0:00 [pdflush]
root      7347  0.0  0.0      0     0 ?        D    00:21   0:00 [pdflush]
root      7368  0.0  0.0      0     0 ?        D    00:21   0:00 [pdflush]
root      7372  0.0  0.0      0     0 ?        D    00:21   0:00 [pdflush]
root      7389  0.0  0.0      0     0 ?        D    00:21   0:00 [pdflush]
root      7405  0.0  0.0      0     0 ?        D    00:22   0:00 [pdflush]
root      7406  0.0  0.0      0     0 ?        D    00:22   0:00 [pdflush]
root      7407  0.0  0.0      0     0 ?        D    00:22   0:00 [pdflush]
root      7408  0.0  0.0      0     0 ?        D    00:22   0:00 [pdflush]
root      7409  0.0  0.0      0     0 ?        D    00:22   0:00 [pdflush]
postgres  3529  0.0  0.0  89636   780 ?        Ss   Jul06   0:00 /usr/bin/postmaster -D /var/lib/pgsql/data
postgres  3615  0.0  0.0  51408   316 ?        Ss   Jul06   0:00 postgres: logger process                  
postgres  3650  0.0  0.0  89636   520 ?        Ss   Jul06   0:00 postgres: writer process                  
postgres  3651  0.0  0.0  51404   280 ?        Ss   Jul06   0:00 postgres: stats collector process         
root      7740  0.1  0.0  13136  1336 ?        Ss   00:30   0:00 /bin/bash /root/bin/processlist.sh
root      7755  2.0  0.0  12716  1044 ?        R    00:30   0:00 ps auxww --sort:command
popuser   7379  0.0  0.0  13136  1164 ?        S    00:21   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7417  0.0  0.0  13140  1164 ?        S    00:22   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7469  0.0  0.0  13136  1164 ?        S    00:24   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7489  0.0  0.0  13140  1164 ?        S    00:24   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7516  0.0  0.0  13136  1164 ?        S    00:25   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7544  0.0  0.0  13140  1164 ?        S    00:26   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7660  0.0  0.0  13140  1416 ?        S    00:28   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7683  0.0  0.0  13140  1416 ?        S    00:29   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
popuser   7738  0.0  0.0  13140  1416 ?        S    00:30   0:00 /bin/sh /usr/local/psa/bin/psa-spamc reject
mailman   7743  0.0  0.0    272   136 ?        Ds   00:30   0:00 /usr/bin/python -S /usr/lib/mailman/cron/gate_news
qmailq    3412  0.0  0.0   3724   376 ?        S    Jul06   0:00 qmail-clean
popuser   7370  0.0  0.0  16112   812 ?        S    00:21   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/cg-hosting.de/postmaster 4-postmaster   cg-hosting.de drweb-daemon@cg-hosting.de | /usr/bin/deliverquota ./Maildir
popuser   7403  0.0  0.0  16112   812 ?        S    00:22   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/com-group.de/info 9-info   com-group.de rehbach_ooemy@gmail.com | /usr/bin/deliverquota ./Maildir
popuser   7465  0.0  0.0  16108   812 ?        S    00:23   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/com-group.de/info 9-info   com-group.de ehrnspergervoegy@gmail.com | /usr/bin/deliverquota ./Maildir
popuser   7475  0.0  0.0  16100   812 ?        S    00:24   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/com-group.de/info 9-info   com-group.de rosin_b@gmail.com | /usr/bin/deliverquota ./Maildir
popuser   7494  0.0  0.0  16104  1096 ?        S    00:24   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/com-group.de/gb 9-gb   com-group.de adaline.andre@telecomitalia.it | /usr/bin/deliverquota ./Maildir
popuser   7531  0.0  0.0  16104   832 ?        S    00:26   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/typo3-webseite.de/info 23-info   typo3-webseite.de soumitraw@ahuiliztli.net | /usr/bin/deliverquota ./Maildir
popuser   7550  0.0  0.0  16104   916 ?        S    00:26   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/cg-hosting.de/postmaster 4-postmaster   cg-hosting.de drweb-daemon@cg-hosting.de | /usr/bin/deliverquota ./Maildir
popuser   7663  0.0  0.0  16108  1092 ?        S    00:28   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/werbe-koenig.de/info 42-info   werbe-koenig.de info@werbe-koenig.de | /usr/bin/deliverquota ./Maildir
popuser   7675  0.0  0.0  16108  1092 ?        S    00:28   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/urlaub-albarella.de 26-kontakt  -kontakt urlaub-albarella.de kontakt@urlaub-albarella.de | /usr/bin/deliverquota ./Maildir
popuser   7696  0.0  0.0  16104  1092 ?        S    00:29   0:00 bin/qmail-local -- popuser /var/qmail/mailnames/com-group.de/gb 9-gb   com-group.de fovdkgudbifs@bobicks.com | /usr/bin/deliverquota ./Maildir
popuser   7373  0.0  0.0   3624   320 ?        S    00:21   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/cg-hosting.de/postmaster 4-postmaster   cg-hosting.de drweb-daemon@cg-hosting.de | /usr/bin/deliverquota ./Maildir
popuser   7416  0.0  0.0   3628   320 ?        S    00:22   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/com-group.de/info 9-info   com-group.de rehbach_ooemy@gmail.com | /usr/bin/deliverquota ./Maildir
popuser   7467  0.0  0.0   3628   320 ?        S    00:24   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/com-group.de/info 9-info   com-group.de ehrnspergervoegy@gmail.com | /usr/bin/deliverquota ./Maildir
popuser   7488  0.0  0.0   3624   320 ?        S    00:24   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/com-group.de/info 9-info   com-group.de rosin_b@gmail.com | /usr/bin/deliverquota ./Maildir
popuser   7514  0.0  0.0   3628   320 ?        S    00:25   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/com-group.de/gb 9-gb   com-group.de adaline.andre@telecomitalia.it | /usr/bin/deliverquota ./Maildir
popuser   7542  0.0  0.0   3624   388 ?        S    00:26   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/typo3-webseite.de/info 23-info   typo3-webseite.de soumitraw@ahuiliztli.net | /usr/bin/deliverquota ./Maildir
popuser   7654  0.0  0.0   3624   392 ?        S    00:28   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/cg-hosting.de/postmaster 4-postmaster   cg-hosting.de drweb-daemon@cg-hosting.de | /usr/bin/deliverquota ./Maildir
popuser   7680  0.0  0.0   3624   388 ?        S    00:28   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/werbe-koenig.de/info 42-info   werbe-koenig.de info@werbe-koenig.de | /usr/bin/deliverquota ./Maildir
popuser   7693  0.0  0.0   3628   388 ?        S    00:29   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/urlaub-albarella.de 26-kontakt  -kontakt urlaub-albarella.de kontakt@urlaub-albarella.de | /usr/bin/deliverquota ./Maildir
popuser   7734  0.0  0.0   3624   388 ?        S    00:30   0:00 /var/qmail/bin/qmail-local.moved -- popuser /var/qmail/mailnames/com-group.de/gb 9-gb   com-group.de fovdkgudbifs@bobicks.com | /usr/bin/deliverquota ./Maildir
root      3410  0.0  0.0   3772   424 ?        S    Jul06   0:00 qmail-lspawn | /usr/bin/deliverquota ./Maildir
drweb     7697  0.0  0.0   1968  1156 ?        S    00:29   0:00 bin/qmail-queue
drweb     7717  0.0  0.0   1920  1052 ?        S    00:29   0:00 bin/qmail-queue
qmailq    7750  0.0  0.0   3728   504 ?        D    00:30   0:00 /var/qmail/bin/qmail-queue.moved
qmailq    7751  0.0  0.0   3728   504 ?        D    00:30   0:00 /var/qmail/bin/qmail-queue.moved
qmailq    7733  0.0  0.0  16104  1096 ?        S    00:30   0:00 /var/qmail/bin/qmail-queue.origin
qmailq    7735  0.1  0.0  16116  1104 ?        S    00:30   0:00 /var/qmail/bin/qmail-queue.origin
qmailr    3411  0.0  0.0   3764   340 ?        S    Jul06   0:00 qmail-rspawn
qmails    3407  0.0  0.0   3784   532 ?        D    Jul06   0:00 qmail-send
qmaild    7040  0.0  0.0  16060   760 ?        Ss   00:15   0:00 /var/qmail/bin/qmail-smtpd /var/qmail/bin/smtp_auth /var/qmail/bin/true /var/qmail/bin/cmd5checkpw /var/qmail/bin/true
qmaild    7577  0.0  0.0  16060  1156 ?        Ss   00:27   0:00 /var/qmail/bin/qmail-smtpd /var/qmail/bin/smtp_auth /var/qmail/bin/true /var/qmail/bin/cmd5checkpw /var/qmail/bin/true
qmaild    7700  0.0  0.0  16060  1160 ?        Ss   00:29   0:00 /var/qmail/bin/qmail-smtpd /var/qmail/bin/smtp_auth /var/qmail/bin/true /var/qmail/bin/cmd5checkpw /var/qmail/bin/true
root      2357  0.0  0.0   5824   208 ?        Ss   Jul06   0:00 /sbin/resmgrd
root      7744  0.0  0.0  13136  1396 ?        S    00:30   0:00 /bin/bash /usr/lib/cron/run-crons
root       479  0.0  0.0      0     0 ?        S<   Jul06   0:00 [scsi_eh_0]
root       480  0.0  0.0      0     0 ?        S<   Jul06   0:00 [scsi_eh_1]
root       481  0.0  0.0      0     0 ?        S<   Jul06   0:00 [scsi_eh_2]
root       482  0.0  0.0      0     0 ?        S<   Jul06   0:00 [scsi_eh_3]
root      7741  0.0  0.0  13140  1344 ?        Ss   00:30   0:00 /bin/sh -c  test -x /usr/lib/cron/run-crons && /usr/lib/cron/run-crons >/dev/null 2>&1
popuser   7381  0.0  0.0   6328   536 ?        D    00:21   0:00 /usr/bin/spamc -s 256000 -u postmaster@cg-hosting.de -U /tmp/spamd_full.sock -E
popuser   7418  0.0  0.0   6332   424 ?        S    00:22   0:00 /usr/bin/spamc -s 256000 -u info@com-group.de -U /tmp/spamd_full.sock -E
popuser   7470  0.0  0.0   6328   424 ?        S    00:24   0:00 /usr/bin/spamc -s 256000 -u info@com-group.de -U /tmp/spamd_full.sock -E
popuser   7490  0.0  0.0   6328   424 ?        S    00:24   0:00 /usr/bin/spamc -s 256000 -u info@com-group.de -U /tmp/spamd_full.sock -E
popuser   7518  0.0  0.0   6332   424 ?        S    00:25   0:00 /usr/bin/spamc -s 256000 -u gb@com-group.de -U /tmp/spamd_full.sock -E
popuser   7545  0.0  0.0   6328   424 ?        S    00:26   0:00 /usr/bin/spamc -s 256000 -u info@typo3-webseite.de -U /tmp/spamd_full.sock -E
popuser   7661  0.0  0.0   6328   524 ?        S    00:28   0:00 /usr/bin/spamc -s 256000 -u postmaster@cg-hosting.de -U /tmp/spamd_full.sock -E
popuser   7684  0.0  0.0   6332   532 ?        S    00:29   0:00 /usr/bin/spamc -s 256000 -u info@werbe-koenig.de -U /tmp/spamd_full.sock -E
popuser   7739  0.0  0.0   6328   528 ?        S    00:30   0:00 /usr/bin/spamc -s 256000 -u gb@com-group.de -U /tmp/spamd_full.sock -E
root      3805  0.0  0.1  98988  4912 ?        Ds   Jul06   0:00 /usr/sbin/spamd --username=popuser --daemonize --nouser-config --helper-home-dir=/var/qmail --max-children 5 --create-prefs --virtual-config-dir=/var/qmail/mailnames/%d/%l/.spamassassin --pidfile=/var/run/spamd/spamd_full.pid --socketpath=/tmp/spamd_full.sock
popuser   3806  0.9  0.5 105216 23052 ?        D    Jul06   0:33 spamd child
popuser   3807  0.1  0.6 103728 26784 ?        D    Jul06   0:06 spamd child
root      7742  0.2  0.0  98988  3932 ?        D    00:30   0:00 /usr/sbin/spamd --username=popuser --daemonize --nouser-config --helper-home-dir=/var/qmail --max-children 5 --create-prefs --virtual-config-dir=/var/qmail/mailnames/%d/%l/.spamassassin --pidfile=/var/run/spamd/spamd_full.pid --socketpath=/tmp/spamd_full.sock
root      7642  0.4  0.4  56232 17400 ?        D    00:27   0:00 /usr/bin/perl -T /usr/local/psa/admin/sbin/spammng status
qmaill    3409  0.0  0.0   3732   508 ?        S    Jul06   0:00 splogger qmail
root      3194  0.0  0.0  61812   676 ?        Ss   Jul06   0:00 /usr/sbin/sshd -o PidFile=/var/run/sshd.init.pid
root      3695  0.0  0.0  97496  1508 ?        Ss   Jul06   0:00 sshd: root@pts/1                                   
root      2831  0.0  0.0  18652   524 ?        Ds   Jul06   0:00 /sbin/syslog-ng -a /var/lib/named/dev/log
root      1151  0.0  0.0  12328   348 ?        S<s  Jul06   0:02 /sbin/udevd --daemon
root      3174  0.0  0.0  19028   684 ?        Ss   Jul06   0:00 /usr/sbin/xinetd
Im Moment habe ich den Apache gestoppt und schaue mir mit top die Auslastung an.
verdammt hohe average...
mit laufendem Apache geht die sogar bis 70 hoch.

Code: Select all

top - 15:40:40 up 23 min,  2 users,  load average: 9.51, 9.26, 7.03
Tasks: 153 total,   1 running, 152 sleeping,   0 stopped,   0 zombie
Cpu(s): 35.2%us,  6.6%sy,  0.0%ni, 27.2%id, 29.9%wa,  0.3%hi,  0.8%si,  0.0%st
Mem:   4025548k total,   965736k used,  3059812k free,    57544k buffers
Swap:  2104496k total,        0k used,  2104496k free,   478872k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
17349 popuser   15   0  100m  45m 2460 D   18  1.2   0:14.59 spamd
15939 popuser   16   0  102m  47m 2468 D   15  1.2   0:23.14 spamd
16755 popuser   16   0  102m  47m 2472 S   14  1.2   0:16.98 spamd
15544 popuser   16   0  103m  48m 2472 D   11  1.2   0:32.66 spamd
15531 popuser   16   0  103m  48m 2484 D   11  1.2   0:30.10 spamd
 4349 drweb     16   0 30584  26m  672 S    5  0.7   0:10.27 drwebd
 2820 root      15   0 18652  736  436 S    1  0.0   0:03.41 syslog-ng
 1102 root      10  -5     0    0    0 D    1  0.0   0:04.92 kjournald
 4391 root      15   0 16824 1300  916 R    1  0.0   0:04.87 top
 3204 root      15   0 19024  936  736 S    0  0.0   0:00.06 xinetd
 3386 qmails    16   0  3788  536  364 D    0  0.0   0:01.95 qmail-send
 4394 root      15   0 98976  41m 2480 S    0  1.1   0:03.01 spamd
 9059 qmaild    15   0 16060 1164  872 S    0  0.0   0:01.28 qmail-smtpd
15342 popuser   15   0 13892 1176  880 S    0  0.0   0:02.08 pop3d
    1 root      18   0   808  300  244 S    0  0.0   0:01.47 init
    2 root      11  -5     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.02 migration/0
    4 root      34  19     0    0    0 S    0  0.0   0:00.00 ksoftirqd/0
    5 root      RT  -5     0    0    0 S    0  0.0   0:00.02 migration/1
    6 root      34  19     0    0    0 S    0  0.0   0:00.00 ksoftirqd/1
    7 root      10  -5     0    0    0 S    0  0.0   0:00.00 events/0
    8 root      10  -5     0    0    0 S    0  0.0   0:00.01 events/1
    9 root      10  -5     0    0    0 S    0  0.0   0:00.00 khelper
   30 root      10  -5     0    0    0 S    0  0.0   0:00.07 kblockd/0
   31 root      10  -5     0    0    0 S    0  0.0   0:00.00 kblockd/1

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Nochmals Danke für die Hinweise.
Einen Hardwaredefekt, bzw. Plattendefekt schließe mit hoher Wahrscheinlichkeit ich aus, weil ich vor ca. einem Monat wegen genau dieses Symptoms auf einen neuen Server bei Strato umgezogen bin. Den alten Server hatte ich im Verdacht, Strato hat dann auf meinen Wunsch einen ausführlichen Plattentest gemacht, der ohne Ergebnis blieb.
Auf dem neuen Server lief dann auch alles ca. 3 Wochen lang problemlos, bis dieses Phänomen dann wieder sporadisch auftrat.
Heute Morgen kam dann plötzlich eine totale Überflutung.
Ich hatte gerade mit top die Auslastung vor Augen, plötzlich traten dann wieder unzählige neue http-Prozesse mit 300 MB und größer in Erscheinung.
Im Nu war der Speicher dicht, ich konnte nicht einmal "top" stoppen, geschweige mich mit einer anderen Shell-Session einloggen.
Ich habe dann sofort nach dem Reset den Apache gestoppt und sämtliche Domains disabled.
Dann den Apache wieder zugeschaltet und eine nach der anderen Domain zugeschaltet und dabei die Auslastung im Auge behalten.
Es fiel jedoch keine einzige Domain mit herausragendem Speicherfraß auf, die Load average liegt jetzt bei 1.
Allerdings habe ich gerade erfahren, dass ein Kunde heute im Laufe des Tages Unmengen Junks über ein Kontaktformular auf seiner Domain erhalten hat. Ich glaube, dass auch hier der Ansatzpunkt liegt, ähnliches habe ich eben auch in den Logfiles anderer Domains gefunden.
So wie es aussieht habe ich wohl noch ein paar schlaflose Nächte vor mir.

Der Server wird übrigens mit Nagios überwacht, allerdings von einem hier installierten Linux-Rechner. der schickt halt eben brav seine Emails an mein Handy.
Wenn das Problem beseitigt ist, werde ich Nagios wohl auch direkt auf dem Webserver installieren.

LG
Günter

brummbaer49
Posts: 8
Joined: 2009-06-30 10:20

Re: Server pingbar, kann aber nicht verbinden

Post by brummbaer49 »

Problem gelöst!

Der Speicherfresser ist identifiziert und eliminiert.
Problem war ein offensichtlich nicht mehr aktuelles php-Script aus der Typo3-Extension "iwi_img_catalog".
Die Error_log des betreffenden vhosts zeigte "Call-time pass-by-reference has been deprecated"

Der Fehler war reproduzierbar, sobald der vhost aktiviert war, schoss die Auslastung sofort nach oben.
Seit der vhost deaktiviert ist, dümpelt die load average so bei 0,2 vor sich hin, Speicher ist satt vorhanden, kein swap-file use.

Zur Behebung:

Update der Extension oder:

Warning: Call-time pass-by-reference has been deprecated - argument
passed by value; If you would like to pass it by reference, modify the
declaration of [runtime function name](). If you would like to enable
call-time pass-by-reference, you can set allow_call_time_pass_reference
to true in your INI file. However, future versions may not support this
any longer. in
/typo3conf/ext/jm_gallery/pi1/class.tx_jmgallery_pi1.php
on line 89


Ein herzliches Dankeschön an alle die sich an dem Thread beteiligt haben!

LG
Günter