numothersock limit

itsy
Posts: 11
Joined: 2006-12-27 21:01

numothersock limit

Post by itsy »

Hallo,

ich habe einen VServer, Debain, Confixx.

Mein numothersock limit beträgt 125. Ohne Postfix habe ich ohne Belastung einen Wert um die 30. Mit Postfix und ohne Belastung habe ich einen Wert von 60 - 80.
Dennoch erhalte ich regelmäßig den Fehler in der mail.log "socket: cannot allocate memory". Dabei kommt es auch oft vor, daß Postfix beendet wird.

Wenn ich ein kleines Newsletterskript in php über eine MYSQL-Datenbank aufrufe, fahre ich unter Vollast (ca. 150 - 200 Mails) und die Mails werden über 2 Tage aus der Mailqueque abgearbeitet, wobei ich ständig Postfix neu starten muß.

Alles andere - Webzugriff, Zugriff auf die Datenbank etc. funktioniert problemlos und ohne Verzögerung.

Nun meine Fragen:

1. Liegt ggf ein Konfigurationsproblem vor oder können die numothersock-Werte ohne Belastung stimmen?

Sollte dem so sein, dann hätte ich ja mit meinem Vserver weniger Performance als mit einem einfachen Webspace?!

2. Kann ich die sockets für php-mail begrenzen, sodaß ich nicht beim Senden des Newsletters an meine Grenzen komme?

3. Gibt es irgendwelche anderen Lösungsvorschläge?

Configs können gerne geposted werden.

Vielen Dank
itsy
Top

Roger Wilco
Administrator
Administrator
Posts: 6001
Joined: 2004-05-23 12:53

Re: numothersock limit

Post by Roger Wilco »

1. Der Wert ist ok, schau dir die Ausgabe von `netstat -uxpen` und `netstat -uxpen|wc -l` an. Die Beschreibung unter http://wiki.openvz.org/UBC_primary_para ... mothersock sollte auch helfen.

2. Nein, nur systemweit für den MTA.

3. Besorg dir einen richtigen Server oder Shared Webspace und keine virtuelle Pest.
Top

itsy
Posts: 11
Joined: 2006-12-27 21:01

Re: numothersock limit

Post by itsy »

Den günstigsten Dserver den ich bei Webhostlist mit confixx finden konnte kostet 20 € pro Monat. Das lohnt sich derzeit wohl eher nicht für mich. Dennoch möchte ich alle Freiheiten nutzen können.

Wenn ich die Erklärung in Deinem Wiki-Link richtig verstanden habe, dann braucht jeder numothersock memory und die Gesamtzahl an numothersock ist somit durch den max-Memory begrenzt.

Mein Provider bietet die Verdoppelung von CPU und RAM an. Meinst Du, daß dies ausreichend wäre?

Sicher ist ein DServer besser, jedoch wenn es auch mit doppelten Ressourcen funktionieren würde, wäre es für mich ein kompromiss von Preis und Leistung, den ich eingehen würde.

Danke :-)
Top

Roger Wilco
Administrator
Administrator
Posts: 6001
Joined: 2004-05-23 12:53

Re: numothersock limit

Post by Roger Wilco »

itsy wrote:Mein Provider bietet die Verdoppelung von CPU und RAM an. Meinst Du, daß dies ausreichend wäre?
Nein. Wenn die Anzahl der nicht-TCP-Sockets dort ebenfalls auf den gleichen Wert begrenzt ist, bringt dir ein Upgrade nichts. Kläre das vorher.

Und nochmal: VServer stinken.
Top

itsy
Posts: 11
Joined: 2006-12-27 21:01

Re: numothersock limit

Post by itsy »

Ich habe jetzt testweise für 3 Tage ein Upgrade erhalten.
nunothersock-limit liegt jetzt bei 384.

Mein Skript funktioniert damit ohne Ausfälle :-)
2. Nein, nur systemweit für den MTA.
1. Bedeutet dies, wenn ich nicht begrenze, dann werden mit jedem User, der sich im "Newsletter" anmeldet beim versenden mehr Ressourcen verbraucht, sodaß ich nach kurzer Zeit wieder am Limit bin?
Mit dem Upgrade komme ich derzeit problemlos aus und es wäre schön, wenn dies so bleiben würde, auch wenn es mehr User werden.

2. Ich habe im Netz gesucht und versucht Postfix zu begrenzen. Habe ich das richtig gemacht?

main.cf
default_process_limit = 10
master.cf
smtp inet n - - - 10 smtpd
smtp unix - - - - 10 smpt
smtps inet n - n - 10 smtp ...
3. Ich erhoffe mir, daß bei erreichen des von mir eingestellten Limits die Mails in der queue landen und dann nach und nach abgearbeitet werden.

4. Nach dem senden des Newsletters mit entsprechender master.cf und main.cf finde ich im mail.log einige "queue active". Daraus schließe ich, daß er nicht alle gleichzeitig sendet, sondern nacheinander abarbeitet.

Noch etwas, womit ich nichts anfangen kann:

5. a)netstat -uxpen|wc -l liefert mir im Ruhezustand nach wie vor 81 und bei Belastung ca 135 (b)Meinen Wert dachte ich aber auf 10 begrenzt zu haben?!)

5.a)Seit dem Upgrade wir mir im Powerpanel bei numothersock im Ruhezustand von ca 100 angezeit und bei Belastung ca 170 ?


6. Mit netstat -uxpen werden mir 48x "13549/master" angezeigt
google hat leider keine Antwort gebracht, wobei es schwierig ist die richtigen Suchbegriffe zu finden ;-)

Viele Fragen, die auf Antworten oder auf Links zu Antworten hoffen!
Top

User avatar
Joe User
Project Manager
Project Manager
Posts: 11518
Joined: 2003-02-27 01:00
Location: Hamburg

Re: numothersock limit

Post by Joe User »

PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Top

itsy
Posts: 11
Joined: 2006-12-27 21:01

Re: numothersock limit

Post by itsy »

Nach dem geposteten Link gibt "$default_process_limit" das gesamte Limit an, wobei dies nur durch explizit angegebene Werte überschrieben wird.

Somit sollte es also funktionieren?!

Zudem habe ich noch "default_delivery_slot_cost (default: 5)" gefunden. Dies verwaltet das Prinzip mit der Queue ?! Dieser ist aber defaultmäßig schon auf 5 eingestellt, was für Mailinglisten optimal scheint.


Gibt es vielleicht auch Ideen zu den anderen Punkten?
Top

User avatar
coltseavers
Posts: 182
Joined: 2009-11-04 00:43
Location: NRW

Re: numothersock limit

Post by coltseavers »

Hallo,
ich hab gerade mit gleicher Problematik zu kämpfen.
Mein Server ist mir wegen Erreichen des numothersock-limits abgestürzt!

das hat mich doch sehr gewundert, da ich bei meinem vserver ein numothersock-limit von 400 habe.
auf meinem debian lenny stable - server läuft nur ein apache2 mit php unter sehr geringer last sowie ein postfix mit dovecot.
laut server-hoster lag es am postfix, dass das limit erreicht wurde.

darüber laufen aber gerade mal 10 postfächer?!
intensiv genutzt werden davon 3 per imap.
reicht sowas schon aus um 400 nicht tcp-sockets zu benötigen?


was ich bei dem user itsy ausserdem nicht verstanden habe: sein server geht beim versenden von newslettern in die knie.
wenn mich nicht alles täuscht läuft das senden aber doch über den smtpd-prozess. dieser nutzt aber doch tcp-sockets - oder nicht?
Deshalb verstehe ich nicht, warum er damit das numothersocks-limit sprengt?!


Letzte Fragen:
Welche Prozess-Limits sind sinnvoll für z.B. 20 Postfächer?
20x smtp und 20x smtpd?
Wieviel nicht-tcp sockets öffnen diese prozesse jeweils?

Vielen Dank vorab für eure Hilfe!
Top

User avatar
coltseavers
Posts: 182
Joined: 2009-11-04 00:43
Location: NRW

Re: numothersock limit

Post by coltseavers »

Servus miteinander!

Ich habe soeben herausgefunden, dass dovecot der Übeltäter ist.
Dovecot hatte eben einen sprunghaften Anstieg der Sockets auf 286 Stück.
Keine Ahnung warum, der Server steht nämlich so gar nicht unter Last.
Ausserdem lief der Server bei identischer config (debian stable) immer problemlos.

Habe nun in dovecot login_processes_count auf 3 reduziert und login_max_processes_count auf 15.
Ich hoffe das hilft ein wenig...

Würd aber trotzdem gern die möglichen Ursachen kennen. Wer weiss Rat?
habe ich dovecot mit den o.g. settings gut eingestellt (10 Postfächer) - oder was empfehlt ihr?
Last edited by coltseavers on 2010-09-30 01:49, edited 2 times in total.
Top

teddio
Posts: 10
Joined: 2004-02-19 07:26

Re: numothersock limit

Post by teddio »

Hi,

ich kann dir die möglichen Ursachen leider nicht nennen, mich würde aber interessieren, bei welchem Hoster du bist, würde mich über eine PN freuen.

Achja, mein Problem ist exakt das gleiche. Wie monitorest du deine dovecot prozesse, mir gelingen immer nur minutenaufnahmen, nagios ist eh schon recht langsam...

MfG
Micha
Top

Mobiltelefon
Posts: 6
Joined: 2010-07-20 19:00
Location: Germany

Re: numothersock limit

Post by Mobiltelefon »

Ich hab seit vorgestern exakt (!) das gleiche Problem.
Das Limit liegt bei 400 und seit gestern schmiert mir der Server pünktlich Nachts um 4:30 Uhr ab (zweimal bisher - am 28.09 und heute). Im Syslog scheint es auch an Postfix zu liegen.

Ich nutzt auch Debian Lenny mit Postfix + Dovecot. Aktive Postfächer gibt es im Moment keine, nur Weiterleitungsadressen. Sonst langweilt sich der Server auch so ziemlich und lief mit der gleichen Config jetzt seit knapp 2 Monaten ohne ein einziges Problem 24/7. Ich werde heute mal die Konfigurationstipps durchgehen und evtl. mich auch mal diese Nacht hinsetzen wo diese Last herkommt.
Top

User avatar
coltseavers
Posts: 182
Joined: 2009-11-04 00:43
Location: NRW

Re: numothersock limit

Post by coltseavers »

Servus,

ich bin derzeit bei Hosteurope - fühle mich da generell auch sehr wohl.
Support-Anfragen wurden bisher immer anständig (und kostenlos) beantwortet und der Server lief bisher auch sehr gut.

Aber schon komisch, dass das Problem offenbar bei mehreren Leuten neuerdings auftritt. Seid ihr auch bei Hosteurope?

Ich habe bei Hosteurope übrigens das Produkt VirtualServer 4.0 L.
Hier die Specs:
http://faq.hosteurope.de/index.php?cpid=13281

Also mein Numothersock-Limit liegt auch bei 400.
Stellt sich nun die Frage, ob das generell für ne Combo aus Postfix und Dovecot mit 10 Postfächern ausreichend ist, oder nicht.
(ich vermute mal schon, weil sonst hätts ja nicht die ganzen monate vorher so problemlos funktioniert).

Habe aber nochmal die Frage an alle, wie man Dovecot und Postfix am besten im Zaum halten kann. Welche Prozesse erzeugen wann Unix-Sockets?

Viele Grüße,
Euer Colt
Top

User avatar
Joe User
Project Manager
Project Manager
Posts: 11518
Joined: 2003-02-27 01:00
Location: Hamburg

Re: numothersock limit

Post by Joe User »

Hosteurope oder Ihr habt nicht zufällig vor Kurzem ein Kernel-Update durchgeführt? Oder andere kritische Systempakete aktualisiert?
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Top

Mobiltelefon
Posts: 6
Joined: 2010-07-20 19:00
Location: Germany

Re: numothersock limit

Post by Mobiltelefon »

Joe User wrote:Hosteurope oder Ihr habt nicht zufällig vor Kurzem ein Kernel-Update durchgeführt? Oder andere kritische Systempakete aktualisiert?


Von HostEurope-Seite aus ist mir nichts bekannt. Ich selbst habe zuletzt vor ca. 1 Monat ein Systemupdate durchgeführt. Seit dem lief das VPS ohne irgendwelche Probleme oder Neustarts 24/7.
Top

User avatar
coltseavers
Posts: 182
Joined: 2009-11-04 00:43
Location: NRW

Re: numothersock limit

Post by coltseavers »

naja... stable halt. also wenn für die stable was rausgekommen ist, hab ichs auch installiert.
aber wenn das update nicht stabil wär, wärs doch nicht in die stable gekommen, oder??

und wenn ein gelangweilter prozess mal eben 280 sockets belegt ist das ja nicht wirklich ein zeichen für stabilität, oder?

also bei mir läuft folgendes:
kernel 2.6.18-028stab070.2
postfix 2.5.5
dovecot 1.0.15
Top

User avatar
Joe User
Project Manager
Project Manager
Posts: 11518
Joined: 2003-02-27 01:00
Location: Hamburg

Re: numothersock limit

Post by Joe User »

coltseavers wrote:naja... stable halt. also wenn für die stable was rausgekommen ist, hab ichs auch installiert.
aber wenn das update nicht stabil wär, wärs doch nicht in die stable gekommen, oder??

Nach der Definition dürftest Du nicht das aktuelle Problem haben ;)

coltseavers wrote:und wenn ein gelangweilter prozess mal eben 280 sockets belegt ist das ja nicht wirklich ein zeichen für stabilität, oder?

Eben.

coltseavers wrote:also bei mir läuft folgendes:
kernel 2.6.18-028stab070.2
postfix 2.5.5
dovecot 1.0.15

Bäh, ist das alt... Aktueller Debian-Kernel ist doch 2.6.18-028stab070.5, oder?

Code: Select all

postconf -n
dovecot -n
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Top

teddio
Posts: 10
Joined: 2004-02-19 07:26

Re: numothersock limit

Post by teddio »

Hi all,

um mal Licht ins dunkle zu bringen, der Provider ist bei mir der gleiche... Es liegt aber nicht an Hosteurope (naja, die beschränkung der numothersock schon mit der leben wir schon länger, nicht aber mit der ursache). Bitte prüft mal eure mail.info zu den uhrzeiten, ich habe anmeldeversuche mit IPs, 85.185.0.0, aus dem Iran, kommt mir schon etwas merkwürdig vor (gerade in Zeiten von Stux).

Habe dovecot jetzt mal die logins beschränkt auf 3, werde wohl diese nacht mal mit 1 fahren, wenn das nicht hilft werde ich morgen iptables droppen lassen.

MfG
Micha
Top

Mobiltelefon
Posts: 6
Joined: 2010-07-20 19:00
Location: Germany

Re: numothersock limit

Post by Mobiltelefon »

Mein Dovecot-Log quillt über mit Login-Versuchen aus 211.155.xxx.xxx was Bejing, China zugeordnet wird. Sieht verdammt nach Botnetz oder eben Wurm aus...
Top

teddio
Posts: 10
Joined: 2004-02-19 07:26

Re: numothersock limit

Post by teddio »

Jep, Honey Pot net hat die IP als BotNet identifiziert...

Dovecot hat eine Einstellung, login_process_count, die habe ich mal auf 3 beschränkt, sowie die max sockets in der master.cf. Werde morgen berichten ob es hilft...

MfG
Micha
Top

User avatar
Joe User
Project Manager
Project Manager
Posts: 11518
Joined: 2003-02-27 01:00
Location: Hamburg

Re: numothersock limit

Post by Joe User »

Dann solltet Ihr Euch entweder für POP3/POP3S oder IMAP/IMAPS entscheiden und den jeweils anderen deaktivieren. Das halbiert schonmal die Loginversuche. Wenn Ihr Euch zudem noch auf POP3S oder IMAPS beschränkt, sind es nur noch ein Viertel. Danach kann man bei Bedarf immer noch IPTables ausbuddeln.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.
Top

teddio
Posts: 10
Joined: 2004-02-19 07:26

Re: numothersock limit

Post by teddio »

Hi all,

also, ich habe login prozesse im dovecot beschränkt, desweiteren in der master.cf die maximalen processes für dovecot auf 3 und smtp auf 3, sowie smtp-amavis auf 2 gestellt.

HAt in sofern geholfen, als dass die prozesse nicht mehr abstüzen. Weiterhin schraubt dovecot die geschwindigkeit runter, wenn von einem user zu viele loginversuche kommen oder er stalled die prozesse des users...

ergebnis ist von September 28 1500 Loginversuche mit absturz
ergebnis ist von September 30 516 Loginversuche ohne absturz

Das einzige manko, in meiner mail.info steht er kann nicht genug memory allokieren, dass habe ich ihm ja auch mehr oder weniger durch die prozesse verboten... oder sehe ich das falsch?

Achja, heute war es wieder der Iran (aus einem Botnet)

MfG
Micha
Top

User avatar
coltseavers
Posts: 182
Joined: 2009-11-04 00:43
Location: NRW

Re: numothersock limit

Post by coltseavers »

Hi Micha,

ich glaube die von Dir ergriffenen Maßnahmen sind nur begrenzt geeignet um das Problem in den Griff zu bekommen.

Wenn da was steht von wegen nicht genug Memory, dann muß das nicht heissen, dass ihm zu wenig RAM zur Verfügung steht und das heisst, soweit ich weiss, auch nicht, dass er zu wenig prozesse hat.
Diese Fehlermeldung kam bei mir nämlich auch allein dadurch, wenn die Sockets bis zum Limit in Benutzung waren.

numothersocks gibt die Anzahl der Sockets (ich nenn sie jetzt mal Datenkanäle) an, die die Prozesse (systemintern) untereinander haben können/dürfen.
Wenn viele Loginversuche bei dovecot eingehen unterhält sich dovecot entsprechend intensiv mit postfix und ggfs mit dem ssl-modul etc, wofür dann diese sockets gebraucht werden.

Wenn alle Sockets belegt sind, können noch so viele GB RAM frei sein - in den logfiles steht dann trotzdem "cannot allokate memory".
Dieses Problem habe ich und offenbar einige andere auch hier insbesondere bei virtuellen Servern, da die Hoster die numothersocks auf wenige Hundert beschränken.

Um das Problem in den Griff zu kriegen bin ich nun hergegangen und habe in der dovecot.conf folgende Beschränkungen gemacht:
login_processes_count = 3
login_max_processes_count = 15

Derzeit springt die Anzahl der belegten Sockets noch auf Höchstwerte im Bereich von 300 Stück, wobei aber auch 60 Stück für den Apache draufgehen.
Der Rest verteilt sich dann auf postfix, dovecot, pop, imap etc.

Also 300 Stück ist in meinen Augen auch noch nicht optimal, aber besser krieg ich es als Laie derzeit nicht hin. Bisher läuft auch alles stabil - seitdem keinen Absturz mehr. Ich beobachte das mal noch ein paar Tage...
Top

teddio
Posts: 10
Joined: 2004-02-19 07:26

Re: numothersock limit

Post by teddio »

Hi,

habe das gleiche gemacht wie du, nur zusätzlich die maxproc in der maste.cf beschränkt.

An meine RAM Limits stoße ich nicht, sowohl an keine socket Limits. Deshalb wundert mich ja auch das er meldet nicht genug Speicher allokieren zu können.

Werde diese Nacht mal die Beschränkung in der master.cf raus nehmen.

MfG
Micha
Top

User avatar
coltseavers
Posts: 182
Joined: 2009-11-04 00:43
Location: NRW

Re: numothersock limit

Post by coltseavers »

Hast Du ein Virtuozo Power Panel? Falls ja, schau dort mal nach Ressourcenalarmen.
Top

teddio
Posts: 10
Joined: 2004-02-19 07:26

Re: numothersock limit

Post by teddio »

Hi,

hatte keine Ressourcenalarme mehr, seid dem ich die Einstellungen geändert habe. Seid gestern habe ich aber auch keine unangenehmen Loginversuche mehr.

MfG
Micha
Top