Loadbalancing Webservice

Serverdienste ohne eigene Kategorie
iceget
Posts: 50
Joined: 2005-03-23 13:50

Loadbalancing Webservice

Post by iceget »

Hallo liebe Rootforum Community,

ich habe aktuell ein Problem:

Ich habe bei Hetzner den aktuell (Jänner 2012) stärksten Server im Einsatz (1 Stück).

Technische Daten:
Intel® Core™ i7-3930K Hexa-Core
inkl. Hyper-Threading-Technologie
Arbeitsspeicher 64 GB DDR3 RAM
Festplatten 2 x 3 TB SATA 6 Gb/s HDD 7200 rpm (Software-RAID 1)
Netzwerkkarte 1 GBit mit 100 MBit-Anbindung

Dort lauft der HV XenServer 6.0.2 drauf.

Hier sind 3 virtuelle Linux Maschinen (Debian Squeeze) mit ISPConfig 3 drauf. Alle 3 VMs teilen sich die gesamte Performance des Servers.

Es laufen aktuell fast 800 Domains auf den 3 virtuellen Geräten (alle Dienste werden von diesem Server verwaltet (Webserver, Datenbankserver, Mailserver (+Spamfilter Softwarebasierend), Nameserver, FTP-Server,... und ich muss das ganze System von der Performance her upgraden (Apache 2 + MySQL sowie Postfix macht das System komplett lahm (um die Mittagszeit sind wir bereits von der Haupthardware auf 85% Auslastung).

Intel® Xeon® E3-1275 Quad-Core inkl. Hyper-Threading-Technologie hätten die auch zur Auswahl jedoch nur mit 16GB RAM.
Ich würde aber gerne bei Hetzner bleiben (Service & Support sowie
Preisleistung ist einfach Top).
Eigene Hardware dort zu installieren, wird auch nicht gemacht.

Nun die Frage:
Welche Loadbalancing Software sollte ich für Apache, MySQL, Postfix, BIND und ProFTPd verwenden?

Ich kann dort bliebig viele Server in ein Rack stellen und diese dann mit einer 1000er Netzwerkkarte vernetzen sodass ich intern auch eine hohe Datendurchsatzrate erreichen kann. Also auch ein Netzwerkkartenverbund ist kein Problem.

Habt ihr Erfahrungen? Was macht Sinn, was nicht?

MySQL-Cluster dachte ich mir, ist sicher schon mal nicht so verkehrt, oder?

Ich möchte gern auf den neuen "Nodes" wieder als Basis einen HV wie XenServer verwenden.

Auch dachte ich vielleicht ein Art Roundrobin durchzuführen (alle Dienste). Macht das Sinn?

Oder macht es mehr sinn einfach mehrere Server zu verwenden?
Ich meine auf einem der VMs habe ich eine MySQL Datenbank drauf die 8 Gigabyte hat, irgendwann wird die stärkste Hardware diese Datenbank auf einem Singleserver nicht mehr schaffen, ...

Achja noch etwas (anderer Server):
Wie kann es sein das eine virtuelle Maschine (Debian Squeeze) einen Load von 180.0 130.0 149.0 zusammen bringt, aber die vCPU's sogut wie nicht ausgelastet sind? Was ist gesund, und was nicht? Woher weiß ich wann ich die Hardware an ihre grenzen bringe? Der Hardwaremonitor (XenServer) zeigt mir an die CPUs der zugewiesenen Maschien doch erst bei zirka 10% ausgelastet sind?
Ich hoffe ihr könnt mir helfen!

Vielen Dank schon mal vorweg!

glg iceGet

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Loadbalancing Webservice

Post by Joe User »

Ich würde MySQL und den Mailserver auf jeweils eigene Hardware auslagern.
Zusätzlich könnte der Mailserver auch noch den Nameserver aufnehmen.

Das sollte schon reichen und macht das Loadbalancing und dessen Rattenschwanz überflüssig. Bei den kurzen Vertragslaufzeiten bei Hetzner würde ich das erstmal für ein/zwei Quartale versuchen.


Zur Load des vServer: Je nach Virtualisierung wird die Load des Hosts angezeigt. Gesund ist meiner Meinung nach Alles, was das System bis 95% pro Core inkl. HT auslastet. An einer bestimmten Load mache ich das nicht fest, denn solange ich mich als root noch per SSH einloggen und weitestgehend flüssig arbeiten kann, ist für mich Alles OK. Andere Admins sehen das vielleicht anders...
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

Da ich KPI Auswertungen führen muss, habe ich für mich und den Betrieb definiert:
Ist die gemessene Load im Durchschnitt = Anzahl Kerne besteht akuter Handlungsbedarf.
Überschreitet die Load zu spitzen die Anzahl der Cores um Faktor 2-3 besteht ebenfalls zwingender Handlungsbedarf. Ist ie Load generell kleiner als Anzahl der Core, ist alles im grünen Bereich.

Die Load allein ist meist wenige aussagekräftig. Diese muss natürlich im Zusammenhang von antwortzeiten, Storage auslastung (IOWait) und der tatsächlichen CPU Last betrachtet werden.

Je Users Ansatz, Applikation von Datenbank zu trennen ist schon mal der erste und richtige Ansatz.
Wenn Du allerdings über 800 Domains auf Deinem hobel hast, solltest Du Dir so langsam ein Betriebskonzept weg vom "Rootserver" überlegen.

Load Balanacing kannst Du übrigens mit einem vorgelagerten Proxy erreichen z.B. einem Apache Server. Zusätzlich hierzu ggf. mit mod_cache arbeiten. Das entlastetn die dahinter liegende System zusätzlich.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

iceget
Posts: 50
Joined: 2005-03-23 13:50

Re: Loadbalancing Webservice

Post by iceget »

Hallo und Danke für deine Antwort!

Also ist es erstmal besser DB und WebServer zu trennen.

Und auch zwecks Load brauche ich mir keine Gedanken machen wenn das System flüssig reagiert!

Danke für die Info!

glg iceGet
Joe User wrote:Ich würde MySQL und den Mailserver auf jeweils eigene Hardware auslagern.
Zusätzlich könnte der Mailserver auch noch den Nameserver aufnehmen.

Das sollte schon reichen und macht das Loadbalancing und dessen Rattenschwanz überflüssig. Bei den kurzen Vertragslaufzeiten bei Hetzner würde ich das erstmal für ein/zwei Quartale versuchen.


Zur Load des vServer: Je nach Virtualisierung wird die Load des Hosts angezeigt. Gesund ist meiner Meinung nach Alles, was das System bis 95% pro Core inkl. HT auslastet. An einer bestimmten Load mache ich das nicht fest, denn solange ich mich als root noch per SSH einloggen und weitestgehend flüssig arbeiten kann, ist für mich Alles OK. Andere Admins sehen das vielleicht anders...

iceget
Posts: 50
Joined: 2005-03-23 13:50

Re: Loadbalancing Webservice

Post by iceget »

Hallo und auch danke für deine Antwort!

Okay, also soll ich prinzipiell wirklich mal den Web und Datenbankserver sowie auch Mailserver auf andere Hardware auslagern.

Was meinst Du mit "weg vom Rootserver"?

Danke!

glg iceGet
ddm3ve wrote:Da ich KPI Auswertungen führen muss, habe ich für mich und den Betrieb definiert:
Ist die gemessene Load im Durchschnitt = Anzahl Kerne besteht akuter Handlungsbedarf.
Überschreitet die Load zu spitzen die Anzahl der Cores um Faktor 2-3 besteht ebenfalls zwingender Handlungsbedarf. Ist ie Load generell kleiner als Anzahl der Core, ist alles im grünen Bereich.

Die Load allein ist meist wenige aussagekräftig. Diese muss natürlich im Zusammenhang von antwortzeiten, Storage auslastung (IOWait) und der tatsächlichen CPU Last betrachtet werden.

Je Users Ansatz, Applikation von Datenbank zu trennen ist schon mal der erste und richtige Ansatz.
Wenn Du allerdings über 800 Domains auf Deinem hobel hast, solltest Du Dir so langsam ein Betriebskonzept weg vom "Rootserver" überlegen.

Load Balanacing kannst Du übrigens mit einem vorgelagerten Proxy erreichen z.B. einem Apache Server. Zusätzlich hierzu ggf. mit mod_cache arbeiten. Das entlastetn die dahinter liegende System zusätzlich.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

Ich habe bei Hetzner den aktuell (Jänner 2012) stärksten Server im Einsatz (1 Stück).

Das sind sogenante "rootserver".
Das ist hart betrachtet nur eine umgebogene Pizzaschahtel mit einem Maindboard etc. drauf.
Hetzner verbaut hier gelegentlich auch "Workstation" Hardware.
Auch wenn ih der Überzeugung dass Hetzner ein gutet Dienstleister ist, so muss ich doch sagen, dass diese Kisten "Brachenübergreifend" einfach nicht für einen professionellen Kundenbetrieb geeignet sind.

Man kann sicherlich sehr darüber streiten, aber ein eigener Schrank, mit eigener "richtiger" Serverhardware erlauben ganz anderen Möglichkeiten, Durchsatz und Stabilität.
Aber einen gewissen Grössenordnung wirds dann mit eigenem Schrank auch schon wieder günstiger.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

iceget
Posts: 50
Joined: 2005-03-23 13:50

Re: Loadbalancing Webservice

Post by iceget »

Hi,

achso, ja das stimmt auf jeden Fall, ...

Aber ich werde jetzt fürs erste einfach mal eigene Server aufbauen (Mysql1, 2, 3...) und wenn mal wirklich Dimensionen erreicht sind, dann muss man sowieso auf neue anständige Serverhardware zurückgreifen (das hosten der Hardware kostet eh fast nichts im vergleich zu den Anschaffungskosten, ...)

Oder was meinst Du?

Danke!

glg iceGet
ddm3ve wrote:Ich habe bei Hetzner den aktuell (Jänner 2012) stärksten Server im Einsatz (1 Stück).

Das sind sogenante "rootserver".
Das ist hart betrachtet nur eine umgebogene Pizzaschahtel mit einem Maindboard etc. drauf.
Hetzner verbaut hier gelegentlich auch "Workstation" Hardware.
Auch wenn ih der Überzeugung dass Hetzner ein gutet Dienstleister ist, so muss ich doch sagen, dass diese Kisten "Brachenübergreifend" einfach nicht für einen professionellen Kundenbetrieb geeignet sind.

Man kann sicherlich sehr darüber streiten, aber ein eigener Schrank, mit eigener "richtiger" Serverhardware erlauben ganz anderen Möglichkeiten, Durchsatz und Stabilität.
Aber einen gewissen Grössenordnung wirds dann mit eigenem Schrank auch schon wieder günstiger.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

Hetzner bietet Dir kein vlan. D.h. zumindest sehr theoretisch betrachtet könnte, sofern der Datenbanksyserver auf einem anderen Host liegt, jeder darauf zu greifen.
Eine Einschränkung über iptables etc. wäre zwar möglich, das Risiko dass ein solcher vermeindlicher Schutz umgangen wird oder versagt wäre mir zu gross.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

iceget
Posts: 50
Joined: 2005-03-23 13:50

Re: Loadbalancing Webservice

Post by iceget »

Das stimmt. Aber wenn ich jetzt noch 2 Stück von den selben Servern in einem Rack dazu nehmen würde (mit FlexiPack und jeweils einer zusätzlichen 1000er Netzwerkkarte) könnte ich ja (wenn überall der selbe Hypervisor drauf läuft) eine Art internes LAN aufbauen (was nur über diese drei Netzwerkkarten untereinander kommuniziert) oder?
ddm3ve wrote:Hetzner bietet Dir kein vlan. D.h. zumindest sehr theoretisch betrachtet könnte, sofern der Datenbanksyserver auf einem anderen Host liegt, jeder darauf zu greifen.
Eine Einschränkung über iptables etc. wäre zwar möglich, das Risiko dass ein solcher vermeindlicher Schutz umgangen wird oder versagt wäre mir zu gross.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

Dann benötigst Du noch einen Switch.
Dann ja.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

iceget
Posts: 50
Joined: 2005-03-23 13:50

Re: Loadbalancing Webservice

Post by iceget »

Hallo,

danke für die Antwort!

Okay, und was haltest Du davon wenn ich ins Internet direkt eine virtuelle Maschine hänge (offizielle IP) die als "FirewallRouter" fungiert, und dann ein NAT auf die einzelnen vms (interne IPs) mache?

Wenn ja, welche Distribution könnte ich als Firewall bzw. Router verwenden? Gibt's da was brauchbares?

Vielen Dank!

glg iceget
Last edited by iceget on 2012-05-03 11:41, edited 1 time in total.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

iceget wrote: Okay, und was haltest Du davon wenn ich ins Internet direkt eine virtuelle Maschine hänge (offizielle IP) die als "FirewallRouter" fungiert, und dann ein NAT auf die einzelnen vms (interne IPs) mache?
Eigentlich versucht man genau das sauber ud physisch zu trennen.

Als Betriebsystemn kommen sicherlich viele in Betracht. Vor llem die Systeme, die du in aus auswendig beherscht.
Ich würde hier (Firewall) auf eine geeignete Appliance setzen.
Egal welche nun, ob Astaro, endian oder was eigens basierend auf ipcop.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

User avatar
coltseavers
Posts: 189
Joined: 2009-11-04 00:43
Location: NRW

Re: Loadbalancing Webservice

Post by coltseavers »

Das sind sogenante "rootserver".
Das ist hart betrachtet nur eine umgebogene Pizzaschahtel mit einem Maindboard etc. drauf.
Hetzner verbaut hier gelegentlich auch "Workstation" Hardware.
Auch wenn ih der Überzeugung dass Hetzner ein gutet Dienstleister ist, so muss ich doch sagen, dass diese Kisten "Brachenübergreifend" einfach nicht für einen professionellen Kundenbetrieb geeignet sind.

Man kann sicherlich sehr darüber streiten, aber ein eigener Schrank, mit eigener "richtiger" Serverhardware erlauben ganz anderen Möglichkeiten, Durchsatz und Stabilität.
Da muss ich ganz klar widersprechen!
Es ist richtig, dass es da schlechte Kisten gibt, aber es gibt genauso auch sehr gute Pakete und Anbieter, die sehr professionelle Serverhardware bieten (Fujitsu, Dell, HP etc) - man muss halt nur mal die Angebote genau studieren. Solche Lösungen würde ich übrigens auch IMMER selbstgestrickter Hardware vorziehen, denn man hat schliesslich sämtliche Reparaturen und Wartungen inklusive, und - was noch viel wichtiger ist - man hat die Gewissheit, dass die Systeme stabil laufen, weil ausgereift und Tausendfach im Einsatz!!
Wenn man in Hannover wohnt und man eigene Server in Frankfurt ins Rechenzentrum stellt und der Raid-Controller knallt durch, was dann? Mit all solchen Dingen muss man sich bei fertigen Root-Servern nicht rumärgern. Es gibt auch Hoster, die SLAs anbieten, da hab ich dann garantierte Reaktionszeiten und Servicegarantien - was will man mehr? Und warum soll ich davon nicht 10 oder 20 Rootserver haben, wenn der Bedarf da ist? Ich sehe da kein Problem.

Zum Thema Load-Balancing wäre der einfachste Ansatz natürlich jener mit zufälliger Verteilung durch das DNS (www1, www2 etc) - was durchaus bei großen Seiten Anwendung findet (z.B. Hardwareversand.de).
Ein gutes Buch zu Loadbalancing ist übrigens: ISBN-13: 978-3868020045
(Du solltest Dich da auf jeden Fall mit Büchern dieser Art einlesen)

Thema Zusammenschalten mehrerer Kisten: Bestell Dir ein eigenes Subnetz, kriegt man ja auch bei jedem Hoster, und kostet nicht viel. Den Datenbankserver konfigurierst Du dann so, dass er nur noch mit Kisten aus Deinem Subnetz kommuniziert, und schon ist die Sache relativ sicher.

Thema Virtualisierung: Würd ich bei solch großen Dimensionen eher weglassen. Lieber für jeden Zweck ne eigene Rootkiste - da hast Du mehr Power, insbesondere was die HDD-IOPS angeht (was ja ein typischer Flaschenhals ist) stehst Du dann deutlich besser da.

Für nen Mailserver wird von Fachleuten häufig ein RAID10 empfohlen -> hat mehr IOPS als ein Raid1. Haben aber nicht alle Hoster im Einsatz. Bei Hosteurope z.B. ist es jedoch Standard.

So - ich hoffe da ist was hilfreiches für Dich dabei ;)

Gruß,
Colt

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Loadbalancing Webservice

Post by Joe User »

coltseavers wrote:
Man kann sicherlich sehr darüber streiten, aber ein eigener Schrank, mit eigener "richtiger" Serverhardware erlauben ganz anderen Möglichkeiten, Durchsatz und Stabilität.
Da muss ich ganz klar widersprechen!
Es ist richtig, dass es da schlechte Kisten gibt, aber es gibt genauso auch sehr gute Pakete und Anbieter, die sehr professionelle Serverhardware bieten (Fujitsu, Dell, HP etc) - man muss halt nur mal die Angebote genau studieren. Solche Lösungen würde ich übrigens auch IMMER selbstgestrickter Hardware vorziehen, denn man hat schliesslich sämtliche Reparaturen und Wartungen inklusive, und - was noch viel wichtiger ist - man hat die Gewissheit, dass die Systeme stabil laufen, weil ausgereift und Tausendfach im Einsatz!!
Du hast vermutlich "ein eigener Schrank, mit eigener "richtiger" Serverhardware" etwas falsch verstanden ;)
Gemeint war, dass man sich einen Serverschrank (Rack) und die benötigten Server bei einem Markenhersteller selber kauft und dann in ein Rechenzentrum vefrachtet. So kann man sich die Hardware nämlich passend zum eigenen Bedarf im Shop des Markenherstellers zusammenklicken, statt sich mit Wollmilchsäuen bei einem RootServer-Anbieter rumschlagen zu müssen.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

coltseavers wrote: Da muss ich ganz klar widersprechen!
Es ist richtig, dass es da schlechte Kisten gibt, aber es gibt genauso auch sehr gute Pakete und Anbieter, die sehr professionelle Serverhardware bieten (Fujitsu, Dell, HP etc) - man muss halt nur mal die Angebote genau studieren. Solche Lösungen würde ich übrigens auch IMMER selbstgestrickter Hardware vorziehen, denn man hat schliesslich sämtliche Reparaturen und Wartungen inklusive, und - was noch viel wichtiger ist - man hat die Gewissheit, dass die Systeme stabil laufen, weil ausgereift und Tausendfach im Einsatz!!
Da wir derzeit täglich rund 120 Serversysteme verbauen und in Betrieb nehmen, 20% Ausschuss, von einem Deiner genannten "Markenhersteller",
habe ich damit einen guten Beleg, das scheinbar "ausgereifte" Technik dank tausendfachem Betrieb, halt in der Produktion doch nicht immer mit dem besten Qualitätsanspruch behandelt werden. Massenprodukt.
Wichtiger ist hier der Service des Herstellers und eine ausgeklügelte redundante Landschaft. Ausfallsicherheit bzw. Hochverfügbarkeit als Stichworte.
coltseavers wrote: Wenn man in Hannover wohnt und man eigene Server in Frankfurt ins Rechenzentrum stellt und der Raid-Controller knallt durch, was dann?
Dann zieht in erster Instanz, die Hochverfügbare Umgebung.
2. Muss ich mich, je nach Anbieter, nicht mit einem gänzlich inkompetenten Telefonmitarbeiter herum schlagen und tagelang darauf warten, dass dann mal ein unzureichender Hardwaretest vieleicht auch einen defekt erkennt.

In einer professionellen Umgebung hat man einen remte Zugriff auf das System.
Bei HP heisst es, ilo, bei Dell iDrac und bei Sun Lom.

Und für den seltenen Fall der Fälle, bietet unser RZ Anbieter für 60,- EUR / Stunden einen Techniker, der im Bedarfsfall vor Ort geht und das System z.B. Tauscht oder eben den Servicetechniker des jeweiligen Herstellers an den Schrank lässt.
Mein Resume nach rund 8 Jahren Rootserver, Kosten halbiert, Qualität des Service vervierfacht.
coltseavers wrote: Mit all solchen Dingen muss man sich bei fertigen Root-Servern nicht rumärgern. Es gibt auch Hoster, die SLAs anbieten, da hab ich dann garantierte Reaktionszeiten und Servicegarantien - was will man mehr? Und warum soll ich davon nicht 10 oder 20 Rootserver haben, wenn der Bedarf da ist? Ich sehe da kein Problem.
Ich sehe da auch kein Problem, wenn man eben nicht Äpfel mit Birnen vergleicht.
coltseavers wrote: Zum Thema Load-Balancing wäre der einfachste Ansatz natürlich jener mit zufälliger Verteilung durch das DNS (www1, www2 etc) - was durchaus bei großen Seiten Anwendung findet (z.B. Hardwareversand.de).
Ein gutes Buch zu Loadbalancing ist übrigens: ISBN-13: 978-3868020045
(Du solltest Dich da auf jeden Fall mit Büchern dieser Art einlesen)

Thema Zusammenschalten mehrerer Kisten: Bestell Dir ein eigenes Subnetz, kriegt man ja auch bei jedem Hoster, und kostet nicht viel. Den Datenbankserver konfigurierst Du dann so, dass er nur noch mit Kisten aus Deinem Subnetz kommuniziert, und schon ist die Sache relativ sicher.
Relativ Sicher fühlt sich auch das aktuell bei Heise behandelte Thema an, dass man doch auf eine nicht unerhebliche Anzalh an Mysql DBMSe ach ohne gültiges Passwort kommt. So eine physische Trennung, nach 15 Jahren It Erfahrung, hat doch so seine unüberwindbaren hürden und ist nicht nur theoretisch "sicher".
coltseavers wrote:
Thema Virtualisierung: Würd ich bei solch großen Dimensionen eher weglassen. Lieber für jeden Zweck ne eigene Rootkiste - da hast Du mehr Power, insbesondere was die HDD-IOPS angeht (was ja ein typischer Flaschenhals ist) stehst Du dann deutlich besser da.
Löst man eigentlich durch iscsi, SAN (FibreChannel) oder andere professionelle Lösungen. Dann ist, auch wenn ich kein Virtualisierungsfreund bin, dieser Bottleneck ziemlich behoben.

Mit Verlaub, ich habe den Eindruck, dass Du mehr als Pizzaschachteln mit lokalen Platten, nicht durch praktische Erfahrungen kennst.

Ich dachte auch viel zu lange, dass eine proffesionelle Lösung viel zu teuer und viel zu unflexibel ist.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

User avatar
coltseavers
Posts: 189
Joined: 2009-11-04 00:43
Location: NRW

Re: Loadbalancing Webservice

Post by coltseavers »

Da wir derzeit täglich rund 120 Serversysteme verbauen und in Betrieb nehmen, 20% Ausschuss, von einem Deiner genannten "Markenhersteller",
habe ich damit einen guten Beleg, das scheinbar "ausgereifte" Technik dank tausendfachem Betrieb, halt in der Produktion doch nicht immer mit dem besten Qualitätsanspruch behandelt werden. Massenprodukt.
20% Ausschuss ist ne Zahl, die mich doch seeehr wundert. Falls das stimmt, ist es aber recht interessant, dass ihr die Kisten dennoch einsetzt...
(eigener Qualitätsanspruch des RZ?)
Wichtiger ist hier der Service des Herstellers und eine ausgeklügelte redundante Landschaft. Ausfallsicherheit bzw. Hochverfügbarkeit als Stichworte.
Da sind wir absolut einer Meinung - deshalb erwähnte ich ja auch entsprechende SLAs, mit denen man das Sicherstellen kann. Es gibt Hoster, die bieten sowas für ihre Rootserver an.
Und für den seltenen Fall der Fälle, bietet unser RZ Anbieter für 60,- EUR / Stunden einen Techniker, der im Bedarfsfall vor Ort geht und das System z.B. Tauscht oder eben den Servicetechniker des jeweiligen Herstellers an den Schrank lässt.
Das ist ja bei Rootservern des Hosters nicht anders! Und da muss ich mich nichtmal um Ersatzteile für meine eigene Hardware oder Stundenlöhner des Technikers sorgen... alles im Preis mit drin!
Relativ Sicher fühlt sich auch das aktuell bei Heise behandelte Thema an, dass man doch auf eine nicht unerhebliche Anzalh an Mysql DBMSe ach ohne gültiges Passwort kommt. So eine physische Trennung, nach 15 Jahren It Erfahrung, hat doch so seine unüberwindbaren hürden und ist nicht nur theoretisch "sicher".
Ja logisch soll das nicht die einzige Sicherungsmassnahme sein. Aber die von mir vorgeschlagene Subnetzkonfiguration stellt schonmal sicher, dass das DBMS nicht direkt aus dem Internet ansprechbar ist, und das ganz ohne Firewall o.ä.
Wird der Webserver gehackt hätte man auch Zugriff auf den DB-Server, klar - aber 100%ige Sicherheit gibts bei keiner Lösung (was nicht heissen soll, dass das ein zufriedenstellender Zustand ist).
Löst man eigentlich durch iscsi, SAN (FibreChannel) oder andere professionelle Lösungen. Dann ist, auch wenn ich kein Virtualisierungsfreund bin, dieser Bottleneck ziemlich behoben.
Auch da geb ich Dir natürlich recht. Aber ich hatte jetzt nicht den Eindruck, dass iceget schon auf diesem Level operiert.
Mit Verlaub, ich habe den Eindruck, dass Du mehr als Pizzaschachteln mit lokalen Platten, nicht durch praktische Erfahrungen kennst.
Ich habe noch nicht in einem RZ gearbeitet, falls Du darauf anspielst.
Hochverfügbarkeitslösungen habe ich auch noch nicht realisiert.
Deshalb würde ich mir auch nicht herausnehmen eine präzise Anleitung dazu zu geben, wie man sowas am besten umzusetzen hat.

Meine Hinweise auf Fachbücher, Subnetze, SLAs bei Hostern etc sollten lediglich nach bestem Wissen Aspekte aufzeigen, die man berücksichtigen kann/sollte und die Möglichkeiten aufzeigen sollten, die bisher bei dieser Diskussion noch keine Erwähnung fanden.

Und dass fertige Rootserver bei allen Hostern generell schlecht sind (so verstand ich jedenfalls Deinen Beitrag), der Meinung bin ich nun tatsächlich nicht, und die Erfahrung habe ich bisher auch bei den von mir gemieteten Servern nicht gemacht.

User avatar
coltseavers
Posts: 189
Joined: 2009-11-04 00:43
Location: NRW

Re: Loadbalancing Webservice

Post by coltseavers »

Gemeint war, dass man sich einen Serverschrank (Rack) und die benötigten Server bei einem Markenhersteller selber kauft und dann in ein Rechenzentrum vefrachtet. So kann man sich die Hardware nämlich passend zum eigenen Bedarf im Shop des Markenherstellers zusammenklicken, statt sich mit Wollmilchsäuen bei einem RootServer-Anbieter rumschlagen zu müssen.
Ja doch, so hatte ich das auch verstanden (wie auch sonst?).
Und ja gut, klar hat die Lösung Vorteile.
Aber auch bei Hoster-Rootservern kann ich mir die Hardware ebenfalls passend zusammenklicken (nämlich im Shop des Hosters), ich bin nicht auf einen Schrank oder ein RZ beschränkt (Redundanz), und ich habe bei eigener Hardware immer das Problem mit eigenen Ersatzteilen, und müsste im Falle eines Falles fremde Techniker an eigene Hardware lassen. Hinzu kommt der Aufwand des Aufbauens (alles zum RZ hinkarren, Arbeitsaufwand vor Ort etc), der Aufwand der Systempflege und des Erneuerns (geht auch wieder nur vor Ort) etc. Was wenn Eingriffe erforderlich, man selbst aber verhindert ist (Urlaub, Krankheit, Reise) -> qualifizierte Vertretung erforderlich.
Also durch Einsatz eigener Hardware ist der eigene Aufwand doch enorm höher, das sollte man nicht unterschätzen.
All das kann ich mir bei Hoster-Rootservern sparen, weil alles online/telefonisch administriert wird.

Es ist sicherlich so, dass es Einsatzzwecke und ein gewisses Level gibt, bei denen eigene Hardware dennoch (Kosten-)Vorteile hat (wär mal interessant durchzurechnen), aber ich hatte nicht den Eindruck, dass iceget (schon) diesen Bedarf hatte. Für eine 8GB-Datenbank und ein paar Webserver würd ich jetzt spontan erstmal nicht in solchen Dimensionen denken...
Last edited by coltseavers on 2012-06-12 13:42, edited 1 time in total.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Loadbalancing Webservice

Post by Joe User »

coltseavers wrote:
Da wir derzeit täglich rund 120 Serversysteme verbauen und in Betrieb nehmen, 20% Ausschuss, von einem Deiner genannten "Markenhersteller",
habe ich damit einen guten Beleg, das scheinbar "ausgereifte" Technik dank tausendfachem Betrieb, halt in der Produktion doch nicht immer mit dem besten Qualitätsanspruch behandelt werden. Massenprodukt.
20% Ausschuss ist ne Zahl, die mich doch seeehr wundert. Falls das stimmt, ist es aber recht interessant, dass ihr die Kisten dennoch einsetzt...
(eigener Qualitätsanspruch des RZ?)
Der Ausschuss bezog sich auf die zuvor betriebenen gemieteten RootServer bei einem bekannten deutschen Hoster, nicht auf die aktuell selbst gekauften und im RZ stehenden Server.
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

User avatar
coltseavers
Posts: 189
Joined: 2009-11-04 00:43
Location: NRW

Re: Loadbalancing Webservice

Post by coltseavers »

Dann war diese Formulierung aber etwas unglücklich:
Da wir derzeit täglich rund 120 Serversysteme verbauen und in Betrieb nehmen, 20% Ausschuss....
Viele Grüße,
Colt Seavers

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

Joe User wrote: Der Ausschuss bezog sich auf die zuvor betriebenen gemieteten RootServer bei einem bekannten deutschen Hoster, nicht auf die aktuell selbst gekauften und im RZ stehenden Server.

Falsch, der Ausschuss beläuft sich auf die gelieferte Hardware.
Mit dem Problem leben btw. auch die ganzen "Tollen" Provider mit etablierter Hardware.
Obwohl, einige davon haben sogar deutlich höherer Auschsusrate.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

User avatar
Joe User
Project Manager
Project Manager
Posts: 11137
Joined: 2003-02-27 01:00
Location: Hamburg

Re: Loadbalancing Webservice

Post by Joe User »

Oh, dann habe ich da etwas missverstanden :/
PayPal.Me/JoeUserFreeBSD Remote Installation
Wings for LifeWings for Life World Run

„If there’s more than one possible outcome of a job or task, and one
of those outcomes will result in disaster or an undesirable consequence,
then somebody will do it that way.“ -- Edward Aloysius Murphy Jr.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

coltseavers wrote: Es ist sicherlich so, dass es Einsatzzwecke und ein gewisses Level gibt, bei denen eigene Hardware dennoch (Kosten-)Vorteile hat (wär mal interessant durchzurechnen), aber ich hatte nicht den Eindruck, dass iceget (schon) diesen Bedarf hatte. Für eine 8GB-Datenbank und ein paar Webserver würd ich jetzt spontan erstmal nicht in solchen Dimensionen denken...

Bei 800 Domains, ggf. auch bis zu 800 Kunden oder mehr, ist das eigentlich schon eine Dimension, wo man sich zumindest mal gedanken zu Qualität machen sollte.

Unsere Externe Infrastruktur, Mailserver Webserver etc. für den Hausgebrauch umfasste 6 Serversysteme inkl. vlan etc.
Das ganze haben wir dann "weil ich auch lange glaubte, rechnet sich nicht" doch zu den anderen Bestandsystemene ins RZ umgezogen.

Es rechnete sich ziemlich zügig.

Die wichtigsten Punkte:
Handlungsfreiheit (kein Sysadmin der einem nen schmarren erzählt), Hoheit über die Systeme (Die Festplatten entsorge ich "persönlich" und Tausche die Systeme wenn Sie probleme bereiten) und Daten sowie flexible Lösungen für den Bedarf realisierbar ohne nennenswerte zusätzliche Kosten.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

User avatar
coltseavers
Posts: 189
Joined: 2009-11-04 00:43
Location: NRW

Re: Loadbalancing Webservice

Post by coltseavers »

Falsch, der Ausschuss beläuft sich auf die gelieferte Hardware.
Mit dem Problem leben btw. auch die ganzen "Tollen" Provider mit etablierter Hardware.
Obwohl, einige davon haben sogar deutlich höherer Auschsusrate.
... für mich ein Grund mehr, die Sache nicht selbst in die Hand zu nehmen.
Last edited by coltseavers on 2012-06-12 14:52, edited 1 time in total.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

coltseavers wrote: Und dass fertige Rootserver bei allen Hostern generell schlecht sind (so verstand ich jedenfalls Deinen Beitrag), der Meinung bin ich nun tatsächlich nicht, und die Erfahrung habe ich bisher auch bei den von mir gemieteten Servern nicht gemacht.
Die Infrastruktur gibt nicht genug her, um einen guten stabilen Betrieb zu gewährleisten.
Es ist ok, wenn man indivicuelle Wünsche Umsetzen will, aber weder ein eigenes RZ betreiben will geschweigedenn das Budget vorhanden ist.

Spätestens wenn man vom privaten Gedöhns weg will und im grossen Markt der Tollen Provider um Kunden schachert, sollte man eine halbwegs brauchbare Infrastruktur mit bringen.
Fängt z.B. schon mit einer entsprechenden dedizierten Firewall an.
Und da fängt es schon mit den Stolpersteinen und Hürden an.
Die Bandbreite 2er lokalen Platten ist ebenfalls begrenzt.

Ich habe mir kürzlich mehrere Systeme bestellt, mit Raid 10 SAS Platten 4 Stück / 8 Stück. Es gibt im Vergleich Provider die die gleiche Hardware anbieten ab 259,- EUR. Die Kosten für meine Systeme lagen bei ca. 1200,- EUR je Stück. Verglichen mit den Betriebskosten der ehemaligen Rootserver amortisiert sich die Investition schon im ersten Jahr.

Nicht mit Dabei war:
Dedizierte Firewalls, eine Trennung der internen Netze, für Backup, Verwaltung, Datenbankverbindungen usw.
SAN, geeignetes Monitoring, vpn Zugang ins RZ und die Möglichkeit bei einem physischen Defekt auch einfach mal die defekte Komponente zu tauschen. So kamm es vor rund 3 Monaten beim ex Provider zu einem Fall, dass wohl eine Netzteil defekt war. Mir versprache man, es würde nur das Netzteil getauscht. In der Realität war ein neuer Server verbaut und die Daten futsch. Ich hatte kene Chance mehr, das Systeme zu bereinigen.
Wer nun auf die Daten Zugriff hat, keiner weiss es so genau.
Es war zum Glück nur eine Testumgebung von daher nicht dramatisch.
Es hat mir aber gezeigt, so lange man nicht die Hoheit auf die Daten und Systeme hat, hat man auch keine Kontrolle darüber, was damit im späteren Verlauf passiert.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.

ddm3ve
Moderator
Moderator
Posts: 1182
Joined: 2011-07-04 10:56

Re: Loadbalancing Webservice

Post by ddm3ve »

coltseavers wrote:
Falsch, der Ausschuss beläuft sich auf die gelieferte Hardware.
Mit dem Problem leben btw. auch die ganzen "Tollen" Provider mit etablierter Hardware.
Obwohl, einige davon haben sogar deutlich höherer Auschsusrate.
... für mich ein Grund mehr, die Sache nicht selbst in die Hand zu nehmen.
Die Rootserver (Pizzaschachteln) haben teilweise eine viel höhere Ausschussrate. ;-)

Ein Grund mehr kein Billigprodukt zu nehmen.
02:32:12 21.12.2012 und dann sind Deine Probleme alle unwichtig.