Clustering und Hochverfügbarkeit
Posted: 2005-03-09 22:34
Hallo root's!
Habe gerade mal ein wenig nach Beiträgen zum Thema Hochverfügbarkeit, Clustering und Load-Balancing gestöbert und gesehen das es ja schon ein paar Leute gibt die sich damit auseinandersetzen oder es mal getan haben. Bisher habe ich aber mehr abschreckendes gelesen als Erfolgsmeldungen :-) Deshalb wollte ich ein paar von meinen Erfahrungen teilen - ich "spiele" gerade mit 2 root Server herum und versuche diverse Ideen zum Thema in dieser Umgebung umzusetzen....
Berufliche arbeite ich bei einem ISP, wir haben alle "customer facing systems" redundant and teilweise mit load-balacing laufen, privat sind die Mittel naturgemäss für solche Projekte nahezu null und so versuche ich das Beste für wenig Geld zu erreichen. Nach meinen bisherigen Erfahrungen würde ich auf jedenfall erstmal raten sich nur mit ausreichender Erfahrung an das Thema zu wagen wenn er produktiven Einsatz überhaupt anstrebt :) Beim Lesen bitte ich zu beachten das mir schon klar was für "richtige" HA/HP System nötig ist - vorhanden sind aber nur Standardrootserver, also sind Begriffe wie Clustering, Hochverfügbarkeit oder Load-Balacing immer als "best-efford" Technik zu sehen.
Die aktuellen root Server für diese Projekt sind 1Ghz P-III Kisten mit nem halbe Gig Speicher und einer 40GB Platte. Ziel ist es, mit diesen Systemen eine möglichst hohe Verfügbarkeit von Standardservices zu bieten, d.h. DNS/HTTP/FTP/SMTP/IMAP/POP/DB (incl. den "secure" Varianten) zu erreichen, später dann ggf. noch "load balancing". Als kleines Extra konnten die Server jeweils mit einer zusätzliche Netzwerkkarte ausgestattet werden, mit einem crossover Kabel haben die beiden Rechner hier einen eigenen/zusätzlichen Link. Darüber läuft ein tinc VPN.
Der Traffic für beide Server soll natürlich auch optimal ausgenutzt werden, wenn möglich. Jeder Server hat 4 IP's. Was natürlich/leider nicht möglich ist ist die Benutzung der IP's eines Servers auf dem Anderen. Aber auch hier gibt es eine Lösung.
Auf Kosten von etwas Performance habe ich mich entschieden die Dienste selber in User Mode Linux zu kapseln. Dadurch werden aber einige wesentlich einfach... Die beiden Server dienen in erster Linie dazu eine Basisinfrastruktur für die UML Boxen zu bilden. Dazu zählt DNS, Firewall, das Routen der IP's, syslog. Die Dienste selber sind auf je 2 UML's verteilt, einmal "Web", einmal "Mail". Jedes UML hat neben 2G System- eine 10G Datenpartition. Ingesamt existieren also 6 Systeme (bzw. die weitere System sind Supportsystem oder Testrechner). Syslog der UML's ist auf die beiden realen Boxen umgeleitet, das hilft ungemein beim Problemlösen wenn alle Rechner in einer Datei sind und selbst wenn ein realer Host ausfällt sind trotzdem alle Logs einsehbar.
Die 10G Datenpartitionen enthalten die komplette Konfiguration der Host-unabhängigen Systeme - alles Host-spezifische liegt normal auf der Partitions des UML's. Ã?ber DRBD werden die Datenpartitionen zwischen den beiden Partner auf dem aktuellen Stand gehalten, Network-RAID-1 wir der Author es schön verglichen hat... :) Nur ein Node (der aktive) hat diese Partition aktuell gemountet, der andere Node ist secondary bis er die Resource übernimmt. Da wirft ein Problem auf für die spätere Lastverteilung, wenn der 2. Knoten z.b. auch Requests beantworten soll - ihm aber die Daten fehlen.
2 UML's bilden einen Webcluster. Erstes Ziel war "Hochverfügbarkeit". Deshalb läuft je ein UML auf einem realen System, und zwar ist im Normalfall der Webserver auf dem ersten realen System und der Mailserver auf dem zweiten System. Fällt ein reales System (oder auch nur das "andere" dieses Services) übernimmt der andere Knoten. Alle Dienste laufen dann auf einem Rechner, nur in verschiedenen UML's. Für's monitoring der UML und den fail-over läuft natürlich heartbeart.
IMHO das größte Problem für eine HA Lösung auf root Servern ist das fehlen von IP-Migration - der ganze Cluster wäre etwas einfach zu bauen: falls ein Rechner ausfällt übernimmt der andere einfach IP + Dienste und macht weiter. Da das nicht vorhanden ist benutze ich für den "poor mans failover" die dynDNS Features von bind9.
Das sieht etwa so aus:
DNS: http://www.domain =CNAME=> web1.dyn.domain =CNAME=> (aktueller Node, A record)
Die dyn.domain ist aus Sicherheitsgründen zwischengeschaltet und nur diese akzeptiert dynamische Updates mit nsupate. Im Zweifel kloppt mir jemand diese Domain kaputt, der Rest der Domain bleibt aber ok - DNSsec ist natürlich Pflicht.... Wenn heartbeat den Ausfall des anderen Nodes erkennt und die Resourcen übernimmt, sendet es als erstes ein nsupdate mit dem neuen Ziel für den Webserver. Die TTL für diesen einen CNAME Eintrag in der dyn.domain bestimmt die Zeit, die für den fail-over Prozess notwendig ist (plus eine fixe Zeitspanne) - hier muss man abwägen: setze ich die TTL sehr niedrig an, z.B. 15s erhöht sich der DNS Traffic entsprechend und auch auf die Seitenperformance sind Auswirkung zu erwarten. Setze ich eine hohe TTL ist meine Seite länger nicht erreichbar... meine Experimente runter bis 30s TTL funktionieren bei bisherigen über alle möglichen Provider hinweg sehr gut (Umschaltzeit/Ausfallzeit ~ 30-40s).
Ja, das ist erstmal mehr geworden als ich eigentlich wollte... primär wollte ich eigentlich gerne Erfahrungen über erfolgreich angewandte Techniken anfragen. Natürlich gibt in obriger Konstruktion immer noch einige kritische Punkte und nicht alles interessante ist erklärt - ich überlasse es Euch nachzuhaken :)
Danke für's Lesen + Gruss
Posi
Habe gerade mal ein wenig nach Beiträgen zum Thema Hochverfügbarkeit, Clustering und Load-Balancing gestöbert und gesehen das es ja schon ein paar Leute gibt die sich damit auseinandersetzen oder es mal getan haben. Bisher habe ich aber mehr abschreckendes gelesen als Erfolgsmeldungen :-) Deshalb wollte ich ein paar von meinen Erfahrungen teilen - ich "spiele" gerade mit 2 root Server herum und versuche diverse Ideen zum Thema in dieser Umgebung umzusetzen....
Berufliche arbeite ich bei einem ISP, wir haben alle "customer facing systems" redundant and teilweise mit load-balacing laufen, privat sind die Mittel naturgemäss für solche Projekte nahezu null und so versuche ich das Beste für wenig Geld zu erreichen. Nach meinen bisherigen Erfahrungen würde ich auf jedenfall erstmal raten sich nur mit ausreichender Erfahrung an das Thema zu wagen wenn er produktiven Einsatz überhaupt anstrebt :) Beim Lesen bitte ich zu beachten das mir schon klar was für "richtige" HA/HP System nötig ist - vorhanden sind aber nur Standardrootserver, also sind Begriffe wie Clustering, Hochverfügbarkeit oder Load-Balacing immer als "best-efford" Technik zu sehen.
Die aktuellen root Server für diese Projekt sind 1Ghz P-III Kisten mit nem halbe Gig Speicher und einer 40GB Platte. Ziel ist es, mit diesen Systemen eine möglichst hohe Verfügbarkeit von Standardservices zu bieten, d.h. DNS/HTTP/FTP/SMTP/IMAP/POP/DB (incl. den "secure" Varianten) zu erreichen, später dann ggf. noch "load balancing". Als kleines Extra konnten die Server jeweils mit einer zusätzliche Netzwerkkarte ausgestattet werden, mit einem crossover Kabel haben die beiden Rechner hier einen eigenen/zusätzlichen Link. Darüber läuft ein tinc VPN.
Der Traffic für beide Server soll natürlich auch optimal ausgenutzt werden, wenn möglich. Jeder Server hat 4 IP's. Was natürlich/leider nicht möglich ist ist die Benutzung der IP's eines Servers auf dem Anderen. Aber auch hier gibt es eine Lösung.
Auf Kosten von etwas Performance habe ich mich entschieden die Dienste selber in User Mode Linux zu kapseln. Dadurch werden aber einige wesentlich einfach... Die beiden Server dienen in erster Linie dazu eine Basisinfrastruktur für die UML Boxen zu bilden. Dazu zählt DNS, Firewall, das Routen der IP's, syslog. Die Dienste selber sind auf je 2 UML's verteilt, einmal "Web", einmal "Mail". Jedes UML hat neben 2G System- eine 10G Datenpartition. Ingesamt existieren also 6 Systeme (bzw. die weitere System sind Supportsystem oder Testrechner). Syslog der UML's ist auf die beiden realen Boxen umgeleitet, das hilft ungemein beim Problemlösen wenn alle Rechner in einer Datei sind und selbst wenn ein realer Host ausfällt sind trotzdem alle Logs einsehbar.
Die 10G Datenpartitionen enthalten die komplette Konfiguration der Host-unabhängigen Systeme - alles Host-spezifische liegt normal auf der Partitions des UML's. Ã?ber DRBD werden die Datenpartitionen zwischen den beiden Partner auf dem aktuellen Stand gehalten, Network-RAID-1 wir der Author es schön verglichen hat... :) Nur ein Node (der aktive) hat diese Partition aktuell gemountet, der andere Node ist secondary bis er die Resource übernimmt. Da wirft ein Problem auf für die spätere Lastverteilung, wenn der 2. Knoten z.b. auch Requests beantworten soll - ihm aber die Daten fehlen.
2 UML's bilden einen Webcluster. Erstes Ziel war "Hochverfügbarkeit". Deshalb läuft je ein UML auf einem realen System, und zwar ist im Normalfall der Webserver auf dem ersten realen System und der Mailserver auf dem zweiten System. Fällt ein reales System (oder auch nur das "andere" dieses Services) übernimmt der andere Knoten. Alle Dienste laufen dann auf einem Rechner, nur in verschiedenen UML's. Für's monitoring der UML und den fail-over läuft natürlich heartbeart.
IMHO das größte Problem für eine HA Lösung auf root Servern ist das fehlen von IP-Migration - der ganze Cluster wäre etwas einfach zu bauen: falls ein Rechner ausfällt übernimmt der andere einfach IP + Dienste und macht weiter. Da das nicht vorhanden ist benutze ich für den "poor mans failover" die dynDNS Features von bind9.
Das sieht etwa so aus:
DNS: http://www.domain =CNAME=> web1.dyn.domain =CNAME=> (aktueller Node, A record)
Die dyn.domain ist aus Sicherheitsgründen zwischengeschaltet und nur diese akzeptiert dynamische Updates mit nsupate. Im Zweifel kloppt mir jemand diese Domain kaputt, der Rest der Domain bleibt aber ok - DNSsec ist natürlich Pflicht.... Wenn heartbeat den Ausfall des anderen Nodes erkennt und die Resourcen übernimmt, sendet es als erstes ein nsupdate mit dem neuen Ziel für den Webserver. Die TTL für diesen einen CNAME Eintrag in der dyn.domain bestimmt die Zeit, die für den fail-over Prozess notwendig ist (plus eine fixe Zeitspanne) - hier muss man abwägen: setze ich die TTL sehr niedrig an, z.B. 15s erhöht sich der DNS Traffic entsprechend und auch auf die Seitenperformance sind Auswirkung zu erwarten. Setze ich eine hohe TTL ist meine Seite länger nicht erreichbar... meine Experimente runter bis 30s TTL funktionieren bei bisherigen über alle möglichen Provider hinweg sehr gut (Umschaltzeit/Ausfallzeit ~ 30-40s).
Ja, das ist erstmal mehr geworden als ich eigentlich wollte... primär wollte ich eigentlich gerne Erfahrungen über erfolgreich angewandte Techniken anfragen. Natürlich gibt in obriger Konstruktion immer noch einige kritische Punkte und nicht alles interessante ist erklärt - ich überlasse es Euch nachzuhaken :)
Danke für's Lesen + Gruss
Posi