Cluster oder Rootserver?

[Anonymous]

Hallo an Admins and Roots,

ich hab´ne Idee und viele kleine Anfängerfragen und hoffe auf eure Antworten.

Ich habe vor eine Community (Profile, Foren, Bilderalbum usw.) auf PHP5-MYSQL5, LAMP Basis aufzuziehen.

Folgende Zahlen habe ich errechnet die auf mich zukommen werden(hoffentlich).

Besucher am Tag: 50.000 (Steigerung monatlich um 20 %)
Besucher gleichzeitig online/eingeloggt: 10.000
Jeder Besucher besucht pro besuch 20 Seiten also: 1.000.000 (1 Mio PIs) / Tag
Jeder Besucher erzeugt ca. 150 Kb pro Seite x 1 Mio PIs = 150 GB / Tag an Transfer
Jeder angemeldeter Mitglied soll 10 MB Speicherplatz(Bilder) bekommen.
Profile, Userdaten usw sollen in Mysql-DB gespeichert und abgefragt werden.
Wobei ich wegen den Scripts davon ausgehe, dass jeder Seitenaufruf min. 5 Mysql Verbindungen
aufbauen wird.
Also 1 Mio x 5 Verbindungen = 5 Mio. Sql Verbindungen/tag. Pro Sek. wären es durchschnittlich 57,8 Sql Verbindungen.
Wobei bei Stoßzeiten es durchaus viel mehr werden können.

Auf der Seite sollen user aktiv Kommentare, Votings, Postings schreiben können.
Das System(Server) soll ohne großen Aufwand erweiterbar sein.
Das ganze soll kostengünstig, schnell und Hochverfügbar sein.

Fragen:

1. Brauche ich einen Cluster lösung?

2. Wie viele Server brauche ich für den start?

3. Welche Hardware Spzfk. sollen die Server am besten haben?

4. Soll ich die Server lieber selbst kaufen/leasen und Housen oder lieber Managed Mieten?

5. Was haltet ihr von Flatrate-Traffic-Angeboten mit 10/Mbits oder 100/Mbits?

6. Welche Anbieter würdet Ihr empfehlen?

Ich hoffe es waren nicht zu viele Fragen, danke vorab.

Mike

[aubergine]

Fragen:

1. Brauche ich einen Cluster lösung?

Ist nicht kostengünstig, fang am besten mal mit einem starken Server an.


2. Wie viele Server brauche ich für den start?

1 Guten


3. Welche Hardware Spzfk. sollen die Server am besten haben?

z.B. so einen: 2 Quad Xeons, 2 mal 100GB SCSI Raid1 für DB und 4 mal 500GB SATA für Daten, 4 oder 8 GB RAM


4. Soll ich die Server lieber selbst kaufen/leasen und Housen oder lieber Managed Mieten?

Das musst du wissen



5. Was haltet ihr von Flatrate-Traffic-Angeboten mit 10/Mbits oder 100/Mbits?

Nicht viel da eigentlich alle eine Klausel zur Drosselung beinhalten und 10mbit zu Zeiten von DSL 16000 nichtmehr tragbar ist


6. Welche Anbieter würdet Ihr empfehlen?

Ist laut Forenregeln nicht erlaubt zu antworten

[Joe User]

4. Hardware selbst kaufen und dann housen.
5. Nichts.
6. Diese Frage bleibt hier gemäss Nutzungsbedingungen unbeantortet.

[daseddy]

Was haltet ihr von Flatrate-Traffic-Angeboten mit 10/Mbits oder 100/Mbits?

Ich kann mich ja irren, aber bei 10.000 gleichzeitigen Besuchern dürfte selbst eine 100MBit-Leitung etwas mager sein. Da gehen ja nur so um die 10,8MB/Sec durch und bei 10.000 Usern können ganz schnell man mehr als > 100MB/Sec sein die man braucht.

[Joe User]

und bei 10.000 Usern können ganz schnell man mehr als > 100MB/Sec sein die man braucht.

Selbst wenn diese 10.000 User in der selben Sekunde Daten anfordern würden, blieben jedem User ~12,5 KiloByte/Sekunde, mehr als ein ISDN-Anschluss hergibt, also mehr als genug. Nun fordern in der Realität aber nicht alle User in der selben Sekunde Daten an, so dass die 12,5 MegaByte/Sekunde (100MBit) Anbindung völlig ausreicht...

[oxygen]

und bei 10.000 Usern können ganz schnell man mehr als > 100MB/Sec sein die man braucht.

Selbst wenn diese 10.000 User in der selben Sekunde Daten anfordern würden, blieben jedem User ~12,5 KiloByte/Sekunde, mehr als ein ISDN-Anschluss hergibt, also mehr als genug. Nun fordern in der Realität aber nicht alle User in der selben Sekunde Daten an, so dass die 12,5 MegaByte/Sekunde (100MBit) Anbindung völlig ausreicht...

Eben. Wenn 10.000 Benutzer gleichzeitig auf den Server zugreifen würden, wäre die Bandbreite das geringste Problem. Das schafft kein Rootserver und auch kein kleinere Cluster. Da müsste schon eine Serverfarm her. Nur mal zum Vergleich, die meisten Rootserver stoßen bei 100-500 Usern an ihre Grenze, je nach Hard- u. Software.

[daseddy]

Selbst wenn diese 10.000 User in der selben Sekunde Daten anfordern würden, blieben jedem User ~12,5 KiloByte/Sekunde, mehr als ein ISDN-Anschluss hergibt, also mehr als genug. Nun fordern in der Realität aber nicht alle User in der selben Sekunde Daten an, so dass die 12,5 MegaByte/Sekunde (100MBit) Anbindung völlig ausreicht...

Es gibt viele Nutzer die mehr als ISDN-Geschwindigkeit haben (man denke mal an DSL). Weiterhin bauen die meisten Browser auch nicht nur eine Verbindung auf sondern mehrere.
In den Zugriffszahlen fehlen dann noch Google, Yahoo, MSN, ... die auch auf den Server zugreifen.
Mit anderen Worten. 100MBit gehen schnell drauf.
Übrigens: 100Mbit sind im realen Leben weniger als 12,5MB/Sek. Das Maximum einer 100MBit-Leitung liegt bei etwa 10,8MB/Sek.

[Joe User]

Es gibt viele Nutzer die mehr als ISDN-Geschwindigkeit haben (man denke mal an DSL).

Cool, war mir neu. Und für das bischen Plaintext und ein paar kleine Grafiken benötigt man mehr als 64KBit? Wie hat das Surfen nur vor 10 Jahren ohne DSL funktioniert? Und wie machen es die DSL-Unversorgten heute?

Weiterhin bauen die meisten Browser auch nicht nur eine Verbindung auf sondern mehrere.

Und sorgen damit ganz nebenbei für eine bessere Lastverteilung auf Serverseite, da die einzelnen Verbindungen vom Client nicht parallel aufgebaut werden (können).

In den Zugriffszahlen fehlen dann noch Google, Yahoo, MSN, ... die auch auf den Server zugreifen.

Client bleibt Client, egal ob er Karl-Heinz oder Google heisst.

Übrigens: 100Mbit sind im realen Leben weniger als 12,5MB/Sek. Das Maximum einer 100MBit-Leitung liegt bei etwa 10,8MB/Sek.

Nur weil Du den Overhead ignorierst, änderst Du an 8Bit=1Byte Nichts...

[daseddy]

Schade, dass hier gleich etwas unfreundlich geantwortet wird. Speziell vom Admin hätte ich einen anderen Umgangston erwartet. Ist doch kein Kindergarten hier.
Zur Thematik Verbindungsgeschindigkeit. Bei einigen meiner Projekte sind es mehr als 40% der Nutzer die mit mehr 128KBit/Sek durch das Internet surfen. Das Internet mit einem analogen Modem nicht funktioniert habe ich auch nicht behauptet.
Notiz am Rande:
Die meisten modernen Browser bauen mehrere gleichzeitige Verbindungen auf um das Laden der Seite zu beschleunigen.
Soviel von mir.

[Joe User]

Schade, dass hier gleich etwas unfreundlich geantwortet wird. Speziell vom Admin hätte ich einen anderen Umgangston erwartet. Ist doch kein Kindergarten hier.

-vvv please

Zur Thematik Verbindungsgeschindigkeit. Bei einigen meiner Projekte sind es mehr als 40% der Nutzer die mit mehr 128KBit/Sek durch das Internet surfen.

Und von Denen würde es keiner bemerken, wenn Du die Bandbreite für text/* und image/* auf 8KByte/Sek. pro Client drosseln würdest.

Die meisten modernen Browser bauen mehrere gleichzeitige Verbindungen auf um das Laden der Seite zu beschleunigen.

Richtig, nur werden die zusätzlichen Verbindungen nur zum Laden sogenannter externer Elemente aufgebaut und auch nur wenn überhaupt externe Elemente referenziert wurden. Zudem muss das Dokument erst bis zur externen Referenz geladen und verarbeitet sein, damit die zusätzliche Verbindung geöffnet werden kann. Das ist technisch nunmal nicht anders machbar und gut so, da es die Serverseite entlastet (Stichwort keep-alive).

[gierig]

Mal schnell in der Auslastungs Statistik geschaut, mhh die 600 User ballern die Leitung zu 32% dicht. Da sind ja noch Reserven. Ach ja, ist im übrigen ne 2Mbit Festverbindung....

Bandbreiten Probleme sind wohl eher nicht zu erwarten, die Probleme kommen
wenn du Streaming Inhalte anbietest. Aber nicht das bisschen html um ne Seite auszuliefern und auch die wenn sich die Leute Bilder ansehen, da zwischen Ansehen und nächstes Bild Laden genügend Pause ist damit der
Reqest von 1000 anderen bedieht werden kann. Klar wenn das Portal alle Bilder auf einer Seite in bester Auflösung anbietet kann es zu Problmen kommen. Das zeugt dann aber von schlechten Design des Portals.


Um zu Topic zu kommen:
Das Design ist entscheidend. Bei der Hardware würde ich auf
auf eigne Server Setzen und damit zu einem Hoster meines Vertrauens
gehen. Mit den richtigen Platten und Speicher ist das alles kein Problem.
DB und Bilder würde auf eigne Maschinen auslagern (und je nach bedarf durch
weitere/reduranzen) aufstocken. Sollte es erforderlich sein kann dann
noch per Loadbalancer (in Hardware) die Anfragen auf die Frontends
verteilt werden. In erster Linie bedarf es aber an Erfahrung mit
größeren Projekten sonst wird der Invest schnell zu zarten Erinnerung
in der Geldbörse.

[daseddy]

Ich gebe ja nicht so schnell auf, deshalb noch ein Rechenbeispiel. Vielleicht habe ich ja einen Denkfehler.

Ganz oben steht: 150 KB pro Seitenabruf
Da zieh ich jetzt einfach mal 100KB ab (CSS, Javascript und einige Bilder werden vom Browser gecacht + gzip des Webservers)

Bleiben also 50KB pro Seitenabruf und User.

Gehen wir davon aus, dass der User im Durchschnitt alle 15 Sekunden eine andere Seite aufruft. Weiterhin unterstelle ich allen User mit Analogmodem durch das Internet zu surfen (sagen wir damit es sich leichter rechnen läßt durchschnittlich 5KB/Sek. für den Modemuser)

Um eine Seite komplett zu laden braucht der User 10 Sekunden (50KB / 5KB).
Daraus können wir ableiten pro User gibt es alle 25 Sekunden einen neuen Abruf (10 Sek laden + 15 Sek. ansehen).
Bei 10.000 Usern macht das wiederum 400 Abrufe pro Sekunde.

Wir haben also 400 x 5KB (Die User die gerade anfangen die Seite zu laden) + 9 x 400 x 5KB (Die User die die Seite noch laden).

10 x 400 x 5KB = 20.000KB pro Sekunde

20.000KB/Sek > 100MBit/Sek

Daraus folgt: Die User können die Webseite nicht mit 5KB pro Sekunde laden, was die Ladezeit unnötig verlängert.


Ich lasse aber gerne mit mir reden.

[dtdesign]

Gehen wir davon aus, dass der User im Durchschnitt alle 15 Sekunden eine andere Seite aufruft

(...)

Um eine Seite komplett zu laden braucht der User 10 Sekunden

Autsch, das Beispiel ist etwas daneben geraten... zudem ist deine gesamte Rechnung utopisch, da die Gegebenheiten mehr als unrealistisch sind.

Gruß
dtdesign

[daseddy]

Du kennst den Unterschied zwischen Bit und Byte?
http://de.wikipedia.org/wiki/Bit
http://de.wikipedia.org/wiki/Byte

Faktor 8 in etwa ist der Unterschied.

Ja danke für den Hinweis ich kenne den Unterschied. Allerdings gehe ich davon aus, dass das oben nur ein Schreibfehler/Rechenfehler ist, da bei 150Kb (Kilobit) kein Gesamttraffic von 150GB (GigaByte) entsteht.
150KBit pro Seite x 1.000.000 PI = 17,46 GB pro Tag

Zur Utopie der Rechnung:
Es steht nicht da, um was für eine Art Community es sich handelt. In einem Forum wird die Zeit zwischen den Webseitenabrufen vielleicht größer sein, in einer Single oder Fotocommunity kann sie allerdings auch darunter liegen. Überlegt mal bitte wie ihr durch das Internet surft und wieviel Sekunden ihr eine neue Seite aufruft.
Ob die ganz oben getroffenen Aussagen überhaupt realitisch sind, dazu möchte ich mich nicht äußern. Ich bin von diesen Werten ausgegangen und habe alles auf dieser Grundlage berechnet, um zu zeigen das bei diesen Vorausetzungen die 100MBit Leitung nicht reicht.

Jeder Besucher erzeugt ca. 150 Kb pro Seite x 1 Mio PIs = 150 GB / Tag an Transfer

100MBit / sek = 12,5 MB/sek
Der Tag hat 86400 Sekunden.
150 000 MB / 86400 = 1,73 MB/sec Durchnitt.

Auch deine/ihre Rechnung hat somit zwei Fehler. Erstens stimmt die Annahme nicht, dass es sich hierbei zwangsläufig um KiloBit handelt. Zweitens setzt die Rechnung voraus, dass sich der gesamte Traffic gleichmäßig über den Tag verteilt. Ich danke Dir/Ihnen trotzdem für die Rechnung sie ist mir lieder als Aussagen aller:

Autsch, das Beispiel ist etwas daneben geraten... zudem ist deine gesamte Rechnung utopisch, da die Gegebenheiten mehr als unrealistisch sind.

[daseddy]

Ja danke für den Hinweis ich kenne den Unterschied. Allerdings gehe ich davon aus, dass das oben nur ein Schreibfehler/Rechenfehler ist, da bei 150Kb (Kilobit) kein Gesamttraffic von 150GB (GigaByte) entsteht.
150KBit pro Seite x 1.000.000 PI = 17,46 GB pro Tag

Autsch wohl war.

Habe ich einen Fehler in der Rechnung? Falls ja bitte ich um Aufklärung, ich lerne immer gerne etwas dazu.

Eine kurze spitze, ja das kann passieren aber das kann man auch verkraften.

Die empfohlende Anbindung des Servers wähle ich immer nach diesen Spitzen. Es nützt ja nicht, wenn die Seite 23 Stunden gut und 1 Stunde nur schlecht erreichbar ist.

[daseddy]

Jeder Besucher erzeugt ca. 150 Kb pro Seite x 1 Mio PIs = 150 GB / Tag an Transfer

KB = Kilobyte kbit = Kilo Bit.

Zum nachvollziehen meiner Rechnung:

150Kb = 150.000 Bit
150.000 Bit x 1.000.000 PI = 150.000.000.000 Bit pro Tag
150.000.000.000 Bit / 8 = 18.750.000.000 Byte
18.750.000.000 Byte / 1024 = 18.310.547 KB
18.310.547 KB / 1024 = 17.882 MB
17.882 MB / 1024 = 17,46 GB

Rechnen wir mit 1000 statt 1024 komme ich auf 18,75 GB.
Also nichts mit 150GB

Nachtrag:
Ich habe, soweit ich das sehe, die Bits nicht mit ins Spiel gebracht.

[daseddy]

Nun gut ihr habt alle Recht und ich habe unrecht.

[kama]

Hallo,

Besucher am Tag: 50.000 (Steigerung monatlich um 20 %)
Besucher gleichzeitig online/eingeloggt: 10.000

Mich würde hier interessieren, wo Du die Zahlen her hast?

Abgesehen davon, hast Du geschrieben dass Du Anfänger bist....Dann solltest Du Dir jemand suchen, der Ahnung von dem Thema hat....

MfG
Karl Heinz Marbaise

[alarenal]

Sinnigerweise würde man das System fertigstellen und eine Testphase einläuten, in der man noch mit Beschränkungen fährt, um das System auf Stabilität und Performanz zu testen und zu optimieren. Dann hat man auch halbwegs brauchbare Erfahrungswerte und Daten, auf Basis derer man entscheiden kann ob und wie man die Infrastruktur ausbauen kann / muss.

Sich blauäugig Zahlen auszudenken, vor allem in dieser Größenordnung, riecht danach als ob jemandem daran gelegen ist sein Geld das Klo runterzuspülen.

[Anonymous]

Danke an Alle für die Antworten.

Ihr habt recht sorry, ich sollte meine Frage etwas detaillierter und richtig stellen.

Es geht um eine Flirt-Community.

Am tag werden mindesten 50.000 User erwartet.

Stoßzeiten: 11-14 Uhr und 18-23 Uhr
Ich denke, dass bei Stoßzeiten min. 5.000 User gleichzeitig auf der Seite sein werden. Die Besucher werden nicht gleichzeitig auf Sekunden genau einen Seitenzugriff haben(Hoffe ich zumindest).

Aus Erfahrungen von solchen Communities weiß ich, dass jeder User 20-35 PIs erzeugt. Bilder anschauen usw.

1 Seite (Durchschnitt) = 150 KByte (HTML/CSS/Bilder)

Bei 50.000 Besucher x 20 PIs x 150 KByte pro Seite = 1 Mio PIs / 150 GB / Tag an Transfer.

Ich werde für den Anfang;
- als DB-Server einen Dual Core, 4 GB Ram, 2x 80 GB Schnelle platte (Mit Hardware Raid) nehmen
- als Webserver einen Dual Core, 2 GB Ram, 2x >250 GB platte (Mit Hardware Raid) nehmen

Später einen schwächeren Server für Fotos und einen für Mail und CSS usw. nehmen.

Nach meiner Rechnung sollten nach 6 Monaten die Besucherzahlen um das fünf fache steigen, also 250.000 Besucher am Tag.
Ob es dann ausreicht mit Bandbreite und Serverlast war meine Frage unter anderem.


Schönen Sonntag wünsche ich Allen.

[alarenal]

Ich wünsch dir viel Erfolg, aber dass ein solcher einfach vorausrechenbar wäre, ist mir neu. Ob das Netz nun ausgerechnet auf noch eine Verkupplungsseite gewartet hat? Man wird sehen...