Serverlösung für Video on Demand

[andi_kogler]

Hallo,

Leider sind meine Kentnisse über Server ziemlich begrenzt, und deswegen wollte ich hier um Rat fragen. Ich möchte gern ein Video on Demand Service auf Basis des progressiven Downloads realisieren.

Fakten:

- ca. 150 - 200 simultane User
- progressiver Download
- ca. 3 TB Speicherkapazität
- Bitrate pro Film: ca. 3,5 – 3,8 MBit/s

Beispiel: 150 User * ca. 4 MBit Videostream = ca. 600 MBit Bandbreite ergeben.

Könnte ein Porjekt möglicherweise wie untenstehen realisiert werden. Falls nicht - Wie könnte man ein derartiges Porjekt umsetzten?



(Ich möchte nämlich nicht unnötig teure Hardware kaufen, die ich im Endeffekt nicht benötigt hätte.)

[aquajo]

Beispiel: 150 User * ca. 4 MBit Videostream = ca. 600 MBit Bandbreite ergeben.

Könnte ein Porjekt möglicherweise wie untenstehen realisiert werden. Falls nicht - Wie könnte man ein derartiges Porjekt umsetzten?

Wenn dein RAID genug Performance liefert bei den Auftretenden Zugriffsmustern, dann kan das so funktionieren, dürfte aber spätestens bei 1-2 Nullen mehr nicht mehr skalieren.

Mein Ansatz wäre spontan einen (aus redundanzgründen gespiegelten) "backend"-Server aufzusetzen der die Daten enthält, und auf den Anwendungsservern diese Dateien zu cachen.
Wenn diese z.B. jeweils 1TB im Raid0 haben, stehen die Chancen gut, dass bei populären Videos garnicht der "Backend"-Server gefragt werden muss, wenn das Video vorher schon einmal genutzt wurde.

[andi_kogler]

Was mich brennend interessieren würde ist Performance dieser Storagelösung. Mit wie hohen Datenanfragen, sprich Usern, würden die beschreibene Server-Konfiguration zurecht kommen ohne in großen Leistungs-Schwierigkeiten zu geraten?

[djcrackman]

Bleibt die Frage was du schlussendlich für eine Lösung verwenden willst. Mit einem SATA-RAID5 (mit Standard 7200rpm Platten) wird das wohl eher eine traurige Aktion werden, sofern du viele kleine Dateien hast.

[andi_kogler]

Bleibt die Frage was du schlussendlich für eine Lösung verwenden willst. Mit einem SATA-RAID5 (mit Standard 7200rpm Platten) wird das wohl eher eine traurige Aktion werden, sofern du viele kleine Dateien hast.

Naja... im Endeffekt wären die Dateigroßen im Bereich von ca. 700 MB bis ca. 3 GB pro File.

[daemotron]

Der Flaschenhals bei der Geschichte ist definitiv der Zugriff auf das persistente Speichermedium. Selbst wenn Du (wie in der Grafik dargestellt) ein Storage Array verwendest, das per FC angebunden ist, heißt das IMHO noch lange nicht, dass Du da auch die entsprechend schnellen Zugriffe bekommst... In der Box stecken ja "nur" SATA-Platten, bei denen einfach bei 150MBit/sec Schluss ist. Und je mehr Dateien parallel gelesen werden müssen, desto stärker sinkt auch die Gesamt-Performance, weil zwischen den Reads immer noch Seeks laufen müssen - eine Platte kann halt nicht x-beliebig viele Dateien parallel lesen...

Am ehesten hast Du eine Chance, wenn Du die Storage-Lösung parallelisierst - sprich nimm lieber mehrere Appliances, die untereinander synchronisiert werden, auf die Du dann die Zugriffe verteilen kannst. Wenn Du die Platten innerhalb der Appliances auch noch clever zu Arrays zusammengefasst sind, solltest Du auch mit einer verhältnismäßig günstigen Technologie wie SATA noch befriedigende Ergebnisse erzielen können (siehe hierzu z. B. Beitrag von isotopp - bezieht sich zwar eigentlich auf Datenbanken, aber aus den Grundprinzipien lassen sich auch Rückschlüsse auf Dein Vorhaben ableiten)

[djcrackman]

Ich würde von der zentralen Lösung vollständig abraten - wenn die Kiste mal Sperenzchen macht ist dein Projekt offline.

3 bis 4 Backend-Server und die Daten entweder dynamisch verteilen (nach Größe, per Zufall etc) oder statisch verteilen (alles mit Anfangsbuchstaben x kommt auf Backend 1 etc).

PS: Bei solchen Projekten kommst du ohne SCSI selten aus.

[aquajo]

Könnte ein Porjekt möglicherweise wie untenstehen realisiert werden. Falls nicht - Wie könnte man ein derartiges Porjekt umsetzten?

Mir ist noch eingefallen, je nachdem wie das technisch Umsetzt, könnte CODA-FS http://www.coda.cs.cmu.edu/ eine Lösung für dich sein.

Du ersetzt das RAID durch einen Server (mit Raid) und ergänzt diesen dann bei bedarf durch weitere die sich automatisch replizieren.
Auf den Anwendungsservern legst du noch einen großzügigen Cache für den CODA-Client an ...