HiFi-Forum – bevorstehendes Server Update

Da wir wissen, dass viele von euch sich nicht nur für die Fassade, sondern auch für den “Maschinenraum” ihrer Lieblingsprojekte interessieren, möchten wir heute einen kleinen Einblick geben, was aktuell beim HiFi-Forum “unter der Haube” los ist.

Das letzte größere Server-Update ist inzwischen über 3 Jahre her, seitdem hat sich vieles im HiFi-Forum verändert. Die Forums-Datenbank wächst rasant in ihrer Größe. Um die Dimensionen, mit denen wir es hier zu tun haben, zu verdeutlichen:
Die Anzahl der Datenbankzugriffe im HiFi-Forum beträgt ca. 1.000 pro Sekunde, das monatliche Datenvolumen liegt inzwischen bei über 5 Terabytes (5.000 Gigabytes) und in die Galerie wurden in weniger als 3 Jahren bereits mehr als 500 Gigabytes an Bildern hochgeladen. Diese gestiegenen Zugriffe und Datenmengen führen zu immer häufiger auftretenden Performance-Problemen und längeren Ladezeiten, was völlig zu Recht von einigen HiFi-Forum Mitgliedern bemängelt wird.

Wir sind seit 2010 sehr zufrieden mit unserem Provider Hosteurope und arbeiten sehr gut und eng mit den Hosteurope Technikern zusammen. Aus den oben genannten Gründen bereiten wir bereits seit einigen Wochen gemeinsam die Umstellung des HiFi-Forums auf eine vollständig neue Server-Infrastruktur vor, mit der großen Herausforderung die Ausfallzeit dabei so gering wie möglich zu halten. Bislang nutzt das HiFi-Forum 3 Server (Datenbank, Webserver und Bilderserver), welches im neuen Setup auf 7 Server und einen Loadbalancer (Loadbalancing = Lastverteilung) ausgebaut wird.

Zum Hintergrund: Wir befinden uns inzwischen in einer Größenordnung, bei der wir von einer vertikalen Skalierung (immer schnellere Server), auf eine horizontale Skalierung (immer mehr Server die parallel arbeiten) umstellen müssen, was bei einer Community unserer Größe nicht so einfach ist, wie man vielleicht vermuten könnte. Um ein Beispiel zu geben: Es darf nicht passieren, dass wenn man auf Server A ein neues Avatarbild hochlädt und beim nächsten Klick eventuell auf Server B landet (durch die obig erwähnte Lastverteilung), dass das Bild dort nicht verfügbar ist, weil es auf Server A hochgeladen wurde. Derartige mögliche Stolpersteine räumen wir daher bestmöglich bereits im Vorfeld aus dem Weg.

Das neue Server-Setup hat folgende Ziele

1. (Noch) zufriedenere HiFi-Forum Mitglieder, dank schnellerem Zugriff auf euer Lieblings-Forum
2. Aktuelle Performance-Probleme beheben
3. Höhere Ausfallsicherheit
4. Bessere Skalierbarkeit für zukünftiges Wachstum des HiFi-Forums

Unsere zukünftig eingesetzte Hardware

– 2 Dell R710 Server (8 CPU-Kerne, 64GB RAM, 10 Festplatten [15k SAS, 73 GB, RAID 10]) als Datenbank Server (MySQL/Redis, Master/Slave Replikation)
– 3 Dell R210 Server (4 CPU-Kerne, 32GB RAM, 2 Festplatten [SATA, 500GB, RAID 1]) als Webserver (Apache)
– 1 Dell R210 Server (4 CPU-Kerne, 16GB RAM, 2 Festplatten [SATA, 2.000GB, RAID 1]) als Bilderserver (nginx)
– ein Loadbalancer, der den Traffic gleichmäßig auf die 3 neuen Webserver (Frontend-Server) verteilt, die wiederum auf die dahinter liegenden Datenbank-Server zugreifen (Backend-Server)

Die bevorstehende Umstellung wird derzeit akribisch von uns vorbereitet, um den reibungsfreien Betrieb des HiFi-Forums auch in Zukunft für euch sicherzustellen. Sie wird in mehreren Schritten erfolgen, wodurch das HiFi-Forum am Tag der Umstellung für mehreren Stunden nicht erreichbar sein wird. Die Umstellung wird in Kürze beginnen, den konkreten Termin der geplanten “nicht-Erreichbarkeit” werden wir an dieser Stelle, sobald er feststeht, bekannt geben.

Natürlich ist uns bewusst, dass Ladezeiten neben den gestiegenen Zugriffen und Datenmengen z. B. auch durch Google Analytics und Werbung beeinflusst werden können. Verzichten können wir nicht darauf, für den Foren-Betrieb bzw. die Finanzierung der neuen Server sind solche Themen unerlässlich. Daher arbeiten wir natürlich auch bei diesen Themen fortlaufend an der Verbesserung der Ladezeiten: So werden z. B. gewisse Elemente zukünftig asynchron nachgeladen, so dass die Seiten-Ladegeschwindigkeit des HiFi-Forums nicht mehr darunter leiden kann.

Durch die bevorstehende Umstellung werden sich zwar nicht alle Performance-Probleme der Vergangenheit in Luft auflösen, wir haben noch weitere Hausaufgaben im Bereich der Datenbank-Optimierung zu erledigen, aber es wird ein sehr wichtiger Schritt nach vorne sein.

Viele Grüße
Euer HiFi-Forum Team