Fast alle von euch werden es mitbekommen haben: Am vergangenen Montag den 26. November 2012, haben wir hier bei MTB-News.de unseren digitalen Black Monday erlebt. Was sich an diesem jenen Montag ereignet hat und welche Konsequenezn wir daraus gezogen haben, erfahrt ihr hier in einem kleinen Rückblick auf den Tag.
Montag morgen „Info: PING CRITICAL – Packet loss = 100%“ – eine E-Mail unseres Monitoring-Systems teilt uns um 6:44 mit, dass etwas nicht stimmt – zwei unserer Server bei Serverloft sind nicht ansprechbar. Selten kommt so etwas schon mal vor, wenn es Arbeiten am Netzwerk gibt und kurz etwas nicht funktioniert. So gingen wir davon aus, dass das Problem innerhalb kurzer Zeit wieder von selbst verschwindet, zumal nicht alle Server bei Serverloft betroffen waren.
Leider erfüllte sich unsere Hoffnung nicht und ein Anruf beim Hoster brachte auch nur ein wenig Erhellung – es gibt irgendein Problem, es soll aber in 90 Minuten wieder alles laufen. Mehr wollte oder konnte der Kollege am Telefon nicht sagen. Auf Twitter erfuhren wir von anderen Betroffenen, dass wohl eine ausgefallene Kühlung hinter der Misere steckte.
Da gleichzeitig zwei unserer Datenbankserver ausgefallen waren, funktionierten auch diejenigen Anwendungen nicht, die vom Ausfall nicht direkt betroffen waren (Fotos, Videos, Bikemarkt, Winterpokal uvm.). Die Server dieser Anwendungen stehen zwar bei einem anderen Anbieter (Hetzner) im Rechenzentrum, unsere zentrale Benutzeridentifikation läuft aber über genau die beiden ausgefallenen Server.
Als ein Ende der Auszeit gegen Montag Nachmittag immer noch nicht absehbar war, haben wir neue Server bei Hetzner bestellt, die uns in Rekordzeit zur Verfügung gestellt wurden. Der Plan war es, ab Montag Abend komplett zu Hetzner umzuziehen und Dienstag wieder vollumfänglich erreichbar zu sein. Die Nachtaktion blieb uns erspart, da sich Montag gegen Abend unsere Server dann doch wieder zurückmeldeten – gegen 21:30 Uhr lief MTB-News.de wieder.
Zu Hardwareausfällen kann es immer kommen, auch zu längeren Auszeiten – was uns allerdings nicht gefallen hat, war die fehlende Kommunikation. Den ganzen Tag über gab es keinerlei Informationen zum Ausfall auf der Website von Serverloft, die Supportler an den Telefonen konnten auch nur vage Auskünfte geben. Auch im Nachhinein gab es im kundeninternen Newsbereich keine Infos zum Offline-Montag o.ä.
Als abends nach über 13h Auszeit die Server wieder liefen, wurde unser Ticket geschlossen: „Das Problem wurde behoben, Ihr Server ist wieder online.“ Yeah, danke für die Info!“.
Wir arbeiten an einer Lösung, die die Nutzung der externen Anwendungen (Fotos, Videos, Bikemarkt…) erlaubt, auch wenn die Benutzerdatenbank mal vorübergehend nicht erreichbar sein sollte. Als Konsequenz für die mangelhafte Kommunikation werden wir mit MTB-News.de kurzfristig zu Hetzner umziehen und dann alle Seiten von dort aus ausliefern.
Kurzfristig heisst heute Abend – ab ca. 21:00 Uhr kann es zu Einschränkungen speziell im Newsbereich und im Forum kommen, wir werden euch im Schaltwerk auf dem Laufenden halten. Danke für euer Verständnis!
Update 23:00 Uhr: der Umzug ist abgeschlossen, willkommen auf den neuen Servern.
Das Problem: ich war die letzten Tage unterwegs und wenig online. 
50 Kommentare