Letzte Woche ist es mal wieder passiert, ich hab‘ einen Server „verloren“. – kein Backup? Kein Mitleid!
In einem OVH Rechenzentrum in Frankreich gab es in der Nacht auf Mittwoch einen Brand, der einen Teil des Rechenzentrums in Straßburg zerstörte. Auf einem Server im dortigen Rechenzentrum lief auch die Benutzerverwaltung für eine meiner Apps.
Bericht zum Brand aus dem OVH Blog.
Seit geraumer Zeit bin ich ein „Kein Backup? Kein Mitleid!“ Anhänger und wurde jetzt selbst auf die Probe gestellt. Also Notfallskript raus und abarbeiten.
Backup der Datenbanken und der serverseitigen App zur Benutzerverwaltung werden periodisch und bei Änderungen der Benutzerdaten erzeugt. Also an Daten war alles da. Da war es übrigens Mittwoch, 6:30.
Okay, da nicht klar war, wie lange der Teil des Rechenzentrums ausfällt bzw. ob er nicht unwiederbringlich zerstört ist, muss erstmal ein neuer Server her. Das dachten wohl einige OVH Kunden und der Bestellprozess für neue Server war nicht über’s Web erreichbar. Zum Glück hatte ich noch einen Server, den ich ausschließlich für Tests verwendete und gerade nicht unbedingt benötigte. Also darauf eine Neuinstallation eingeleitet und dann alle Server-Sicherheitsmaßnahmen aktiviert (wie z.B. kein Root über SSH
, Benutzeranmeldung nur mit Key nicht mit PW, Firewall, …). Mittwoch, 7:30Nach der Installation der Datenbanksoftware am Server, dem problemlosen Einspielen der Datenbankbackups (ja, vorher schon ein paarmal ausprobiert) und der Installation des Programmcodes der Benutzerverwaltung, lief der Server zur Benutzer-Authentifizierung eine App um kurz vor 8:00 wieder.
War aber noch nicht im Web erreichbar, weil der DNS Eintrag noch auf den alten Server zeigte. Der Eintrag ist zwar schnell umgebogen, es dauert aber einige Zeit, bis die Änderungen von allen anderen DNS Servern übernommen wurden. Um 8:30 war das bei mir der Fall und die Benutzerverwaltung für meine App lief wieder ohne Probleme. Für Nutzer/Kunden kann es durchaus etwas länger gedauert haben, bis der Eintrag für diese auch wieder okay war, moniert hat das aber keiner.
Der Ablauf zeigt, so ein Notfallskript, auf dem alle notwendigen Schritte einzeln aufgeführt sind, ist schon ganz schön hilfreich. Ich war in zwei Stunden mit meiner Benutzerverwaltung auf einen anderen Server umgezogen und damit bin ich zufrieden (… und meine Kunden auch).
Lessons learnt:
(1) „DNS Eintrag umbiegen“ steht jetzt im Ablauf direkt hinter „Neuen Server auswählen“ und nicht mehr am Schluß 😉
(2) In meinem Skript zum Backup der Datenbanken und des Programmcodes, sichere ich jetzt das Backupskript auch mit. Das musste ich neu erstellen. (Konnte ich zwar von einer anderen Anwendung, bis auf kleine Änderungen, direkt übernehmen, aber …) 😉