Gelernte Lektionen ...
Zu den Lehren, die ich aus dem Serverausfall gezogen habe, gehören die folgenden.
Wenn das RAID nicht fertig synchronisiert ist, brauche ich mich nicht mehr darum kümmern, die Daten sind weg. Die gesparte Zeit investiere ich besser in eine gute Planung des Restores, die ich eh machen muss.
Die Filekopie einer laufenden MariaDB-Datenbank-Instanz ist immer noch nicht möglich, auch wenn es anfänglich so aussieht. Die interne mysql-Datenbank und die Konfigurationsdatenbank meines Mailservers waren nicht korrupt, der Rest schon.
Einen Rettungsversuch der InnoDB-Datenbanken und MyISAM-Datenbanken kann ich mittels
Es ist sinnlos, die Kommunikation des Mailproviders über die Mailadresse zu führen, die auf dem ausgefallenen Server gehostet wird, vorher umstellen!
Sehr lohnenswert ist es ein Chattool zu nutzen, dass unabhängig von der eigenen Infrastruktur ist, dazu habe ich jetzt Slack eingerichtet, ich empfehle allen, die Dienste bei mir nutzen, sich bei mir per Mail zu melden. Künftig werde ich nicht mehr auf andere Anfragen reagieren.
Wenn das RAID nicht fertig synchronisiert ist, brauche ich mich nicht mehr darum kümmern, die Daten sind weg. Die gesparte Zeit investiere ich besser in eine gute Planung des Restores, die ich eh machen muss.
Die Filekopie einer laufenden MariaDB-Datenbank-Instanz ist immer noch nicht möglich, auch wenn es anfänglich so aussieht. Die interne mysql-Datenbank und die Konfigurationsdatenbank meines Mailservers waren nicht korrupt, der Rest schon.
Einen Rettungsversuch der InnoDB-Datenbanken und MyISAM-Datenbanken kann ich mittels
innodb_force_recovery = 1
bzw. myisam-recover = backup,force
in den Konfigurationsdateien vornehmen. Wenn das nicht hilft, sollte ich die Optionen auch wieder entfernen, weil sonst der Import der Datenbanken aus dem "richtigen Backup" nicht klappt. Die Fehlermeldung beim Import ist übrigens "Mysql error “#1030 - Got error -1 from storage engineâ€, das könnte auch sinnvoller benamt werden.Es ist sinnlos, die Kommunikation des Mailproviders über die Mailadresse zu führen, die auf dem ausgefallenen Server gehostet wird, vorher umstellen!
Sehr lohnenswert ist es ein Chattool zu nutzen, dass unabhängig von der eigenen Infrastruktur ist, dazu habe ich jetzt Slack eingerichtet, ich empfehle allen, die Dienste bei mir nutzen, sich bei mir per Mail zu melden. Künftig werde ich nicht mehr auf andere Anfragen reagieren.
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt
tux. am :
Dirk Deimeke am :
Zum Einen weil es keine vernünftigen Clients für Mobiltelefone gibt, zum Anderen weil es komplett öffentlich ist und zum Dritten weil nicht alle Dienstnutzer damit zurecht kommen.
Ich möchte auch nicht pro Dienst und pro Server einen eigenen Channel eröffnen im IRC.
Welchen Vorteil bietet mir ein fremdgehosteter IRC-Server gegenüber einem fremd gehosteten Slack-Server?
tux. am :
"Komplett öffentlich" ist es nicht unbedingt, du kannst ein Raum- oder sogar Serverpasswort (wobei Selbsthosten hier ja wegfällt) setzen. Ist auch nicht komplizierter als irgendsoein Käse mit "Einladungen", die man "bestätigen" muss. Und seine Mailadresse muss man auch nicht da lassen - bei Slack ist das meines Wissens anders. Das senkt die Datenschutzhürde und ist ein weiterer Pluspunkt.
Ansonsten funktioniert das IRC genau so wie Slack: Du hast Räume (beliebig viele, das Einrichten eines neuen ist wiederum deutlich leichter als bei Slack), unten ist eine Eingabezeile für Text und Befehle und oben steht der Chat, auf Wunsch auch in bunt.
Ich verstehe dein Problem nicht.
tux. am :
Dirk Deimeke am :
Du kannst auch Slack mit Deinem IRC-Client benutzen.
tux. am :
In meinem IRC-Client kann ich auch einfach IRC benutzen.
Dirk Deimeke am :
Ich benutze auch IRC, aber ich bin nicht der Massstab.
Dirk Deimeke am :
Was ist an "weil nicht alle Dienstnutzer damit zurecht kommen" falsch zu verstehen?
tux. am :
Dirk Deimeke am :
Matthias am :
Für MySQL gibt es mit "MyDumper" ein schnelles, einfaches Tool, das ähnlich "mysqldump" eine Test-Sicherung aller Datenbanken erstellt, und dabei performanter arbeitet als mysqldump.
Damit wäre eine zusätzliche Rückfallebene geschaffen, um potentiell korrupte Datenbanken schnell wieder zum funktionieren zu bringen. Grund ist die Art der Speicherung, da die SQL-Statements in einzelnen Dateien verpackt sind, welche sich durchaus selektiv zum Restore verwenden lassen.
Vielleicht verbessert das die Restore-Zeit bei dem einen oder anderen mit ähnlichen Problemen.
Dirk Deimeke am :
Du meinst dieses Tool hier, richtig?
Matthias am :
Hat mir bei der Arbeit mal nach einem Ausfall eines Slave-Servers ein paar Stunden Arbeit, und eine Downtime der Applikation erspart.
Fullbackup einer 30GB Datenbank innerhalb von 15 Minuten, und das Remote innerhalb eines Rechenzentrums.
Dirk Deimeke am :
Damit muss ich mal ein bisschen spielen, auch mit dem Loader, um Erfahrungen zu sammeln.
Toll!