Verkettung von unglücklichen Zeilen

Da wirft man mal ein paar Stunden keinen Blick auf den Server und schon ist dieser eingeschnappt. Beim Umzug von Hetzner wurden einige Zeilen nicht auf einen aktuellen Stand gebracht, die dazu führten, dass Postfix Amok lief. Der Reihe nach:

Auf meiner Dom0 läuft ein lokaler Postfix der eigentlich nicht viel zu tun hat, außer Cron Mails zu verarbeiten. Beim Umzug von Hetzner sind beim Rsync allerdings nicht alle Verzeichnisse und Dateien korrekt angepasst worden, sodass Postfix Amok lief und das Verzeichnis spool/postfix/Maildrop mit zig hunderten/tausenden Dateien befüllte. Jede nur ein paar wenige KB groß, sodass es im Monitoring nicht auffiel. Doch jede Datei benötigt auch eine Inode. Auf ext4 nach wie vor ein wichtiger Faktor.
Es waren dann irgendwann alle Inodes aufgebraucht, sodass Problem Nummer 2 zum tragen kam: LVM. Jede Nacht werden Snapshots für das Backup angelegt. Doch LVM benutzt für sein Locking ebenfalls den selben Einhängepunkt, wie Postfix (/var). Dadurch das Postfix alle Inodes aufgebraucht hat, konnte LVM keine Snapshots anlegen, ja nicht einmal LVs löschen oder sonstwie editieren. Das muss das System dermaßen aus den Tritt gebracht haben, das ein Reboot/Reset ausgelöst wurde. Booten wollte Debian allerdings auch nicht richtig, was Problem Nummer 3 zum Vorschein brachte: Mdadm. Dubioser Weise enthielt /etc/mdadm/mdadm.conf noch das falsche Raid (UUID) und somit auch die Initrd. Was seltsam daran ist, ist die Tatsache, dass das System ja schon bootete … die einzige Erklärung ist demnach, dass beim finalen Rsync die Datei überschrieben wurde uns somit in die Ramdisk gelangte.

Fazit: ein installiertes System per Rsync von A nach B zu schaufeln klappt zwar ganz gut, aber Fallstricke kommen schneller als der Admin denkt.

Deine IP ist:
54.224.90.112

4 Gedanken zu „Verkettung von unglücklichen Zeilen

  1. Tja,
    der Teufel ist immer im Kleingedruckten. Für einen Amateur fast schon erleichternd dass das auch manchmal so abgezockten Profis passiert. 😉

    Gruß,

    Michael

  2. Danke für die Info. Schade dass du so viel Ärger hattest.

    Hätte gehofft dass die üblichen „Reserven für superuser“ noch frei gewesen wären.

  3. Naja, das mit dem SuperUser funktioniert ja nur für Prozesse, die nicht als Root laufen. Außerdem weiß ich nicht, ob die 5% Regel auch für Inodes gilt.

  4. Ein Debian bei Hetzner sagt ja schon aus dass du wenig Lust auf Details hast.
    Die Dinge gehen halt schon, irgendwie.

    Gruß =P

Kommentare sind geschlossen.