Dirks Logbuch

Man kann viel über Tools lernen, wenn man nachvollziehbare Messungen macht.

Für mich hat sich als sinnvoll erwiesen, fünf Mal zu messen. Die beste und die schlechteste Messung wird gelöscht ("Ausreisser") und aus den verbleibenden drei Messungen nehme ich den Mittelwert.

Die Messungen für den Artikel dd vs. fallocate vs. truncate ... habe ich mit diesem Skript gemacht:


Dabei habe ich das Kommando eingesetzt, was ich gerade getestet habe.

Interessant ist, wie sich die Blocksizes bei dd auf die wirkliche Schreibperformance auswirken ... nämlich minimal. Hier kommen nur die mittleren der fünf Werte, die komplette Liste der Messwerte lässt sich hier sehen.

Gerade bei Virtualisierung kommt man nicht darum herum, Filesystem-Container in einer bestimmten Grösse anzulegen, wenn man nicht komplette Devices übergeben kann oder möchte.

Der Standardweg war bisher, einen solchen Container bzw. eine solche Datei mit dem Kommando dd zu erzeugen. Das kann zuweilen schon einmal einige Zeit benötigen, wie hier auf einem Testserver zu sehen ist:



Die Dauer resultiert daher, dass dd jeden einzelnen Block schreibt (bzw. kopiert) und 10 GiB schreiben, dauert ein wenig ...

Insbesondere ist spannend zu sehen, dass das dd-Kommando bereits nach etwa 21 Sekunden fertig ist, es aber weitere 80 Sekunden dauert bis alles auf der Festplatte ist.

Ein Arbeitskollege wies mich jetzt auf fallocate hin, was ich bisher noch nicht kannte.



Das Programm ist so schnell, weil nicht 10 GiB an Daten geschrieben werden, sondern nur der Platz für die Datei reserviert wird. Das ist völlig ausreichend für nahezu alle Anwendungsfälle.

Die Filesysteme, die fallocate unterstützt sind btrfs, ext4, ocfs2 und xfs.

Das dritte Programm im Bund ist truncate.



Es ist noch ein wenig schneller als fallocate, weil es mogelt. Es erzeugt ein "sparse file" und gaukelt dem Betriebssystem vor, dass dort eine Datei mit lauter Nullen zu finden ist. Spätestens wenn man eine bestimmte Position in der Datei springen oder etwas verändern will, werden die I/O-Operationen durchgeführt, die man anfänglich vermieden hat.

Aus Sicht des Nutzers sehen alle drei Dateien gleich aus.



Die Empfehlung ist aber, in jedem Fall fallocate zu nutzen und nicht dd oder truncate oder anders ausgedrückt, Ihr solltet wissen, was die drei Programme tun und dann das passende für Euren Zweck auswählen.

Der Monitoring-Dienst Bloonix von Jonny Schulz wird Open-Source-Software. Über den Dienst habe ich hier im Blog schon einmal berichtet.

Ich freue mich sehr darüber, da ich das für eine ausgereifte Lösung halte, die von Jonny mit viel Liebe gepflegt wird. Ausserdem ist es an der Zeit, dass es eine weitere Alternative zu den derzeitigen Platzhirschen gibt.

Well done!

In dem Zusammenhang: Mein privater Server wird von Bloonix überwacht.

Bezogen auf Linux denke ich gerade über einen Wechsel im grossen Stil nach. Beruflich habe ich neben kommerziellen Unixen (momentan zu 100% Solaris) nahezu ausschliesslich mit Red Hat Enterprise Linux zu tun.

Dem möchte ich gerne privat Rechnung tragen. Die Server sollen auf das "Community Enterprise Operating System" CentOS migriert werden und der Desktop auf Fedora. Das passiert nicht "von Heute auf Morgen", ich habe vorher noch dringendere Arbeiten zu erledigen.

Axel schrieb ja schon einmal:

Irgendwie werde ich das Gefühl nicht los, dass Dirk nie lange bei einer Distribution bleiben wird. Marcus scheint da ähnlich zu ticken. Wirklich verstanden wieso, habe ich bisher nicht.

Mir wäre es jedenfalls viel zu mühsam, alle paar Monate meine produktiven Kisten neuzuinstallieren und mich wieder an was neues gewöhnen zu müssen, trotz dass ich die meisten Konfigurationdateien für mein $HOME in Git-Repositories habe. (Ein weiter Grund für Debian: Nie Neuinstallieren, nur alle paar Jahre mal Dist-Upgraden.

Ja, ich habe die für mich ideale Distribution noch nicht gefunden. Nachdem letztlich ein Dist-Upgrade von Squeeze auf Wheezy mal so richtig viel Nacharbeit erfordert hat, hat das Ansehen von Debian bei mir eine deutliche Macke bekommen. Um eventuellen Nachfragen und dummen Kommentaren vorzubeugen: Es kamen keine Fremdrepositories zum Einsatz. Im "Normalbetrieb" kann ich mich nicht beklagen, da tut Debian seinen Dienst sehr gut.

Der Grund, der Axel bewegt bei Debian (für immer) zu bleiben, ist bei mir der Grund zu wechseln, ich möchte mich auch nicht immer an etwas Neues gewöhnen müssen. Der Unterschied ist, dass ich beruflich und privat zwei Welten bediene. Aber letzten Endes ist die Wahl der Distribution zweitrangig und fast nur Geschmackssache. Wie schon häufiger erwähnt, könnte ich meine private und berufliche Arbeit auf nahezu jedem System erledigen.

Eventuell liegt es auch an der Grundeinstellung, ich sehe mich eher als Linuxer als als Vertreter einer bestimmten Distribution. Und das wirklich schöne ist, dass man auch bei einem Distributionswechsel fast alles weiterverwenden kann, die Programme sind ja grösstenteils die gleichen.

Im Job sind die meisten Server nur einer einzigen Aufgabe (oder Webseite) zugeordnet. Privat verwalte ich rund 30 Domains mit entsprechenden Diensten.

Da ich nicht das Debian-Konfigurationsschema auf CentOS portieren möchte, suche ich nach Dokumentation, die gezielt auf Debian-Umsteiger abzielt. Habt Ihr da Tipps?

Bezüglich Fedora brauche ich noch Hinweise auf "non-free" Software, leider für die üblichen Verdächtigen mp3-Support, DVD und Flash. Da scheint RPM Fusion das Mittel der Wahl zu sein. Weitere Tipps nehme ich sehr gerne entgegen.

Bin für jeden Hinweis dankbar.

Ich bin mir nicht sicher, ob das für irgendjemanden hilfreich ist.

Die Schulung habe ich vor fast einem Jahr gehalten und ohne meine Erläuterungen helfen die "Folien" vielleicht nicht so viel. Die Firmeninterna, die ich ebenfalls geschult habe, wurden aus der Präsentation entfernt.

Highlights sind vielleicht, die allgemeine Einführung (Seiten 3-10), Überblick Filesysteme (Seiten 29-32), Einführung vi(m) (Seiten 33-43) und Links und Literatur (Seite 92-99).

Euer Feedback ist erwünscht.



linux.pdf (etwa 900 kB, Links sind klickbar)

Gestern gab es eine hässliche Spamattacke auf meinen Hauptserver.

Das schöne ist, das nichts abgestürzt ist, das dumme ist, dass die wichtigen Mails nur mit erheblicher Verzögerung zugestellt wurden.

Es hätte schlimmer kommen können ...



Innerhalb kürzester Zeit sind fast 30'000 Mails auf dem Server aufgeschlagen. Wie man an der Abarbeitungsrate sehen kann, bietet die Antiviren- und Spamerkennung noch Optimierungspotential.

Per-Hour Traffic Summary
------------------------
    time          received  delivered   deferred    bounced     rejected
    --------------------------------------------------------------------
...
    0800-0900          18         20       1528          1          3
    0900-1000        4924       4699       4677        644          6
    1000-1100       19486       3275       3394       3257         29
    1100-1200        4569       3257       3010       3244          7
    1200-1300         965       3292       5970        949          3
...

Bei Jochen habe ich das GitHub-Repository sysadmin-util gefunden. Darin enthalten sind einige wirklich interessante Tools.

Neben anderen haben es mir die folgenden besonders angetan:

• ago: Zeigt in einer menschlich lesbaren Form wie lange die letzte Änderung einer Datei her ist.
• empty-dir: Gibt zurück, ob ein Verzeichnis leer ist oder nicht.
• since: Zeigt alle Ausgaben seit dem letzten Lesen einer Datei, sehr hilfreich, um Logs zu verfolgen.
• timeout: Timeout killt ein Kommando, nach einer bestimmten Laufzeit.
• with-lock: Startet ein Kommando mit einer Lockdatei und verhindert so, dass es zwei Mal ausgeführt wird.

Natürlich kann man das auch alles selber machen, aber zu verstehen, wie andere das implementieren, erweitert den Horizont.

Weil ich danach gefragt wurde:

Es gibt natürlich unfassbar viele Webseiten zu Linux. Hier sind Bücher, die ich empfehlen würde (es gibt noch viel mehr), ich habe bewusst, deutschsprachige Bücher ausgewählt. Unter der ISBN verbirgt sich ein Affiliate-Link.

Einführung in Linux

Linux 2013; Michael Kofler (DIE Linux-Bibel); ISBN 978-3-8273-3208-0

ACHTUNG: "Der Kofler" kommt vermutlich in den nächsten Wochen in einer aktualisierten Auflage bei Galileo Computing.

Für Basiswissen müssen es nicht die aktuellen Exemplare sein.
Linux 2011
Linux 2012

Einstieg in Linux; Steffen Wendzel, Johannes Plötner; ISBN 978-3-8362-1939-6

Linux, Das umfassende Handbuch; Johannes Plötner, Steffen Wendzel; ISBN 978-3-8362-1822-1

Dummies

Lasst Euch bitte vom Titel nicht beeindrucken, aber die Dummies-Reihe ist immer sehr gut:

Linux für Dummies; Richard Blum; ISBN 978-3-527-70649-5

UNIX für Dummies; John R. Levine, Margaret Levine Young; ISBN 978-3-527-70265-7

Befehle

Es ist leider vergriffen, aber wenn Ihr noch eine Kopie ergattern könntt, lohnt es sich. Enthalten sind fast alle wichtigen Manpages und sie sind übersetzt auf Deutsch.

Linux in a Nutshell; Ellen Siever, Aaron Weber, Stephen Figgins, Robert Love, Arnold Robbins & Lars Schulten

Eigenwerbung für Fortgeschrittene

Linux-Server, Das Administrationshandbuch; Dirk Deimeke, Stefan Kania, Charly Kühnast, Stefan Semmelroggen, Daniel van Soest; ISBN 978-3-8362-1879-5

Mein Kollege Roland hat mich auf das wirklich tolle Tool dstat aufmerksam gemacht. Dstat ist ein Tool mit dem man Ressourcenverbrauch beobachten kann und - noch wichtiger - es ist bunt. Nein, das wirklich spannende ist, dass man seine Messungen mit Timestamps versehen kann, das ist das, was vielen anderen Tools leider fehlt.

Zusätzlich kann es die Ausgaben auch in eine CSV-Datei schreiben, was die spätere Analyse erleichtert.

dstat -v zeigt beispielsweise alles an, was auch vmstat anzeigt, dstat -tv hängt einen Zeitstempel vor die Ausgabe. Und, noch interessanter dstat -tv 5 schreibt - wie vmstat - alle fünf Sekunden einen Summenwert aktualisiert aber jede Sekunde, so dass man die Entwicklung beobachten kann (der grüne Wert im Screenshot).



dstat hat eine grosse Menge an Kommandozeilenoptionen, zum Beispiel dstat -tclmgry, ein Blick auf die Manpage lohnt sich!

Eigentlich ist es schön blöd, so viel mit Open-Source-Software zu machen und die eigenen "Kleiningkeiten", die das Leben erleichtern, nicht zu veröffentlichen.

Daher habe ich mich entschieden, meine Skripte mal in eine vorzeigbare Form zu bringen und in einem eigenen GitHub-Repository zu veröffentlichen.

ddeimeke/littlehelpers

Vielleicht kann das ja jemand von Euch auch gebrauchen.

Weil mich gerade jemand via E-Mail danach gefragt hat, hier einmal die kurze Erklärung, wie man Swapspace bekommen kann, selbst dann, wenn man kein freies Device mehr hat.

Zuerst eine Datei erzeugen (hier 1 GB als Beispiel), die später den Swap aufnehmen soll, /pfad ist der Weg zu einem Dateisystem mit ausreichend Platz:


Im nächsten Schritt wird aus der Datei eine swap-Datei gemacht:


Jetzt wird sie noch als Swap hinzugefügt:

Die Priorität 0 (bis 32767) ist die niedrigste, die vergeben werden kann. Das bedeutet, der Swapspace wird nur dann benutzt wenn der Swap mit höherer Priorität bereits verbraucht wurde.

Um diese Änderung dauerhaft zu machen, muss der neue Swap noch in die /etc/fstab eingetragen werden.
/pfad/swapfile none swap sw,pri= 0 0

Version 7.0 von Debian ist in der letzten Nacht veröffentlicht worden. Meiner Meinung nach ist das ein sehr gelungenes Release, ich benutze es schon seit Anfang des Jahres auf meinem Desktop und Notebook.

Wer sich für die einzelnen Schritte interessiert, die vor und mit einem Release durchgeführt werden müssen, kann sich einmal den Hashtag #releasingwheezy beispielweise bei identi.ca anschauen. Da kommt schon einiges zusammen.

Wichtig: Ab jetzt wird Debian Squeeze, die Vorgängerversion, nur noch ein Jahr lang unterstützt. Für Produktionsmaschinen rate ich ein halbes Jahr zu warten bis Ihr das Upgrade auf Wheezy durchführt.

Meine bessere Hälfte brauche einen Tapetenwechsel und hat sich nach Linux Mint nun für Manjaro Linux mit Cinnamon entschieden. Manjaro basiert auf Arch Linux und ist eine Rolling Release Distribution. Alles ist - wie ich finde - sehr logisch aufgebaut und die Optik macht "einen schlanken Fuss". Manjaro nutzt eigene Repositories und nicht die von Arch, daher ist nicht alle Software auf Anhieb verfügbar.



Ich bin derzeit mit Debian glücklich, muss aber gestehen, dass Manjaro in jedem Fall einen zweiten Blick wert ist. Einzig backintime vermisse ich, ansonsten: Daumen hoch.

Auf Drusus, meinem Hauptrechner, hat die eingebaute Platte versagt (ja, ich habe ein aktuelles Backup). Der Bootprompt wurde nicht angezeigt und die Platte rödelte sich in einem Timeout. Ich ging von einem Hardwareschaden aus, was glücklicherweise falsch war

Um zu reparieren, habe ich die SystemRescueCD heruntergeladen, aber die gängigen Verfahren (unetbootin, dd) führten leider nicht zum gewünschten Erfolg. Klasse ist es, wenn Projekte (sehr) gut dokumentiert sind. Es gibt ein Howto, das beschreibt, wie man das macht und besser noch, es gibt sogar ein Skript, dass die ganze Arbeit übernimmt.

Wenn man sich dabei nur an die Übersicht hält und aus Gewohnheit nach /mnt mountet, ist man verloren. Glücklicherweise gibt es aber eine Logdatei, die den Fehler offenbart und die Anleitung auf der Webseite zeigt, wie man es für die SystemRescueCD richtig macht.

Ach ja, nach Booten vom Stick zeigte ein fsck /dev/sda1, dass der Startsektor defekt war, glücklicherweise legt das Filesystem (ext4) auch davon Backups an, nach einer beängstigenden Anzahl von gemeldeten Fehlern und automatischer Reparatur fdisk -y /dev/sda1 derselben, läuft der Rechner auch wieder. Yippieh! Journaling Dateisysteme machen schon Spass.

Apropos Live-Systeme, Roman und ich sprechen in der aktuellen DeimHart-Episode über Live-CDs.

Kurz nach Aufnahme der aktuellen DeimHart-Episode habe ich auf der Website von Backintime den user-callback entdeckt, der genau das leistet, was ich brauche.

Unser NAS stellt Verzeichnisse per NFS bereit, die ich via automount einbindet. Das bedeutet, ich wechsele in das Verzeichnis, wohin das Filesystem eingebunden werden soll und autofs mountet das automatisch vom NAS. Wenn ich das Verzeichnis fünf Minuten lang nicht gebraucht habe, wird es wieder ausgehängt. Bei Debian muss man die Wartezeit für den Mount hochsetzen.

Das Backup mit Backintime soll auf unseren Rechnern bei jedem Boot laufen, dann wird es wenigstens nicht vergessen. Damit das alles auch über das GUI funktioniert, auch die Steuerung der regelmässigen Backups, habe ich eine ausführbare Datei ~/.config/backintime/user-callback erstellt.

Der sleep ist nötig, weil der Cron-Daemon schneller da ist als die Netzwerkverbindung bei einem Neustart.

Ja, ich hätte das Skript deutlich unpragmatischer bauen können, dieses tut aber alles, was es soll und hat keinen Ballast.