Kompressionsverfahren bei Borgbackup
Nach meinem Artikel über das Backup mit Borgbackup und den Verweis auf Stefans Artikel LZMA, ZLIB und LZ4 im Vergleich habe ich via Mastodon den Hinweis bekommen, dass aktuellere Versionen von Borgbackup (ab 1.1.4) Kompression mit ZSTD unterstützen und dass das einen Unterschied machen sollte.
Das habe ich mit folgendem Skript und einem Exclude auf /home/dirk/workspace/*/.git getestet.
set -o errexit
set -o nounset
set -o pipefail
export BORG_PASSPHRASE=sheow0deighaigahgh1aiphooboh
borg init --encryption=repokey /ext/localbackup/borgnone
borg create --compression none \
--verbose \
--stats \
--progress \
--exclude-caches \
--exclude-from /home/dirk/borgtest.exclude \
/ext/localbackup/borgnone::test /home/dirk/nextcloud
for i in lz4 zstd zlib lzma; do
borg init --encryption=repokey /ext/localbackup/borg${i}
borg create --compression ${i} \
--verbose \
--stats \
--progress \
--exclude-caches \
--exclude-from /home/dirk/borgtest.exclude \
/ext/localbackup/borg${i}::test /home/dirk/nextcloud
borg init --encryption=repokey /ext/localbackup/borg${i}auto
borg create --compression auto,${i} \
--verbose \
--stats \
--progress \
--exclude-caches \
--exclude-from /home/dirk/borgtest.exclude \
/ext/localbackup/borg${i}auto::test /home/dirk/nextcloud
done
Mein Workspace-Verzeichnis ist knapp 11 GB gross und enthält ein paar Skripte und ansonsten Git-Repositories.
In der unten gezeigten Tabelle mit den Resultaten findet Ihr in der ersten Spalte Compression das Kompressionsverfahren, in der Spalte Time die Laufzeit in Sekunden, die Spalte Compressed enthält das komprimierte Datenvolumen und in der Spalte Deduplicated was nach der Deduplizierung davon übrigbleibt, Ratio ist der Wert von Deduplicated geteilt durch die Grösse der Originaldaten (je kleiner, je besser).
Erkenntnisse:
- Man kommt um einen initialen Test mit eigenen Daten nicht herum. Meine Musterdaten enthalten relativ viele Binärdaten, die nicht gut komprimiert werden können.
- Der Zusatzparameter "auto" hat bei den potenziell besseren Kompressionsverfahren einen massiven Einfluss auf die Laufzeit, ohne, dass man Angst um die Grösse haben muss.
- Ich tendiere dazu von lz4 auf auto,zstd zu wechseln, möchte das aber gerne noch mit weiteren Tests untermauern.
- Ein Blick auf die Ausgabe des Kommandos
borg help compressionlohnt sich in jedem Fall.
Kommentare
Ansicht der Kommentare: Linear | Verschachtelt