Backupmöglichkeit influxdb

[StevieC121176]

seit letzter Woche ist meine SD Karte defekt und ich musste Solectrus komplett neu aufsetzen. Jetzt sind natürlich alle Daten vom letzten Jahr weg. Leider habe ich keine Möglichkeit bzw. fehlt mir das Wissen dazu, die Daten aus meinen WR in Influxdb zu übertragen. Gibt es eine Möglichkeit eines Datenbank Backups für die Solectrus DB damit ich zumindest in Zukunft die Daten ab und an sichern kann. Am besten wäre natürlich so etwas wie der Backup Adapter in iobroker, der einmal am Tag alles sichert.

[ledermann]

Sehr ärgerlich, das tut mir leid.

Ja, es gibt eine Backup-Möglichkeit, die ich auch selbst für meine eigene SOLECTRUS-Instanz nutze:
https://github.com/solectrus/influxdb2-s3-backup

Dieses Tool erfordert allerdings Amazon S3, was ich persönlich für eine gute Sache halte, weil ein Backup in die Cloud die Daten wirklich aus der Gefahrenzone bringt. Möglich wäre aber auch, mit MinIO einen eigenen S3-Clone im lokalen Netz zu betreiben - möglicherweise ist das aber Overkill.

[StevieC121176]

Ok, soweit ich verstanden habe lege ich mir ein S3 Konto an. Dort werde ich sicherlich Zugangsdaten bekommen.
Aus der readme zum S3 Backup werde ich aber nicht ganz schlau. Gibt es da eine Config wo ich das dann eintragen muss? Muss ich noch etwas zusätzlich installieren?
Wie gesagt, meine Kenntnisse sind in dieser Hinsicht recht dürftig.

[ledermann]

Das Backup wird als zusätzlicher Dienst in deine bestehende SOLECTRUS-Konfiguration hinzugefügt, also in die bestehende docker-compose.yml- bei mir selbst sieht das in etwa so aus:

services:
  app:
    # ...
    image: ghcr.io/solectrus/solectrus:develop

  influxdb:
    # ...
    image: influxdb:2.7-alpine

  fluxbackup:
    image: ghcr.io/solectrus/influxdb2-s3-backup:latest
    environment:
      INFLUXDB_HOST: influxdb
      INFLUXDB_ORG: my-org
      INFLUXDB_TOKEN: my-super-token
      INFLUXDB_BACKUP_PORT: 8086
      S3_BUCKET: my-s3-bucket
      S3_PREFIX: influxdb_backup
      AWS_ACCESS_KEY_ID: my-aws-access-key
      AWS_SECRET_ACCESS_KEY: my-aws-secret
      CRON: '0 2 * * *'

Die Konfiguration erfolgt also ausschließlich über Umgebungsvariablen, eine weitere Config gibt es nicht. Es muss auch nichts zusätzlich installiert werden. Der Influx-Backup-Service läuft permanent und wird regelmäßig aktiv, in meinem Beispiel also jeden Tag um 02:00 Uhr. Der Backup-Container kommuniziert mit dem InfluxDB-Container, um an die Daten heranzukommen. Wichtig ist das korrekte Token für InfluxDB, es werden Admin-Rechte benötigt. Der S3-Bucket muss außerdem bereits vorhanden sein, also vorher manuell anlegen, was sich über das UI von AWS S3 erledigen lässt.

Wenn du noch nie etwas mit AWS zu tun hattest, dann ist das allerdings schon eine Herausforderung, AWS ist ein Monster mit unzähligen Diensten. S3 ist einer davon.

[StevieC121176]

Ich habe noch eine Möglichkeit über den iobroker Backup Adapter gefunden.
influxdb und cli habe ich auf dem Raps des iobroker installiert
Leider kommt folgender Fehler:

ERROR] [influxDB] - Error: Command failed: "/home/pi/solectrus/influxdb" backup --bucket solectrus --host http://192.168.178.114:8086 -t token "/opt/iobroker/backups/influxDB_2024_03_03-16_44_02_backupiobroker"
/bin/sh: 1: /home/pi/solectrus/influxdb: Permission denied

kann jemand helfen?

eingestellt ist der Adapter wie auf dem Foto:

[ledermann]

Interessante Idee! Bei InfluxDB ist es so, dass eine Datenbank-Instanz auch die Daten einer anderen Instanz sicher kann. Daher die Option "Remote". Ich habe das zwar nicht selber ausprobiert, aber eine Einstellung erscheint mir falsch: "Vollständiger Pfad" sollte leer bleiben. Es geht um den Pfad zum Influx-Daemon, nicht zur Datenbank.

[StevieC121176]

Der Tip war goldrichtig. Funktioniert. Jetzt wird jede Nacht einmal die DB gesichert.

[novodrom]

Genau nach so einer Backup Lösung habe ich gesucht. Vielen Dank für den Tipp mit iobroker Backup Adapter und den Settings! Backup & download funktioniert 1a. Das Wiederherstellen der influxdb Backup habe ich noch nicht getestet. Konnte das schon jemand erfolgreich durchführen?

[StevieC121176]

Wiederherstellung:
Einfach alle Dateien entpacken und nach /solectrus/influxdb kopieren. Ich glaube ich hatte danach den Container neu gestartet.

[Zeppelin-PV]

@StevieC121176
habe mich in die Thematik backup influxdb Datenbank etwas eingelesen und würde nur zu gern Solectrus Daten auf der sicheren Seite haben.
könntest Du mir, einem Copy&Paste User, aufzeigen was ich zu tun habe um dieses backitUp zum laufen zu bringen ?
was für Voraussetzungen, Installationsort etc pp - ein step by step howto ...
DANKE

[StevieC121176]

Voraussetzung für die Lösung die ich nutze:
-iobroker (es reicht nur der iobroker mit dem Backup Adapter)
-influxdb2 ist installiert
-port für influxdb ist in Solectrus freigegeben (in der docker-compose.yaml unter influxdb/environment:
ports: - 8086:8086 einfügen

Also ich habe Solectrus und iobroker auf 2 verschiedenen Raspis (4B und 5) laufen. Wichtig ist, das influxdb2 auf dem System installiert wird/ist, wo der iobroker läuft

Wo hast du Solectrus und den iobroker installiert?

[Zeppelin-PV]

Ich habe eigentlich nur Solectrus am laufen, sonst nichts. Zwei Raspi 4B greifen auf meinen SENEC zu, weil ich immer befürchte dass einer mal die Flügel streckt. Also müsste ich einiges an Vorarbeit leisten, und da fängt es schon an, mein Problem. Es müsste eine ausführliches Tutorial sein. lg 11.03.2024 11:19:55 StevieC121176 ***@***.***>:

…

Voraussetzung für die Lösung die ich nutze: -iobroker (es reicht nur der iobroker mit dem Backup Adapter) -influxdb2 ist installiert -port für influxdb ist in Solectrus freigegeben (in der docker-compose.yaml unter influxdb/environment: ``` ports: - 8086:8086 * Also ich habe Solectrus und iobroker auf 2 verschiedenen Raspis (4B und 5) laufen. Wichtig ist, das influxdb2 auf dem System installiert wird/ist, wo der iobroker läuft Wo hast du Solectrus und den iobroker installiert? * — Reply to this email directly, view it on GitHub[#2860 (reply in thread)], or unsubscribe[https://github.com/notifications/unsubscribe-auth/A6EJTZLEEEUQ4API6YQABDDYXWAMVAVCNFSM6AAAAABD3ZCQKOVHI2DSMVQWIX3LMV43SRDJONRXK43TNFXW4Q3PNVWWK3TUHM4DONBTHAYTG]. You are receiving this because you commented. [Verfolgungsbild][https://github.com/notifications/beacon/A6EJTZMMTT65UCXUWAU2U7LYXWAMVA5CNFSM6AAAAABD3ZCQKOWGG33NNVSW45C7OR4XAZNRIRUXGY3VONZWS33OINXW23LFNZ2KUY3PNVWWK3TUL5UWJTQAQVVYK.gif]

[StevieC121176]

Ja ich mach eine Schritt für Schritt Anleitung.
Als erstes müsstest du dem einen Raspi ein frisches Os verpassen und darauf iobroker installieren.
das geht mit einem Schritt
curl -sLf https://iobroker.net/install.sh | bash -

[Zeppelin-PV]

Oh je, ein neues Betriebssystem?
Ich dachte das geht einfach mit dem laufenden Rasbian Bullseye
... dann muss das mal hinten anstehen. Sorry für den Aufruhr den ich da veranstaltet habe.

[StevieC121176]

Du kannst Solectrus und iobroker auch auf einer gemeinsamen sdcard installieren, würde ich aber von abraten.
Also lieber neue sdcard und den iobroker separat installieren

[ledermann]

Die Idee, ioBroker für das Backup der SOLECTRUS-InfluxDB zu nutzen, ist praktisch, wenn man den ioBroker sowieso bereits im Einsatz hat. Nur alleine dafür würde ich mir ioBroker aber eher nicht installieren.

Hier ein anderer Ansatz. Mit folgendem Statement lässt sich über einen temporären Docker-Container ein Backup von InfluxDB anfertigen. Es wird ein Container erzeugt, der sich ins bestehende SOLECTRUS-Netzwerk einklingt, sich mit InfluxDB verbindet und ein Backup nach ./influx-backup schreibt. Danach wird der Container wieder gelöscht:

docker run --rm \
  --network=solectrus_default \
  -v ./influx-backup:/backup \
  influxdb:2.7-alpine \
  influx backup /backup --host http://influxdb:8086 --token mein-influx-admin-token

Für die Alltagstauglichkeit müsste man das weiter ausbauen, z.B. das Token müsste man aus .env lesen und auch einen Cron-Job anlegen. Das überlasse ich dem geneigten Leser als Übung ;-)

[StevieC121176]

Danke, diese Lösung funktioniert auch.

[ledermann]

Habe mich jetzt endlich mal um eine "offizielle" und umfassende Backup/Restore-Lösung gekümmert:
https://github.com/solectrus/backup-restore

Es sind zwei Scripte, die Backup und Restore lokal auf dem Docker-Host ausführen. Es wird weder Amazon S3 noch ioBroker oder sonst irgendwas benötigt. Keinerlei Einstellungen erforderlich.

Gesichert wird PostgreSQL und InfluxDB als Gesamtpaket im laufenden Betrieb.

[StevieC121176]

ich bekomme es leider nicht zum laufen. Folgender Fehler erscheint. Solectrus läuft aber und ist nicht beendet.

pi@raspberrypi:~/solectrus $ ./backup.sh
Checking if PostgreSQL and InfluxDB containers are running...
Error: PostgreSQL container is not running.

[ledermann]

Habe solectrus/backup-restore#1 angelegt. Sehe ich mir jetzt genauer an. Alles Weitere dort.

[Zeppelin-PV]

Georg, das ist das schönste Geschenk für meinen Geburtstag, morgen !!!
Lassen sich die Scripts auch in die Oberfläche intergrieren, unter Einstellungen, oder so ?

[ledermann]

Na dann - Happy Birthday :)

Direkt in die Web-Oberfläche werden sich diese Scripte nur schwer integrieren lassen. Backup + Restore operieren auf einer anderen Ebene. Das könnte man sich vielleicht etwas überlegen, aber das lohnt den Aufwand vermutlich eher nicht. Idealerweise sollten Backups vollkommen automatisch im Hintergrund laufen. Ein Cron-Job wäre daher eher etwas, was ich noch ergänzen würde.

[Zeppelin-PV]

wie kann man ältere backup's löschen ?
auf dem Raspberry mit BullsEye Explorer geht es nicht, in der Kommandozeile mit rm auch nicht,
natürlich ziehe ich mir die aktuellen backup's auf's Laptop und dann auf zweierlei Speicher
deshalb würde ich die auf dem Raspi wieder löschen, nach dem externen speichern
lässt sich das Backup auch ohne Schreibschutz erstellen ?

[Zeppelin-PV]

... mit sudo rm geht's

[Zeppelin-PV]

hallo Georg
bin am aufräumen ...
habe es nun ganz alleine geschafft mit dem Konfigurator eine neue Instanz aufzusetzen, die dann auch lief.
Dann habe ich in der alten Ausführung eine Backup Datei erstellt und diese in der neuen mit restore wiederhergestellt.
Nun habe ich Fehler 500
in der langen Ausgabe von docker compose logs dashboard steht immer wieder
could not find bucket "solectrus
den kompletten Auszug der dashboard log als Textdatei
dashboard log.txt
jetzt schon Danke für einen heißen Tipp
LG Ernst

[Zeppelin-PV]

... hier noch die env und compose Dateien

compose.txt
env.txt

[Zeppelin-PV]

ist das der Fehler ???
alte Instanz = INFLUX_BUCKET=my-solectrus-bucket
neue Instanz
INFLUX_BUCKET=solectrus

[ledermann]

Ja, genau so ist. Im Backup ist die Konfiguration (also compose.yml und .env) nicht enthalten. Wenn du also ein Backup wiederherstellst, musst dafür gesorgt werden, dass die darin enthaltenen Daten auch zur aktuellen Konfiguration passen. Das bedeutet insbesondere, dass Bucket, Measurements und Fields ggfs. angepasst werden müssen.

Also: In deinem Fall muss nach dem Restore auf dem neuen Raspi die dortige .env angepasst werden. Es muss heißen:

INFLUX_BUCKET=my-solectrus-bucket

Ggfs. sind auch die Variablen INFLUX_SENSOR_* zu prüfen.

Bitte bei konkreten Fragen zur eigenen Installation zukünftig immer eine NEUE Diskussion aufmachen, nicht zu einer alten etwas ergänzen, was wenig damit zu tun hat.

[Zeppelin-PV]

für's bessere Verständnis würde mich folgendes interessieren:
ich habe zwei Instanzen laufen, eine mit summarizer die andere mit latest
bei einem Backup liest die summarizer Version 119 Zeilen
die andere 567 Zeilen
beide mit gleichem Datenbestand, und beide Sicherungen sind exakt 105MB groß

[ledermann]

Wo siehst du "Zeilen"?

[Zeppelin-PV]

[Zeppelin-PV]

[ledermann]

Ok, es geht also um die "shards". Das ist die interne Strukturierung von InfluxDB. Möglicherweise ist eine Datenbank durch das Einlesen eines Backups entstanden, die andere sukzessive durch den SENEC-Collector. Bei einem Restore kann InfluxDB die Daten vermutlich dichter/anders zusammenpacken. Das würde ich nicht weiter beachten, das sind Interna von InfluxDB.

Die InfluxDB-Doku sagt dazu:

A shard contains encoded and compressed time series data for a given time range defined by the shard group duration. All points in a series within the specified shard group duration are stored in the same shard. A single shard contains multiple series, one or more TSM files on disk, and belongs to a shard group.

[Zeppelin-PV]

DANKE, Georg
ja, das trifft zu, die neuere Instanz wurde mit dem Konfigurator erstellt, dann ein Backup von der älteren Instanz eingespielt
das heißt beim Einlesen der Datenbank wird alles ein wenig aufgeräumt, Resultat - ein kleinerer Scherbenhaufen ;-)