Neuinstallation oder nicht ? #3681

Olaf-13-12 · 2024-11-15T11:08:27Z

Olaf-13-12
Nov 15, 2024

Hallo Solectrus Gemeinde,
Ich habe eine Frage an euch. Ich habe angefangen Solectrus ab Juni 2023 zu nutzen. Die Applikation funktioniert bei mir und meiner Senec Anlage nahezu problemfrei. Meist liegt es dann an mir als User ;-).
Ich nutze Solectrus noch in der ursprünglichen Struktur. In der Dokumentation ist ja auch der "Umbau" auf die neue Struktur beschrieben. Da ich ein Verfechter von einer cleanen Struktur bin möchte ich gerne auf die neue Struktur der Applikation gehen . die Frage ist nur wie

Kann ich das Setup Utility einfach neu anstoßen und alles ist gut inkl. der Altdaten ?
Oder sollte ich die alte Solectrus Instanz löschen um dann die Neuinstallation anstoßen ? Import der CSV Dateien ist ja möglich.

Bin froh über jegliche Guidance .

Gruß
Olaf

Answered by ledermann

Nov 21, 2024

Die Fehlermeldung unauthorized access deutete darauf hin, dass der CSV-Importer keinen Zugriff auf InfluxDB hat.

Die .env muss für den Import nicht erweitert werden, wo hast du diese Information her? Und hast du wirklich diesen Befehl ausgeführt?

docker run -it --rm \
           --env-file .env \
           --mount type=bind,source="$PWD/csv",target=/data,readonly \
           --network=solectrus_default \
           ghcr.io/solectrus/csv-importer

Anhänge per E-Mail kommen übrigens hier in GitHub nicht an, das müsstest du per Upload (oder als Text) hinzufügen. Grundsätzlich besser nicht auf die Notification-Mail von GitHub antworten, das ist etwas limitiert.

View full answer

ledermann · 2024-11-15T12:00:16Z

ledermann
Nov 15, 2024
Maintainer

Hallo Olaf, hier ist Georg, der Entwickler von SOLECTRUS. Freut mich, dass du schon so lange dabei bist :)

Eines vorweg: Löschen würde ich die Daten eher nicht. Ein Import über die CSV-Dateien ist zwar möglich, aber falls du Wallbox-Werte gesammelt hast, würde die dabei verloren gehen - denn Wallbox-Messwerte stehen nicht in der SENEC-CSV-Datei.

Auch wenn es vielleicht verlockend erscheint, den Konfigurator zu verwenden - für die Anpassung einer bestehenden Installation ist das eher nicht ideal. Der Konfigurator ist explizit für Neuinstallationen gedacht. Die Datenablage in InfluxDB wird nämlich etwas anders strukturiert.

Wenn du dich etwas mit Docker und InfluxDB auskennst, kannst du es dennoch versuchen. Wichtig ist dann, dass du nicht blind die generierte Konfiguration übernimmst, sondern sie manuell an deine bestehenden Daten anpasst. Insbesondere sind die Sensoren bzw. alles, was mit Influx-Measurement und Bucket zu tun hat, ggfs. anzupassen. Wenn alle Stricke reißen, kannst du mir aber deine Konfiguration geben (alte und neu generierte) und ich passe das dann für dich an.

Der weniger kritische und von mir empfohlene Weg ist, anhand der Logs die darin platzierten Warnungen einzeln "abzuarbeiten" und auf diesem Weg zur Sensor-Konfiguration zu kommen, siehe hier:
https://docs.solectrus.de/wartung/sensor-konfiguration

0 replies

Olaf-13-12 · 2024-11-16T06:57:49Z

Olaf-13-12
Nov 16, 2024
Author

Guten Morgen Georg,Danke für die Anleitung und Hinweise. Ich werde Anfang nächste Woche anfangen und sehen wie weit ich komme.

0 replies

Olaf-13-12 · 2024-11-21T14:34:15Z

Olaf-13-12
Nov 21, 2024
Author

Hallo Georg, Ich habe mich nun doch dazu durchgerungen, den Solectrus PI neu aufzusetzen. Die Installation verlief ohne Problem. Das einzige an dem ich scheitere, ist der CSV Import. Vielleicht übersehe ich auch was oder habe was überlesen, aber ich finde den Fehler nicht. Was habe ich gemacht. .env Datei um den Importer Teil aus der Doku erweitert ( Cut & Past) Das „csv“ Direktory im Folder der Solectrus Installation angelegt Zum Test 1 altes CSV File in das csv-Direktory kopiert Dann den Importer Befehl vom Github ausgeführt Fehlermeldung : Importing data from /data ... Importing /data/S26870271431719955540226391-week-15-2023.csv using SenecRecord adapter...bundler: failed to load command: app/main.rb (app/main.rb) /usr/local/bundle/gems/influxdb-client-3.1.0/lib/influxdb2/client/default_api.rb:106:in `_request': unauthorized access (InfluxDB2::InfluxError) Mehr dazu in der angehängten Datei. Anbei noch das csv File sowie der Output vom Importer Befehl Vielen Dank für Deine Hilfe Gruß Olaf

…

Am 15.11.2024 um 13:00 schrieb Georg Ledermann ***@***.***>: Hallo Olaf, hier ist Georg, der Entwickler von SOLECTRUS. Freut mich, dass du schon so lange dabei bist :) Eines vorweg: Löschen würde ich die Daten eher nicht. Ein Import über die CSV-Dateien ist zwar möglich, aber falls du Wallbox-Werte gesammelt hast, würde die dabei verloren gehen - denn Wallbox-Messwerte stehen nicht in der SENEC-CSV-Datei. Auch wenn es vielleicht verlockend erscheint, den Konfigurator zu verwenden - für die Anpassung einer bestehenden Installation ist das eher nicht ideal. Der Konfigurator ist explizit für Neuinstallationen gedacht. Die Datenablage in InfluxDB wird nämlich etwas anders strukturiert. Wenn du dich etwas mit Docker und InfluxDB auskennst, kannst du es dennoch versuchen. Wichtig ist dann, dass du nicht blind die generierte Konfiguration übernimmst, sondern sie manuell an deine bestehenden Daten anpasst. Insbesondere sind die Sensoren bzw. alles, was mit Influx-Measurement und Bucket zu tun hat, ggfs. anzupassen. Wenn alle Stricke reißen, kannst du mir aber deine Konfiguration geben (alte und neu generierte) und ich passe das dann für dich an. Der weniger kritische und von mir empfohlene Weg ist, anhand der Logs die darin platzierten Warnungen einzeln "abzuarbeiten" und auf diesem Weg zur Sensor-Konfiguration zu kommen, siehe hier: https://docs.solectrus.de/wartung/sensor-konfiguration — Reply to this email directly, view it on GitHub <#3681 (comment)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/BLRVH3NKVWREHSL7LRZJ2J32AXO6JAVCNFSM6AAAAABR26QVIGVHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTCMRWGYZDINY>. You are receiving this because you authored the thread.

8 replies

ledermann Nov 21, 2024
Maintainer

Die Fehlermeldung unauthorized access deutete darauf hin, dass der CSV-Importer keinen Zugriff auf InfluxDB hat.

Die .env muss für den Import nicht erweitert werden, wo hast du diese Information her? Und hast du wirklich diesen Befehl ausgeführt?

docker run -it --rm \
           --env-file .env \
           --mount type=bind,source="$PWD/csv",target=/data,readonly \
           --network=solectrus_default \
           ghcr.io/solectrus/csv-importer

Anhänge per E-Mail kommen übrigens hier in GitHub nicht an, das müsstest du per Upload (oder als Text) hinzufügen. Grundsätzlich besser nicht auf die Notification-Mail von GitHub antworten, das ist etwas limitiert.

Answer selected by Olaf-13-12

Olaf-13-12 Nov 21, 2024
Author

Hallo Georg,
ich habe die .env bereinigt. Hatte die Doku unter Referenz/CSV-Importer/Konfiguration so verstanden, das ich die .env um den Part erweitert werden muss. Der Teil ist ja auch mit einem Clipboard Copy Button versehen . Daher meine Erweiterungsannahme. Das Kommando habe ich unter dem Punkt CSV-Importer Quelltext . Sorry dafür.

Aber wie bekomme ich jetzt die CSV Daten eingelesen ? Das habe ich irgendwie nicht verstanden :-( Kannst Du das kurz erläutern ? Sorry dafür .
Gruß Olaf

ledermann Nov 21, 2024
Maintainer

Ok, verstehe. Die Dokumentation unter https://docs.solectrus.de/referenz/csv-importer/ muss ich noch überarbeiten. Gedacht ist es so, dass der Importer die bereits vorhandene .env verwendet. Als Doku muss momentan noch das README der Repo selbst dienen:
https://github.com/solectrus/csv-importer

Oben hatte ich den Befehl dafür angegeben, mit der Import durchgeführt werden kann. Es wird damit ein Container gestartet, der die CSV-Datei einliest und nach InfluxDB schreibt. Falls das nicht klappen sollte, poste bitte den exakten Output.

Olaf-13-12 Nov 21, 2024
Author

Hallo Georg,
so jetzt habe ich das Kommando aus der readme Datei genommen. Das Funktioniert für den Import Perfekt.

Sieh Output

olaf@raspberrypi:~/solectrus $ docker run -it --rm            --env-file .env            --mount type=bind,source="$PWD/csv",target=/data,readonly            --network=solectrus_default            ghcr.io/solectrus/csv-importer
CSV importer for SOLECTRUS, Version 0.5.2, built at 2024-11-08T10:17:22.773Z
https://github.com/solectrus/csv-importer
Copyright (c) 2020-2024 Georg Ledermann and contributors, released under the MIT License

Using Ruby 3.3.6 on platform aarch64-linux-musl
Pushing to InfluxDB at http://influxdb:8086, bucket solectrus
Using time zone Europe/Berlin

Importing data from /data ...
Importing /data/S26870271431719955540226391-week-1-2024.csv using SenecRecord adapter... Done, 2009 points imported
Importing /data/S26870271431719955540226391-week-10-2024.csv using SenecRecord adapter... Done, 2010 points imported
Importing /data/S26870271431719955540226391-week-11-2024.csv using SenecRecord adapter... Done, 2011 points imported
......

Leider keine Anzeige auf dem GUI.

Danach noch folgendes gemacht

olaf@raspberrypi:~/solectrus $ docker exec -it solectrus-redis-1 redis-cli FLUSHALL
OK
olaf@raspberrypi:~/solectrus $ docker compose up
[+] Running 7/0
 ✔ Container solectrus-watchtower-1          Running                                                                                                                                   0.0s 
 ✔ Container solectrus-redis-1               Running                                                                                                                                   0.0s 
 ✔ Container solectrus-postgresql-1          Running                                                                                                                                   0.0s 
 ✔ Container solectrus-influxdb-1            Running                                                                                                                                   0.0s 
 ✔ Container solectrus-senec-collector-1     Running                                                                                                                                   0.0s 
 ✔ Container solectrus-forecast-collector-1  Running                                                                                                                                   0.0s 
 ✔ Container solectrus-dashboard-1           Running                                                                                                                                   0.0s 
Attaching to dashboard-1, forecast-collector-1, influxdb-1, postgresql-1, redis-1, senec-collector-1, watchtower-1
senec-collector-1     | 
senec-collector-1     | Got record #150 at 2024-11-21 19:52:01 +0100 within 9 ms, AKKU LEER, Inverter 0 W, House 363 W, Wallbox 0 W
senec-collector-1     | Successfully pushed record #150 to InfluxDB
....

Leider weiterhin keine Daten im GUI.

INSTALLATION_DATE=2023-04-01. --> ist gesetzt

Was kann jetzt noch getan werden ?
Gruß
Olaf

Olaf-13-12 Nov 21, 2024
Author

Gerade gesehen.

Leider ist beim kopieren der " docker exec ....... " Befehl durchgestrichen. Ist er natürlich nicht.
das Datum in der ".env" ist 2023-04-01 Ohne den Punkt nach der 1

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

SOLECTRUS

Neuinstallation oder nicht ? #3681

{{title}}

Replies: 3 comments 8 replies

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

{{title}}

{{title}}

{{title}}

{{title}}

{{editor}}'s edit

{{editor}}'s edit

{{title}}

Select a reply

SOLECTRUS

Neuinstallation oder nicht ? #3681

Olaf-13-12 Nov 15, 2024

Replies: 3 comments · 8 replies

ledermann Nov 15, 2024 Maintainer

Olaf-13-12 Nov 16, 2024 Author

Olaf-13-12 Nov 21, 2024 Author

ledermann Nov 21, 2024 Maintainer

Olaf-13-12 Nov 21, 2024 Author

ledermann Nov 21, 2024 Maintainer

Olaf-13-12 Nov 21, 2024 Author

Olaf-13-12 Nov 21, 2024 Author

Olaf-13-12
Nov 15, 2024

Replies: 3 comments 8 replies

ledermann
Nov 15, 2024
Maintainer

Olaf-13-12
Nov 16, 2024
Author

Olaf-13-12
Nov 21, 2024
Author

ledermann Nov 21, 2024
Maintainer

Olaf-13-12 Nov 21, 2024
Author

ledermann Nov 21, 2024
Maintainer

Olaf-13-12 Nov 21, 2024
Author

Olaf-13-12 Nov 21, 2024
Author