Cache/Queue bei Forecast/Senec/Shelly/Mqtt-Collector

[unclej84]

Hallo,

weiß jemand, ob die Kollectoren einen Cache oder eine Queue haben um die ermittelten Daten zwischen zu puffern, wenn die InfluxDB gerade nicht erreichbar ist oder die Daten dann verworfen werden und erst wieder Daten vorhanden sind, wenn die Datenbank wieder online/erreichbar ist? Falls etwas in der Richtung vorhanden ist, haben die Daten dann den korrekten Timestamp vom Zeitpunkt als sie ermittelt wurden oder bekommen sie den Zeitstempel vom Zeitpunkt des Schreibens in die Datenbank?

Gruß Jörg

[ledermann]

Berechtigte Frage! Es ist so:

• Beim SENEC-Collector sowie beim Shelly-Collector gibt es genau ein solches System. Abholen der Messwerte und Schreiben nach InfluxDB erfolgen unabhängig voneinander in zwei separaten Threads, die über eine Queue miteinander kommunizieren. Wenn InfluxDB nicht erreichbar ist, laufen die Messwerte (mit Zeitstempel!) in die Queue. Ist InfluxDB wieder erreichbar, wird die Queue abgearbeitet. Es geht somit nichts verloren und die Messwerte landen letztendlich mit dem Original-Zeitstempel in InfluxDB. Sollte jedoch der Container bei gefüllter Queue neu gestartet werden, geht der Inhalt der Queue verloren.
• Beim Forecast-Collector gibt es keine Queue. Die halte ich dort aber auch nicht für wichtig. Einerseits, weil der Abruf sehr viel seltener erfolgt. Und andererseits, weil Prognose auch immer wieder überschrieben werden.
• Beim MQTT-Collector gibt es ebenfalls keine Queue. Die wäre aber sinnvoll, das muss ich zugeben. Bei Nichterreichbarkeit von InfluxDB gehen somit Messwerte verloren. Ich habe ein Issue angelegt: Queue zum Abfangen von InfluxDB-Ausfällen mqtt-collector#268

[unclej84]

Vielen Dank für die ausführliche Erklärung. Beim Forecast-Collector fände ich ein Zwischenspeichern der letzten Werte schon für sinnvoll - speziell, wenn Solcast zum Einsatz kommt und man 2 Sites verarbeiten möchte. Da kommen ohnehin schon Intervalle von >4,5h zusammen dann und, wenn man dann eins davon wegen fehlender Verbindung verliert, ist das letzte Update bis zu 9h her.

[ledermann]

Ja, du hast recht - ich habe auch hierfür ein Issue angelegt: solectrus/forecast-collector#405