MQTT-Collector startet nicht

[deadrabbit87]

Hallo Zusammen,

ich finden meinen Fehler einfach nicht. Der MQTT-Collector startet mit der Fehlermeldung (gekürzt):

bundler: failed to load command: app.rb (app.rb)
/mqtt-collector/lib/config.rb:192:in `block in validate_mappings!': Missing required keys: [:topic, :type] (ArgumentError)

        raise ArgumentError, "Missing required keys: #{value.keys}"

Es scheint mir an den Mappings zu liegen, die scheinen aber alle korrekt zu sein und sind auch aus dem Konfigurator von solectrus.

Auszug vom MQTT Collector aus der .env-Datei:

MAPPING_0_TOPIC=evcc/site/pv/1/power
MAPPING_0_MEASUREMENT=pv
MAPPING_0_FIELD=inverter_power
MAPPING_0_TYPE=integer
MAPPING_1_TOPIC=evcc/site/homePower
MAPPING_1_MEASUREMENT=pv
MAPPING_1_FIELD=house_power
MAPPING_1_TYPE=integer
MAPPING_2_TOPIC=evcc/site/gridPower
MAPPING_2_MEASUREMENT_POSITIVE=pv
MAPPING_2_MEASUREMENT_NEGATIVE=pv
MAPPING_2_FIELD_POSITIVE=grid_import_power
MAPPING_2_FIELD_NEGATIVE=grid_export_power
MAPPING_2_TYPE=integer
MAPPING_3_TOPIC=evcc/site/battery/1/power
MAPPING_3_MEASUREMENT_POSITIVE=pv
MAPPING_3_MEASUREMENT_NEGATIVE=pv
MAPPING_3_FIELD_POSITIVE=battery_discharging_power
MAPPING_3_FIELD_NEGATIVE=battery_charging_power
MAPPING_3_TYPE=integer
MAPPING_4_TOPIC=evcc/site/battery/1/soc
MAPPING_4_MEASUREMENT=pv
MAPPING_4_FIELD=battery_soc
MAPPING_4_TYPE=float
MAPPING_5_TOPIC=evcc/loadpoints/1/chargePower
MAPPING_5_TYPE=integer
MAPPING_6_TOPIC=evcc/loadpoints/1/connected
MAPPING_6_TYPE=string
MAPPING_7_TOPIC=evcc/loadpoints/2/chargePower
MAPPING_7_MEASUREMENT=heatpump
MAPPING_7_FIELD=power
MAPPING_7_TYPE=integer
MAPPING_8_TOPIC=evcc/status
MAPPING_8_MEASUREMENT=pv
MAPPING_8_FIELD=system_status
MAPPING_8_TYPE=string
MAPPING_9_TOPIC=evcc/loadpoints/1/vehicleSoc
MAPPING_9_TYPE=float

[gereons]

MAPPING_9 hat nur TOPIC und TYPE - ist das auch im .env so?

[deadrabbit87]

Hm, auch wenn ich das kommentiere, bleibt der Fehler beim neustart des Containers:
.env:

MAPPING_0_TOPIC=evcc/site/pv/1/power
MAPPING_0_MEASUREMENT=pv
MAPPING_0_FIELD=inverter_power
MAPPING_0_TYPE=integer
MAPPING_1_TOPIC=evcc/site/homePower
MAPPING_1_MEASUREMENT=pv
MAPPING_1_FIELD=house_power
MAPPING_1_TYPE=integer
MAPPING_2_TOPIC=evcc/site/gridPower
MAPPING_2_MEASUREMENT_POSITIVE=pv
MAPPING_2_MEASUREMENT_NEGATIVE=pv
MAPPING_2_FIELD_POSITIVE=grid_import_power
MAPPING_2_FIELD_NEGATIVE=grid_export_power
MAPPING_2_TYPE=integer
MAPPING_3_TOPIC=evcc/site/battery/1/power
MAPPING_3_MEASUREMENT_POSITIVE=pv
MAPPING_3_MEASUREMENT_NEGATIVE=pv
MAPPING_3_FIELD_POSITIVE=battery_discharging_power
MAPPING_3_FIELD_NEGATIVE=battery_charging_power
MAPPING_3_TYPE=integer
MAPPING_4_TOPIC=evcc/site/battery/1/soc
MAPPING_4_MEASUREMENT=pv
MAPPING_4_FIELD=battery_soc
MAPPING_4_TYPE=float
#MAPPING_5_TOPIC=evcc/loadpoints/1/chargePower
#MAPPING_5_MEASUREMENT=pv
#MAPPING_5_FIELD=wallbox_power
#MAPPING_5_TYPE=integer
#MAPPING_6_TOPIC=evcc/loadpoints/1/connected
#MAPPING_6_TYPE=string
MAPPING_7_TOPIC=evcc/loadpoints/2/chargePower
MAPPING_7_MEASUREMENT=heatpump
MAPPING_7_FIELD=power
MAPPING_7_TYPE=integer
MAPPING_8_TOPIC=evcc/status
MAPPING_8_MEASUREMENT=pv
MAPPING_8_FIELD=system_status
MAPPING_8_TYPE=string
#MAPPING_9_TOPIC=evcc/loadpoints/1/vehicleSoc
#MAPPING_9_MEASUREMENT=pv
#MAPPING_9_FIELD=
#MAPPING_9_TYPE=float

und compose.yml:

      - MAPPING_0_TOPIC
      - MAPPING_0_MEASUREMENT
      - MAPPING_0_FIELD
      - MAPPING_0_TYPE
      - MAPPING_1_TOPIC
      - MAPPING_1_MEASUREMENT
      - MAPPING_1_FIELD
      - MAPPING_1_TYPE
      - MAPPING_2_TOPIC
      - MAPPING_2_MEASUREMENT_POSITIVE
      - MAPPING_2_MEASUREMENT_NEGATIVE
      - MAPPING_2_FIELD_POSITIVE
      - MAPPING_2_FIELD_NEGATIVE
      - MAPPING_2_TYPE
      - MAPPING_3_TOPIC
      - MAPPING_3_MEASUREMENT_POSITIVE
      - MAPPING_3_MEASUREMENT_NEGATIVE
      - MAPPING_3_FIELD_POSITIVE
      - MAPPING_3_FIELD_NEGATIVE
      - MAPPING_3_TYPE
      - MAPPING_4_TOPIC
      - MAPPING_4_MEASUREMENT
      - MAPPING_4_FIELD
      - MAPPING_4_TYPE
        #      - MAPPING_5_TOPIC
        #      - MAPPING_5_MEASUREMENT
        #      - MAPPING_5_TYPE
        #      - MAPPING_6_TOPIC
        #      - MAPPING_6_MEASUREMENT
        #      - MAPPING_6_TYPE
      - MAPPING_7_TOPIC
      - MAPPING_7_MEASUREMENT
      - MAPPING_7_FIELD
      - MAPPING_7_TYPE
      - MAPPING_8_TOPIC
      - MAPPING_8_MEASUREMENT
      - MAPPING_8_FIELD
      - MAPPING_8_TYPE
        #      - MAPPING_9_TOPIC
        #      - MAPPING_9_MEASUREMENT
        #      - MAPPING_9_TYPE

Spätestens jetzt sollte der Collector doch starten?

[gereons]

In der compose.yml fehlt MAPPING_0_TOPIC

[deadrabbit87]

Nein, das war schon da. Ich hatte das nur aus versehen beim kopieren falsch in den Code-Block eingefügt.

[gereons]

Also mein mqtt-collector startet mit dieser Konfiguration und sagt er würde 7 Topics abonnieren. Keine Ahnung was da bei dir noch anders ist, die Fehlermeldung im Log ist immer noch dieselbe?

[deadrabbit87]

Ja, ist die gleiche geblieben.

Welche Version des Containers hast du?

Evtl. hat @ledermann eine Idee?

[gereons]

Ich benutze image: ghcr.io/solectrus/mqtt-collector:latest und das gibt mir

MQTT collector for SOLECTRUS, Version 0.3.0, built at 2024-09-13T07:01:28.126Z

Hast Du's mal mit dem develop-Image probiert? Da gab's wohl eine Verbesserung bei den Fehlermeldungen, vielleicht gibt das da Hinweise.

[deadrabbit87]

Ich hatte wohl noch wo einen Fehler drin.

So funktioniert es jetzt:
.env:

MAPPING_0_TOPIC=evcc/site/pv/1/power
MAPPING_0_MEASUREMENT=pv
MAPPING_0_FIELD=inverter_power
MAPPING_0_TYPE=integer
MAPPING_1_TOPIC=evcc/site/homePower
MAPPING_1_MEASUREMENT=pv
MAPPING_1_FIELD=house_power
MAPPING_1_TYPE=integer
MAPPING_2_TOPIC=evcc/site/gridPower
MAPPING_2_MEASUREMENT_POSITIVE=pv
MAPPING_2_MEASUREMENT_NEGATIVE=pv
MAPPING_2_FIELD_POSITIVE=grid_import_power
MAPPING_2_FIELD_NEGATIVE=grid_export_power
MAPPING_2_TYPE=integer
MAPPING_3_TOPIC=evcc/site/battery/1/power
MAPPING_3_MEASUREMENT_POSITIVE=pv
MAPPING_3_MEASUREMENT_NEGATIVE=pv
MAPPING_3_FIELD_POSITIVE=battery_discharging_power
MAPPING_3_FIELD_NEGATIVE=battery_charging_power
MAPPING_3_TYPE=integer
MAPPING_4_TOPIC=evcc/site/battery/1/soc
MAPPING_4_MEASUREMENT=pv
MAPPING_4_FIELD=battery_soc
MAPPING_4_TYPE=float
MAPPING_5_TOPIC=evcc/loadpoints/1/chargePower
MAPPING_5_MEASUREMENT=pv
MAPPING_5_FIELD=wallbox_power
MAPPING_5_TYPE=integer
MAPPING_6_TOPIC=evcc/loadpoints/1/connected
MAPPING_6_MEASUREMENT=pv
MAPPING_6_FIELD=wallbox_car_connected
MAPPING_6_TYPE=boolean
MAPPING_7_TOPIC=evcc/loadpoints/2/chargePower
MAPPING_7_MEASUREMENT=heatpump
MAPPING_7_FIELD=power
MAPPING_7_TYPE=integer
MAPPING_8_TOPIC=evcc/status
MAPPING_8_MEASUREMENT=pv
MAPPING_8_FIELD=system_status
MAPPING_8_TYPE=string
MAPPING_9_TOPIC=evcc/loadpoints/1/vehicleSoc
MAPPING_9_MEASUREMENT=pv
MAPPING_9_FIELD=CAR_BATTERY_SOC
MAPPING_9_TYPE=float

und compose.yml:

      - MAPPING_0_TOPIC
      - MAPPING_0_MEASUREMENT
      - MAPPING_0_FIELD
      - MAPPING_0_TYPE
      - MAPPING_1_TOPIC
      - MAPPING_1_MEASUREMENT
      - MAPPING_1_FIELD
      - MAPPING_1_TYPE
      - MAPPING_2_TOPIC
      - MAPPING_2_MEASUREMENT_POSITIVE
      - MAPPING_2_MEASUREMENT_NEGATIVE
      - MAPPING_2_FIELD_POSITIVE
      - MAPPING_2_FIELD_NEGATIVE
      - MAPPING_2_TYPE
      - MAPPING_3_TOPIC
      - MAPPING_3_MEASUREMENT_POSITIVE
      - MAPPING_3_MEASUREMENT_NEGATIVE
      - MAPPING_3_FIELD_POSITIVE
      - MAPPING_3_FIELD_NEGATIVE
      - MAPPING_3_TYPE
      - MAPPING_4_TOPIC
      - MAPPING_4_MEASUREMENT
      - MAPPING_4_FIELD
      - MAPPING_4_TYPE
      - MAPPING_5_TOPIC
      - MAPPING_5_MEASUREMENT
      - MAPPING_5_FIELD
      - MAPPING_5_TYPE
      - MAPPING_6_TOPIC
      - MAPPING_6_MEASUREMENT
      - MAPPING_6_FIELD
      - MAPPING_6_TYPE
      - MAPPING_7_TOPIC
      - MAPPING_7_MEASUREMENT
      - MAPPING_7_FIELD
      - MAPPING_7_TYPE
      - MAPPING_8_TOPIC
      - MAPPING_8_MEASUREMENT
      - MAPPING_8_FIELD
      - MAPPING_8_TYPE
      - MAPPING_9_TOPIC
      - MAPPING_9_MEASUREMENT
      - MAPPING_9_FIELD
      - MAPPING_9_TYPE

[ledermann]

Das Problem scheint ja zwischenzeitlich gelöst zu sein, dennoch würde ich gerne klären, was wirklich die Ursache war. Wenn der Konfigurator tatsächlich ein Mapping generiert hat, bei dem einzelne MEASUREMENT/FIELD-Angaben fehlen, dann würde ich das gerne korrigieren.

Grundsätzlich ist es so, dass ein MQTT-Mapping mindestens aus TOPIC/MEASURMENT/FIELD/TYPE bestehen muss, wobei MEASUREMENT/FIELD als Variation auch in POSITIVE/NEGATIVE unterschieden werden kann.

@deadrabbit87 Hast du vielleicht noch die generierte .env vorliegen? Oder kannst du produzieren, was du im Konfigurator angegeben hast?

[deadrabbit87]

Ja, klar. Ich kann das Verhalten auch reproduzieren.

Im Anhang eine Beispielkonfiguration, wo es falsch ist.

Ich wähle hierbei die lokale Installation und alle Messwerte kommen vom MQTT-Collector über die API von evcc.

Die Leistung der Wärmepumpe ist hierbei über einen Ladepunkt von evcc. Das ist in dem Beispiel ein Heizstab den evcc steuert.

Wenn du sonst noch etwas brauchst, kann ich das gerne noch nachreichen.

solectrus.zip

[ledermann]

Ich habe das Problem zwischenzeitlich genauer untersucht. Es kamen zwei Fehler unglücklich zusammen:

1. Der Konfigurator hat in bestimmten Situationen eine ungültige Konfiguration erzeugt - für INFLUX_SENSOR_WALLBOX_CAR_CONNECTED, INFLUX_SENSOR_CAR_BATTERY_SOC und INFLUX_SENSOR_WALLBOX_POWER fehlten die Inhalte, wenn man eine Nicht-SENEC-Wallbox hat. In den MQTT-Mappings fehlten infolgedessen die Angaben zu FIELD und MEASUREMENT. Dies ist nun korrigiert.

2. Der MQTT-Collector hat bei unvollständigen Mappings Fehlermeldungen ausgespuckt, die wenig hilfreich waren. Ich habe das verbessert und v0.4.0 released.

Danke für die allseitige Unterstützung!

@deadrabbit87: Du solltest bei dir noch die genannten Sensor-Variablen prüfen. In deiner .env sollte das hier stehen, damit die Werte auch angezeigt werden:

INFLUX_SENSOR_WALLBOX_CAR_CONNECTED=pv:wallbox_car_connected
INFLUX_SENSOR_CAR_BATTERY_SOC=pv:CAR_BATTERY_SOC
INFLUX_SENSOR_WALLBOX_POWER=pv:wallbox_power

Die Namensgebung deiner Fields ist nicht ganz ideal. Die Groß-/Kleinschreibung der Fields sollte einheitlich sein. Und den Ladestand des E-Autos würde ich in ein separates Measurement packen (z.B. INFLUX_SENSOR_CAR_BATTERY_SOC=car:battery_soc). Das ist aber nur Kosmetik.