Uruchomienie wersji develop po MySensors Gateway with LAN interface

[paku2020]

Hej
Czy jest taka możliwość uruchomienia komunikacji zamiast MQTT to po MySensors Gateway with LAN interface ?

[lkankowski]

Obsługa modułów ethernetowych (W5x00, ENC28J60) i ESP8266 jest ciągle eksperymentalna i nie ma za dużo praktyki ani dokumentacji.
Najlepiej informacje czerpać bezpośrednio z dokumentacji MySensors, np. https://www.mysensors.org/build/ethernet_gateway.
Z tym, że u mnie konfiguracja MQTT na ten moment jest w 2 miejscach i aby zrezygnować z MQTT należy:

1. platformio.ini - trzeba zakomentować odpowiednie MY_GATEWAY_MQTT_CLIENT
2. config.h - zakomentować MY_CONTROLLER_IP_ADDRESS i wszystkie MY_MQTT_*

Należałoby też zmienić MY_PORT i odkomentować MY_MAC_ADDRESS.

[maro1977pl]

Cześć, obecnie mam taki problem jak spiąć Arduino Mega po sieci LAN z Home Asystent - wielu ludzi szuka takiego rozwiązania. Mam Twój sketch w wersji 1.0 z dopisaną obsługą MySensors po LAN. Działa ale nie wszystko. Nie zapisuje mi stanów w Eeprom a po restarcie nie zgłasza resetu stanu instancji w HA - nie ustawia ich zgodnie z stanem faktycznym. Jest to denerwujące bo muszę klikać wszystkie włączniki dwa razy aby stany się zgrały. Wiem że nie rozwijasz już v.1 wiec może dasz się namówić na przerobienie v2 na LAN jako nowe repozytorium. Przepraszam ale nie wszystko dla mnie jest jasne w Twoim kodzie i nie potrafię sobie z tym poradzić. Jeśli chcesz mogę podesłać to co mam obecnie i zerkniesz gdzie jest bład?

[lkankowski]

A podeślij - czemu nie, z tym że zastrzegam, że nie będę tego debugował i poświęcał zbyt dużo czasu ;)
Dziwne to co piszesz, bo v1 bardzo dobrze zapisywał stany i raportował po restarcie, ale może wszystko się wyjaśni, jak zobaczę zmieniony kod :)
V2 już obecnie obsługuje klasyczne UART, jak i LAN oraz MQTT - jak potwierdziłeś wyżej, to jedynie kwestia konfiguracji.

[paku2020]

Hej,
Wczoraj testowałem sketch v2 z brandu develop. Arduino mega+ W5100. Porównywałem komunikację po MySensors LAN jak i MQTT z różnymi wariantami zasilania, ip static i dhcp, i co się dzieje jak braknie komunikacji z np domoticzem.
Nie wiem czy to ważne, ale faktycznie gdy jest po mqtt to przestaje działać mikrokontroler. Niezależnie czy ma IP czy z dhcp. W przypadku MySensors LAN też przestaje działać gdy odłączymy skrętkę a IP jest przydzielane po dhcp.
Może się komuś przyda taki mój test :) U mnie wyszło że najlepiej działa gdy komunikuje się po LAN, jest static IP i zasilanie arduino przez pin lub usb. Gdy podłączę zasilanie przez port zasilający to cały zestaw głupieje.

Jednak też nie o tym chciałem. Zauważyłem że tak jak kolega Marcin pisze, często miałem tak że arduino nie zgrywało się ze stanami w Domoticz. Po restarcie arduino przekaźniki które były włączone się włączyły, a gdy je wyłączyłem klawiszem to w domoticz dalej były włączone. Trzeba było kilkukrotnie klikać klawisze żeby zaraportowały stan do domoticz, i można było z niego sterować przekaźnikami. Bez tego klikanie w domoticzu nie dawało nic.
Mogłem coś źle zrobić?

[maro1977pl]

Tu jest kod z którym walczę:
https://github.com/maro1977pl/Projekt1_LAN

Zależy mi tylko na przełącznikach - bez czujników, z zapisem stanu i raportowanie ich po restarcie w HA.

[lkankowski]

Z tego co widzę, to niewiele jest zmienione - jedynie wywalenie opcji z ekspanderem i dodanie BLUE_SWITCH, a w osobnym pliku (lan.h) jest konfiguracja.
Swoją drogą, BLUE_SWITCH dodany jest zupełnie niepotrzebnie, bo działa identycznie jak DING_DONG :)

Wg mnie nie powinieneś mieć opcji #define MY_GATEWAY_SERIAL jeżeli używasz #define MY_GATEWAY_W5100, choć nie wiem czy to krytyczne z punktu widzenia MySensors.

Warto, abyś dodał w lan.h linię #define MY_DEBUG i obserwuj co pojawia się na serial monitorze - może pomóc w ustaleniu problemu.
Z tego co patrzałem w kod MySensors, jest tam obsługa reconnect zarówno na poziomie sieci jak i MQTT. Niestety, moje dotychczasowe doświadczenia np. z ESP32 pokazują, że z MQTT nie dziala to stabilnie, natomiast na zwykłym LAN znacznie lepiej.

Co do efektu rozsynchronizowania z Domoticzem, może to polegać na tym, że UART/Serial dostępny jest niemal od samego początku, więc zarówno presentation jak i wysyłanie początkowych stanów w setup() w wariancie MY_GATEWAY_SERIAL działa prawidłowo, natomiast w przypadku MY_GATEWAY_W5100 zainicjowanie połączenia sieciowego chwilę trwa i sketch jest już w loop(), kiedy połączenie jest nawiązane.
To tylko robocza teza i nie do końca mi się klei wg mojej znajomości bebechów MySensors, ale coś w tym może być.

Niestety, wersja 2 także może cierpieć na tą dolegliwość. W przyjemnością przyjmę wkład w rozwój softu, gdzie ktoś faktycznie używający sieci i/lub MQTT rozwikła te problemy.
Jak będziesz miał jakiś output z serial monitora, to śmiało wklej w tej dyskusji.

Odnośnie zasilania, to najlepiej zmierz ile to pobiera prądu i zweryfikuj z datasheetem.

[maro1977pl]

Ouput z serial monitora:

`--- Available filters and text transformations: colorize, debug, default, direct, hexlify, log2file, nocontrol, printable, send_on_enter, time
--- More details at https://bit.ly/pio-monitor-filters
--- Miniterm on COM5  115200,8,N,1 ---
--- Quit: Ctrl+C | Menu: Ctrl+T | Help: Ctrl+T followed by Ctrl+H ---
0 MCO:BGN:INIT GW,CP=R-NGA---,FQ=16,REL=255,VER=2.3.2
4 MCO:BGN:BFR
# loadRelayState: 3(byte 4) = 0
1006 GWT:TIN:IP=192.168.1.105
2010 MCO:BGN:STP
# loadRelayState: 3 = 0    
2013 MCO:REG:NOT NEEDED    
2017 MCO:BGN:INIT OK,TSP=NA
12769 GWT:TSA:ETH OK
12784 GWT:RFC:MSG=0;255;3;0;2;
12795 GWT:RFC:MSG=255;255;3;0;20;
22790 GWT:RFC:MSG=0;255;3;0;2;`

[maro1977pl]

Zmieniłem RELAY_STARTUP_OFF na RELAY_STARTUP_ON - zapamiętuje stan i to jest ok, dalej nie wysyła po wznowieniu do HA aktualnych stanów.

[lkankowski]

Spróbuj na końcu presentation() dodać:

  // Send state to MySensor Gateway
  for(int i = 0; i < numberOfRelayButtons; i++) {
    // if this relay has multiple buttons, send only first
    if (relayMultiButtons[i].firstButton == -1 || relayMultiButtons[i].firstButton == i) {
      msgs[i] = MyMessage(myRelayButtons[i].sensorId, V_STATUS);
      uint8_t relayState;
      if (myRelayButtons[i].relayOptions & RELAY_STARTUP_ON) {
        relayState = 1;
      } else if (myRelayButtons[i].relayOptions & RELAY_STARTUP_OFF) {
        relayState = 0;
      } else {
        relayState = loadRelayState(i);
      }
      send(msgs[i].set(relayState)); // send current state
    }
  }

i pamiętaj, aby wykasować ten fragment z setup().

[maro1977pl]

Jest lepiej, teraz zmienia stan ale tylko w przypadku kiedy dany przekaźnik ma stan wyłączony (niski) i straci połączenie i w tym czasie zmieniam stan na wysoki na Arduino - w HA po połączeniu zmienia na włączony (wysoki) - odwrotnie nie działa.

[maro1977pl]

Wydaje się że działa wstawiłem kod troszkę wyżej pentlę for:

// Present all sensors to controller
  // Send state to MySensor Gateway
  for(int i = 0; i < numberOfRelayButtons; i++) {
    // if this relay has multiple buttons, send only first
    if (relayMultiButtons[i].firstButton == -1 || relayMultiButtons[i].firstButton == i) {
      msgs[i] = MyMessage(myRelayButtons[i].sensorId, V_STATUS);
      uint8_t relayState;
      if (myRelayButtons[i].relayOptions & RELAY_STARTUP_ON) {
        relayState = 1;
      } else if (myRelayButtons[i].relayOptions & RELAY_STARTUP_OFF) {
        relayState = 0;
      } else {
        relayState = loadRelayState(i);
      }
      send(msgs[i].set(relayState)); // send current state
    }
  } 
  }


//
  
}// void presentation()

[maro1977pl]

Z obserwacji:

1. działa w przypadku wypięcia kabla lan;
2. w przypadku wyłączenia zasilania ustawia stan wszystkich na WYSOKI - tak jakby nie zapisywał do Epromu
3. po zmianie RELAY_STARTUP_ON na RELAY_STARTUP_OFF - oczywiście stanów nie zapisuje ale wszystko się synchronizuje

[paku2020]

Czyli w wersji 2 sketchu również występuje problem z synchronizacją ?

[paku2020]

Przydałaby się może jakaś pętla która np co 5min mimo wszystko wysyła stany do domoticza czy HA.
A może w przypadku ip z dhcp lub statycznie przypisanego się też coś innego dzieje ?

[lkankowski]

V2 też nie będzie wysyłał stanów po reconnect.
Co do odłączenia kabla, to nie ma znaczenia z której strony :)

Wrzucenie wysyłki do presentation() wydaje mi się tylko obejściem problemu, a wysyłanie co jakiś czas jeszcze brzydszym obejściem.

Coś czuję, że im dalej będę brnął z obsługą LAN/MQTT, tym bardziej będzie doskwierać balast biblioteki MySensors.
Wg mojej obecnej wiedzy, mało jest kontroli nad połączeniem, dlatego jak będę miał chwilę, to zrobię obsługę MQTT autodiscovery kompletnie bez MySensors, a może i całkowicie wyrzucę MySensors i te kilka poleceń spokojnie obsłużę samodzielnie, bo w tym filozofii żadnej nie ma.

Fajnie, że się angażujecie i posuwacie testy do przodu 👍

[paku2020]

Wydaje mi się że ma znaczenie trochę :)
Miałem na myśli to że jeśli mamy domoticz<->switch<->W5100 i odłączymy kabelek między domoticz a switchem to port na W5100 dalej jest podniesiony i arduino myśli że wszystko jest oki :) A nie jest bo nie ma komunikacji z serwerem.

Czyli w v1 i v2 nie ma sposoby aby wyeliminować problem z synchronizacją stanów?
Jakby miała wyglądać obsługa MQTT autodiscovery?
Na tą chwilę jak wczoraj testowałem to z mqtt jest taki problem że jeśli stracimy połączenie z serwerem to arduino całkowicie przestaje działać. Po nawiązaniu połączenia działa. Lipa jest w sytuacji że serwer mqtt ulega awarii i nie mamy oświetlenia w domu :)
Może np zrobić tak żeby w domoticzu/HA robić wirtualne przełączniki, a w sketchu dopisywać ich idx? Wtedy cały mechanizm działa na arduino, w przypadku braku połączenia z serwerem mqtt działa dalej. Zostaje tylko kwestia tej synchromizacji....

Jeśli mogę coś przetestować i daj znać :)

[maro1977pl]

Mam gotowy sketch MQTT bez autodiscovery https://github.com/maro1977pl/MQTTv4 - trzeba ręcznie dodać instancje w configuration.yamal - wszystko działa włącznie z synchronizacją bo MQTT to wieczna synchronizacja. Jest jeden problem w trakcie braku połączenia jakiegokolwiek z HA brokerem zawiesza się możliwość kliknięcia fizycznych przycisków - bardzo mnie to denerwuje. Mała awaria serwera i nic nie działa.

[lkankowski]

Wydaje mi się że ma znaczenie trochę :) Miałem na myśli to że jeśli mamy domoticz<->switch<->W5100 i odłączymy kabelek między domoticz a switchem to port na W5100 dalej jest podniesiony i arduino myśli że wszystko jest oki :) A nie jest bo nie ma komunikacji z serwerem.

spoko - myślałem, że piszesz o dwóch końcach tego samego kabla :D

[lkankowski]

Napiszę Wam trochę o zasadach działania poszczególnych wariantów sieciowych, bo to może nieco objaśnić.

1. Zwykły tryb ethernet

• gateway łączy się z siecią TCP/IP i otwiera port (domyślnie 5003/tcp)
• kontroler (Domoticz/HA) BEZPOŚREDNIO łączy się z gatewayem i reszta komunikacji jest analogiczna jak UART (prawie jak serial2tcp)
• w razie zerwania połączenia, to kontroler jest odpowiedzialny za ponowne połączenie
• po reconnect najprawdopodobniej odpalane jest ponownie 'presentation()' (muszę sprawdzić)

2. MQTT dedykowane dla MySensors (w Domoticzu jest to MySensors over MQTT)
   a) kontroler rejestruje się w brokerze MQTT na topic wychodzący z gatewaya (MY_MQTT_PUBLISH_TOPIC_PREFIX)
   b) gateway rejestruje się w brokerze MQTT na topic wychodzący z kontrolera (MY_MQTT_SUBSCRIBE_TOPIC_PREFIX)
   c) NIE MA BEZPOŚREDNIEGO połączenia między gatewayem a kontrolerem
   d) Jeżeli któryś z klientów MQTT się rozłączy, strona, która publikuje się o tym nie dowie, ale ...
   e) ...Kontroler co jakiś czas wysyła komunikat HEARTBEAT (ping) i czeka na zwrotny komunikat - w ten sposób gateway może zostać oznaczony jako timedout
   f) Jeżeli gateway ma połączenie z MQTT, a kontroler nie (np. jest restartowany), gateway o tym nie wie, do czasu aż kontroler nie poprosi gatewaya o inicjalizację (tu nie pamiętam szczegółów, ale piłeczka jest po stronie kontrolera)
   g) jakimś rozwiązaniem aby komunikaty z gatewaya doszły do kontrolera jest flaga MY_MQTT_CLIENT_PUBLISH_RETAIN - sprawia ona, że broker MQTT przetrzyma komunikaty nawet, jeżeli aktualnie kontroler jest wyłączony
   h) jak widać, krytyczna w tym scenariuszu jest niezawodność brokera MQTT

3. MQTT Autodiscovery - nie będę się zbytnio rozpisywać, w skrócie jest tak:
   a) gateway podczas uruchomienia wysyła na topic ze znanym prefixem, np. "homeassistant/..." informacje w stylu: nazywam się ABC i udostępniam informacje D, E, F, na topicu XXX publikuję stany, a na topicu YYY przyjmuję komendy
   b) kontroler nasłuchuje na powyższym topicu i tworzy urządzenia wg danych ABC, D, E, F
   c) kontroler zaczyna nasłuchiwać na topicu XXX aby odczytywać dane z gatewaya
   d) komendy kontroler wysyłana YYY

[lkankowski]

Aha - wszelkie przypadki, kiedy manualne sterowanie włącznikami przestaje działać jest poważnym błędem. Założenie nadrzędne sketcha jest takie, że cokolwiek by się nie działo z komunikacją, podstawowa funkcjonalność MUSI działać. Tak więc, jeżeli udałoby się wyizolować konkretną i powtarzalną sytuację takiego błędu, to zapraszam do założenia issue ze szczegółowym opisem.

[paku2020]

Z moim testów poniedziałkowych brakowało komunikacji w takich przypadkach:
MySensors gataway
1. Zasilanie usb, skrętka bezpośrednio, dhcp
Odłączona skrętka. Działa do restartu. Po restarcie już nie. Po ponownym podłączeniu skrętki też nie działa.Po restarcie działa.

MySensors MQTT
1. Zasilanie usb, skrętka bezpośrednio, dhcp
Po wgraniu sketch działa, po odłączeniu skrętki od shielda działa przez chwilę po czym przestaje działać.Restart nie pomaga.
2. Zasilanie usb, skrętka bezpośrednio, Static ip
Po wgraniu sketch działa, po odłączeniuu skrętki od shielda przestaje działać
5. Zasilanie przez pin 5v, skrętka podłączona przez switch, static ip
Po odłączeniu skrętki od switcha przestaje działać. Po powrocie pingu do serwera mqtt zaczyna działać.

Któryś przypadek się kwalifikuje? Jeśli tak to go szerzej rozpiszę w issue.

Reasumując temat wysyłania stanów do kontrolera. Jest to mało możliwe aby działało poprawnie?

[lkankowski]

Z tego co piszesz wynika, że problem dotyczy wyłącznie komunikacji gateway<=>kontroler, a podstawowa funkcjonalność, czyli sterowanie manualne poprzez przełączniki podłączone do GPIO działa prawidłowo?

Chciałbym tą kwestię zamknąć i nie wracać do niej więcej, a skupić się na komunikacji.
Natomiast jeżeli jednak manualne sterowanie nie działa, to może oznaczać, że program trafia gdzieś w jakąś pętlę lub kompletnie na manowce.

[paku2020]

Wszystko jest ok jeśli chodzi o sterowanie także można temat zakończyć 👍