Endlich mal eine vernünftige Erklärung wie Daten mittels MQTT eingesammelt, in eine Datenbank gespeichert und mittels Grafana ausgewertet werden können. TOP Video 👍🏼
Danke! Wirklich wunderbares Erklärbärvideo, heruntergebrochen auf das absolute Minimum der Notwendigkeiten! Großartig. Ich habe jetzt endlich das erste Mal im Detail verstanden, wie das Zeug zusammenhängt. Merci!!
Vielen Dank, super Erklärvideo. In der Einfachheit liegt das Geheimnis, so kommt auch ein Einsteiger schnell zu brauchbaren Ergebnissen, alles direkt, ohne Umschweife und viele komplizierte Erklärversuche. Von dieser Qualität wünschte ich mir viel mehr auf YT. Viele Grüße
Das Video hat exakt zu meiner Problemstellung (BKW, Stromzähler auslesen und visualisieren) gepasst und mir sehr geholfen das alles aufzusetzen. Vielen Dank!
Sau geil, funktioniert auch noch 2 Jahre später. Einzig der Mqtt Explorer wollte sich mit Mosquitto nicht verbinden - das hat aber ein kommentator in Deinem Blog gut beschrieben was in Mosquitto geändert werden muß. Dankeschön - eine super Basis für eigene Projekte. LG Reinhard
Danke für das Tutorial. Genau das richtige für jemanden der zwar schon viel mit Linux zu tun hatte aber von den besprochenen Applikationen keine Ahnung hat. Diese Art von minimaler Einführung gibt es leider viel zu selten. Habe jetzt extra für dieses Setup meinen ur-alten Mac Mini Server aufgesetzt. Auch ich bin nicht über Docker gegangen sondern habe alles direkt installiert. Mit Ubuntu Server 22.04 funktioniert das recht problemlos.
Hey super. Hab's auch hinbekommen. Allerdings nicht auf einem Raspi sondern auf meinem alten Ubuntu-Laptop, auf dem Docker schon installiert war. Das größte Problem war zu begreifen, dass innerhalb von Docker "localhost" nicht funktioniert sondern die IP-Adresse des Rechners gefragt ist. Hattest du ja richtig vorgemacht, ich hätte es nur genauso nachmachen müssen. Zuerst hab ich mal 'nen Shelly eingebunden, dann die AhoyDTU, am Schluß dann noch Werte vom Deutschen Wetterdienst, für den es ein eigenes Element im Node Red gibt. Wenn ich es jetzt von schaffe, die Grafana-Seite von außen zugänglich zu machen, bin ich happy. Ein netter Zeitvertreib, danke sehr! Nachtrag: auch ich hatte das Problem, dass meine Mosquitto-Version zu neu war. Mit einer älteren Version hats dann auch funktioniert.
Für mich die beste Anleitung die ich im Netz finden konnte!!!!! Man kann alle Schritte nachvollziehen und dann darauf aufbauend eigene Sachen integrieren. Vielleicht ein Video wie man die Docker Database sichern und permanent speichern kann? Danke Lutz😊
Layer 8 Problem. ich lach mich kaputt. das hab ich ganz oft. Tolles Video. schau mir das schon zum dritten mal an und entdecke immer wieder etwas neues.
Da ich selbst auch ioBroker nutze, kann ich dir nur empfehlen die shelly's darüber einzubinden. Der Shelly Adapter (wird aktuell von Matthias Kleine aktualisiert) nutzt das COAP Protokoll... somit bleibt die Verbindung zum Shelly Cloud Server aufrecht erhalten und du kannst dennoch deine Daten lokal speichern und damit basteln was du magst... ich verstehe deinen Ansatz "Ich möchte gern wissen wo meine Daten liegen!" Bei ioBroker weist du das dann aber auch und es ist viel leichter dies zu kontrollieren weil jede Instanz/Adapter quasi seinen eigenen "Objekt-Tree" bekommt, den du auch live begutachten kannst...
Super erklärt und doppelten Daumen hoch. Ich hab drei verteilte BKW mit unterschiedlichster Ausrichtung deren Solarerträge ich konsolidiert auswerten wollte. Mit drei Shelly S Plug konnte ich das dank deines Videos stressfrei umsetzen. Ich bin zwar nicht den Weg über Docker Container gegangen sondern einen kleinen Ubuntu 22.04 Server, der als VM mit 1 GB RAM auf meinem Nextcloud Server läuft, aber das macht keinen großen Unterschied. Ubuntu 22 bringt alle notwendigen Komponenten (Mosquitto, Node-Red, InfluxDB, Grafana) out of the box mit. Egal ob als Paket oder Snap. So kann man den ganzen Stack installieren ohne Fremdrepos. Erstaunlich dass das alles auf nem kleinen E350 Server stressfrei und performant läuft :-)
@@Lara-tk2wg Sorrry, die Nachricht kam bei mir nicht an. Meine Influx DB hat aktuell nach knapp nem Jahr aufzeichnen 300 MB. Da sind aber noch zig andere Daten wie Temperatursensoren für meine Warmluftkollektoren, Lüftersteuerung und was weiß ich noch alles dabei. Wenn man nur ein paar BKWs erfasst mit Solarleistung wird das sicher deutlich kleiner
Sehr anschaulich und nachvollziehbar erklärt, nur werde ich jetzt wohl erst einmal meine LEDVance flashen dürfen. 34:22 'Ich sag einfach mal Wattstunden (Wh)' - ist leider falsch. Klugscheißermodus ein: Power ist die momentane Leistung und damit Watt, nicht Wattstunden, und zeigt eine dem Sonnenstand ähnlichen Verlauf. Energy ist die erzeugte Energie, also Power bzw. Leistung x Zeit und damit W x h = Wh In dem Shelly läuft dabei ein Zählwerk, was für jede Messung den Zeitabstand mit der Leistung der vorigen Messung misst, daher die Wattminuten. Wenn der also jede Sekunde 1x einen Wert von 500W messen würde, dann speichert der Shelly für jede Sekunde den Messwert 500. Der Shelly schreibt dann die Energie fort, indem er immer den letzten Stand nimmt und den letzten Messwert x Zeiteinheit addiert, also 500 W x 1 Sek. = 500 Wattsekunden, die er aber als 500/60 Wattminuten abspeichert, also 8,33 Wmin. Sind 60 Sekunden rum, dann hat er 500 Wattminuten auf dem Zählwerk und zwar in 60 Datensätzen gespeichert. Jedenfalls folgt der 1. Graf an einem Tag ohne Wolken dem Sonnenverlauf und zeigt die momentane Leistung der Module an so wie der Steckdosen sonst den momentanen Verbrauch auch ja nur in Watt anzeigen. Der Sonnenverlauf bis in den Zenit spiegelt sich dann in dem Grafen, der mit Sonnenaufgang langsam und dann steiler ansteigt bis am vormittag die Steigung schwächer wird und mittags um 13:30 Uhr im Sommer die Leistung den Höhepunkt erreicht, in dem die Steigung dann genau 0 ist, denn danach sinkt Leistung langsam ab uns apäter stärker . Das ist immer der Leistungsgraf und nicht die Energie. Von daher in Influx von Wh auf W ändern. Klugscheißermodus aus: Hilft so halt jedem, darauf zu achten, denn der Wh Verlauf ist ein über den Tag stetig ansteigender Zähler, der um Mitternacht wieder auf 0 gesetzt werden muss. Am Ende hat der Shelly vermutlich auch 5 Energie Zählwerke oder man muss sich die 5 Zählwerke in Influx anlegen bzw. erzeugen wie Tages- / Wochen- / Monats- / Jahres- / Gesamt- Wh. Aber Klasse Erklärung, muss jetzt nur noch meine LEDVance von Osram geflashed bekommen, so das denn geht. Nächste Station wäre dann Solarprognose einzubinden in die Tagesleistungsverlaufskurve, denn der Dienst liefert jede Stunde eine Progrnose der nächsten 48 h in der Gratisversion des deutschen Hobby Anbieters, sprich solarprogose'dot'de sollte das liefern können und Influx hoffentlich damit etwas anfangen können. Na ja, irgendwann kommt dann vermutlich auch das Ding Wartung von dem Teil auf den Tisch, weil man sichern will und vor allem auch mal auf eine andere Hardware umziehen mag.
@Raspberry Pi Cloud: Bei dem Grafen mit der Abfrage für "power" müsste der Wert beim Shelly aber in Watt (w) herauskommen; als momentaner Wert. Wattminuten wäre ja bereits eine Arbeitseinheit, dafür ist ja "energy" vorgesehen, wie im numerischen Counter auch angezeigt wird. Korrigiere mich, wenn ich falsch liege ;)
grundsätzlich super video und erklärt mir vieles. Bloss wird bei 2:00 erklärt, dass die Geräte (Shellys) alle Daten versenden ohne das wir irgendwas einstellen müssen. So einfach wirds wohl nicht gehen. Da fehlt irgendwie eine Verbindung - entweder erzeugen die Shellys ein WLAN oder man muss diese in das bestehende WLAN einbinden und IP Adressen vergeben.......
Danke für die Beschreibung, was mich interessieren würde, gerade wenn man es über einen Raspberry Pi betreibt, wieviel Daten fallen da im Jahr so an, welche größer der Speicherkarte wäre sinnvoll?
Vielen Dank. Hat bis jetzt super funktioniert. Meine VM läuft mit allen App's und ich kann meine Shelly schön in Grafana anzeigen. Nur wir klappt das mit meinen TASMOTA Steckdosen? Die liefern im MQTT Explorer nur einen TOPIC "SENSOR = {"Time":"2022-09-10T12:11:47","":{"Total_in":7260.63,"Total_out":159.32,"Power_curr":314}}" und hieraus benötige ich nur "Power_curr". Wie kann ich das herausfiltern und weiterverarbeiten?
Hallo Thomas, ich selbst hatte das Problem bei meinem Stromzähler welchen ich über Tasmota auslese.. Ich bin dann zu ioBroker ausgewichen mit dem Sonoff Adapter, da beim ioBroker der MQTT Adaper genau das selbe Bild geliefert hat
@@cagivasupercity Danke für deine schnelle Antwort - ich habe es jetzt über "node-red-contrib-tasmota" aus der Palette gelöst (nachinstalliert). Dort kann man über "Output channels payload:" die einzelnen Werte isolieren und weitergeben
Oh wow - mega gut erklärt, dass nimmt mir endlich das Hemmnis mich da selbst ranzuwagen. Eine Frage hierzu hätte ich: Reicht ein Raspberry Pi3 aus ? Das Ziel wäre schon einige Steckdosen zu erfassen…. Kommt der 3er Raspberry schnell an seine Grenzen?
Hallo Dennis, ich habe eine Frage bezüglich der Gesamten Messung in der Wohnung. Hast du dies bei dir mit dem Shelly 3EM realisiert, oder liest du es per IR am Zähler ab? Weil du ja auch Durchlauferhitzer mit im Diagramm erwähnt hast, bezüglich der Last Spitzen. Lieben Gruß und danke für dieses super ausführliche Tutorial!
Sehr tolles Video: Ist es möglich wenn man das ganze mit einer Dockerfile aufeinmal machen will, die NodeRED config permanent einzustellen? Bin noch relativ am Anfang vom Verständnis was das alles angeht aber das ist ein Projekt was einfach für andere zu "maintainen" ist wo ich mich dannach nicht mehr drum kümmere. Liebe Grüße Philipp
Schöne Erklärung, ABER... Gibt es da nicht eine Möglichkeit die Werte aller Geräte in die DB zu schreiben, ohne jede Instanz einzeln einzurichten? In Home Assistant war das wesentlich einfacher. Musste da nur in der configuration.yaml die unterschiedlichen Domain includen/excluden und gut war's. Noch etwas: Mein Shelly 1PM mini liefert die Energy-Werte bereits in kWh... Hab da nirgends eine Umrechnung einbauen müssen.
Hallo, super Video und läuft auch bei mir. Meiner VM habe ich 8GB RAM geben. Aber nach 3 Tagen ist der RAM am Anschlag. Ich überwache von meinem ioBroker ca. 80 Datenpunkte. Kann das zu viel sein
Hiho, ich schon wieder.. Kannst du zeigen wie man einen weiteren Shelly dort zufügen würde? Braucht man dafür ein neues Bucket, oder geht das im gleichen?
tolles Video ... das hätte ich mal eher finden sollen . Ich habe mal eine Frage zu dem MQTT-Server und Node Red . Beide sind schon installiert .Wenn ich jetzt Docker installiere , kann ich dann trotzdem nachträglich die docker - volumes anlegen oder muss ich mosquitto /node-red erst deinstallieren ? Danke
Muss man die Influx Node wirklich für jedes Measurement duplizieren oder lässt sich das auch dynamisch anhand der msg setzen, z.B. wenn man per Wildcard mehrere Topics subscribed und das Topic dann in der msg auftaucht?
Wie wäre es jetzt mit einem Video, in dem es auf Basis dieses Videos darum geht, wie man ein automatisches Backup System einrichtet, welches z.B. einmal täglich die Daten der Docker Volumes in einer cloud sichert. Dann am Ende noch ein kurzes Beispiel wie man mit den gesicherten Daten schnell und einfach sein System wiederherstellt. Anwendungsfall-> kaputte SD Karte im Raspi ^^
Richtig gutes Tutorial Video. Bin zwar neu in der Thematik dabei, aber arbeite mich durch… Habe es mit Add-ons (Mosquitto, Nodered, Influx und Grafana) auf dem Raspi4 unter Home Assistant hinbekommen. Nur der MQTT Explorer will nicht laufen und stützt dauern ab. Habe die Topics mit einem externen Client ausgelesen. Jetzt würde ich gerne meinen Raspi mit eine SSD ausrüsten und die Variante mit den Containern machen, weil ich sie besser finde. Welches Grund OS muss auf das Raspi, damit Docker läuft?
Danke für Deine interessanten Videos. Magst Du mal sagen, was der Grund / Vorteil aus Deiner Sicht ist, alles in Docker zu machen statt es z.b. Direkt auf dem Raspi zu installieren. Wird sicher auch ein interessantes Video - falls es nicht schon existiert...
Hallo Marco, mit Docker tust Du Dir z.B. deutlich einfacher beim Thema Updates...einfach neues Containerimage ausrollen, fertig. Auch haben Container untereinander keine Abhängigkeiten. Und kommst Du morgen auf die Idee, was ganz anderes mit dem Raspi zu machen, dann Container einfach weg und ggf. Container für den neuen Verwendungszweck ausrollen. Nur mal auf die schnelle 2-3 Vorteile. Viel Erfolg!
Super Tutorial, leider scheint es mit der aktuellen Version mit mosquitto nicht mehr zu funktionieren, da die ziemlich zugeschraubt ist, was Sicherheit angeht.
starkes Video. Ich habe InfluxDB 2.7. und glaube das ich deswegen bei Grafana nur als Query Language "Flux" nutzen kann. Weil man bei 2.7. keine Datenbank sondern Bucket hat bzw. tockens zum verifizieren. Kann man es irgendwie so einstellen das man auch so eine "vorgegebene" Sprache hat? Aktuell lass ich mir es von influx selbst ausgeben und kopiere es. aber ist natürlich unflexibel.
Ich habe in node red die “influxdb out”-node erstellt und die database eingerichtet (es klappt alles bis Minute 27:05). Wenn ich das ganze deployen möchte, erhalte ich folgende Fehlermeldung: Error: A 400 Bad Request error occurred: {“error”:”unable to parse ‘power aenergy=[object Object],apower=11.3,current=0.103,id=0,output=true,source=\”init\”,temperature=[object Object],voltage=222.8’: invalid boolean”} Ich verwende eine Shelly Plus Plug S. Ich bin blutiger Anfänger. Hat jemand einen Tipp?
Moin schönes Video allerdings hab ich ein Problem. Ich habe Shelly Plug S stecker die ich auf MQTT umgestellt habe.. JEtzt findet meine Alexa sie natürlich nicht mehr.. Hast du dafür auch eine Lösung das diese wieder über Alexa steuerbar sind?
Hi, danke für das Video. Wie kann ich denn in Grafana - Explore die Felder "from, select, group bei, etc." sichtbar machen? Bei mir ist nur eine Eingabezeile...
Besser geht nicht. Für Laien sehr verständlich erklärt. Leider funktioniert es bei mir nicht :( Versuche seit 2 Tagen auf dem 32bit und 64bit System zu installieren. Ich bekomme bei den "docker run" Befehlen immer einen Fehler "docker: invalid reference format. See 'docker run --help'." Hat von euch jemand eine Lösung dazu?
Hallo Dennis, erstmal danke für Deine Videos. Sie sind sehr informativ und gut präsentiert. Ich habe eine Frage zu der Installation in diesem Video, die ich versucht habe auf meine PI4 nachzuvollziehen. Vom Ablauf her hat alles gut funktioniert, aber im Laufe der Zeit hat es wohl Veränderungen gegeben, die dazu führten, dass meine Installation nicht funktioniert. Es beginnt schon mit Mosquitto. Du hast 'latest' installiert, was aber mittlerweile 2.0.18 ist. Allein die MQTT Verbindung scheitert bei mir. Ich kann keine Verbindung zu meinem Client (MQTT Exlorer / macOS) aufbauen, noch kann ich in NodeRed Daten empfangen. Ich habe beim Versuch festgestellt, dass es mir gelingt mit einer älteren Version von Mosquitto (1.8xx?) eine Verbindung zum MQTT-Explorer herzustellen, aber trotzdem weigert sich NodeRed Daten vom Broker zu empfangen. Im conf-File von Mosquitto habe ich 'anonymous true' und 'listener 1883' eingefügt, was mich aber auch nicht weitergebracht hat. Ich wäre ja auch mit der älteren Version von Mosquitto zufrieden, wenn wenigstens in NodeRed Daten ankommen würden. Ich habe jetzt mehrfach die einzelnen Schritte Deiner Anleitung überprüft, konnte aber da keinen Fehler entdecken. Ich weiß, eine Ferndiagnose ist immer schwierig, aber vielleicht hast Du auch Erkenntnisse über die neue Version von Mosquitto oder kannst mir Tipps geben, wie ich wenigstens eine Verbindung zu NodeRed herstellen könnte. Das sollte doch eigentlich kein Problem sein, da sich beide Container auf dem selben Raspi befinden. Ich danke Dir schon mal für Deine Hilfestellung. VG
@@phipzzisahero - Mir hat ein weiteres Video von Dennis: "Portainer einfach erklärt. Grundlagen Training. Install, Update, Container erstellen" sehr viele Erkennznisse gebracht und mein Verständnis verbessert. Was für mich auch hilfreich war, ist ein YT-Video von MAKE: "Docker auf dem Raspberry Pi installieren (Einsteiger-Tutorial)". Mittlerweile habe ich alle Hürden überwunden und den kompletten Datenpfad überwunden. Es hat mich aber ein paar Tage Zeit gekostet. Insgesamt habe ich mich mit Docker anfreunden können.
@@upper_deck Vielen Dank für die Antwort. Ich hatte es nach ein paar Stunden auch geschafft eine ältere Version zu installieren. Hab mir die Videos angeschaut und jetzt macht das ein oder andere mehr Sinn. Danke für deine Hilfe!
Frgen: Wie gehe ich vor, wenn ich mehrere Shellys habe?? Was ist mit Tasmota, denn die "Daten" heißen dort laiut MQTT Explorer anders. Da gibt es nicht Power und Energy getrennt, sondern dort ist alles bei Sensors. 🤔
Schöne Anleitung. Ich habe alles Schritt für Schritt auf einem Raspi4 nachgemacht. Wenn ich docker ps -a aufrufe, sehe ich alles. Nur kann ich mich mit dem MQTT-Explorer nicht verbinden! (weder von win10 noch von Ubuntu) was mache ich falsch?
Cooles Video - jetzt hab ich schonmal einen Teil meiner PlugS im Grafana... Einzig die Möglichkeit, die Dosen in der App nicht mehr zu haben, stört mich... Deswegen bastel ich Grad an einer Node Red Lösung, die die Daten von den Shellys abruft und ich die Datenbank schreibt. Man spart sich den MQTT Broker, man hat die Steckdosen weiterhin in der App, und - wenn alles klappt - muss man nur noch in eine Tabelle eintragen, welche Shellys abgerufen werden sollen - und Sekunden später tauchen sie in Grafana auf...
Hallo an alle, welchen Weg benutzt ihr/könnt ihr empfehlen die InfluxDB v2 zu backupen wenn sie mit Docker läuft. Bisher habe ich nur Skripte gefunden, die die mit v2 machen. Wäre cool wenn ihr ne Lösung hab die zu teilen
Super Video, endlich mal eine Anleitung wie man die Kombination Node-Red, InfluxDB und Grafana ans Laufen bringt, die auch funktioniert und dann auch noch zeigt wie man tatsächlich ein paar Werte ans laufen bringt. Mosquitto habe ich allerdings nur mit Hilfe eines hilfreichen Kommentars ans Laufen bekommen.
@@helichannel4297 Ich konnte mich auch weder mit dem MQTT Explorer noch mit anderen ähnlichen Tools mit Mosquitto verbinden. Der Grund war, dass in der "mosquitto_conf" ein paar Werte gesetzt werden müssen. Weiter unten hier in den Kommentaren gibt es einen Kommentar von "Klaus Peine". Er hatte dasselbe Problem wie ich und hat geschrieben, dass er sich nicht mit dem MQTT Explorer mit Mosquitto verbinden kann. Darauf hat er eine Antwort von "svebeert86" erhalten der genau erklärt wie man das Problem löst.
@@michelmuller1675 hab's gefunden. Der Mosquitto 2 hat Standardmäßig keinen Port definiert und anonyme Eingaben sind standardmäßig ausgeschaltet. In der modquitto.conf listener 1883 und anonymous true eintragen. Mosquitto neu starten und dann geht's.
Kannst Du evtl. nochmal ein Video machen wie man die influxdb 1.8 aus deisem Video auf die neue Version 2.x bringt ohne Datenverlust ? Ich finde deine Viedeos alle klasse.
Moin Moin. Vielen Dank für deine Videos. Bislang konnte ich als absoluter Anfänger fast alle deiner Schritte in deinen Videos folgen. Kannst du vielleicht noch mal zeigen, wie man bei Mosquitto einen Usernamen und Passwort vergibt?
Zuerst einmal Klasse Video! Super benutzerfreundlich gemacht und einfach zu verstehen. Ich habe folgende Frage: Ich würde gerne das Konstrukt mit Shelly, Mosquitto, Node-Red und der InfluxDB so wie du es erklärt hast auf meinem Raspberry aufsetzen. Die Daten auf der DB würde ich dann aber gerne einmal auf meinem OpenHAB der auf dem selben Raspberry läuft und auf einer Webseite die außerhalb des Raspberry auf einem Google Server läuft, verwenden. Wie ich das ganze in OpenHAB umsetze ist eigentlich kein Problem. Meine Frage ist nun wie ich die Daten aus der InfluxDB an die externe Webseite sende? Der Raspberry müsste dafür ja aus meinem Heimnetzwerk raus ins öffentliche Internet kommunizieren. Kann ich dies mit einer API über einen Post Befehl lösen? Oder muss ich über die Webseite einen Get befehl auf die DB machen? Wie könnte man sowas umsetzten? Vielleicht hat ja jemand einen Tipp für mich. Vielen Dank!
Ich bin jetzt kein Mosquitto-InfluxDB Experte, aber da die InfluxDB generell eine Webschnittstelle bietet um Daten zu lesen / schreiben wäre mein Ansatz die Daten in Node-RED mittels eines parallelen influx-db out pro interessanten Wert ebenfalls in eine influx DB auf deinem externen Webserver zu schreiben. Dort kannst du sie auslesen und entsprechend grafisch darstellen. Ansonsten ist natürlich alles bis hin zum Amazon S3 Bucket als Speicherziel denkbar.
Ich habe bei mir Privat ioBroker laufen und darauf nodered als adapter instanz gestartert. So kann ich Pakte die es bei nodered nicht gibt mit iobroker ergänzen bzw. andersherum. Läuft bei mir über proxmox auf einer DEBIAN11 VM und das plain installiert ohne docker. Auf der selben VM läuft unter docker die influxdb1.8 und Grafana. influxdb und grafan ziehen bei mir noh auf eine eigene VM.
Video ist super gut! Mich würde noch interessieren wie ich einen Button (Schalter) in Grafana einbauen kann, der mit einem Schalter in Node Red verbunden ist. Bisher hab ich ein Nod Red Dashboard mit dem ich einen Tasmota ein und ausschalten kann. Würde das gerne mit Grafana auch können. Hast Du einen Tipp für mich. Das Grafana Button Plugin kenn ich. Es hapert aber an der Konfiguration 😅 ❤
ich scheitere leider an dem Verbindungstest mit MQTT-Explorer. Mein Rasp zeigt mit dem Befehl: "sudo docker ps -a" an, dass der mosquitto Server läuft. Beim MQTT Explorer habe ich als Passwort meine Zugangsdaten vom Raspberry angegeben.
Vielen Dank für das Video! Konnte es sehr gut nachvollziehen und bei mir einrichten. Ich habe mir für einen Shelly Plug S das ganze eingerichtet und frage Power und Energy ab. Für Power klappt das soweit gut, auch mit Minium und Maxium kann ich es nachvollziehen. Was mir noch nicht gelingt ist es, aus den Werten von Energy eine Darstellung in Wattstunden bzw. auch Kilowattstunden pro Tag z.B. nachzubauen. Mir schwebt da grundsätzlich die gleiche Machhart wie in der Shelly Cloud vor. Da der Energywert ja hochzählt, müsste ich ja eine Differenz berechnen. Auf Tagesebene z.B. den Maxwert von heute minus den Maxwert von gestern. Hat da jemand ein paar Tips für mich als absoulten Frischling bei Grafana?
MQTT ist schon cool, nutze es bei mir auch sehr viel. NodeRed ist derzeit noch so eine schwarzes Loch, damit hat ich mich bisher nicht beschäftigt. ich habe allerdings auch den Vorteil, das meine Smarthome-Software einen eigenen MQTT-Server hat und alle Variable-Daten in einer internen Datenbank speichert ( wenn mal will für Graphen ) . Über ein Modul kann Grafana dann direkt auf diese Datenbank zugreifen - erspart die zusätzliche InfluxDB. Ich muss mal testen, wie resourcenhungrig das aber wird, wenn ich mal 100 Variablen und mehr von Grafana abfragen lassen.
@Joachim Hummel richtig - MQTT speichert die ja auch nicht, der MQTT-Server ist Teil meiner Smarthome-Software und diese hat eine eigene interne Datenbank für Variabledaten und dort werden die Daten abgelegt, z.b. interne Grafiken. Mit einem Zusatz-Softwarmeodul greift dann Grafana direkt auf diese Datenbank zu und kann daraus Grafiken erstellen. Die Datenbank der Smarthome-Software wird in Grafana direkt als DataSource angelegt.
Sehr gute Video. Ich habe bei mir nur ein Problem, das ich nicht auf dem MQTT Server connecten kann mit dem MQTT Explorer und ich nicht weis warum, obwohl ich alles zu gemacht hab wie im Video. Kann jemand evtl. helfen?
Ich hatte auch Probleme mit dem Mosquitto Server. Das Problem ist, dass dieser Teil leider nicht im Video erklärt wird. Dazu muss man den Mosquitto Dock Container öffnen und dort das config File richtig einstellen. Dann geht es.
Bei mir das gleiche Problem leider. Ich habe alles konfiguriert und er läuft, sehe aber keinen Port, wenn ich es kontrolliere. Muss ich mir morgen anschauen. Mach gerade nix anderes als arbeiten und RasPi weiterbasteln. Dauert alles seine ZEit und braucht Schleifen :) 2
Kannst du vielleicht das ganze für Windows machen? Mein Raspberry 3 dürfte für das Projekt schon zu alt sein. Ich hatte massive Probleme alles korrekt zu installieren. influxdb ging zum Beispiel nur in V 1.8...vorher hatte ich das Problem das der Microintelcode nicht aktuell war. Dann noch viele andere Probleme...die nur aufgrund von aktuellen Versionen auftreten. influxdb V2 geht zum Beispiel nur in 64 bit usw... Ich hab das alles irgendwie nach Stundenlangem herumprobieren und suchen geschafft zu installieren, aber selbst iobroker ladet schon stundenlang nur um die Adapter (für NodeRED) zu suchen grrr das ist doch alles... Drum würd ich das ganz gern am Spiele-PC mit Windows 11 probieren.
Endlich mal eine vernünftige Erklärung wie Daten mittels MQTT eingesammelt, in eine Datenbank gespeichert und mittels Grafana ausgewertet werden können. TOP Video 👍🏼
Danke! Wirklich wunderbares Erklärbärvideo, heruntergebrochen auf das absolute Minimum der Notwendigkeiten! Großartig. Ich habe jetzt endlich das erste Mal im Detail verstanden, wie das Zeug zusammenhängt. Merci!!
Super Video! Klasse auch, dass die die kleinen Fehler nicht einfach raus schneidest, das hilft ungemein!
Absolut hervorragendes Erklärvideo. Vielen Dank für die Mühen. Eine Sternstunde unter den RUclips Tutorials 😀
Dem kann ich mich nur anschließen!
Vielen Dank, super Erklärvideo. In der Einfachheit liegt das Geheimnis, so kommt auch ein Einsteiger schnell zu brauchbaren Ergebnissen, alles direkt, ohne Umschweife und viele komplizierte Erklärversuche. Von dieser Qualität wünschte ich mir viel mehr auf YT. Viele Grüße
Deine Tutorials funktionieren einfach! Danke schön :)
Unglaublich, dass ich das für umsonst anschauen darf. Ist mein Projekt für den Sommer! Vielen Dank!
Das Video hat exakt zu meiner Problemstellung (BKW, Stromzähler auslesen und visualisieren) gepasst und mir sehr geholfen das alles aufzusetzen. Vielen Dank!
Sau geil, funktioniert auch noch 2 Jahre später. Einzig der Mqtt Explorer wollte sich mit Mosquitto nicht verbinden - das hat aber ein kommentator in Deinem Blog gut beschrieben was in Mosquitto geändert werden muß. Dankeschön - eine super Basis für eigene Projekte. LG Reinhard
Das ist einfach der Hammer wie locker flockig du das erklärst :-)
Krass! Danke für dieses einzigartiges Video!
Bin begeistert danke werde diese Woche das Projekt angehen, habe die ganze Zeit nach solch einer Anleitung gesucht, jetzt traue ich mich.👍
Danke für das Tutorial. Genau das richtige für jemanden der zwar schon viel mit Linux zu tun hatte aber von den besprochenen Applikationen keine Ahnung hat. Diese Art von minimaler Einführung gibt es leider viel zu selten. Habe jetzt extra für dieses Setup meinen ur-alten Mac Mini Server aufgesetzt. Auch ich bin nicht über Docker gegangen sondern habe alles direkt installiert. Mit Ubuntu Server 22.04 funktioniert das recht problemlos.
Tolles Video! Das war das nützlichste Video zu dem Thema, was ich heute gesehen habe. Und ich habe mir heute einige Dutzend Videos dazu angesehen.
Richtig gutes Tutorial!
Danke dafür
Hey super. Hab's auch hinbekommen. Allerdings nicht auf einem Raspi sondern auf meinem alten Ubuntu-Laptop, auf dem Docker schon installiert war. Das größte Problem war zu begreifen, dass innerhalb von Docker "localhost" nicht funktioniert sondern die IP-Adresse des Rechners gefragt ist. Hattest du ja richtig vorgemacht, ich hätte es nur genauso nachmachen müssen. Zuerst hab ich mal 'nen Shelly eingebunden, dann die AhoyDTU, am Schluß dann noch Werte vom Deutschen Wetterdienst, für den es ein eigenes Element im Node Red gibt.
Wenn ich es jetzt von schaffe, die Grafana-Seite von außen zugänglich zu machen, bin ich happy.
Ein netter Zeitvertreib, danke sehr!
Nachtrag: auch ich hatte das Problem, dass meine Mosquitto-Version zu neu war. Mit einer älteren Version hats dann auch funktioniert.
Für mich die beste Anleitung die ich im Netz finden konnte!!!!!
Man kann alle Schritte nachvollziehen und dann darauf aufbauend eigene Sachen integrieren.
Vielleicht ein Video wie man die Docker Database sichern und permanent speichern kann?
Danke Lutz😊
Top Video! Klasse erklärt!
Mega gut erklärt!!!!
Layer 8 Problem. ich lach mich kaputt. das hab ich ganz oft. Tolles Video. schau mir das schon zum dritten mal an und entdecke immer wieder etwas neues.
Saugeil, 10 Daumen hoch 😊
Sehr cool! Das Node Red ist sehr interessant
Super Video, schön erklärt.
Bis zum mqtt-explorer läuft die Installation ganz gut. Der mqtt-explorer verbindet sich nie mit dem mosquitto server. Da wäre schon Hilfe ideal.
Bei mir genauso
Funy und absolut lehrreich :D super hilfreich.
Geiler Typ 👍🏻👍🏻👍🏻👍🏻
Bitte weiter so!
Dankeschön 😇
echt cool was Du da machst ! 🥶🥶
Danke für deine Videos!
Vielen Dank für das Video!
Toll, danke für dein Video. Besonders gut war der Teil, wie und wo, am besten gerechnet wird. 👍
Da ich selbst auch ioBroker nutze, kann ich dir nur empfehlen die shelly's darüber einzubinden. Der Shelly Adapter (wird aktuell von Matthias Kleine aktualisiert) nutzt das COAP Protokoll... somit bleibt die Verbindung zum Shelly Cloud Server aufrecht erhalten und du kannst dennoch deine Daten lokal speichern und damit basteln was du magst... ich verstehe deinen Ansatz "Ich möchte gern wissen wo meine Daten liegen!"
Bei ioBroker weist du das dann aber auch und es ist viel leichter dies zu kontrollieren weil jede Instanz/Adapter quasi seinen eigenen "Objekt-Tree" bekommt, den du auch live begutachten kannst...
Tolle Arbeit, danke.
Super erklärt und doppelten Daumen hoch. Ich hab drei verteilte BKW mit unterschiedlichster Ausrichtung deren Solarerträge ich konsolidiert auswerten wollte.
Mit drei Shelly S Plug konnte ich das dank deines Videos stressfrei umsetzen. Ich bin zwar nicht den Weg über Docker Container gegangen sondern einen kleinen Ubuntu 22.04 Server, der als VM mit 1 GB RAM auf meinem Nextcloud Server läuft, aber das macht keinen großen Unterschied. Ubuntu 22 bringt alle notwendigen Komponenten (Mosquitto, Node-Red, InfluxDB, Grafana) out of the box mit. Egal ob als Paket oder Snap. So kann man den ganzen Stack installieren ohne Fremdrepos. Erstaunlich dass das alles auf nem kleinen E350 Server stressfrei und performant läuft :-)
Dass das so wenig Ressourcen frisst ist ja gut zu wissen. Hast du ne Pi mal Daumen Angabe für den Speicherplatz?
@@Lara-tk2wg Sorrry, die Nachricht kam bei mir nicht an. Meine Influx DB hat aktuell nach knapp nem Jahr aufzeichnen 300 MB. Da sind aber noch zig andere Daten wie Temperatursensoren für meine Warmluftkollektoren, Lüftersteuerung und was weiß ich noch alles dabei. Wenn man nur ein paar BKWs erfasst mit Solarleistung wird das sicher deutlich kleiner
Jawohl danke für das cool Video genau das hat mir weiter geholfen 🫡👍
Sehr anschaulich und nachvollziehbar erklärt, nur werde ich jetzt wohl erst einmal meine LEDVance flashen dürfen.
34:22 'Ich sag einfach mal Wattstunden (Wh)' - ist leider falsch.
Klugscheißermodus ein:
Power ist die momentane Leistung und damit Watt, nicht Wattstunden, und zeigt eine dem Sonnenstand ähnlichen Verlauf.
Energy ist die erzeugte Energie, also Power bzw. Leistung x Zeit und damit W x h = Wh
In dem Shelly läuft dabei ein Zählwerk, was für jede Messung den Zeitabstand mit der Leistung der vorigen Messung misst, daher die Wattminuten.
Wenn der also jede Sekunde 1x einen Wert von 500W messen würde, dann speichert der Shelly für jede Sekunde den Messwert 500.
Der Shelly schreibt dann die Energie fort, indem er immer den letzten Stand nimmt und den letzten Messwert x Zeiteinheit addiert, also 500 W x 1 Sek. = 500 Wattsekunden, die er aber als 500/60 Wattminuten abspeichert, also 8,33 Wmin.
Sind 60 Sekunden rum, dann hat er 500 Wattminuten auf dem Zählwerk und zwar in 60 Datensätzen gespeichert.
Jedenfalls folgt der 1. Graf an einem Tag ohne Wolken dem Sonnenverlauf und zeigt die momentane Leistung der Module an so wie der Steckdosen sonst den momentanen Verbrauch auch ja nur in Watt anzeigen. Der Sonnenverlauf bis in den Zenit spiegelt sich dann in dem Grafen, der mit Sonnenaufgang langsam und dann steiler ansteigt bis am vormittag die Steigung schwächer wird und mittags um 13:30 Uhr im Sommer die Leistung den Höhepunkt erreicht, in dem die Steigung dann genau 0 ist, denn danach sinkt Leistung langsam ab uns apäter stärker . Das ist immer der Leistungsgraf und nicht die Energie.
Von daher in Influx von Wh auf W ändern.
Klugscheißermodus aus:
Hilft so halt jedem, darauf zu achten, denn der Wh Verlauf ist ein über den Tag stetig ansteigender Zähler, der um Mitternacht wieder auf 0 gesetzt werden muss.
Am Ende hat der Shelly vermutlich auch 5 Energie Zählwerke oder man muss sich die 5 Zählwerke in Influx anlegen bzw. erzeugen wie Tages- / Wochen- / Monats- / Jahres- / Gesamt- Wh.
Aber Klasse Erklärung, muss jetzt nur noch meine LEDVance von Osram geflashed bekommen, so das denn geht.
Nächste Station wäre dann Solarprognose einzubinden in die Tagesleistungsverlaufskurve, denn der Dienst liefert jede Stunde eine Progrnose der nächsten 48 h in der Gratisversion des deutschen Hobby Anbieters, sprich solarprogose'dot'de sollte das liefern können und Influx hoffentlich damit etwas anfangen können.
Na ja, irgendwann kommt dann vermutlich auch das Ding Wartung von dem Teil auf den Tisch, weil man sichern will und vor allem auch mal auf eine andere Hardware umziehen mag.
@Raspberry Pi Cloud: Bei dem Grafen mit der Abfrage für "power" müsste der Wert beim Shelly aber in Watt (w) herauskommen; als momentaner Wert. Wattminuten wäre ja bereits eine Arbeitseinheit, dafür ist ja "energy" vorgesehen, wie im numerischen Counter auch angezeigt wird. Korrigiere mich, wenn ich falsch liege ;)
Genial, vielen Dank!
Vielen Vielen Dank!
Wie update ich Grafana innerhalb des DockerContainers ?
Hi genau mein Ziel ! Reicht hierfür ein pi4 mit 2GB? Danke!
super, vielen Dank
grundsätzlich super video und erklärt mir vieles. Bloss wird bei 2:00 erklärt, dass die Geräte (Shellys) alle Daten versenden ohne das wir irgendwas einstellen müssen. So einfach wirds wohl nicht gehen. Da fehlt irgendwie eine Verbindung - entweder erzeugen die Shellys ein WLAN oder man muss diese in das bestehende WLAN einbinden und IP Adressen vergeben.......
Hallo, Kurze Frage warum verwendest du Influx db 1.x, dachte 2.x wäre standard. Hat das bestimmt Gründe?
Danke für die Beschreibung, was mich interessieren würde, gerade wenn man es über einen Raspberry Pi betreibt, wieviel Daten fallen da im Jahr so an, welche größer der Speicherkarte wäre sinnvoll?
Also bei 2 tasmotas 10sec intervall ist der raspi 3b schnell am Limit. Ich glaub nodered ist ziemlich intensiv. Muss ich nochmal untersuchen.
Vielen Dank. Hat bis jetzt super funktioniert. Meine VM läuft mit allen App's und ich kann meine Shelly schön in Grafana anzeigen.
Nur wir klappt das mit meinen TASMOTA Steckdosen? Die liefern im MQTT Explorer nur einen TOPIC
"SENSOR = {"Time":"2022-09-10T12:11:47","":{"Total_in":7260.63,"Total_out":159.32,"Power_curr":314}}"
und hieraus benötige ich nur "Power_curr". Wie kann ich das herausfiltern und weiterverarbeiten?
Hallo Thomas,
ich selbst hatte das Problem bei meinem Stromzähler welchen ich über Tasmota auslese..
Ich bin dann zu ioBroker ausgewichen mit dem Sonoff Adapter, da beim ioBroker der MQTT Adaper genau das selbe Bild geliefert hat
mit einer Change Funktion im Node red, geht easy
@@cagivasupercity Danke für den Tipp, kannst du das vielleicht genauer erklären oder kennst eine Seite wo das beschrieben ist?
@@hanskaiser6363 change function node red tasmota suchen , bei mir erster Eintrag
@@cagivasupercity Danke für deine schnelle Antwort - ich habe es jetzt über "node-red-contrib-tasmota" aus der Palette gelöst (nachinstalliert). Dort kann man über "Output channels payload:" die einzelnen Werte isolieren und weitergeben
Oh wow - mega gut erklärt, dass nimmt mir endlich das Hemmnis mich da selbst ranzuwagen. Eine Frage hierzu hätte ich: Reicht ein Raspberry Pi3 aus ? Das Ziel wäre schon einige Steckdosen zu erfassen…. Kommt der 3er Raspberry schnell an seine Grenzen?
Gibt es das Tutorial auch für eine komplette Installation auf Proxmox?
Sehr gutes Video, zusammen mit dem geschriebenen Tutorial ein klasse Leitfaden. Es gibt nur ein kleines Problem mit dem Mosquitto Docker bei mir.
Danke für die super Erklärungen. Was ist der Grund die Mosquitto Aplikation vorzuschalten, wenn Node Red direkt MQTT einlesen kann?
Klasse - ABER . . . hab step by step konfiguriert (Rasp 5 mit Wechselrichter HM-600) bekomme keine Daten im MQTT Explorer - WER KANN HELFEN ?
Hi gibt es für den Shelly Plus 1PM auch schon eine Anleitung, wie ich den verbinde und auslesen kann?
Danke für das Video hast du einen Tipp für Proxmox dort Docker im LXC oder VM?
Hallo Dennis, ich habe eine Frage bezüglich der Gesamten Messung in der Wohnung. Hast du dies bei dir mit dem Shelly 3EM realisiert, oder liest du es per IR am Zähler ab? Weil du ja auch Durchlauferhitzer mit im Diagramm erwähnt hast, bezüglich der Last Spitzen. Lieben Gruß und danke für dieses super ausführliche Tutorial!
das würde mich auch interessieren
Sehr tolles Video: Ist es möglich wenn man das ganze mit einer Dockerfile aufeinmal machen will, die NodeRED config permanent einzustellen? Bin noch relativ am Anfang vom Verständnis was das alles angeht aber das ist ein Projekt was einfach für andere zu "maintainen" ist wo ich mich dannach nicht mehr drum kümmere.
Liebe Grüße
Philipp
Schöne Erklärung, ABER... Gibt es da nicht eine Möglichkeit die Werte aller Geräte in die DB zu schreiben, ohne jede Instanz einzeln einzurichten? In Home Assistant war das wesentlich einfacher. Musste da nur in der configuration.yaml die unterschiedlichen Domain includen/excluden und gut war's.
Noch etwas: Mein Shelly 1PM mini liefert die Energy-Werte bereits in kWh... Hab da nirgends eine Umrechnung einbauen müssen.
Spricht etwas dagegen den ganzen Spaß mit nem ner Influx V2 zu machen?
Welcher Raspberry wird hier mindestens benötigt, damit alles fehlerfrei läuft?
Für mein Modell gibts keine Grafana Distro...
Eine Frage, geht das ganze auch auf einer Diskstation von Synology? Da hab ich ja auch Docker und finde auch die ganzen Tools. Gruß
Hallo,
super Video und läuft auch bei mir. Meiner VM habe ich 8GB RAM geben. Aber nach 3 Tagen ist der RAM am Anschlag. Ich überwache von meinem ioBroker ca. 80 Datenpunkte. Kann das zu viel sein
Hiho, ich schon wieder..
Kannst du zeigen wie man einen weiteren Shelly dort zufügen würde? Braucht man dafür ein neues Bucket, oder geht das im gleichen?
SUPER!!!!
Und wie sieht die Konfiguration eines Plus 1 als Relay aus (relay state). Da gibt es keinen eindeutigen Wert sondern nur einen String
tolles Video ... das hätte ich mal eher finden sollen .
Ich habe mal eine Frage zu dem MQTT-Server und Node Red .
Beide sind schon installiert .Wenn ich jetzt Docker installiere , kann ich dann trotzdem nachträglich die docker - volumes anlegen oder muss ich mosquitto /node-red erst deinstallieren ?
Danke
hmmm ..... niemand eine _Idee ob das oben geschrieben funktioniert ?
Funktioniert das auch unter Ubuntu WSL Windows 11. Ist es sinnvoll ?
Muss man die Influx Node wirklich für jedes Measurement duplizieren oder lässt sich das auch dynamisch anhand der msg setzen, z.B. wenn man per Wildcard mehrere Topics subscribed und das Topic dann in der msg auftaucht?
Wie wäre es jetzt mit einem Video, in dem es auf Basis dieses Videos darum geht, wie man ein automatisches Backup System einrichtet, welches z.B. einmal täglich die Daten der Docker Volumes in einer cloud sichert. Dann am Ende noch ein kurzes Beispiel wie man mit den gesicherten Daten schnell und einfach sein System wiederherstellt. Anwendungsfall-> kaputte SD Karte im Raspi ^^
Richtig gutes Tutorial Video. Bin zwar neu in der Thematik dabei, aber arbeite mich durch…
Habe es mit Add-ons (Mosquitto, Nodered, Influx und Grafana) auf dem Raspi4 unter Home Assistant hinbekommen. Nur der MQTT Explorer will nicht laufen und stützt dauern ab. Habe die Topics mit einem externen Client ausgelesen.
Jetzt würde ich gerne meinen Raspi mit eine SSD ausrüsten und die Variante mit den Containern machen, weil ich sie besser finde. Welches Grund OS muss auf das Raspi, damit Docker läuft?
Danke für Deine interessanten Videos.
Magst Du mal sagen, was der Grund / Vorteil aus Deiner Sicht ist, alles in Docker zu machen statt es z.b. Direkt auf dem Raspi zu installieren.
Wird sicher auch ein interessantes Video - falls es nicht schon existiert...
Hallo Marco,
mit Docker tust Du Dir z.B. deutlich einfacher beim Thema Updates...einfach neues Containerimage ausrollen, fertig. Auch haben Container untereinander keine Abhängigkeiten. Und kommst Du morgen auf die Idee, was ganz anderes mit dem Raspi zu machen, dann Container einfach weg und ggf. Container für den neuen Verwendungszweck ausrollen. Nur mal auf die schnelle 2-3 Vorteile.
Viel Erfolg!
Super Tutorial, leider scheint es mit der aktuellen Version mit mosquitto nicht mehr zu funktionieren, da die ziemlich zugeschraubt ist, was Sicherheit angeht.
starkes Video. Ich habe InfluxDB 2.7. und glaube das ich deswegen bei Grafana nur als Query Language "Flux" nutzen kann. Weil man bei 2.7. keine Datenbank sondern Bucket hat bzw. tockens zum verifizieren. Kann man es irgendwie so einstellen das man auch so eine "vorgegebene" Sprache hat? Aktuell lass ich mir es von influx selbst ausgeben und kopiere es. aber ist natürlich unflexibel.
Ich habe in node red die “influxdb out”-node erstellt und die database eingerichtet (es klappt alles bis Minute 27:05). Wenn ich das ganze deployen möchte, erhalte ich folgende Fehlermeldung:
Error: A 400 Bad Request error occurred: {“error”:”unable to parse ‘power aenergy=[object Object],apower=11.3,current=0.103,id=0,output=true,source=\”init\”,temperature=[object Object],voltage=222.8’: invalid boolean”}
Ich verwende eine Shelly Plus Plug S.
Ich bin blutiger Anfänger. Hat jemand einen Tipp?
die influxdb installation geht schief - kann keine Datenbank anlegen. Stimmt da was mit der Kommandozeile nicht ?
Moin schönes Video allerdings hab ich ein Problem.
Ich habe Shelly Plug S stecker die ich auf MQTT umgestellt habe.. JEtzt findet meine Alexa sie natürlich nicht mehr.. Hast du dafür auch eine Lösung das diese wieder über Alexa steuerbar sind?
Hi, danke für das Video. Wie kann ich denn in Grafana - Explore die Felder "from, select, group bei, etc." sichtbar machen? Bei mir ist nur eine Eingabezeile...
Guten Abend, kurze Frage wie kann ich im Docker Container meine IP anpassen er den MQTT nicht auf dem localhost startet?
Hi, meine InfluxDB läuft über. 😮 wie bekomme ich diese bereinigt? Würde gerne alte Daten zb. älter als 30 Tage löschen.
Besser geht nicht. Für Laien sehr verständlich erklärt.
Leider funktioniert es bei mir nicht :( Versuche seit 2 Tagen auf dem 32bit und 64bit System zu installieren. Ich bekomme bei den "docker run" Befehlen immer einen Fehler "docker: invalid reference format. See 'docker run --help'." Hat von euch jemand eine Lösung dazu?
Hallo Dennis, erstmal danke für Deine Videos. Sie sind sehr informativ und gut präsentiert.
Ich habe eine Frage zu der Installation in diesem Video, die ich versucht habe auf meine PI4 nachzuvollziehen. Vom Ablauf her hat alles gut funktioniert, aber im Laufe der Zeit hat es wohl Veränderungen gegeben, die dazu führten, dass meine Installation nicht funktioniert. Es beginnt schon mit Mosquitto. Du hast 'latest' installiert, was aber mittlerweile 2.0.18 ist. Allein die MQTT Verbindung scheitert bei mir. Ich kann keine Verbindung zu meinem Client (MQTT Exlorer / macOS) aufbauen, noch kann ich in NodeRed Daten empfangen. Ich habe beim Versuch festgestellt, dass es mir gelingt mit einer älteren Version von Mosquitto (1.8xx?) eine Verbindung zum MQTT-Explorer herzustellen, aber trotzdem weigert sich NodeRed Daten vom Broker zu empfangen.
Im conf-File von Mosquitto habe ich 'anonymous true' und 'listener 1883' eingefügt, was mich aber auch nicht weitergebracht hat. Ich wäre ja auch mit der älteren Version von Mosquitto zufrieden, wenn wenigstens in NodeRed Daten ankommen würden.
Ich habe jetzt mehrfach die einzelnen Schritte Deiner Anleitung überprüft, konnte aber da keinen Fehler entdecken.
Ich weiß, eine Ferndiagnose ist immer schwierig, aber vielleicht hast Du auch Erkenntnisse über die neue Version von Mosquitto oder kannst mir Tipps geben, wie ich wenigstens eine Verbindung zu NodeRed herstellen könnte. Das sollte doch eigentlich kein Problem sein, da sich beide Container auf dem selben Raspi befinden.
Ich danke Dir schon mal für Deine Hilfestellung.
VG
geht mir so mit grafana..
@@phipzzisahero - Mir hat ein weiteres Video von Dennis: "Portainer einfach erklärt. Grundlagen Training. Install, Update, Container erstellen" sehr viele Erkennznisse gebracht und mein Verständnis verbessert. Was für mich auch hilfreich war, ist ein YT-Video von MAKE: "Docker auf dem Raspberry Pi installieren (Einsteiger-Tutorial)".
Mittlerweile habe ich alle Hürden überwunden und den kompletten Datenpfad überwunden. Es hat mich aber ein paar Tage Zeit gekostet. Insgesamt habe ich mich mit Docker anfreunden können.
@@upper_deck Vielen Dank für die Antwort. Ich hatte es nach ein paar Stunden auch geschafft eine ältere Version zu installieren. Hab mir die Videos angeschaut und jetzt macht das ein oder andere mehr Sinn. Danke für deine Hilfe!
Wie bekomme ich den maximalen Wert aus der Datenbank
Frgen: Wie gehe ich vor, wenn ich mehrere Shellys habe?? Was ist mit Tasmota, denn die "Daten" heißen dort laiut MQTT Explorer anders. Da gibt es nicht Power und Energy getrennt, sondern dort ist alles bei Sensors. 🤔
Schöne Anleitung. Ich habe alles Schritt für Schritt auf einem Raspi4 nachgemacht. Wenn ich docker ps -a aufrufe, sehe ich alles. Nur kann ich mich mit dem MQTT-Explorer nicht verbinden! (weder von win10 noch von Ubuntu) was mache ich falsch?
selbes Problem ...
Cooles Video - jetzt hab ich schonmal einen Teil meiner PlugS im Grafana...
Einzig die Möglichkeit, die Dosen in der App nicht mehr zu haben, stört mich...
Deswegen bastel ich Grad an einer Node Red Lösung, die die Daten von den Shellys abruft und ich die Datenbank schreibt.
Man spart sich den MQTT Broker, man hat die Steckdosen weiterhin in der App, und - wenn alles klappt - muss man nur noch in eine Tabelle eintragen, welche Shellys abgerufen werden sollen - und Sekunden später tauchen sie in Grafana auf...
moin danke könntest du deine vis zu Verfügung stellen? wer klasse lg
Hallo an alle,
welchen Weg benutzt ihr/könnt ihr empfehlen die InfluxDB v2 zu backupen wenn sie mit Docker läuft. Bisher habe ich nur Skripte gefunden, die die mit v2 machen.
Wäre cool wenn ihr ne Lösung hab die zu teilen
Schöne Erklärungen. Hatte nur auf das Dashboard vom Titelbild gehofft.
Super Video, endlich mal eine Anleitung wie man die Kombination Node-Red, InfluxDB und Grafana ans Laufen bringt, die auch funktioniert und dann auch noch zeigt wie man tatsächlich ein paar Werte ans laufen bringt. Mosquitto habe ich allerdings nur mit Hilfe eines hilfreichen Kommentars ans Laufen bekommen.
Mosquitto scheint bei mir auch nicht zu laufen. Ich bekomme per MQTT Explorer keine Verbindung.
Was war denn bei dir das Problem?
@@helichannel4297 Ich konnte mich auch weder mit dem MQTT Explorer noch mit anderen ähnlichen Tools mit Mosquitto verbinden. Der Grund war, dass in der "mosquitto_conf" ein paar Werte gesetzt werden müssen.
Weiter unten hier in den Kommentaren gibt es einen Kommentar von "Klaus Peine". Er hatte dasselbe Problem wie ich und hat geschrieben, dass er sich nicht mit dem MQTT Explorer mit Mosquitto verbinden kann.
Darauf hat er eine Antwort von "svebeert86" erhalten der genau erklärt wie man das Problem löst.
@@helichannel4297 gleiches Problem bei mir heute :/
@@michelmuller1675 hab's gefunden. Der Mosquitto 2 hat Standardmäßig keinen Port definiert und anonyme Eingaben sind standardmäßig ausgeschaltet.
In der modquitto.conf listener 1883 und anonymous true eintragen. Mosquitto neu starten und dann geht's.
@@helichannel4297 wo finde ich diese (da docker ist diese nicht unter /etc/...)
Kannst Du evtl. nochmal ein Video machen wie man die influxdb 1.8 aus deisem Video auf die neue Version 2.x bringt ohne Datenverlust ? Ich finde deine Viedeos alle klasse.
Gutes Video, kann allerdings nur jedem Empfehlen docker-compose zu Nutzen, das macht das arbeiten mit Docker mMn übersichtlicher
Moin Moin. Vielen Dank für deine Videos. Bislang konnte ich als absoluter Anfänger fast alle deiner Schritte in deinen Videos folgen. Kannst du vielleicht noch mal zeigen, wie man bei Mosquitto einen Usernamen und Passwort vergibt?
Zuerst einmal Klasse Video! Super benutzerfreundlich gemacht und einfach zu verstehen.
Ich habe folgende Frage:
Ich würde gerne das Konstrukt mit Shelly, Mosquitto, Node-Red und der InfluxDB so wie du es erklärt hast auf meinem Raspberry aufsetzen. Die Daten auf der DB würde ich dann aber gerne einmal auf meinem OpenHAB der auf dem selben Raspberry läuft und auf einer Webseite die außerhalb des Raspberry auf einem Google Server läuft, verwenden. Wie ich das ganze in OpenHAB umsetze ist eigentlich kein Problem. Meine Frage ist nun wie ich die Daten aus der InfluxDB an die externe Webseite sende? Der Raspberry müsste dafür ja aus meinem Heimnetzwerk raus ins öffentliche Internet kommunizieren. Kann ich dies mit einer API über einen Post Befehl lösen? Oder muss ich über die Webseite einen Get befehl auf die DB machen? Wie könnte man sowas umsetzten? Vielleicht hat ja jemand einen Tipp für mich.
Vielen Dank!
Ich bin jetzt kein Mosquitto-InfluxDB Experte, aber da die InfluxDB generell eine Webschnittstelle bietet um Daten zu lesen / schreiben wäre mein Ansatz die Daten in Node-RED mittels eines parallelen influx-db out pro interessanten Wert ebenfalls in eine influx DB auf deinem externen Webserver zu schreiben. Dort kannst du sie auslesen und entsprechend grafisch darstellen. Ansonsten ist natürlich alles bis hin zum Amazon S3 Bucket als Speicherziel denkbar.
Ich habe bei mir Privat ioBroker laufen und darauf nodered als adapter instanz gestartert.
So kann ich Pakte die es bei nodered nicht gibt mit iobroker ergänzen bzw. andersherum.
Läuft bei mir über proxmox auf einer DEBIAN11 VM und das plain installiert ohne docker.
Auf der selben VM läuft unter docker die influxdb1.8 und Grafana.
influxdb und grafan ziehen bei mir noh auf eine eigene VM.
Mach doch mal bitte ein Tutorial wie man selbst grafana-plugin's erstellt!
Video ist super gut! Mich würde noch interessieren wie ich einen Button (Schalter) in Grafana einbauen kann, der mit einem Schalter in Node Red verbunden ist. Bisher hab ich ein Nod Red Dashboard mit dem ich einen Tasmota ein und ausschalten kann. Würde das gerne mit Grafana auch können. Hast Du einen Tipp für mich. Das Grafana Button Plugin kenn ich. Es hapert aber an der Konfiguration 😅 ❤
ich scheitere leider an dem Verbindungstest mit MQTT-Explorer. Mein Rasp zeigt mit dem Befehl: "sudo docker ps -a" an, dass der mosquitto Server läuft. Beim MQTT Explorer habe ich als Passwort meine Zugangsdaten vom Raspberry angegeben.
Vielen Dank für das Video! Konnte es sehr gut nachvollziehen und bei mir einrichten. Ich habe mir für einen Shelly Plug S das ganze eingerichtet und frage Power und Energy ab. Für Power klappt das soweit gut, auch mit Minium und Maxium kann ich es nachvollziehen. Was mir noch nicht gelingt ist es, aus den Werten von Energy eine Darstellung in Wattstunden bzw. auch Kilowattstunden pro Tag z.B. nachzubauen. Mir schwebt da grundsätzlich die gleiche Machhart wie in der Shelly Cloud vor. Da der Energywert ja hochzählt, müsste ich ja eine Differenz berechnen. Auf Tagesebene z.B. den Maxwert von heute minus den Maxwert von gestern. Hat da jemand ein paar Tips für mich als absoulten Frischling bei Grafana?
Layer 8 Problem 😆 bei 21:05
Sonst super erklärt!
MQTT ist schon cool, nutze es bei mir auch sehr viel.
NodeRed ist derzeit noch so eine schwarzes Loch, damit hat ich mich bisher nicht beschäftigt. ich habe allerdings auch den Vorteil, das meine Smarthome-Software einen eigenen MQTT-Server hat und alle Variable-Daten in einer internen Datenbank speichert ( wenn mal will für Graphen ) . Über ein Modul kann Grafana dann direkt auf diese Datenbank zugreifen - erspart die zusätzliche InfluxDB. Ich muss mal testen, wie resourcenhungrig das aber wird, wenn ich mal 100 Variablen und mehr von Grafana abfragen lassen.
@Joachim Hummel richtig - MQTT speichert die ja auch nicht, der MQTT-Server ist Teil meiner Smarthome-Software und diese hat eine eigene interne Datenbank für Variabledaten und dort werden die Daten abgelegt, z.b. interne Grafiken.
Mit einem Zusatz-Softwarmeodul greift dann Grafana direkt auf diese Datenbank zu und kann daraus Grafiken erstellen. Die Datenbank der Smarthome-Software wird in Grafana direkt als DataSource angelegt.
Sehr gute Video. Ich habe bei mir nur ein Problem, das ich nicht auf dem MQTT Server connecten kann mit dem MQTT Explorer und ich nicht weis warum, obwohl ich alles zu gemacht hab wie im Video. Kann jemand evtl. helfen?
Bei mir funktioniert die Verbindung zum Mosquitto Server gar nicht. Alles läuft im Docker aber 1883 auf dem Raspberry nicht erreichbar.
Ich hatte auch Probleme mit dem Mosquitto Server. Das Problem ist, dass dieser Teil leider nicht im Video erklärt wird.
Dazu muss man den Mosquitto Dock Container öffnen und dort das config File richtig einstellen. Dann geht es.
Bei mir das gleiche Problem leider. Ich habe alles konfiguriert und er läuft, sehe aber keinen Port, wenn ich es kontrolliere.
Muss ich mir morgen anschauen. Mach gerade nix anderes als arbeiten und RasPi weiterbasteln. Dauert alles seine ZEit und braucht Schleifen :) 2
Kannst du vielleicht das ganze für Windows machen? Mein Raspberry 3 dürfte für das Projekt schon zu alt sein. Ich hatte massive Probleme alles korrekt zu installieren. influxdb ging zum Beispiel nur in V 1.8...vorher hatte ich das Problem das der Microintelcode nicht aktuell war. Dann noch viele andere Probleme...die nur aufgrund von aktuellen Versionen auftreten. influxdb V2 geht zum Beispiel nur in 64 bit usw...
Ich hab das alles irgendwie nach Stundenlangem herumprobieren und suchen geschafft zu installieren, aber selbst iobroker ladet schon stundenlang nur um die Adapter (für NodeRED) zu suchen grrr das ist doch alles...
Drum würd ich das ganz gern am Spiele-PC mit Windows 11 probieren.