Ein wichtiger Hinweis, welchen ich im Video nicht explizit erwähnt habe. Home Assistant hat per Default ein auto_purge alle 10 Tage eingebaut und ein auto_Repack jeden zweiten Sonntag. Im Video will ich euch zeigen, wie man seine DB überwacht und darauf reagieren kann . @schogaia vielen Dank für deinen Beitrag 👏👍
Hallo Tobias, besten Dank das Du dich auch mal solchen Themen annimmst. Ich habe das Video zwar noch nicht zu Ende geschaut, bin aber schon begeistert, zumal mir meine Dateigröße mit 1370MB angegeben wird. Super Video und mache weiter so. Gruß Andy
Wie immer ein großartiges Video, danke dafür! Die file size integration kannte ich noch nicht und habe das gleich mal eingerichtet. Meine Datenbank ist "nur" 1,5GB groß, wie du 40GB geschafft hast ist mir ein Rätsel 😳
@@smarthome_more wie nachhaltig ist das Ganze? Ist es insgesamt nicht praktisch das selbe wie wenn du die purge_keep_days auf weniger als 10 Tage stellst? Laut Doku wird auto_purge boolean (optional, default: true) Automatically purge the database every night at 04:12 local time. das was du im Video gezeigt hast automatisch ausgeführt
Da hast du recht, aber im autopurge wird meines Wissens kein Repack durchgeführt. Das macht sich dann schon deutlich bemerkbar . Stellt man fest, dass seine Datenbank recht gewachsen ist ( ob durch Deaktivierung der Auto purge Funktion etc.. ) hat man so eine zusätzliche Überwachungsmöglichkeit , die einem helfen kann. VG Tobias
@@smarthome_more nicht jeden Tag, aber laut Doku jeden zweiten Sonntag: auto_repack boolean (optional, default: true) Automatically repack the database every second sunday after the auto purge. Without a repack, the database may not decrease in size even after purging, which takes up disk space and can make Home Assistant slow.
@@schogaia Insofern umso besser, wenn man das überwacht 😉 Interessant, dass er bei mir kein automatisches Repack durchgeführt hat. Das muss ich mir auch nochmal anschauen. Danke für den Hinweis 🤩👏
Hallo Tobias, der erste von dir genannte Punkt ist einer der Gründe, warum ich immer nicht nachvollziehen kann, warum die Leute so extrem viele Daten sammeln, die sie eh nicht alle auswerten können. ;) Ich habe meine DB seit 3 Jahren nicht bereinigt und habe gerade mal 1,3 GB. :D
@SteuerdeinLeben : Hallo Thomas, das hast du auch völlig recht. Langzeitdaten haben in der HA Datenbank aus meiner Sicht auch überhaupt nichts verloren. Dafür kann man explizit gewünschte Daten z.B. in eine InfluxDB etc.. packen. :-) VG Tobias
Danke Tobias, hatte so etwas gesucht und bei dir gefunden. Meine Backups wurden immer grösser, zuletzt ging es um 20 GB. Mit dem reduzieren der db ist es nun wieder weniger.
influxdb hat bei mir nahezu die 20GB benutzt. Leider konnte ich wenig Information zu der Bereinigung der influxdb finden. Auch nicht wie die Grösse der datenbank zu erfahren ist. Habe nun die influxdb datenbank gelöscht und eine neue datenbank erstellt. So habe ich keine Langzeitdaten mehr, aber dafür nahezu 20GB feien Platz bekommen. Muss mich unbedingt mit influxdb beschäftigen.
Vielen Dank für deinen Kommentar . Das ist schon so wie du schreibst. Ist halt immer die Frage, wie lang man die Daten benötigt. Langzeitdaten kann man z.B besser in einer influxdb packen . Redundanz wäre dann eher unerwünscht. Unabhängig davon, kann eine Komprimierung schon sehr viel bringen. VG Tobias 😃
@@smarthome_more Ja, influxdb nutze ich auch. Also bezieht sich das auf zum Beispiel direkt in HA erzeugte Diagramme, der Aufbau dieser dauert tatsächlich bei langer Zeitachse wesentlich länger als bei Grafana/InfluxDB Graphen. Hab mal performancetechnisch was von max 10 Tagen auf der Graphenachse gelesen. Dann macht das Löschen wirklich Sinn - Danke für deinen Beitrag, ist schon im Wiki abgelegt Grüße 🙂
Löscht das purge auch die Langzeitdaten? Ich möchte auf jeden Fall meine historischen Daten im energy dashboard behalten. Könntest du mal ein Video über das Löschen von alten, nicht mehr verwendeten Entitäten machen? In den Entwicklerwerkzeugen findet man bei mir unter statistics ein Haufen Sachen wo man "fix issue" machen kann. Was das genau ist/wie es funktioniert weiß ich allerdings nicht
Das Verhalten ist wie beim auto_purge . Und das Thema , alte nicht mehr verwendete Entitäten zu entfernen, habe ich auf meiner Agenda. Vielen Dank nochmals für den Hinweis mit dem auto_repack 💙👍
@@smarthome_more Tja es gibt keine Fehlermeldung!?! Der Editor will einfach nicht starten. die letzten Meldungen im Protokoll lauten: [14:54:49] INFO: Starting code-server... s6-rc: info: service init-mosquitto successfully started s6-rc: info: service legacy-services: starting s6-rc: info: service legacy-services successfully started [2024-04-17T12:54:55.447Z] info Wrote default config file to /root/.config/code-server/config.yaml [2024-04-17T12:54:55.989Z] info code-server 4.20.0 d0215eca8804d0be5d3551c39404e336032c3141 [2024-04-17T12:54:55.990Z] info Using user-data-dir /data/vscode [2024-04-17T12:54:56.080Z] info Using config file /root/.config/code-server/config.yaml [2024-04-17T12:54:56.080Z] info HTTP server listening on 0.0.0.0:1337/ [2024-04-17T12:54:56.081Z] info - Authentication is disabled [2024-04-17T12:54:56.081Z] info - Not serving HTTPS [2024-04-17T12:54:56.081Z] info Session server listening on /data/vscode/code-server-ipc.sock
Hallo Tobias, wieder was gelernt, super. Leider reduziert sich meine Datenbank nicht (ca. 3GB). Im Dienst "Recorder: Bereinigen" wird nach drücken von "Dienst ausführen" sofort der grüne Haken angezeigt. Ich kann mir nicht vorstellen, daß der Raspi4 innerhalb von Millisekunden die Datenbank neu organisiert und schreibt. Egal, die DB-Größe bleibt bei mir gleich groß. Neustart des gesamten Systems brachte auch nichts, "Umpacken" ist ausgewählt. Ein zweiter Punkt: Wie kann ich konfigurieren , wo Langzeitdaten landen? Bei mir ist das klar, denn bisher verwende ich nur die home-assistant_v2.db. Edit: Warten hilft, jetzt ist die DB auf 0,4 GB geschrumpft. Hat sich also erledigt.
@burkhardhopp3542 : Vielen Dank :-) Schön, dass es mit der DB noch geklappt hat. Mit dem Langzeitdaten ist immer so eine Sache. Ich würde diese in eine InfluxDB packen. Dort kann man einzelne Domains oder Entitäten angegeben. Zudem eignet sich die InfluxDB ja auch sehr gut zur Visualisierung mit Grafana. Oder habe ich deine Frage falsch verstanden ? VG Tobias
Super Video gefällt mir, ich habe nur ein Problem ich habe mal vor längerer Zeit meine Datenbank in eine maria.db gepackt. Frag mich nicht wie ich das gemacht habe, bin da aber nach der Anleitung vorgegangen. 😅 Nun finde ich aber die Datenbank nicht mehr, sowas doofes aber auch. Werde mal die Tage danach suchen. Diese Auslagerung von verschidenen Sensoren usw. habe ich auch mal angefangen, bin dann aber bei den Sensoren gestolpert und es waren z.T. meine Sensoren weg, da habe ich es aufgegeben. Templates habe ich in einem Ordner /templates drin das habe ich noch hinbekommen.
@moonsorrox77 : Vielen Dank :-) - Von der MariaDB kannst du auf jeden Fall auch wieder zurück migrieren. Es gab mal eine Zeit, da war die HA Datenbank nicht so performant. Das hat sich allerdings vor geraumer Zeit verändert. Ich glaube wir waren alle mal für eine gewisse Zeit mit MariaDB unterwegs :-) . Die Auslagerung der Daten in eine Struktur bringt aus meiner Sicht den Vorteil mit sich, dass das Chaos nicht überhand nimmt. Wenn bei den Sensoren z.B. etwas, wie in deinen Fall, nicht funktioniert, dann ist das oftmals irgendwo ein kleiner Syntaxfehler in den Sensoren. Das fatale in der Configuration.yaml ist, dass einige Dinge, die nach solchen Sensoren angelegt sind, dann auch nicht mehr gehen, nur man merkt es ggf. überhaupt nicht. Manchmal muss man glaube ich in den sauren Apfel beißen und die Fehler beseitigen, sonst wundert man sich irgendwann, warum andere Dinge nicht funktionieren :-) . Aber wer räumt schon gerne auf ... VG Tobias
@@smarthome_more Danke Tobias. Ja ich habe einige Fehler in meinen Dateien drin die HA bisher nicht behindern, aber ich hasse soetwas, nur werde ich zum Teil nicht schlau daraus was das für Fehler sind und wie ich die beseitigen kann. Sicher liegt es auch in irgendwelchen Sensoren. Ich habe nur noch keine Zeit gefunden da mal intensiv nachzugehen, da ich auch noch nicht solange mit HA arbeite. Ich bin froh wenn ich dann mal ein vernünftiges Dashboard zusammen bekomme und dann werde ich auch mal die Fehler oder auch Warnungen bearbeiten, aber das dauert nich ein wenig.
Danke, aber kann ich dadurch auch die SpeicherplatzBelegung des gesamten Systems mir anzeigen lassen und analysieren?... Oder nur für add ons? Bsp was interessant wäre... Addon xyz schreibt sensor Daten immer in die Datenbank.? Wäre diese dann in der Addon Struktur hinterlegt oder irgendwo unter dem System?
Hab mich kurz gewundert, dass meine DB so klein ist, dann viel mir ein, ich hab ja Maria DB für die kurze Speicherung und Influxdb für die Langzeitdaten drin
@AndyFrei : Vielen Dank für deinen Kommentar. Aber schau mal bei 06:33 :-) und in der Beschreibung . Allowlist_external_dirs ist die aktuelle Variante . VG Tobias
Ein wichtiger Hinweis, welchen ich im Video nicht explizit erwähnt habe. Home Assistant hat per Default ein auto_purge alle 10 Tage eingebaut und ein auto_Repack jeden zweiten Sonntag. Im Video will ich euch zeigen, wie man seine DB überwacht und darauf reagieren kann . @schogaia vielen Dank für deinen Beitrag 👏👍
Hallo Tobias, besten Dank das Du dich auch mal solchen Themen annimmst. Ich habe das Video zwar noch nicht zu Ende geschaut, bin aber schon begeistert, zumal mir meine Dateigröße mit 1370MB angegeben wird. Super Video und mache weiter so. Gruß Andy
Hallo Andy , vielen Dank 😄👍 VG Tobias
Wie immer ein großartiges Video, danke dafür!
Die file size integration kannte ich noch nicht und habe das gleich mal eingerichtet. Meine Datenbank ist "nur" 1,5GB groß, wie du 40GB geschafft hast ist mir ein Rätsel 😳
Vielen Dank 😃 Ja, da hat sich bei mir durch Tests , Automatisierung einiges angesammelt. Aber nun ist es deutlich besser 👏 VG Tobias
@@smarthome_more wie nachhaltig ist das Ganze? Ist es insgesamt nicht praktisch das selbe wie wenn du die purge_keep_days auf weniger als 10 Tage stellst?
Laut Doku wird
auto_purge boolean (optional, default: true)
Automatically purge the database every night at 04:12 local time.
das was du im Video gezeigt hast automatisch ausgeführt
Da hast du recht, aber im autopurge wird meines Wissens kein Repack durchgeführt. Das macht sich dann schon deutlich bemerkbar . Stellt man fest, dass seine Datenbank recht gewachsen ist ( ob durch Deaktivierung der Auto purge Funktion etc.. ) hat man so eine zusätzliche Überwachungsmöglichkeit , die einem helfen kann. VG Tobias
@@smarthome_more nicht jeden Tag, aber laut Doku jeden zweiten Sonntag:
auto_repack boolean (optional, default: true)
Automatically repack the database every second sunday after the auto purge. Without a repack, the database may not decrease in size even after purging, which takes up disk space and can make Home Assistant slow.
@@schogaia Insofern umso besser, wenn man das überwacht 😉 Interessant, dass er bei mir kein automatisches Repack durchgeführt hat. Das muss ich mir auch nochmal anschauen. Danke für den Hinweis 🤩👏
Hallo Tobias, der erste von dir genannte Punkt ist einer der Gründe, warum ich immer nicht nachvollziehen kann, warum die Leute so extrem viele Daten sammeln, die sie eh nicht alle auswerten können. ;) Ich habe meine DB seit 3 Jahren nicht bereinigt und habe gerade mal 1,3 GB. :D
@SteuerdeinLeben : Hallo Thomas, das hast du auch völlig recht. Langzeitdaten haben in der HA Datenbank aus meiner Sicht auch überhaupt nichts verloren. Dafür kann man explizit gewünschte Daten z.B. in eine InfluxDB etc.. packen. :-) VG Tobias
Danke Tobias, hatte so etwas gesucht und bei dir gefunden. Meine Backups wurden immer grösser, zuletzt ging es um 20 GB. Mit dem reduzieren der db ist es nun wieder weniger.
@brunosolothurnmann9205 : Prima :-) Freut mich . Viele Grüße Tobias
influxdb hat bei mir nahezu die 20GB benutzt. Leider konnte ich wenig Information zu der Bereinigung der influxdb finden. Auch nicht wie die Grösse der datenbank zu erfahren ist. Habe nun die influxdb datenbank gelöscht und eine neue datenbank erstellt. So habe ich keine Langzeitdaten mehr, aber dafür nahezu 20GB feien Platz bekommen. Muss mich unbedingt mit influxdb beschäftigen.
@brunosolothurnmann9205 : Guter Hinweis, vielleicht auch mal ein Video wert ? VG Tobias
Moin 👍👍👌
Hallo Andreas, vielen Dank 👌🙏😁 VG Tobias
Hallo, wenn du die aufzubewahrenden Tage verkleinerst, verschwinden dann nicht die eigentlich zu Auswertung benötigten Nutzdaten?
Vielen Dank für deinen Kommentar . Das ist schon so wie du schreibst. Ist halt immer die Frage, wie lang man die Daten benötigt. Langzeitdaten kann man z.B besser in einer influxdb packen . Redundanz wäre dann eher unerwünscht. Unabhängig davon, kann eine Komprimierung schon sehr viel bringen. VG Tobias 😃
@@smarthome_more Ja, influxdb nutze ich auch. Also bezieht sich das auf zum Beispiel direkt in HA erzeugte Diagramme, der Aufbau dieser dauert tatsächlich bei langer Zeitachse wesentlich länger als bei Grafana/InfluxDB Graphen. Hab mal performancetechnisch was von max 10 Tagen auf der Graphenachse gelesen. Dann macht das Löschen wirklich Sinn - Danke für deinen Beitrag, ist schon im Wiki abgelegt Grüße 🙂
Löscht das purge auch die Langzeitdaten? Ich möchte auf jeden Fall meine historischen Daten im energy dashboard behalten.
Könntest du mal ein Video über das Löschen von alten, nicht mehr verwendeten Entitäten machen?
In den Entwicklerwerkzeugen findet man bei mir unter statistics ein Haufen Sachen wo man "fix issue" machen kann. Was das genau ist/wie es funktioniert weiß ich allerdings nicht
Das Verhalten ist wie beim auto_purge . Und das Thema , alte nicht mehr verwendete Entitäten zu entfernen, habe ich auf meiner Agenda. Vielen Dank nochmals für den Hinweis mit dem auto_repack 💙👍
Löscht die Bereinigung auch die Langzeitdaten? Ich möchte auf ja meine historischen Daten im energy Dashboard behalten.
@lutzakemann : Vielen Dank für deinen Kommentar :-) . Zu deiner Frage, die Langzeitdaten sind von der Bereinigung nicht betroffen . VG Tobias
Tolles Video, Aufräumen ist sehr wichtig. Leider lässt sich der Studio Code Server nicht installieren, ohne Fehlermeldung. Keine Ahnung warum?
@aetschdobbelyou : wie sehen denn die Fehlermeldungen aus ? Alternative kann man natürlich genauso den FileEditor verwenden. VG Tobias
@@smarthome_more Tja es gibt keine Fehlermeldung!?! Der Editor will einfach nicht starten.
die letzten Meldungen im Protokoll lauten:
[14:54:49] INFO: Starting code-server...
s6-rc: info: service init-mosquitto successfully started
s6-rc: info: service legacy-services: starting
s6-rc: info: service legacy-services successfully started
[2024-04-17T12:54:55.447Z] info Wrote default config file to /root/.config/code-server/config.yaml
[2024-04-17T12:54:55.989Z] info code-server 4.20.0 d0215eca8804d0be5d3551c39404e336032c3141
[2024-04-17T12:54:55.990Z] info Using user-data-dir /data/vscode
[2024-04-17T12:54:56.080Z] info Using config file /root/.config/code-server/config.yaml
[2024-04-17T12:54:56.080Z] info HTTP server listening on 0.0.0.0:1337/
[2024-04-17T12:54:56.081Z] info - Authentication is disabled
[2024-04-17T12:54:56.081Z] info - Not serving HTTPS
[2024-04-17T12:54:56.081Z] info Session server listening on /data/vscode/code-server-ipc.sock
Hallo Tobias, wieder was gelernt, super. Leider reduziert sich meine Datenbank nicht (ca. 3GB). Im Dienst "Recorder: Bereinigen" wird nach drücken von "Dienst ausführen" sofort der grüne Haken angezeigt. Ich kann mir nicht vorstellen, daß der Raspi4 innerhalb von Millisekunden die Datenbank neu organisiert und schreibt. Egal, die DB-Größe bleibt bei mir gleich groß. Neustart des gesamten Systems brachte auch nichts, "Umpacken" ist ausgewählt.
Ein zweiter Punkt: Wie kann ich konfigurieren , wo Langzeitdaten landen? Bei mir ist das klar, denn bisher verwende ich nur die home-assistant_v2.db.
Edit: Warten hilft, jetzt ist die DB auf 0,4 GB geschrumpft. Hat sich also erledigt.
@burkhardhopp3542 : Vielen Dank :-) Schön, dass es mit der DB noch geklappt hat. Mit dem Langzeitdaten ist immer so eine Sache. Ich würde diese in eine InfluxDB packen. Dort kann man einzelne Domains oder Entitäten angegeben. Zudem eignet sich die InfluxDB ja auch sehr gut zur Visualisierung mit Grafana. Oder habe ich deine Frage falsch verstanden ? VG Tobias
@@smarthome_more Danke
Super Video gefällt mir, ich habe nur ein Problem ich habe mal vor längerer Zeit meine Datenbank in eine maria.db gepackt. Frag mich nicht wie ich das gemacht habe, bin da aber nach der Anleitung vorgegangen. 😅 Nun finde ich aber die Datenbank nicht mehr, sowas doofes aber auch. Werde mal die Tage danach suchen.
Diese Auslagerung von verschidenen Sensoren usw. habe ich auch mal angefangen, bin dann aber bei den Sensoren gestolpert und es waren z.T. meine Sensoren weg, da habe ich es aufgegeben.
Templates habe ich in einem Ordner /templates drin das habe ich noch hinbekommen.
@moonsorrox77 : Vielen Dank :-) - Von der MariaDB kannst du auf jeden Fall auch wieder zurück migrieren. Es gab mal eine Zeit, da war die HA Datenbank nicht so performant. Das hat sich allerdings vor geraumer Zeit verändert. Ich glaube wir waren alle mal für eine gewisse Zeit mit MariaDB unterwegs :-) . Die Auslagerung der Daten in eine Struktur bringt aus meiner Sicht den Vorteil mit sich, dass das Chaos nicht überhand nimmt. Wenn bei den Sensoren z.B. etwas, wie in deinen Fall, nicht funktioniert, dann ist das oftmals irgendwo ein kleiner Syntaxfehler in den Sensoren. Das fatale in der Configuration.yaml ist, dass einige Dinge, die nach solchen Sensoren angelegt sind, dann auch nicht mehr gehen, nur man merkt es ggf. überhaupt nicht. Manchmal muss man glaube ich in den sauren Apfel beißen und die Fehler beseitigen, sonst wundert man sich irgendwann, warum andere Dinge nicht funktionieren :-) . Aber wer räumt schon gerne auf ... VG Tobias
@@smarthome_more
Danke Tobias. Ja ich habe einige Fehler in meinen Dateien drin die HA bisher nicht behindern, aber ich hasse soetwas, nur werde ich zum Teil nicht schlau daraus was das für Fehler sind und wie ich die beseitigen kann. Sicher liegt es auch in irgendwelchen Sensoren. Ich habe nur noch keine Zeit gefunden da mal intensiv nachzugehen, da ich auch noch nicht solange mit HA arbeite. Ich bin froh wenn ich dann mal ein vernünftiges Dashboard zusammen bekomme und dann werde ich auch mal die Fehler oder auch Warnungen bearbeiten, aber das dauert nich ein wenig.
Hi Tobias,
gibt es denn eine Möglichkeit eine (Gesamt)Übersicht über alle "Speicherfresser" zu erhalten?...so wie es zB auch beim Handy geht
@Sasa-hj5iq: Vielleicht über diesen Weg ? ruclips.net/video/PkZ3bx_omFk/видео.html VG Tobias
Danke, aber kann ich dadurch auch die SpeicherplatzBelegung des gesamten Systems mir anzeigen lassen und analysieren?... Oder nur für add ons?
Bsp was interessant wäre... Addon xyz schreibt sensor Daten immer in die Datenbank.?
Wäre diese dann in der Addon Struktur hinterlegt oder irgendwo unter dem System?
Hab mich kurz gewundert, dass meine DB so klein ist, dann viel mir ein, ich hab ja Maria DB für die kurze Speicherung und Influxdb für die Langzeitdaten drin
@StefanDurach: Bei der Verwendung von MariaDB ist es natürlich gut, wenn die HA Datenbank klein ist :-) VG Tobias
müsste es nicht "allowlist_external_dirs" sein anstatt "whitelist_external_dirs"?
Ansonsten sehr hilfreich, danke!
@AndyFrei : Vielen Dank für deinen Kommentar. Aber schau mal bei 06:33 :-) und in der Beschreibung . Allowlist_external_dirs ist die aktuelle Variante . VG Tobias