Ich fange aufgrund Deiner Videos und eines Servers, der mir zufällig zugeflogen ist, jetzt auch grade mit Proxmox an, ABER mir fehlt eine Übersicht welches Filesystem man eigentlich heute sinnvoller Weise für was nutzt, mit welchen Vor- und Nachteilen. Besonders interessant finde ich dabei Ceph und ZFS. Womöglich könntest Du ja mal ein Erklärbärvideo machen, das verschiedene Filesysteme darstellt? Ceph, ZFS, Btrfs und ext4 zum Beispiel. Fände ich super, da mal tiefer reinzuschauen, vorallem da Du das alles sicher gut erklären kannst.
Super Video, sehr gut erklärt. Die Container entpuppen sich immer wieder als noch nicht wirklich ausgereift und gerade in Cluster Umgebungen quasi als "untauglich". So können diese z.B. nicht live migriert werden etc. Das einzige was mir noch gefehlt hat, war noch eine Erklärung für Fencing.
Najaaa, wenn du Container migrieren must nutzt du diese falsch! Container sind als Stateless Strukturen entworfen. Wen diese laufen ist es egal ob es 1, 10 oder 500 instanzen des containers gibt. Da wir uns aber immer wieder Sachen merken müssen erlaubt Docker Speicherzugriffe falls unbedingt nötig. Aber da wir uns mit docker in der Regel in einem Professionellen ramen bewegen erwartet docker das es nicht genau wissen muss wo der Speicher liegt wieso auch?! Dafür gibt es bereits Lösungen wie SAN oder NFS-Freigaben oder mein Favorit: Ceph (alias alles hochverfügbare Speicher lösungen) Dan gibts 2 wege: Direktzugiff auf den Speicher aus docker oder den loop über den Orchestrator/Host. Und schwups nie mehr migrieren ;)
Sehr gutes Video! Ich finde es auch sehr unterhaltsam und konnte alles verstehen was du erklärt hast. Gibt es aber ein Video von dir, in dem du genauer auf shared-storage (ob nfs, ceph usw.) eingehst? Bzw. zeigst wie man das einrichten kann? Wäre noch interessant 🙂 (vielleicht hast du es bereits und ich habe es übersehen)
I like to speak so hypnotically to keep the people in the video Unfortunately I can't help you with a translation. Not because I can't, but because I don't feel like speaking 2 languages. Best regards :D :D
Hi Dennis. Sehr gute Serie, Gratuliere. Wie andere stelle ich mir die Frage, ob eine Lösung mit Ceph, ZFS-Pool oder GlusterFS für HA nicht geeigneter wäre, da Shared Storage selber kein HA Ansatz ist und bei dessen Ausfall der ganze Cluster down ist. Wie siehst Du das? Grüsse aus der Schweiz
Raspberry Pi Cloud mich würde es interessieren aber eine andere Sache, könntest du zeigen wie man eine hinzugefügte Platte von proxmox z.b mit Backups drauf auf einem anderen proxmox hinzufügt ohne sie zu formatieren?
Minute 24:45 - Der "Heimat-Node" ergibt sich doch aus der Priorisierung in den Gruppen. Wenn bei einer VM Node 1 mit z.B. Prio 1 steht, Node 2 und 3 aber Prio 0 haben, ist doch klar, das Node 1 der "Heimat-Node" ist.
Hi Raspberry Pi Cloud Sehr gute Beitragsreihe! Ueberlege mir nun auch, einen Cluster zu erstellen. Aktuell habe ich für meine beiden strikte getrennte Netzwerke je ein Proxmox-Server („Lan“ nur intern und „Extern“ für den Zugriff von extern). Je einen Cluster pro Netz zu erstellen, macht aus verschiedenen Gründen keinen Sinn. Einen Dritten gebrauchten Server könnte ich mir noch besorgen, damit der Cluster komplett wäre. Dazu habe ich folgende Fragen: A) Hätte ich ein Sicherheitsproblem, wenn ich für beide Netze einen einzigen Cluster habe (jedes Netz würde über je einen NIC bedient und wäre Netzwerk technisch weiter getrennt)? B) Habe noch je einen Dritten NIC, leider keinen vierten. Würdest Du diesen für die Kommunikation mit corosync oder für den NFS Share auf dem NAS verwenden? Was wäre sinnvoller? C) Was gäbe es bezüglich Konfiguration bei der Nutzung von zwei VLANs auf einen Cluster weiter zu berücksichtigen? Herzlichen Dank für Deine Unterstützung!
Danke war sehr hilfreich. Ich habe mir eben überlegt warum nicht ein RASPI als Quorum Server mit proxmox drauf - der braucht ja nix virtualisieren, sondern nur als Heartbeat/Quorum node..
Wie kann ich das ganze denn am besten umsetzen wenn ich zum Beispiel 3 v server bei einem hoster habe. Ich habe dann ja pro Server eine public ip. Wenn ich dann jetzt Container und vms hin und her schiebe dann sind die doch nicht mehr über zuvor geschehenes nat oder so erreichbar, oder? Passiert das dann per VLAN wenn es das beim Hoster gibt?
Tolles Video! Allerdings: Wie kann ich HA realisieren, wenn mir z.B. der Storage ausfällt? Was wäre dann der Fallback, weil dann bringt es mir ja auch nichts, wenn die Maschine woanders startet, weil die VM-Daten ja nicht abrufbar sind.
Wenn der Storage ausfällt hast du folgende Möglichkeiten, allerdings müssen diese vorher bedachtund einkalkuliert werden. Ich spare mir jetzt mal die Erwähnungen der Kosten und zähle mal nur die technischen Möglichkeiten auf. Über Feedback und Anregung freue ich mich ebenfalls so wie Dennis. Wir lernen ja alle voneinander. 1. - Einfachste Möglichkeit: Den Storage auf RAID 1, 5, 6 ,10 etc. laufen lassen. Hilft allerdings auch nur solange wenn Platten ausfallen. Sollte der Netzwerkanschluss an den Storage, in so einem Fall meistens ein SAN, ausfallen dann helfen hier SAN Replikationen. Also Quasi ein, ich nenne es mal SAN RAID1. Wobei der adminsitrative Part hier nicht ganz so leicht ist wie gedacht. 2. - keinen Shared Storage nutzen sondern die Hosts redundant mittels Repliaktion aufsetzen. Sprich jeder Host hat seinen eigenen local Storage + z.B. locales RAID System. Was dann aber zu längerer Ausfallzeit kommt. Hier auch abhängig ob die Nodes im selben Serverschrank/LAN laufen oder Local getrennt sind (hier kommt es dann auf die WAN Verbindung an - DSL / Dark Fibre ...). 3. - Und hier kommt jetzt eine Mischung aus beidem zusammen. Eins vorneweg, sehr hoher administrativer Aufwand aber es macht MEGA SPAß! 3.1 - Georedundante Replikationsserver 3.2 - Georedundantes SAN Pervers wird es wenn ihr dann local nochmal Redundanzen der System schafft ... da qualmen einem echt die Haare alleine schon bei der Planung. :D Greetz
@@z3b3d3us Genau das würde mich interessieren wenn ich zum Beispiel Tatsächlich nur 1 Server habe und dieser Ausfällt wie kann ich den Backup Server (jeder mit internen Storage Raid 5 oder 10) anstarten das replizieren sollte ja dann wirklich alle 30 min von statten gehen um die Verlust der Daten so klein als Möglich zu halten :) hierzu wäre ich um Hilfe dankbar, da ich bisher hierzu nix gefunden habe.
Jetzt verstehe ich nur nicht, wenn ich auf der IP von node1 das Webinterface geöffnet habe und der jetzt stirbt wie kann es dann weiter auf der IP angezeigt werden?
Der Cluster ist über jede IP der einzelnes Nodes erreichbar. Es gibt immer einen Cluster Master, sprich der auf dem das Cluster gegründet wurde. Fällt dieser aus, haben die anderen Nodes die Daten und Infos über das Cluster. Rufst du dann z.B. die IP:8006 des Node2 auf, kommst du ebenso ins Proxmox-Webinterface.
Fals sonst wer das gleiche fragt. Da hast du mehrere möglichkeiten: - mach deinen nfs share ausfallsicher Anleitung hierzu: www.capside.com/labs/highly-available-nfs-cluster-setup-corosync-pacemaker/ - nutze glusterfs als storage forum.proxmox.com/threads/create-a-proxmox-6-2-cluster-glusterfs-storage.71971/ - nutze ceph (mein faforit da es ein vollständig verteiltes und sehr robustes storage system ist.) Aber es empfielt sich dieses mit 10gbe anzubinden. pve.proxmox.com/wiki/Deploy_Hyper-Converged_Ceph_Cluster
@@at3tb Die schimmligen Versionen will man nicht - wenn dann die Virtio ISOS direkt von von Fedora (vgl. pve.proxmox.com/wiki/Windows_VirtIO_Drivers ) oder ganz auf das komische OS verzichten ;)
Hammer! Ich liebe Deine super klaren Erklärvideos.
Eindeutig DEIN DING! :)
...nicht locker lassen, weiter so und herzlichen Dank!
Ich fange aufgrund Deiner Videos und eines Servers, der mir zufällig zugeflogen ist, jetzt auch grade mit Proxmox an, ABER mir fehlt eine Übersicht welches Filesystem man eigentlich heute sinnvoller Weise für was nutzt, mit welchen Vor- und Nachteilen. Besonders interessant finde ich dabei Ceph und ZFS. Womöglich könntest Du ja mal ein Erklärbärvideo machen, das verschiedene Filesysteme darstellt? Ceph, ZFS, Btrfs und ext4 zum Beispiel. Fände ich super, da mal tiefer reinzuschauen, vorallem da Du das alles sicher gut erklären kannst.
Super Video, sehr gut erklärt. Die Container entpuppen sich immer wieder als noch nicht wirklich ausgereift und gerade in Cluster Umgebungen quasi als "untauglich". So können diese z.B. nicht live migriert werden etc.
Das einzige was mir noch gefehlt hat, war noch eine Erklärung für Fencing.
Najaaa, wenn du Container migrieren must nutzt du diese falsch! Container sind als Stateless Strukturen entworfen. Wen diese laufen ist es egal ob es 1, 10 oder 500 instanzen des containers gibt.
Da wir uns aber immer wieder Sachen merken müssen erlaubt Docker Speicherzugriffe falls unbedingt nötig. Aber da wir uns mit docker in der Regel in einem Professionellen ramen bewegen erwartet docker das es nicht genau wissen muss wo der Speicher liegt wieso auch?! Dafür gibt es bereits Lösungen wie SAN oder NFS-Freigaben oder mein Favorit: Ceph (alias alles hochverfügbare Speicher lösungen)
Dan gibts 2 wege: Direktzugiff auf den Speicher aus docker oder den loop über den Orchestrator/Host.
Und schwups nie mehr migrieren ;)
Sehr gutes Video! Ich finde es auch sehr unterhaltsam und konnte alles verstehen was du erklärt hast. Gibt es aber ein Video von dir, in dem du genauer auf shared-storage (ob nfs, ceph usw.) eingehst? Bzw. zeigst wie man das einrichten kann? Wäre noch interessant 🙂 (vielleicht hast du es bereits und ich habe es übersehen)
Where is a translator when you need one?😂 ddoesn’ matter.. There is something hypnotic listening to your voice in German and I can’t stop listening
I like to speak so hypnotically to keep the people in the video Unfortunately I can't help you with a translation. Not because I can't, but because I don't feel like speaking 2 languages. Best regards :D :D
Super Video, sehr hilfreich!
Hi Dennis. Sehr gute Serie, Gratuliere. Wie andere stelle ich mir die Frage, ob eine Lösung mit Ceph, ZFS-Pool oder GlusterFS für HA nicht geeigneter wäre, da Shared Storage selber kein HA Ansatz ist und bei dessen Ausfall der ganze Cluster down ist. Wie siehst Du das? Grüsse aus der Schweiz
Sehr interessant würde mir ein Video wünschen wo du alles nochmal in einem Video machst was dann 5-6 Stunden geht für alle Informationen auf einmal
Bist du dir da sicher, das dass jemand sehen will ?
Raspberry Pi Cloud mich würde es interessieren aber eine andere Sache, könntest du zeigen wie man eine hinzugefügte Platte von proxmox z.b mit Backups drauf auf einem anderen proxmox hinzufügt ohne sie zu formatieren?
Minute 24:45 - Der "Heimat-Node" ergibt sich doch aus der Priorisierung in den Gruppen. Wenn bei einer VM Node 1 mit z.B. Prio 1 steht, Node 2 und 3 aber Prio 0 haben, ist doch klar, das Node 1 der "Heimat-Node" ist.
Hi Raspberry Pi Cloud
Sehr gute Beitragsreihe! Ueberlege mir nun auch, einen Cluster zu erstellen. Aktuell habe ich für meine beiden strikte getrennte Netzwerke je ein Proxmox-Server („Lan“ nur intern und „Extern“ für den Zugriff von extern). Je einen Cluster pro Netz zu erstellen, macht aus verschiedenen Gründen keinen Sinn. Einen Dritten gebrauchten Server könnte ich mir noch besorgen, damit der Cluster komplett wäre. Dazu habe ich folgende Fragen:
A) Hätte ich ein Sicherheitsproblem, wenn ich für beide Netze einen einzigen Cluster habe (jedes Netz würde über je einen NIC bedient und wäre Netzwerk technisch weiter getrennt)?
B) Habe noch je einen Dritten NIC, leider keinen vierten. Würdest Du diesen für die Kommunikation mit corosync oder für den NFS Share auf dem NAS verwenden? Was wäre sinnvoller?
C) Was gäbe es bezüglich Konfiguration bei der Nutzung von zwei VLANs auf einen Cluster weiter zu berücksichtigen?
Herzlichen Dank für Deine Unterstützung!
Danke war sehr hilfreich. Ich habe mir eben überlegt warum nicht ein RASPI als Quorum Server mit proxmox drauf - der braucht ja nix virtualisieren, sondern nur als Heartbeat/Quorum node..
Es war mir wieder ein innerliches Blumen flücken! 😄
very useful video even I didn't understand any Deutch
Cluster Gruppen machen vermutlich Sinn wenn man unterschiedliche CPU Typen innerhalb des Clusters hat?
In welchem Abstand kommen denn Videos mal alle 2 Tage mal nach 7 Tagen? Würde mich gerne dran gewöhnen können 😁😉
Schwierig. Gibt eben manche Tage da hab ich mehr Zeit und eben manche mit weniger. Kann es einfach nicht zur Regelmäßigkeit machen.
Wie kann ich das ganze denn am besten umsetzen wenn ich zum Beispiel 3 v server bei einem hoster habe. Ich habe dann ja pro Server eine public ip. Wenn ich dann jetzt Container und vms hin und her schiebe dann sind die doch nicht mehr über zuvor geschehenes nat oder so erreichbar, oder?
Passiert das dann per VLAN wenn es das beim Hoster gibt?
Tolles Video! Allerdings: Wie kann ich HA realisieren, wenn mir z.B. der Storage ausfällt? Was wäre dann der Fallback, weil dann bringt es mir ja auch nichts, wenn die Maschine woanders startet, weil die VM-Daten ja nicht abrufbar sind.
Wenn der Storage ausfällt hast du folgende Möglichkeiten, allerdings müssen diese vorher bedachtund einkalkuliert werden. Ich spare mir jetzt mal die Erwähnungen der Kosten und zähle mal nur die technischen Möglichkeiten auf. Über Feedback und Anregung freue ich mich ebenfalls so wie Dennis. Wir lernen ja alle voneinander.
1. - Einfachste Möglichkeit: Den Storage auf RAID 1, 5, 6 ,10 etc. laufen lassen. Hilft allerdings auch nur solange wenn Platten ausfallen. Sollte der Netzwerkanschluss an den Storage, in so einem Fall meistens ein SAN, ausfallen dann helfen hier SAN Replikationen. Also Quasi ein, ich nenne es mal SAN RAID1. Wobei der adminsitrative Part hier nicht ganz so leicht ist wie gedacht.
2. - keinen Shared Storage nutzen sondern die Hosts redundant mittels Repliaktion aufsetzen. Sprich jeder Host hat seinen eigenen local Storage + z.B. locales RAID System. Was dann aber zu längerer Ausfallzeit kommt. Hier auch abhängig ob die Nodes im selben Serverschrank/LAN laufen oder Local getrennt sind (hier kommt es dann auf die WAN Verbindung an - DSL / Dark Fibre ...).
3. - Und hier kommt jetzt eine Mischung aus beidem zusammen. Eins vorneweg, sehr hoher administrativer Aufwand aber es macht MEGA SPAß!
3.1 - Georedundante Replikationsserver
3.2 - Georedundantes SAN
Pervers wird es wenn ihr dann local nochmal Redundanzen der System schafft ... da qualmen einem echt die Haare alleine schon bei der Planung. :D
Greetz
@@z3b3d3us
Genau das würde mich interessieren wenn ich zum Beispiel Tatsächlich nur 1 Server habe und dieser Ausfällt wie kann ich den Backup Server (jeder mit internen Storage Raid 5 oder 10) anstarten
das replizieren sollte ja dann wirklich alle 30 min von statten gehen um die Verlust der Daten so klein als Möglich zu halten :)
hierzu wäre ich um Hilfe dankbar, da ich bisher hierzu nix gefunden habe.
@@dennylichtblau4265 Wenn dein einziger Server down geht bringt dir ein Backup Speicher doch nichts
@@simonostendorf6646
Backup Server nicht Speicher....
Habe das Problem bereits gelöst.
Musst du leider händisch machen
Wait wait wait, you are not typing the lines!!! what is the software you are using to do that?
ok... I just saw it... on the top of the video... asciflow... :) thank you.
Ein Ceph Cluster wäre noch Klasse!
Das sagen viele, aber ich finde Ceph schon kompliziert und kann es nicht richtig erklären.
Was ist Ceph
Jetzt verstehe ich nur nicht, wenn ich auf der IP von node1 das Webinterface geöffnet habe und der jetzt stirbt wie kann es dann weiter auf der IP angezeigt werden?
Der Cluster ist über jede IP der einzelnes Nodes erreichbar. Es gibt immer einen Cluster Master, sprich der auf dem das Cluster gegründet wurde. Fällt dieser aus, haben die anderen Nodes die Daten und Infos über das Cluster. Rufst du dann z.B. die IP:8006 des Node2 auf, kommst du ebenso ins Proxmox-Webinterface.
Eine Frage: Wie kann ich das regeln dass alles starten kann falls ein storage ausfällt.
Fals sonst wer das gleiche fragt. Da hast du mehrere möglichkeiten:
- mach deinen nfs share ausfallsicher
Anleitung hierzu: www.capside.com/labs/highly-available-nfs-cluster-setup-corosync-pacemaker/
- nutze glusterfs als storage
forum.proxmox.com/threads/create-a-proxmox-6-2-cluster-glusterfs-storage.71971/
- nutze ceph (mein faforit da es ein vollständig verteiltes und sehr robustes storage system ist.) Aber es empfielt sich dieses mit 10gbe anzubinden.
pve.proxmox.com/wiki/Deploy_Hyper-Converged_Ceph_Cluster
Müssen die VMs auf einem Shared Storage liegen?
Der Shared Storage ist für Live Migration wichtig
Du könntest Mal zeigen wir man Windows mit den richtigen Treibern installiert. Unter VMware ESXi ist das einfacher mit den VM Tools
In Proxmox brauchst du die "KVM Guest Drivers for Windows" von launchpad.net/kvm-guest-drivers-windows/+download die ISO in ein 2tes CDrom einlegen.
Ja das ist richtig.
@@at3tb Die schimmligen Versionen will man nicht - wenn dann die Virtio ISOS direkt von von Fedora (vgl. pve.proxmox.com/wiki/Windows_VirtIO_Drivers ) oder ganz auf das komische OS verzichten ;)
Would have loved ...if we could have got this video in English
I am a lazy person and have no desire to English. hehe Surely another channel makes a video sometime.
2 node ha fände ich schön (ping router um zu sehen ob online ist)
now in english