Fajnie, że propagujesz proxmox, bo to świetne rozwiązanie i warto go stosować. Tylko, że lecisz przez temat strasznie po łebkach i później zapewne nie jeden, kto będzie robił klaster i cokolwiek na proxmox napotka wiele problemów, o których ty wspomniałeś w dwóch słowach, albo w ogóle pominąłeś. Przydało by się, abyś wkleił chociaż linki do dokumentacji, albo wspomniał o tym jak ważna jest sieć w przypadku klastra i w ogóle o tym jak proxmox obsługuje sieć, a nie że: " wybieramy vmbr0, wiadomo to do internetu". W 99% oglądam materiały z angielskiego yt i widać tą potężną przepaść na ich korzyść.
@@Johny5423 to zależy w jakich scenariuszach, jak masz prosty homelab to jest prosty i przyjemny, ja dla przykładu mam webhosting na proxmox i trochę się namęczyłem, żeby wszystko działało jak należy, bo ustawienia sieci są zupełnie inne niż dla homelab. Jest jeszcze taki jeden temat jak iscsi, dla przykładu scaleway oferuje dyski 1 TB, które są dostępne po iscsci i masę osób w tym i ja ma problem, żeby zmusić proxmox do poprawnego utworzenia partycji na takim dysku. Takie populizmy jakie zawarłeś w swoim zdaniu możesz schować do kieszeni, bo najwidoczniej używasz proxmox wyłącznie w domu. Tu masz przykład opisanego przeze mnie problemu: forum.proxmox.com/threads/lvm-on-iscsi.68108/ Niestety żadna porada nie zadziałała dla mojego serwera, bo jak wspomniałem dedykowane serwery rządza się swoimi prawami i masz masę zależności.
@@Johny5423 mój komentarz został usunięty, więc napisze pokrótce: piszesz wierutne bzdury, a autor filmu jeszcze za mało wie na temat proxmox, stąd pewnie usuwa te bardziej merytoryczne komentarze, które pokazują również to, że konfiguracja proxmox bywa czasami dosyć trudna i nie jest wszystko takie różowe. W każdym bądź razie proxmox to całkiem solidne rozwiązanie do wirtualizacji.
Cześć trafiłem na twój kanał i przyznaję przyjemnie się Ciebie slucha, miło widzieć ze środowisko homelabowcow jakiekolwiek w polsce istnieje. Z ciekawości pracujesz jako sysadmin czy tylko jesteś "homelabowcem"? co do managerów i ceph fs troche pomylileś pojęcia w Ceph występuje jeszcze komponent MDS ( czyli serwer metadanych, i to wlasnie z nim jest ze zalecane jest go wiecej niz jedna sztuka ponieważ jest to jednowatkowa usluga dzialajaca w tle). Co do samego cepha jest to swietne rozwiazanie ktore czasem potrafi sprawic ze czlowiek chce osiwiec, a wiem co mowie bo mam pod soba jedno masywne srodowisko pracujace pod jego kontrola (i to ceph ze ceph a nie instancja instalowana pod proxem)...
Ceph nie robi replikacji między wszystkimi serwerami w klastrze a jedynie między pewną liczbą OSD w klastrze (można ustawiać czy repliki mają być na innych serwerach, czy w innych rackach, czy w innych DataCenter - to zależy od crushmapy) w ilości żądanej przez właśnie ustawienia liczby replik (domyślnie 3) lub ERASURE CODING (w skrócie taki a’la RAID 5, 6 ale z OSD na różnych serwerach a nie jednym) MON i MGR na 3 hostach to wystarczająca liczba na klastrze nawet kilkudziesięciu serwerów :D No i warto zarezerwować 1vcpu per OSD to chyba nawet w dokumetacji cepha jest
Fajne bo za darmo ale jak miałem szkolenie z vmware to tam "odcinając" jeden serwer to drugi przejmuje od niego wirtualke w niecałą sekundę. Na pulpicie wirtualnym z win10 nie zauważyłem nic, pingi to chyba jeden miał losta a już drugi chyba niecałe 100ms laga, reszta już dalej 1-2ms. Magia absolutna ale i ceny turbo srogie takich bajerów ;P
zajebisty material :) MImo ze 3 miechy temu bylo to sobie ogladam. Mimo ze mam tylko 1 micro dell 7040. Pytanie czy drugi musi miec taka sama specyfikacje czy moze byc np gorszy sprzet?
Ogolnie CEPH od jakiegos czasu ma opcje PG autoscale ustawiona defaultowo na true. Wiec PG nie trzeba ruszac, po za tym sam tez to monitoruje i wyswietli blad. Co do to wyboru dysku: lepiej dziala virtio (ale pod windowsem trzeba miec dodatkowe sterowniki).Z cephem warto tez pomyslec o dedykowanej sieci tylko pod klaster i wlaczeniu jumbo frames (nie mowie o sieci gdzie dostajemy sie do danych, tylko o sieci wewnetrznej calego klastra). Co do samej migracji: tak migruje pamiec pomiedzy nodami. Przy klastrach wiekszej skali lepiej przy wymianie dysku zrobic flage globalna noout (wtedy nie bedzie przeliczal danych). Jak chcesz pogadac o ceph to zapraszam (przez ponad 5 lat administorwalem duzym klastrem CEPH plus OpenStack).
Mistrzu, pytanie. Mam 4 hdd 14tb. żadne ważne dane więc chciałbym zrobić z nich macierz, jednak i ole nie zależy mi na danych w sensie backup'u. , to nie chciał bym ich stracić robiąc macierz. Da się coś takiego stworzyć. Zależy mi na wzroście prędkości zapisu odczytu. I jeszcze utrudnię sprawę. Mówimy o macierzy pod Windowsem :P O ile kojarzę windowsowy pool\storace space podczas tworzenia chyba usuwa dane. Jest jakaś inna metoda? A może jeszcze da się połączyć dyski różnej pojemności? Wiem, że da to coś ala RAID 0 z wydajnością najsłabszego, tylko co z danymi. Z góry dzięki za pomoc jeśli ktoś zna odpowiedź. "pogięło Cie gościu" też przyjmuję na klatę ;)
W latach 90-tych działałem na klastrach OpenVMS/Aplha, ale tam dyski były wspólne - był oddzielny storage box z kilkoma dyskami SCSI i był podłączony równocześnie do obu komputerów.
Panie Grzegorzu , mam problem wyświetla mi błędy przy przy dodaniu serwera "() detected the following error(s): * this host already contains virtual guests * local node address: cannot use IP '192.168.5.2', not found on local node! TASK ERROR: Check if node may join a cluster failed!
Siemka takie pytanko. Mam u siebie fizycznie serwer na sockecie 2011-3, wszystko pięknie śmiga ale mam internet swiatlowodowy od playa, oni nie oferują usług ani stałego ip ani publicznego, w innym mieszkaniu mam internet upc i tam juz oferują lecz nie ukrywam wolalbym to trzymać u siebie, jakis pomysl?
Co ciekawe, jeżeli mamy macierz i VMware to vCenter jest w stanie przerzucić maszyny wirtualne między hipervisorami bez zatrzymywania ich działania. Niestety, trzeba do tego droższej licencji.
Bardzo ciekawy poradnik, na pewno spojrzę na CEPH i HA w Proxmox jeszcze raz ale już z większym zaangażowaniem. Pytanie w sumie do tej migracji w CEPH, jak on sobie radzi z migracją maszynek ze zwirtualizowanymi GPU (vGPU), lub innymi?
@@byKOGR w zeszłym tygodniu oglądałem na YT jak ludzie mają zrobione szafy rack. Później pojechałem do Elektryka kupić RJ45 i inne rzeczy... i jakoś przestał mi się dodawać świat wirtualny z realnym 😜😜😜 Dopiero dzisiaj dodałem fakty jak znowu na YT się mi pojawiłeś 🙈🙈🙈
Mam takie marzenie, zeby zrobic sobie taki wystrzelony w kosmos gaming room.. ale nie chcę miec trzech piecow do grania w pokoju 20m2 bo sie ugoruje 😂 pomyslalem zeby zbudowac serwer na jednym takim kozaku, albo cos na x99 z chin... Bo budzet, no iiiii... Zrobić trzy stanowiska na thincentre m920x albo cos podobnego, zeby byko cicho i komfortowo, a w serwerowni dowalic takiego wlasnie bydlaka na 3x GPU 2 xeony i wiadro ramu... Na serwerze proxmox, 3 wirtualne maszyny, passtrough pci-e i streaming ze steama albo czegos innego. Ciekawi mnie czy mialoby to rece i nogi. Teraz schowalem swojego PC do szafy w przedpokoju, 2.5gbps skrętki 2x nvidia rtx3060, proxmox plus 2x vm po 16gbram i 256 nvme i do tego parsec do streamingu... Jak na razie biedny i7-7700 mocno sie poci 🤣 i da sie w 60fps grac we dwie osoby na srednich... Zrob kiedys taki patent i wybij mi to z glowy xD
Ja kupiłem jakiś czas temu 3 serwery HP dl360p Gen8 24 rdzenie 512gb RAM 2 dyski ssd 500gb i 6dyskow SAS 2,4TB każdy. I co używam sobie jako serwera gry do satisa 🤣. Ponad 30 tys poszło 🤣
Kolego, nagraj materiał dla przeciętnego użytkownika, który Od sprzętu chce czegoś więcej niż to co dostaje w pakiecie od isp. Wiesz, mini-serwer który będzie służył jako router/firewall, nas, i klient p2p. Coś na czym zainstaluje pfsense/opnsense. Podziwiam twoją wiedzę, ale jednak oglądanie „jak zrobiłem serwer 666tb” to lekkie przegięcie i pewnie zainteresowanie takimi materiałami jest małe.
Poza tym, że HPE udostępnia aktualizacje firmware do sowich produktów TYLKO opłacającym subskrypcję wsparcia to budowanie z boxów hp jest spoko. No może poza trzymaniem plików na przestarzałych filesystemach zamiast na ZFS
Pobieżne i niekompletne, profesjonalne klastry buduj się na zewnętrznym storage opartym na łączności SAN, ale powiedzmy, że to do domu. Jeszcze jedno, w klastrze, jak wypadnie nod z klastra, proxmox - nie uszkodzi się i sypie błędami, ale zwyczajni zniknie bo np zdechnie zasilacz, to proxmox głupieje. Kolejny filmik ładnie zrobiony z mizernym zapleczem merytoryczny, ładnie zrobiony filmik o niczym.
Zajebisty materiał, jak nie ma tego nooo siema i głupkowania na siłe to super się słucha i można oglądać :)
Ciekawy materiał. Brakuje takich treści na polskim youtube. Leci łapa w górę. Pozdro!:)
Dziękuję za materiał. Bardzo się przydał ❤
Panie Grzegorzu, świetny poradnik do CEPH dla początkujących! :D Aż mi się przypomniało jak stawiałem klaster w robocie właśnie na CEPHie :P
Spoko materiał😊
Dobre byku!
Fajnie, że propagujesz proxmox, bo to świetne rozwiązanie i warto go stosować. Tylko, że lecisz przez temat strasznie po łebkach i później zapewne nie jeden, kto będzie robił klaster i cokolwiek na proxmox napotka wiele problemów, o których ty wspomniałeś w dwóch słowach, albo w ogóle pominąłeś. Przydało by się, abyś wkleił chociaż linki do dokumentacji, albo wspomniał o tym jak ważna jest sieć w przypadku klastra i w ogóle o tym jak proxmox obsługuje sieć, a nie że: " wybieramy vmbr0, wiadomo to do internetu". W 99% oglądam materiały z angielskiego yt i widać tą potężną przepaść na ich korzyść.
Proxmox jest mega przyjemny przez to że jest mega prosty i intuicyjny
@@Johny5423 to zależy w jakich scenariuszach, jak masz prosty homelab to jest prosty i przyjemny, ja dla przykładu mam webhosting na proxmox i trochę się namęczyłem, żeby wszystko działało jak należy, bo ustawienia sieci są zupełnie inne niż dla homelab. Jest jeszcze taki jeden temat jak iscsi, dla przykładu scaleway oferuje dyski 1 TB, które są dostępne po iscsci i masę osób w tym i ja ma problem, żeby zmusić proxmox do poprawnego utworzenia partycji na takim dysku. Takie populizmy jakie zawarłeś w swoim zdaniu możesz schować do kieszeni, bo najwidoczniej używasz proxmox wyłącznie w domu.
Tu masz przykład opisanego przeze mnie problemu:
forum.proxmox.com/threads/lvm-on-iscsi.68108/
Niestety żadna porada nie zadziałała dla mojego serwera, bo jak wspomniałem dedykowane serwery rządza się swoimi prawami i masz masę zależności.
@@Johny5423 mój komentarz został usunięty, więc napisze pokrótce: piszesz wierutne bzdury, a autor filmu jeszcze za mało wie na temat proxmox, stąd pewnie usuwa te bardziej merytoryczne komentarze, które pokazują również to, że konfiguracja proxmox bywa czasami dosyć trudna i nie jest wszystko takie różowe. W każdym bądź razie proxmox to całkiem solidne rozwiązanie do wirtualizacji.
@@eetthhoo wszystko zależy od punktu patrzenia i posiadanej wiedzy. Dla mnie proxmox jest mega prosty i intuicyjny.
@@eetthhoo i nie nie został usunięty dalej jest widoczny
Cześć trafiłem na twój kanał i przyznaję przyjemnie się Ciebie slucha, miło widzieć ze środowisko homelabowcow jakiekolwiek w polsce istnieje. Z ciekawości pracujesz jako sysadmin czy tylko jesteś "homelabowcem"? co do managerów i ceph fs troche pomylileś pojęcia w Ceph występuje jeszcze komponent MDS ( czyli serwer metadanych, i to wlasnie z nim jest ze zalecane jest go wiecej niz jedna sztuka ponieważ jest to jednowatkowa usluga dzialajaca w tle). Co do samego cepha jest to swietne rozwiazanie ktore czasem potrafi sprawic ze czlowiek chce osiwiec, a wiem co mowie bo mam pod soba jedno masywne srodowisko pracujace pod jego kontrola (i to ceph ze ceph a nie instancja instalowana pod proxem)...
Git film
Fajny materiał 👍
Ceph nie robi replikacji między wszystkimi serwerami w klastrze a jedynie między pewną liczbą OSD w klastrze (można ustawiać czy repliki mają być na innych serwerach, czy w innych rackach, czy w innych DataCenter - to zależy od crushmapy) w ilości żądanej przez właśnie ustawienia liczby replik (domyślnie 3) lub ERASURE CODING (w skrócie taki a’la RAID 5, 6 ale z OSD na różnych serwerach a nie jednym)
MON i MGR na 3 hostach to wystarczająca liczba na klastrze nawet kilkudziesięciu serwerów :D
No i warto zarezerwować 1vcpu per OSD to chyba nawet w dokumetacji cepha jest
Fajne bo za darmo ale jak miałem szkolenie z vmware to tam "odcinając" jeden serwer to drugi przejmuje od niego wirtualke w niecałą sekundę. Na pulpicie wirtualnym z win10 nie zauważyłem nic, pingi to chyba jeden miał losta a już drugi chyba niecałe 100ms laga, reszta już dalej 1-2ms. Magia absolutna ale i ceny turbo srogie takich bajerów ;P
Gdzie się schowałeś, jak bawiłem się proxmoxem. Dobrze się ogląda, zwięźle i na temat
👀
zajebisty material :) MImo ze 3 miechy temu bylo to sobie ogladam. Mimo ze mam tylko 1 micro dell 7040. Pytanie czy drugi musi miec taka sama specyfikacje czy moze byc np gorszy sprzet?
Czy ktoś policzył ile razy padło "i w tym momencie"? :) Super film!
Ogolnie CEPH od jakiegos czasu ma opcje PG autoscale ustawiona defaultowo na true. Wiec PG nie trzeba ruszac, po za tym sam tez to monitoruje i wyswietli blad. Co do to wyboru dysku: lepiej dziala virtio (ale pod windowsem trzeba miec dodatkowe sterowniki).Z cephem warto tez pomyslec o dedykowanej sieci tylko pod klaster i wlaczeniu jumbo frames (nie mowie o sieci gdzie dostajemy sie do danych, tylko o sieci wewnetrznej calego klastra). Co do samej migracji: tak migruje pamiec pomiedzy nodami. Przy klastrach wiekszej skali lepiej przy wymianie dysku zrobic flage globalna noout (wtedy nie bedzie przeliczal danych). Jak chcesz pogadac o ceph to zapraszam (przez ponad 5 lat administorwalem duzym klastrem CEPH plus OpenStack).
Mistrzu, pytanie. Mam 4 hdd 14tb. żadne ważne dane więc chciałbym zrobić z nich macierz, jednak i ole nie zależy mi na danych w sensie backup'u. , to nie chciał bym ich stracić robiąc macierz. Da się coś takiego stworzyć. Zależy mi na wzroście prędkości zapisu odczytu. I jeszcze utrudnię sprawę. Mówimy o macierzy pod Windowsem :P O ile kojarzę windowsowy pool\storace space podczas tworzenia chyba usuwa dane. Jest jakaś inna metoda? A może jeszcze da się połączyć dyski różnej pojemności? Wiem, że da to coś ala RAID 0 z wydajnością najsłabszego, tylko co z danymi. Z góry dzięki za pomoc jeśli ktoś zna odpowiedź. "pogięło Cie gościu" też przyjmuję na klatę ;)
Ło panie, niestety to wymaga formatu i tego nie unikniesz :/
Każdy serwer masz na jednym switch czy 2 osobne np jeden z stałym IP zewnętrzny a 2 wewnętrzne cisko
Do czego w ogóle wykorzystujesz tą swoją serwerownię?
Dla własnej satysfakcji :D plus powoli pod potrzeby związane z YT :p
W latach 90-tych działałem na klastrach OpenVMS/Aplha, ale tam dyski były wspólne - był oddzielny storage box z kilkoma dyskami SCSI i był podłączony równocześnie do obu komputerów.
Panie Grzegorzu , mam problem wyświetla mi błędy przy przy dodaniu serwera
"()
detected the following error(s):
* this host already contains virtual guests
* local node address: cannot use IP '192.168.5.2', not found on local node!
TASK ERROR: Check if node may join a cluster failed!
Siemka takie pytanko.
Mam u siebie fizycznie serwer na sockecie 2011-3, wszystko pięknie śmiga ale mam internet swiatlowodowy od playa, oni nie oferują usług ani stałego ip ani publicznego, w innym mieszkaniu mam internet upc i tam juz oferują lecz nie ukrywam wolalbym to trzymać u siebie, jakis pomysl?
dyndns?
@@seedney heh co ci da dyndns jak nie masz rutowalnego IP? :D
VPN między nim a inną lokacją z przynajmniej publicznym IP?
Zrób kiedyś film jak stawiasz free nasa na handheldach
Spoko, pogadam ze zmaslo xD
Co ciekawe, jeżeli mamy macierz i VMware to vCenter jest w stanie przerzucić maszyny wirtualne między hipervisorami bez zatrzymywania ich działania. Niestety, trzeba do tego droższej licencji.
Wypasione procki, w pip ramu a karty 1gbe. Czemu Grzesiu nie zainwestowałeś w 10gbe ?
Kompletnie o tym nie pomyślałem, uciekła mi sprawa sieci. Sprzęt już wrócił więc się już nie pobawię :/
Bardzo ciekawy poradnik, na pewno spojrzę na CEPH i HA w Proxmox jeszcze raz ale już z większym zaangażowaniem. Pytanie w sumie do tej migracji w CEPH, jak on sobie radzi z migracją maszynek ze zwirtualizowanymi GPU (vGPU), lub innymi?
W CB23 miales "tylko" 60 rdzeni.... mozna recznie kazac mu wiecej uzywac...
Zwolnij trochę w przekazywaniu informacji.
Do czego on wykorzystuje te wszystkie serwery?
Mówiłem w materiale że serwery zostały wypożyczone do filmu, już dawno wróciły ^^
Jesteś z Wodzisławia czy mnie straszy? 😅😅😅
Jestem :)
@@byKOGR Elektryk?
Tak 👀
@@byKOGR w zeszłym tygodniu oglądałem na YT jak ludzie mają zrobione szafy rack. Później pojechałem do Elektryka kupić RJ45 i inne rzeczy... i jakoś przestał mi się dodawać świat wirtualny z realnym 😜😜😜 Dopiero dzisiaj dodałem fakty jak znowu na YT się mi pojawiłeś 🙈🙈🙈
Hah, trochę świat jest mały XD tak BTW to serio mam czasami wrażenie że jak siedzę na obsłudze że ludzie na mnie dziwnie patrzą XDDDD
Mam takie marzenie, zeby zrobic sobie taki wystrzelony w kosmos gaming room.. ale nie chcę miec trzech piecow do grania w pokoju 20m2 bo sie ugoruje 😂 pomyslalem zeby zbudowac serwer na jednym takim kozaku, albo cos na x99 z chin... Bo budzet, no iiiii...
Zrobić trzy stanowiska na thincentre m920x albo cos podobnego, zeby byko cicho i komfortowo, a w serwerowni dowalic takiego wlasnie bydlaka na 3x GPU 2 xeony i wiadro ramu... Na serwerze proxmox, 3 wirtualne maszyny, passtrough pci-e i streaming ze steama albo czegos innego. Ciekawi mnie czy mialoby to rece i nogi. Teraz schowalem swojego PC do szafy w przedpokoju, 2.5gbps skrętki 2x nvidia rtx3060, proxmox plus 2x vm po 16gbram i 256 nvme i do tego parsec do streamingu... Jak na razie biedny i7-7700 mocno sie poci 🤣 i da sie w 60fps grac we dwie osoby na srednich... Zrob kiedys taki patent i wybij mi to z glowy xD
No z tym sypaniem masz racje, bo nie moge dodac 6 serwera do isniejacego klastra ceph
Ja kupiłem jakiś czas temu 3 serwery HP dl360p Gen8 24 rdzenie 512gb RAM 2 dyski ssd 500gb i 6dyskow SAS 2,4TB każdy. I co używam sobie jako serwera gry do satisa 🤣. Ponad 30 tys poszło 🤣
W co poszło 30k? Za 30k masz 3x g10
W dyski i ram, ale najwięcej w 2,5 calowe dyski SAS o pojemności 2,4TB każdy
witam
Zrobisz tuto jak na serwerze zrobić serwer Minecraft
Jest film na kanale :)
ale z ip tp pl
Myślałem, że te 3 serwery Ciebie zjadły xD
chop co ma więcej ramu w serverze niż ja miejsca na raid1
Grześ co robi raid z serwerów
Kolego, nagraj materiał dla przeciętnego użytkownika, który Od sprzętu chce czegoś więcej niż to co dostaje w pakiecie od isp. Wiesz, mini-serwer który będzie służył jako router/firewall, nas, i klient p2p. Coś na czym zainstaluje pfsense/opnsense. Podziwiam twoją wiedzę, ale jednak oglądanie „jak zrobiłem serwer 666tb” to lekkie przegięcie i pewnie zainteresowanie takimi materiałami jest małe.
Grzesiek a moze cos takiego jak zrobil Wendell z Level1Tech? 3x intel nuc z polaczeniem miedzy nimi za pomocą thunderbolta? To ciekawy projekt :)
So tego klastra serwerków przyda się klaster akusów z widlaka
Witam
Poza tym, że HPE udostępnia aktualizacje firmware do sowich produktów TYLKO opłacającym subskrypcję wsparcia to budowanie z boxów hp jest spoko. No może poza trzymaniem plików na przestarzałych filesystemach zamiast na ZFS
Mam szafę rack HPE 22U i w na wiosnę wrzucam tam właśnie DL380 G10 oraz DL20 G10. Its all about blinking lights ;)
Właśnie zamierzam wraz z kolegą zrobić taki serwer Minecraft z kilku terminali
Pobieżne i niekompletne, profesjonalne klastry buduj się na zewnętrznym storage opartym na łączności SAN, ale powiedzmy, że to do domu. Jeszcze jedno, w klastrze, jak wypadnie nod z klastra, proxmox - nie uszkodzi się i sypie błędami, ale zwyczajni zniknie bo np zdechnie zasilacz, to proxmox głupieje. Kolejny filmik ładnie zrobiony z mizernym zapleczem merytoryczny, ładnie zrobiony filmik o niczym.
witam