POŁĄCZYŁEM KILKA SERWERÓW W JEDEN - Czy to ma sens? | CEPH PORADNIK
HTML-код
- Опубликовано: 28 авг 2024
- Zajrzyj do opisu ;)
Discord dla WAS: discord.kogr.pl
Specyfikacja serwerów:
3x: HP DL380 G10
CPU: 2x Intel Xeon Gold 6142
RAM: 256GB 2666Mhz
SSD: 4x1,6tb Intel P4600 NVME U.2
PSU: 2x500W
ƪ(˘⌣˘)┐ ƪ(˘⌣˘)ʃ ┌(˘⌣˘)ʃƪ(˘⌣˘)┐ ƪ(˘⌣˘)ʃ ┌(˘⌣˘)ʃƪ(˘⌣˘)┐ ƪ(˘⌣˘)ʃ ┌(˘⌣˘)ʃ
Montaż: AleQ (kontakt(at)aleq.pl) & Kacper Gadzina
Miniaturka: Kacper Gadzina
Operator: Kacper Gadzina (gadzina.kacper(at)gmail.com)
Zajebisty materiał, jak nie ma tego nooo siema i głupkowania na siłe to super się słucha i można oglądać :)
Fajnie, że propagujesz proxmox, bo to świetne rozwiązanie i warto go stosować. Tylko, że lecisz przez temat strasznie po łebkach i później zapewne nie jeden, kto będzie robił klaster i cokolwiek na proxmox napotka wiele problemów, o których ty wspomniałeś w dwóch słowach, albo w ogóle pominąłeś. Przydało by się, abyś wkleił chociaż linki do dokumentacji, albo wspomniał o tym jak ważna jest sieć w przypadku klastra i w ogóle o tym jak proxmox obsługuje sieć, a nie że: " wybieramy vmbr0, wiadomo to do internetu". W 99% oglądam materiały z angielskiego yt i widać tą potężną przepaść na ich korzyść.
Proxmox jest mega przyjemny przez to że jest mega prosty i intuicyjny
@@Johny5423 to zależy w jakich scenariuszach, jak masz prosty homelab to jest prosty i przyjemny, ja dla przykładu mam webhosting na proxmox i trochę się namęczyłem, żeby wszystko działało jak należy, bo ustawienia sieci są zupełnie inne niż dla homelab. Jest jeszcze taki jeden temat jak iscsi, dla przykładu scaleway oferuje dyski 1 TB, które są dostępne po iscsci i masę osób w tym i ja ma problem, żeby zmusić proxmox do poprawnego utworzenia partycji na takim dysku. Takie populizmy jakie zawarłeś w swoim zdaniu możesz schować do kieszeni, bo najwidoczniej używasz proxmox wyłącznie w domu.
Tu masz przykład opisanego przeze mnie problemu:
forum.proxmox.com/threads/lvm-on-iscsi.68108/
Niestety żadna porada nie zadziałała dla mojego serwera, bo jak wspomniałem dedykowane serwery rządza się swoimi prawami i masz masę zależności.
@@Johny5423 mój komentarz został usunięty, więc napisze pokrótce: piszesz wierutne bzdury, a autor filmu jeszcze za mało wie na temat proxmox, stąd pewnie usuwa te bardziej merytoryczne komentarze, które pokazują również to, że konfiguracja proxmox bywa czasami dosyć trudna i nie jest wszystko takie różowe. W każdym bądź razie proxmox to całkiem solidne rozwiązanie do wirtualizacji.
@@eetthhoo wszystko zależy od punktu patrzenia i posiadanej wiedzy. Dla mnie proxmox jest mega prosty i intuicyjny.
@@eetthhoo i nie nie został usunięty dalej jest widoczny
Ciekawy materiał. Brakuje takich treści na polskim youtube. Leci łapa w górę. Pozdro!:)
Panie Grzegorzu, świetny poradnik do CEPH dla początkujących! :D Aż mi się przypomniało jak stawiałem klaster w robocie właśnie na CEPHie :P
Cześć trafiłem na twój kanał i przyznaję przyjemnie się Ciebie slucha, miło widzieć ze środowisko homelabowcow jakiekolwiek w polsce istnieje. Z ciekawości pracujesz jako sysadmin czy tylko jesteś "homelabowcem"? co do managerów i ceph fs troche pomylileś pojęcia w Ceph występuje jeszcze komponent MDS ( czyli serwer metadanych, i to wlasnie z nim jest ze zalecane jest go wiecej niz jedna sztuka ponieważ jest to jednowatkowa usluga dzialajaca w tle). Co do samego cepha jest to swietne rozwiazanie ktore czasem potrafi sprawic ze czlowiek chce osiwiec, a wiem co mowie bo mam pod soba jedno masywne srodowisko pracujace pod jego kontrola (i to ceph ze ceph a nie instancja instalowana pod proxem)...
Spoko materiał😊
Fajne bo za darmo ale jak miałem szkolenie z vmware to tam "odcinając" jeden serwer to drugi przejmuje od niego wirtualke w niecałą sekundę. Na pulpicie wirtualnym z win10 nie zauważyłem nic, pingi to chyba jeden miał losta a już drugi chyba niecałe 100ms laga, reszta już dalej 1-2ms. Magia absolutna ale i ceny turbo srogie takich bajerów ;P
Ceph nie robi replikacji między wszystkimi serwerami w klastrze a jedynie między pewną liczbą OSD w klastrze (można ustawiać czy repliki mają być na innych serwerach, czy w innych rackach, czy w innych DataCenter - to zależy od crushmapy) w ilości żądanej przez właśnie ustawienia liczby replik (domyślnie 3) lub ERASURE CODING (w skrócie taki a’la RAID 5, 6 ale z OSD na różnych serwerach a nie jednym)
MON i MGR na 3 hostach to wystarczająca liczba na klastrze nawet kilkudziesięciu serwerów :D
No i warto zarezerwować 1vcpu per OSD to chyba nawet w dokumetacji cepha jest
zajebisty material :) MImo ze 3 miechy temu bylo to sobie ogladam. Mimo ze mam tylko 1 micro dell 7040. Pytanie czy drugi musi miec taka sama specyfikacje czy moze byc np gorszy sprzet?
Czy ktoś policzył ile razy padło "i w tym momencie"? :) Super film!
W latach 90-tych działałem na klastrach OpenVMS/Aplha, ale tam dyski były wspólne - był oddzielny storage box z kilkoma dyskami SCSI i był podłączony równocześnie do obu komputerów.
Gdzie się schowałeś, jak bawiłem się proxmoxem. Dobrze się ogląda, zwięźle i na temat
👀
Git film
Fajny materiał 👍
Ogolnie CEPH od jakiegos czasu ma opcje PG autoscale ustawiona defaultowo na true. Wiec PG nie trzeba ruszac, po za tym sam tez to monitoruje i wyswietli blad. Co do to wyboru dysku: lepiej dziala virtio (ale pod windowsem trzeba miec dodatkowe sterowniki).Z cephem warto tez pomyslec o dedykowanej sieci tylko pod klaster i wlaczeniu jumbo frames (nie mowie o sieci gdzie dostajemy sie do danych, tylko o sieci wewnetrznej calego klastra). Co do samej migracji: tak migruje pamiec pomiedzy nodami. Przy klastrach wiekszej skali lepiej przy wymianie dysku zrobic flage globalna noout (wtedy nie bedzie przeliczal danych). Jak chcesz pogadac o ceph to zapraszam (przez ponad 5 lat administorwalem duzym klastrem CEPH plus OpenStack).
Zrób kiedyś film jak stawiasz free nasa na handheldach
Spoko, pogadam ze zmaslo xD
Każdy serwer masz na jednym switch czy 2 osobne np jeden z stałym IP zewnętrzny a 2 wewnętrzne cisko
Mistrzu, pytanie. Mam 4 hdd 14tb. żadne ważne dane więc chciałbym zrobić z nich macierz, jednak i ole nie zależy mi na danych w sensie backup'u. , to nie chciał bym ich stracić robiąc macierz. Da się coś takiego stworzyć. Zależy mi na wzroście prędkości zapisu odczytu. I jeszcze utrudnię sprawę. Mówimy o macierzy pod Windowsem :P O ile kojarzę windowsowy pool\storace space podczas tworzenia chyba usuwa dane. Jest jakaś inna metoda? A może jeszcze da się połączyć dyski różnej pojemności? Wiem, że da to coś ala RAID 0 z wydajnością najsłabszego, tylko co z danymi. Z góry dzięki za pomoc jeśli ktoś zna odpowiedź. "pogięło Cie gościu" też przyjmuję na klatę ;)
Ło panie, niestety to wymaga formatu i tego nie unikniesz :/
Bardzo ciekawy poradnik, na pewno spojrzę na CEPH i HA w Proxmox jeszcze raz ale już z większym zaangażowaniem. Pytanie w sumie do tej migracji w CEPH, jak on sobie radzi z migracją maszynek ze zwirtualizowanymi GPU (vGPU), lub innymi?
Myślałem, że te 3 serwery Ciebie zjadły xD
Do czego w ogóle wykorzystujesz tą swoją serwerownię?
Dla własnej satysfakcji :D plus powoli pod potrzeby związane z YT :p
Zwolnij trochę w przekazywaniu informacji.
witam
Co ciekawe, jeżeli mamy macierz i VMware to vCenter jest w stanie przerzucić maszyny wirtualne między hipervisorami bez zatrzymywania ich działania. Niestety, trzeba do tego droższej licencji.
W CB23 miales "tylko" 60 rdzeni.... mozna recznie kazac mu wiecej uzywac...
Grzesiek a moze cos takiego jak zrobil Wendell z Level1Tech? 3x intel nuc z polaczeniem miedzy nimi za pomocą thunderbolta? To ciekawy projekt :)
No z tym sypaniem masz racje, bo nie moge dodac 6 serwera do isniejacego klastra ceph
Panie Grzegorzu , mam problem wyświetla mi błędy przy przy dodaniu serwera
"()
detected the following error(s):
* this host already contains virtual guests
* local node address: cannot use IP '192.168.5.2', not found on local node!
TASK ERROR: Check if node may join a cluster failed!
Kolego, nagraj materiał dla przeciętnego użytkownika, który Od sprzętu chce czegoś więcej niż to co dostaje w pakiecie od isp. Wiesz, mini-serwer który będzie służył jako router/firewall, nas, i klient p2p. Coś na czym zainstaluje pfsense/opnsense. Podziwiam twoją wiedzę, ale jednak oglądanie „jak zrobiłem serwer 666tb” to lekkie przegięcie i pewnie zainteresowanie takimi materiałami jest małe.
Mam takie marzenie, zeby zrobic sobie taki wystrzelony w kosmos gaming room.. ale nie chcę miec trzech piecow do grania w pokoju 20m2 bo sie ugoruje 😂 pomyslalem zeby zbudowac serwer na jednym takim kozaku, albo cos na x99 z chin... Bo budzet, no iiiii...
Zrobić trzy stanowiska na thincentre m920x albo cos podobnego, zeby byko cicho i komfortowo, a w serwerowni dowalic takiego wlasnie bydlaka na 3x GPU 2 xeony i wiadro ramu... Na serwerze proxmox, 3 wirtualne maszyny, passtrough pci-e i streaming ze steama albo czegos innego. Ciekawi mnie czy mialoby to rece i nogi. Teraz schowalem swojego PC do szafy w przedpokoju, 2.5gbps skrętki 2x nvidia rtx3060, proxmox plus 2x vm po 16gbram i 256 nvme i do tego parsec do streamingu... Jak na razie biedny i7-7700 mocno sie poci 🤣 i da sie w 60fps grac we dwie osoby na srednich... Zrob kiedys taki patent i wybij mi to z glowy xD
Ja kupiłem jakiś czas temu 3 serwery HP dl360p Gen8 24 rdzenie 512gb RAM 2 dyski ssd 500gb i 6dyskow SAS 2,4TB każdy. I co używam sobie jako serwera gry do satisa 🤣. Ponad 30 tys poszło 🤣
W co poszło 30k? Za 30k masz 3x g10
W dyski i ram, ale najwięcej w 2,5 calowe dyski SAS o pojemności 2,4TB każdy
Siemka takie pytanko.
Mam u siebie fizycznie serwer na sockecie 2011-3, wszystko pięknie śmiga ale mam internet swiatlowodowy od playa, oni nie oferują usług ani stałego ip ani publicznego, w innym mieszkaniu mam internet upc i tam juz oferują lecz nie ukrywam wolalbym to trzymać u siebie, jakis pomysl?
dyndns?
@@seedney heh co ci da dyndns jak nie masz rutowalnego IP? :D
VPN między nim a inną lokacją z przynajmniej publicznym IP?
Wypasione procki, w pip ramu a karty 1gbe. Czemu Grzesiu nie zainwestowałeś w 10gbe ?
Kompletnie o tym nie pomyślałem, uciekła mi sprawa sieci. Sprzęt już wrócił więc się już nie pobawię :/
Witam
Poza tym, że HPE udostępnia aktualizacje firmware do sowich produktów TYLKO opłacającym subskrypcję wsparcia to budowanie z boxów hp jest spoko. No może poza trzymaniem plików na przestarzałych filesystemach zamiast na ZFS
aaaa, no i brak rzeczywistego wsparcia dla darmowych userów proxmox. 107/100
Do czego on wykorzystuje te wszystkie serwery?
Mówiłem w materiale że serwery zostały wypożyczone do filmu, już dawno wróciły ^^
chop co ma więcej ramu w serverze niż ja miejsca na raid1
Grześ co robi raid z serwerów
Zrobisz tuto jak na serwerze zrobić serwer Minecraft
Jest film na kanale :)
ale z ip tp pl
Jesteś z Wodzisławia czy mnie straszy? 😅😅😅
Jestem :)
@@byKOGR Elektryk?
Tak 👀
@@byKOGR w zeszłym tygodniu oglądałem na YT jak ludzie mają zrobione szafy rack. Później pojechałem do Elektryka kupić RJ45 i inne rzeczy... i jakoś przestał mi się dodawać świat wirtualny z realnym 😜😜😜 Dopiero dzisiaj dodałem fakty jak znowu na YT się mi pojawiłeś 🙈🙈🙈
Hah, trochę świat jest mały XD tak BTW to serio mam czasami wrażenie że jak siedzę na obsłudze że ludzie na mnie dziwnie patrzą XDDDD
So tego klastra serwerków przyda się klaster akusów z widlaka
Jaki terminal polecasz do nasa
POS5000 :D
@@byKOGR dziękuje jesteś 1 youtuberem który mi odpisał
@@byKOGR szukałem taniego terminala żeby się pobawić (zrobić serwer nas, emulator retro gier oto)
@@byKOGR mam jeszcze kilka pytań ile ten terminal ma wejść sata, jakiej firmy kupić dyski, gdzie najtaniej kupić dyski i czy trzeba będzie kombinować coś z zasilaniem
@@pieczarek2137 zapraszam na serwer dsc :D Link masz w opisie :)
Właśnie zamierzam wraz z kolegą zrobić taki serwer Minecraft z kilku terminali
Mam szafę rack HPE 22U i w na wiosnę wrzucam tam właśnie DL380 G10 oraz DL20 G10. Its all about blinking lights ;)
Pobieżne i niekompletne, profesjonalne klastry buduj się na zewnętrznym storage opartym na łączności SAN, ale powiedzmy, że to do domu. Jeszcze jedno, w klastrze, jak wypadnie nod z klastra, proxmox - nie uszkodzi się i sypie błędami, ale zwyczajni zniknie bo np zdechnie zasilacz, to proxmox głupieje. Kolejny filmik ładnie zrobiony z mizernym zapleczem merytoryczny, ładnie zrobiony filmik o niczym.
witam