🧐Ti piace il mio modo di spiegare e vuoi diventare UN ASSO nei sistemi GNU/LINUX? 😎Buone notizie! Ho realizzato corsi on-demand per tutti i livelli. 👉Visita corsolinux.com per maggiori informazioni.
Morro, sei un mago dei protocolli nascosti! NVMe over TCP è un game changer, altro che Samba lento come la burocrazia. Il suono della chiavetta? Poesia tecnologica. Video bomba, ora voglio settare il mio NAS a cannone! 👏🚀
Spettacolo! Per lavoro finora ho utilizzato Iscsi (con schede a 10gb/s) per utilizzare il nas come storage per le VM su host Hyper-V. Direi che questo è il degno successore. Ora bisogna solo vedere se è già sfruttabile in ambiente Microsoft...
Questo protocollo è una figata. Non uso praticamente mai Linux, ma spippolo con i NAS, ed NVMe-over-TCP è davvero un protocollo che così supportato nonostante la giovane età, rappresenta l'elasticità degli *nix a stare più che al passo coi tempi.
lo usiamo in produzione "un po per forza", per via che è dentro Amazon EWS da almeno da un tre anni, visto che è stato introdotto a livello architetturale con il supporto alle cpu arm. funziona bene ed è completamente trasparente. toccherebbe avere il tempo per indagare tra gli script di init e curiosare un po ;)
Una figata, sicuramente. interessante vedere come si comporterà da 10Gbit/s in su (25/40/50Gbit/s). Comunque in ISCSI, da Server Enterprise su LUN (Dischi logici) di Storage Systems NetApp, abbiamo raggiunto, ormai da anni, circa 1200MByte/sec (~1195), circa il 95% della banda teorica del 10GBE, però per avere queste prestazioni bisogna impostare l'MTU sugli switch di rete (L2) a 9 KBytes (Jumbo Frame). Passando da 10G a 25G e poi 50G, va considerato l'overhead dei protocolli di rete, come giustamente ha citato Morro, ovvero il calcolo richiesto a livello di CPU, il trasferimento da e verso il BUS, la gestione DMA, cercando di sfruttare al massimo tutti i meccanismi di OFFLOAD delle Schede di rete; Il problema diventa la gestione del protocollo TCP/IP stesso.
Ciao, intanto volevo ringraziarti per tutti i tuoi video e la passione che metti nel tuo canale! Volevo solo segnalarti "se non ho visto male" che la conversione che hai fatto di 293/297,98 è sbagliata perchè hai preso il valore in Megabyte e l'hai diviso per Mebibyte cioè (293Megabyte/297.98Mebibyte). La conversione corretta doveva essere 293Megabyte/312,5Megabyte = 93.76% oppure: 279Mebibyte/297.98Mebibyte = 93,63% (la differenza sarà per le approsimazioni) Tutto questo è comunque un ottimo valore però diverso dal 98% che dicevi in video. Io personalmente arrivo ad un 90,56% più basso rispetto al tuo ma perchè ho due controller di rete diversi che si interfacciano tra loro, i225-V e i226V. Spero di non aver preso un abbaglio, nel dubbio mi scuso e ti faccio ancora i complimenti per il canale.
Io rimasi colpito quando da un vecchio portatilino usato per riprodurre copie oroginali di film , condivise tramite samba notai che alcuni file molto pesanti non riuscivano ad essere streammati in tempo reale.. ma poi con jellyfin sì! Protocollo diverso , stesso hardware
Ottimo spiegone, però la sfida doveva essere Rdma vs nvme/TCP poi magari un desiderio, fare un test OpenEBS vs ceph come CSI dentro k8s OpenEBS sotto il cofano usa un protocollo molto simile a nvme provare un samba sever dentro k8s uno montato co pvc OpenEBS e uno con PVC ceph
Ciao Morro, è la sicurezza del trasferimento? Oltre alle ACL, SMB 3.0 almeno ci prova con l'encryption 😉 Poi nel caso vm/storage passthrough sono d'accordo con te, di solito su usano reti "isolate"
Video interessantissimo come sempre e grazie per quello che fai. Ci sono però un po' di errori nei calcoli. PREMESSA: Kb = Kilobit = 1000 bit KB (non contemplato su altri OS) = Kilobyte = 1000 byte = 8000 bit KiB (KB su Windows e MacOS) = Kibibyte = 1024 byte = 8192 bit CALCOLI: 2,5 Gb/s = 2500000000 b/s = (2500000000/8) B/s = (312500000 / 1024 / 1024) MiB/s = 298,02 MiB/s. 279 MiB/s (la velocità effettivamente raggiunta in lettura) * 100 / 298 MiB/s (massimo teorico) = 93,6% della velocità teorica. Resta un ottimo risultato comunque. 🙂
Complimenti come sempre per il bel video puntuale e preciso! Domanda: come valuteresti nel loro complesso le tecnologie di storage su blockchain?! Grazie! Ciao✌🏽
Mi sembra che l'uso di "piuttosto che" fosse corretto, ovvero come "invece di" e non come "oppure" (disgiuntivo). "Un server invece di un altro". Non mi suonava come "un server oppure un altro".
Molto interessante! Si può anche usare per accedere alle cartelle già presenti sul server locale invece di un nuovo volume? Perdonami, sto relativamente nuovo su gnu/Linux.
@@gerlosv diciamo che é meno complicato. Anche iscsi permette la condivisione, ma poi devi usare un filesystem che lo permette, come.il vmfs di vmware.
Infatti, adesso andrebbe applicato ad un file system condiviso che sia disponibile sulle principali piattaforme, altro dubbio ma funziona davvero soltanto con gli N VME oppure generico come iscsi?
In passato c'era aoe (ata over ethernet) un'azienda produceva delle San che erano nella HCl di VMware. Era interessante, poi sono impazziti, un po' come VMware ora, hanno alzato i prezzi e perso molto mercato. In ogni caso anche quello, come questo, è Enterprise quanto un backup su chiavetta... Enterprise significa molto di più di andare veloci. Un Nas non andrà mai vicino al limite teorico neanche durante un benchmark. La motivazione è che ci sono tante cose che servono per l'affidabilità e la ridondanza e sicurezza... Proprietà di iscsi che o non sono stati utilizzati qui o non ci sono... Ad esempio aoe non aveva grandi dispositivi di sicurezza se non il blocco a livello di mac address
iSCSI non è "esclusivo" di per se, come immagino sia anche questa soluzione nvme over TCP, ma è il filesystem (ext4 in questo esempio) che non consente accessi multipli.
grande. quindi posso usare questa tecnica per connettere gli nvme che ho installati sui 3 server proxmox che fanno da server CEPH, dove ceph sugli hard disk, ma nvme stavo pensando se era possibile creare un disco ZFS che poggia sui tre server contemporaneamente e usare questo protocollo per far comunicare la rete zfs, poi devo capire come si fa a creare un unico disco che comprenda piu' server , non volendo usare ceph per questi nvme , e creando un raid 5
Può essere usato per sostituire samba, su un server linux che deve rendere accessibile più cartelle condivise a numerosi client Windows, che devono vedere tali cartelle con i soliti percorsi di rete locali? (che poi sarebbe lo scopo vero di samba ...)
Sono perplesso, pensavo che le velocità di rete fossero potenze di 2, come credo anche la RAM, il base 1000 per il k lo associo agli HDD. Le scritte MiBi e compagnia le vedo molto di rado e non sulle schede dei prodotti. È il caso di fare qualche controllo. Saluti
Se usa TCP potenzialmente si potrebbe montare un disco remoto tramite vpn o ip pubblico? Sarebbe devastante una cosa del genere in alcuni campi di utilizzo.
Volendo completare il post ho provato a modificarlo ma non lo accettava. Ho risposto al mio stesso post riportando le 2 righe di dmesg però il messaggio è scomparso anche se loggato ho il "triangolino" per aprire la risposta che non appare. Saluti a tutti
A dire il vero però non è la stessa cosa, e non ha, al di fuori del datacenter, questa utilità. Di solito l'uso di un NAS è quello di condividere il disco fra più client, cosa che con questo protocollo non è possibile in quanto solo un client si può collegare alla volta. Ed oltre a ciò immagino che se c'è di mezzo una connessione non affidabile i dati si corrompano facilmente. Forse SFTP è più efficiente rispetto a SAMBA? Ci sarebbe poi NFS, ma l'ho sempre trovato difficile da configurare (ed è considerato da molti non il massimo dal punto di vista della sicurezza).
Lo standard 1000mbps ha introdotto l'auto mdix , che ha reso i dispositivi "consapevoli" di come sono stati fisicamente collegati e di farli "adattare', se vuoi approfondisci la cosa che è interessante
@@gabriledytun solo client per volta. Se vuoi montare il disco da più postazioni fisiche, devi montare in sola lettura. Può avere anche senso se devi ad esempio distribuire dei modelli LLM ad uno o più server GPU come nel mio caso, perché i file dei modelli LLM non vengono modificati. Diverso è se devi anche scrivere, solo un client può montare in scrittura.
Tutto sto casino per evitare di utilizzare smb che essendo una clonazzata del proto win è chiaro che fa sch..., ma utilizzare nfs no visto che vai da Linux a Linux?
@axelgenus non penso sia routabile, e' pensato per reti cablate interne da sala macchine, non va bene nemmemo come concept girarlo su router internet, quindi Io non lo farei.
Puoi crittografare il trasferimento dati se fai girare le porte in un tunnel SSH, ma non è lo scenario di utilizzo per cui è pensato, vedi le conclusioni
Mai chiuso un video di Andrea ciraolo così velocemente. P.S mi guarderò subito dopo il video di steam su Linux di alternativa Linux e tra poco accendo il mio fisso per registrare e giocare a senran kagura pbs con un profilo nuovo, a tutti voi buona continuazione.
![BLACK BAG - Official Trailer [HD] - Only in Theaters March 14](http://i.ytimg.com/vi/Du0Xp8WX_7I/mqdefault.jpg)
🧐Ti piace il mio modo di spiegare e vuoi diventare UN ASSO nei sistemi GNU/LINUX?
😎Buone notizie! Ho realizzato corsi on-demand per tutti i livelli.
👉Visita corsolinux.com per maggiori informazioni.
Morro, sei un mago dei protocolli nascosti! NVMe over TCP è un game changer, altro che Samba lento come la burocrazia. Il suono della chiavetta? Poesia tecnologica. Video bomba, ora voglio settare il mio NAS a cannone! 👏🚀
lento come la burocrazia 🤭 🤭 🤭
Spettacolo! Per lavoro finora ho utilizzato Iscsi (con schede a 10gb/s) per utilizzare il nas come storage per le VM su host Hyper-V. Direi che questo è il degno successore. Ora bisogna solo vedere se è già sfruttabile in ambiente Microsoft...
Questo protocollo è una figata.
Non uso praticamente mai Linux, ma spippolo con i NAS, ed NVMe-over-TCP è davvero un protocollo che così supportato nonostante la giovane età, rappresenta l'elasticità degli *nix a stare più che al passo coi tempi.
come al solito sei un grande....altro che quel maniaco di Windows di nFire!!!!
Bello e interessante ! Complimenti Morro !!
lo usiamo in produzione "un po per forza", per via che è dentro Amazon EWS da almeno da un tre anni, visto che è stato introdotto a livello architetturale con il supporto alle cpu arm. funziona bene ed è completamente trasparente. toccherebbe avere il tempo per indagare tra gli script di init e curiosare un po ;)
Una figata, sicuramente. interessante vedere come si comporterà da 10Gbit/s in su (25/40/50Gbit/s). Comunque in ISCSI, da Server Enterprise su LUN (Dischi logici) di Storage Systems NetApp, abbiamo raggiunto, ormai da anni, circa 1200MByte/sec (~1195), circa il 95% della banda teorica del 10GBE, però per avere queste prestazioni bisogna impostare l'MTU sugli switch di rete (L2) a 9 KBytes (Jumbo Frame). Passando da 10G a 25G e poi 50G, va considerato l'overhead dei protocolli di rete, come giustamente ha citato Morro, ovvero il calcolo richiesto a livello di CPU, il trasferimento da e verso il BUS, la gestione DMA, cercando di sfruttare al massimo tutti i meccanismi di OFFLOAD delle Schede di rete; Il problema diventa la gestione del protocollo TCP/IP stesso.
Due cose:
1) protocollo interessantissimo!
2) per me puoi anche ri-alzare il volume della sigla finale che in passato mi esaltava proprio!
spettacolo 😱
😱 wooooow una bomba ... anche cubbit composer e moolto interessante !!!
Grazie! Molto interessante. Potresti fare un contenuto per implementarlo con proxmox?
Ciao,
intanto volevo ringraziarti per tutti i tuoi video e la passione che metti nel tuo canale!
Volevo solo segnalarti "se non ho visto male" che la conversione che hai fatto di 293/297,98 è sbagliata perchè hai preso il valore in Megabyte e l'hai diviso per Mebibyte cioè (293Megabyte/297.98Mebibyte).
La conversione corretta doveva essere 293Megabyte/312,5Megabyte = 93.76% oppure:
279Mebibyte/297.98Mebibyte = 93,63% (la differenza sarà per le approsimazioni)
Tutto questo è comunque un ottimo valore però diverso dal 98% che dicevi in video.
Io personalmente arrivo ad un 90,56% più basso rispetto al tuo ma perchè ho due controller di rete diversi che si interfacciano tra loro, i225-V e i226V.
Spero di non aver preso un abbaglio, nel dubbio mi scuso e ti faccio ancora i complimenti per il canale.
Io rimasi colpito quando da un vecchio portatilino usato per riprodurre copie oroginali di film , condivise tramite samba notai che alcuni file molto pesanti non riuscivano ad essere streammati in tempo reale.. ma poi con jellyfin sì! Protocollo diverso , stesso hardware
troppo bella la distro che usi, E' personalizzata o standard?
Ottimo spiegone,
però la sfida doveva essere Rdma vs nvme/TCP
poi magari un desiderio, fare un test OpenEBS vs ceph come CSI dentro k8s
OpenEBS sotto il cofano usa un protocollo molto simile a nvme
provare un samba sever dentro k8s uno montato co pvc OpenEBS e uno con PVC ceph
Ciao Morro, è la sicurezza del trasferimento? Oltre alle ACL, SMB 3.0 almeno ci prova con l'encryption 😉
Poi nel caso vm/storage passthrough sono d'accordo con te, di solito su usano reti "isolate"
Video interessantissimo come sempre e grazie per quello che fai.
Ci sono però un po' di errori nei calcoli.
PREMESSA:
Kb = Kilobit = 1000 bit
KB (non contemplato su altri OS) = Kilobyte = 1000 byte = 8000 bit
KiB (KB su Windows e MacOS) = Kibibyte = 1024 byte = 8192 bit
CALCOLI:
2,5 Gb/s = 2500000000 b/s = (2500000000/8) B/s = (312500000 / 1024 / 1024) MiB/s = 298,02 MiB/s.
279 MiB/s (la velocità effettivamente raggiunta in lettura) * 100 / 298 MiB/s (massimo teorico) = 93,6% della velocità teorica.
Resta un ottimo risultato comunque. 🙂
Complimenti come sempre per il bel video puntuale e preciso!
Domanda: come valuteresti nel loro complesso le tecnologie di storage su blockchain?! Grazie! Ciao✌🏽
Mi sembra che l'uso di "piuttosto che" fosse corretto, ovvero come "invece di" e non come "oppure" (disgiuntivo). "Un server invece di un altro". Non mi suonava come "un server oppure un altro".
Il godimento del vero nerd a 08:06 😁
Molto interessante!
Si può anche usare per accedere alle cartelle già presenti sul server locale invece di un nuovo volume?
Perdonami, sto relativamente nuovo su gnu/Linux.
Fico!!! L'hai paragonato a samba, ma come va rispetto al caro vecchio NFS, nativo di Linux?
Comunque meglio penso, alla stregua di iSCSI
@@MattiaRcRacing nfs se ben configurato non é molto lontano da iscsi in termini di performances
@@sisko212 con il vantaggio, non da poco, che client diversi possano leggere/scrivere simultaneamente sullo stesso dispositivo...
@@gerlosv diciamo che é meno complicato. Anche iscsi permette la condivisione, ma poi devi usare un filesystem che lo permette, come.il vmfs di vmware.
perchè non provi a dare un occhiata a Deepin OS? sarebbe carino se ci facessi un video sopra,sono sicuro che ci starebbe tanto da parlarci sopra
Infatti, adesso andrebbe applicato ad un file system condiviso che sia disponibile sulle principali piattaforme, altro dubbio ma funziona davvero soltanto con gli N VME oppure generico come iscsi?
Come si chiama il monitir di sistema che usi per controllare le velocità?
in NFS invece? cosa ne pensi? . io lo uso da diverso tempo in alternativa a samba non ho fatto dei test ma ad occhio mi sembra più performante.
Funziona anche su Windows? Con qnap ts-231?
è possibile usare questa cosa su windows?
Hai provato ad usare i jumbo frames ? Migliora ancora un po ?
Fratello, sei un fottuto genio! Ma ti volevo chiedere NFS che ne pensi?
Speriamo ci faccia un video dedicato a NFS
Figata
Molto interessante. Ma livello di sicurezza è nullo? Non è possibile neppure mettere una password per proteggere la connessione?
Morro, sai se MacOS e/o Windows possono fare da client per NVMe-oF? Sto cercando da un po' ma non trovo granché onestamente...
Si può usare anche con sata?
Applicabile a poolzfs su truenas?
In passato c'era aoe (ata over ethernet) un'azienda produceva delle San che erano nella HCl di VMware. Era interessante, poi sono impazziti, un po' come VMware ora, hanno alzato i prezzi e perso molto mercato. In ogni caso anche quello, come questo, è Enterprise quanto un backup su chiavetta... Enterprise significa molto di più di andare veloci. Un Nas non andrà mai vicino al limite teorico neanche durante un benchmark. La motivazione è che ci sono tante cose che servono per l'affidabilità e la ridondanza e sicurezza... Proprietà di iscsi che o non sono stati utilizzati qui o non ci sono... Ad esempio aoe non aveva grandi dispositivi di sicurezza se non il blocco a livello di mac address
bello ma samba ti consente l'accesso simultaneo al disco , NVMe non credo
Avresti potuto risolvere il tuo problema di bandwidth di samba se avessi utilizzato NFS?
E' esclusivo come iscsi o il disco nvme può essere montato contemporaneamente su più client?
Verosimilmente no.
iSCSI non è "esclusivo" di per se, come immagino sia anche questa soluzione nvme over TCP, ma è il filesystem (ext4 in questo esempio) che non consente accessi multipli.
E invece utilizzare GlusterFS con un distributed volume?
grande. quindi posso usare questa tecnica per connettere gli nvme che ho installati sui 3 server proxmox che fanno da server CEPH, dove ceph sugli hard disk, ma nvme stavo pensando se era possibile creare un disco ZFS che poggia sui tre server contemporaneamente e usare questo protocollo per far comunicare la rete zfs, poi devo capire come si fa a creare un unico disco che comprenda piu' server , non volendo usare ceph per questi nvme , e creando un raid 5
Lol
Può essere usato per sostituire samba, su un server linux che deve rendere accessibile più cartelle condivise a numerosi client Windows, che devono vedere tali cartelle con i soliti percorsi di rete locali? (che poi sarebbe lo scopo vero di samba ...)
No, come dico a fine video
@@morrolinux urk! attacco di analfabetismo funzionale. Chiedo scusa.
ho comprato il tuo corso
Sono perplesso, pensavo che le velocità di rete fossero potenze di 2, come credo anche la RAM, il base 1000 per il k lo associo agli HDD.
Le scritte MiBi e compagnia le vedo molto di rado e non sulle schede dei prodotti.
È il caso di fare qualche controllo.
Saluti
Se usa TCP potenzialmente si potrebbe montare un disco remoto tramite vpn o ip pubblico?
Sarebbe devastante una cosa del genere in alcuni campi di utilizzo.
In effetti sarei curioso delle performance in uno scenario del genere AHAHAH
@@morrolinux non so se e' routabule.
non ne ho bisogno... ma perchè non farlo! 😁
ottimo, in locale ero rimasto ad aoe...
@@charloterca1112 ata over Ethernet e' molto piu' leggero
È possibile usarlo come storage tra due nodi proxmox?
Non vedo perché no, ma scordati una integrazione con la webui e resta da testare ogni corner case
Volendo completare il post ho provato a modificarlo ma non lo accettava. Ho risposto al mio stesso post riportando le 2 righe di dmesg però il messaggio è scomparso anche se loggato ho il "triangolino" per aprire la risposta che non appare.
Saluti a tutti
Può funzionare anche con dischi SATA?
si
@morrolinux 🥳🥳🥳🥳
Evviva!
Grazie
A dire il vero però non è la stessa cosa, e non ha, al di fuori del datacenter, questa utilità. Di solito l'uso di un NAS è quello di condividere il disco fra più client, cosa che con questo protocollo non è possibile in quanto solo un client si può collegare alla volta. Ed oltre a ciò immagino che se c'è di mezzo una connessione non affidabile i dati si corrompano facilmente.
Forse SFTP è più efficiente rispetto a SAMBA? Ci sarebbe poi NFS, ma l'ho sempre trovato difficile da configurare (ed è considerato da molti non il massimo dal punto di vista della sicurezza).
Appunto. Iscsi lavora a livello blocco, non file come { nfs, samba, ... }
Hai utilizzato un cavo cross?
Nope, non è più necessario da diversi anni ormai
Lo standard 1000mbps ha introdotto l'auto mdix , che ha reso i dispositivi "consapevoli" di come sono stati fisicamente collegati e di farli "adattare', se vuoi approfondisci la cosa che è interessante
Invece per i SATA c'è qualcosa?
Funziona anche su SATA!
Però ricorda che non è condivisibile con più istanze simultaneamente, a meno di non montare in sola lettura
@morrolinux quindi un solo disco per volta oppure si può fare una operazione per disco alla volta?
@@gabriledytun solo client per volta. Se vuoi montare il disco da più postazioni fisiche, devi montare in sola lettura. Può avere anche senso se devi ad esempio distribuire dei modelli LLM ad uno o più server GPU come nel mio caso, perché i file dei modelli LLM non vengono modificati. Diverso è se devi anche scrivere, solo un client può montare in scrittura.
Tutto sto casino per evitare di utilizzare smb che essendo una clonazzata del proto win è chiaro che fa sch..., ma utilizzare nfs no visto che vai da Linux a Linux?
ciao, il disco montato in questo modo è accessibile solo a te su quel client, oppure è condiviso in rete con altri?
@@FedericoPagliai lavora a livello blocco. In lettura fattibile se montato RO, in scrittura ci possono essere problemi di consistenza
Stessa cosa che volevo chiedere anche io
@@downinthebunnyhole vuoi mettere un disco NVMe remoto che usi durante il giorno e viene backuppato in automatico di notte dal NAS? 🤩
@axelgenus non penso sia routabile, e' pensato per reti cablate interne da sala macchine, non va bene nemmemo come concept girarlo su router internet, quindi Io non lo farei.
Per quanto riguarda la sicurezza? Posso crittografare il trasferimento dati? Una volta montato posso crittografare la partizione?
La risposta alla seconda domanda è: sicuramente sì.
Puoi crittografare il trasferimento dati se fai girare le porte in un tunnel SSH, ma non è lo scenario di utilizzo per cui è pensato, vedi le conclusioni
Mai chiuso un video di Andrea ciraolo così velocemente.
P.S mi guarderò subito dopo il video di steam su Linux di alternativa Linux e tra poco accendo il mio fisso per registrare e giocare a senran kagura pbs con un profilo nuovo, a tutti voi buona continuazione.
echisse?
forse potevi andare più veloce in ipv6
E se metti le due schede in LACP ???
LACP dev'essere supportato anche dallo switch e molti, purtroppo, non lo supportano.
Pacchetti jumbo aiuta?
Cifs lavora a livello data/file, e su Linux e' frutto di reverse engineering, permette accessi multipli, ha un sotto protocollo di consistenza.
iscsi lavora a livello blocco.