Il Supercomputer AI da 249$ di NVIDIA: Una Rivoluzione per l’AI Generativa!
HTML-код
- Опубликовано: 15 янв 2025
- NVIDIA ha rilasciato il nuovo Jetson Orin Nano Super Developer Kit, un supercomputer compatto e accessibile pensato per l’intelligenza artificiale generativa sui dispositivi edge.
In questo video ti parlo delle sue specifiche principali, tra cui 67 TOPS di performance AI, una memoria LPDDR5 da 102 GB/s e una GPU basata sull’architettura NVIDIA Ampere.
Ti spiego anche i casi d’uso principali e quali modelli possono girare su questo dispositivo, come Vision Transformers, Large Language Models (LLMs) e Vision-Language Models (VLMs).
Se sei interessato a sviluppare applicazioni AI innovative, questo è il kit da conoscere.
Link al sito NVIDIA: www.nvidia.com...
Se vuoi comprarlo: it.rs-online.c...
Vuoi sviluppare soluzioni AI: inferentia.xyz
IG: / simorizzo_ai
#nvidia #intelligenzaartificiale #aiagents
Non vabbeh... mi sono eccitato! AHHAHAHAHA
Ma quella cosa che si crea la descrizione del video ripreso, significa che se dovesse succedere qualcosa, uno può chiedere alla AI "è passato un autobus giallo oggi? Mostrami gli orari e le sequenza video."?
Comunque una figata, io me lo comprerei anche se costasse il doppio, però ci devi mostrare come usarlo. L'esempio dell'ufficio che si gestisce i suoi documenti penso sia l'utilizzo più comune. Potresti fare una serie di video in merito?
Grazie mille, sei una forza!
esattamente puoi chiedergli se è passato un autobus giallo e ti risponde mostrandoti effettivamente da quale secondo a quale secondo è passato! come lo compro farò una serie a riguardo!
@@simone_rizzo98 infatti fateci capire come usarlo, io molto a digiuno, sarebbe la volta che mi butto.
@@simone_rizzo98 non vediamo l'ora :D
ne ho comprati 2 che ho sulla scrivania (devo comprari ancora periferiche tipo microfono, camera, etc..)
Giusto per la precisione, non ha 67 TFLOPS ma TOPS, giusto per confondere di più la gente (se non ricordo male per OPS si intendono operazioni con INT8)
dal sito dell'annuncio su nvidia risulta questo: 67 TOPS (Sparse), 33 TOPS (Dense), 17 FP16 TFLOPs
Ma a quale pc Intel si può paragonare?
Si ho pronunciato male nel video, grazie per la correzione
cio che stupisce e' la velocita' con cui questa tecnologia si sta espandendo . Il tutto con il nostro cervello che lavora a bassissima velocita' , non e' multitasking ma fa un pensiero alla volta in un contesto di impoverimento della scuola e dell' universita' che creeranno studenti sempre meno preparati . Non ci resta che cercare l' "errore dell LLM o del robot" per ridare senso alla nostra esistenza e immaginarci come "manutentori delle AI" , unico lato del sapere che servira' nel futuro . Scherzo ovviamente...... ma forse non tanto . Grazie per questi ottimi video
Saranno più bravi loro a trovarsi errori da soli lol comunque è per questo che Musk pensò a neuralink
Quando tutti useranno la IA, la differenza la farà sempre l'individuo.
grazie Domenico per il commento! E' molto incerto il futuro, per ora vedi l'AI come se fosse un cacciavite niente di più niente di meno, uno strumento che puoi utilizzare per migliorare le tue abilità e che dovrà essere sempre governato da un essere umano. Poi se nel futuro si raggiunge un'intelligenza tale da sostituirci al 100% in tutti i lavori allora finiremo con una pensione universale e non lavoreremo più.
molto interessante, è l'inizio del prossimo step, ovvero, la riduzione dei prezzi dell'hardware e l'implementazione di hardware dedicati alla gen ai. Sarebbe interessante un tuo video sull'argomento che spieghi l'evoluzione delle gpu e dei tensore core
grazie fabio, si sarebbe un ottimo video soprattutto nel presentare le nuove architetture hardware per ai ovvero NPU e LPU (groq)
Molto interessante.. faccio una domanda da profano, a livello di output, quale GPU sarebbe in grado di produrre risultati analoghi, ovvero, considerando che per questo spenderei $249+iva, se facessi una config PC di prestazioni simili, quanto dovrei spendere? (Giusto per capire un po' quanto è conveniente come prodotto dal punto di vista della qualità/prezzo)
Non è confrontabile con una configurazione PC , perchè il target è diverso: questa scheda è per creare prototipi veloci, applicazioni a basso consumo, applicazioni di robotica,etc . Se vuoi mettere su una configurazione PC penso che da specifiche sia superiore già una RTX 3050 o qualsiasi scheda che abbia più di 1024 core, 32 tensor core e 8 gb di ram abbinata ad un pc medio. Devi tenere in considerazione però anche tutto il setup da fare a livello software. Questa viene già fornita con un SDK e tool che ti permettono di essere operativo più rapidamente rispetto a tutta la configurazione e setup che bisogna fare su un pc. In definitiva se tralasciamo le applicazioni a basso consumo e la robotica comunque lo scopo di questa scheda è maggiormente quello di creare velocemente progetti di applicazioni IA da poi passare in produzione su configurazioni server con maggiori performance
@@giovanniruteriggio4088 grazie per la spiegazione
Ciao una domanda potrei utilizzarlo anche su un'azienda e metterci i miei dati dentro e delle telecamere tutto assieme e utilizzare questi dati per migliorare l'efficienza aziendale ovviamente processi e tutto il resto 🤔👍💻
Come funziona nello specifico? Ci installi windows? E poi ci carichi dentro dei modelli di ai locale che interroghi da prompt? Ad esempio supponiamo che voglia usarlo per dargli da analizzare tutte le afu del mio lavoro ma non posso metterle su ChatGPT per motivi di privacy, con questo lo posso fare?
Lo dice nel video. Si fa quello. 😅🎉❤
Ha un proprio sistema operativo, hai un programma si chiama AI studio ci metti i modelli che vuoi e lo usi! Certo lo puoi usare come se fosse il tuo GPT personale per la privacy dei dati
Ho visto porte USB e Rj45. Il connettore ad aghi cosa collego ? Il disco via USB? Il monitor ? Si può fare girare il S.O. o si interfaccial PC ? Puoi dirci qualcosa? Grazie
Credo siano dei classici gpio per collegarci attuatori, sensori, ecc e programmarlo. In stile arduino insomma
Per lo storage, l'opzione migliore credo sia un disco SSD NVMe tramite lo slot M.2. Un disco USB limita le prestazioni.
Penso solo alle cosiddette telecamere intelligenti industriali da migliaia di euro...con questa dovrebbero sparire tutte perché qualsiasi flusso video può essere elaborato facilmente
Domanda forse banale! Tutte le AI da installare necessitano di codici di attivazioni ? Sono gratuite. E' veramente un ambiente locale o necessita comunque di una connessione esterna? Sono molto interessato e mi piacerebbe averne uno per i miei progetti. Grazie per il tuo video! ...e buon natale!
tutte le ai menzionate sono opensource, quindi no non si paga nulla
sono tutti modelli open source con codice libero e quindi gratis e vengono veramente eseguite in locale senza accesso ad internet
Cosa è il raspeberry/arduino dell'IA? Boh, vorrei vederlo in funzione , soprattutto come fa a girarci qualcosa di utilizzabile al di la di progetti embedded per usi specifici, con 8 GB di VRAM e quella potenza. Una RTX 3090 si trova usata a 500 euro ed ha 24GB di VRAM 10.500 CUDA e 328 TensorCore. Cioè parametri oltre 10 volte superiori. La vera svolta ci sarà quando creeranno modelli -performanti- capaci di funzionare con meno risorse.
Ovvio che la 3090 é più performante ma non la utilizzerei per fare object detection sulle telecamere 24/7 sarebbe sprecata molto meglio un hardware economico e specifico per far girare questi modelli. Sono sempre 250$ che vuoi di più
@@simone_rizzo98 Concordo che sono utilizzi diversi, non si può paragonare. Ma se proprio vogliamo, 500 euro per la 3090 non ci stanno molto comunque, se non ci aggiungi una scheda madre, un processore e della RAM, quindi nel conto andrebbero aggiunti anche quelli ;) Oltre ovviamente al consumo della corrente, che solo la scheda in idle ti porta via probabilmente più Jetson della a palla :D
che impegno di fine tuning potrebbe farsi carico questo supercomputer? Cosa potrei allenare con le specifiche che ha?
probabilmente nulla, già con 8GB di RAM non fai fine-tuning, per non parlare del resto. E' un device pensato per fare esclusiva inferenza
non è pensato per finetuning. Per addestrare un modello ci vuole molto più hardware rispetto a fare inferenza
Ma ha il suo sistema operativo come per le vecchie generazioni, o. Posso montarci Proxmox e tutte le mie distro? 🤔
Puoi montarci tutte le distro che vuoi, io ti consiglio di lasciare il suo os nativo
Anni fa al corso di IA all università dicevo...come mai non fanno schede IA come le schede Grafiche? Eccoci qua
Sarebbe interessante un video sulle necessità hw per fare girare llm in locale. Per capire le differenze a seconda dei casi d'uso e quindi valutare appieno quando è utile usare questo dispositivo rispetto ad un server o PC di altro tipo
è concepito per progetti embedded, per svolgere compiti specifici, ad esempio in robotica o interpretare sensori etc, non per usi generali
Sto preparando proprio questo video ed uscita domani
Ho visto che usa LLama3. Ma è già disponibile in Italia? Se la volessi usare come aiuto per scrivere narrativa in italiano, sarebbe la scelta giusta o continuo con ChatGPT?
si e puoi usare LLM locale che vuoi (es. qwen 2.5 coder 7B) ma sugli store ufficiali da esaurito. secondo me ti tieni chatgpt o altro (gemini, etc.), i 300 euro che costa li impiegherei per qualche abbonamento a pagamento ai servizi premium di cui sopra. sempre che tu non abbia necessità di tenere i tuoi lavori "segreti" quindi in questo caso sarebbe meglio utilizzare un LLM locale per via della privacy.
dipende da quello che devi fare, se devi scrivere un libro ti consiglio di usare chatgpt, mentre nel caso in cui i documenti o dati sono altamente sensibili allora lì ti consiglio di usare modelli open-source fra questi llama3.2 è molto buono in italiano
Ciao entusiasmante potrebbe creare dei bot personali per il Trading?
Ciao Marco grazie, allora bot per il trading li potrei realizzare ma sono costosi da realizzare
Ahaha bot per il Trading, giovanotto, nei mercati finanziari bot, IA e altre cavolate ti portano a perdere soldi. Perché il mercato ogni giorno cambia di struttura, cosa diversa per banche e fondi di investimento che hanno sistemi IA costosi perché potenti e con una flotta di ingegneri e operatori che ogni giorno, si ogni giorno apportano modifiche e monitorano il sistema.
anch'io domanda da neofita profano, ma andrebbe bene anche per la generazione di video e immagini?
Si, ok va bene tutto, ma ci gira Cyberpunk? 😂
ahahahaha non credo ci giri
Il mio dubbio è sulla ram, provamdo gli LLM sul mio pc vedo consumi di RAM notevoli e con gli LLM più grandi va a saturare facilmente i miei 16GB, saranno sufficienti gli 8GB di questo dispositivo?
devi usare un llm distillato, infatti nvidia fa girare i nanollm... o sistemi come phi-4
esattamente sono in primis Small Language Models e secundis effettuano la quantizzazione, guardatevi questo video che vi spiego esattamente tutto: ruclips.net/video/itfnpOrqVYY/видео.html&ab_channel=SimoneRizzo
@morrolinux a quando la recensione?
Mha la 5070 costa 700 euro in america e questbaffare 250 euro?
Mi sembra solo un po’ poca la ram… con tutti quei cuda core 8gb non ti permettono di sfruttare a pieno una potenza del genere. 16gb ne avrebbero fatto un oggetto sfruttabile più a lungo nel tempo
eh hai ragione Alberto, comunque ci sono anche altre configurazioni più costose con maggior potenza e memoria
🎉🎉🎉
Ci si potrà minare anche Bitcoin?
Bello! Non vedo l'ora di provarlo.
Io lo vedo utile per i sistemi embedded tipo videosorveglianza. per usarlo come pc standard credo che la cpu arm sia ammalapena sufficiente per farci girare office e navigare su internet. basta spendere qualche euro in più e metterci una cpu amd che sarebbe 5 volte piu veloce di questa
Esattamente é pensato per quei casi d’uso estensivi di inferenza di modelli ai, non è pensato ad uso desktop tradizionale
Dal mio punto di vista, al 90% delle persone bastano queste CPU ARM nel pc... Dalle prove che avevo fatto ancora col raspberry pi3 era molto buono rispetto alle premesse (adesso siamo al 5 e questo è molto simile come cpu).
Solo a chi lavora applicazioni che stressano il pc in locale allora conviene guardare altro...
Esempio io una buona fetta del tempo lo passo tra Gmail e Google doc/sheet, per il resto l'output del mio lavoro è deployato su server da 100GB a 3TB di ram. nel pc ho visto che 8 erano stretti, 16 son giusti ma vedendo come si evolve Chrome toccherà passare a 24 tra pochi anni... Una volta avevi editor abbastanza pesanti da installare nel pc e al cambio pc si sentiva la differenza, adesso tutto si sposta su visual studio code o direttamente SAAS con UI via browser per cui l'unica rottura di scatole in locale è Chrome che mangia tanta ram, ma tutta la logica anche in design time è gestita in remoto... Fa conto già con la più scrausa delle CPU Intel di questanno (un i5 120U mi pare) lavorativamente in ufficio ci sembra un aereo...
Resta sempre il fatto che amd non esiste in ambito business, a parte qualche vm su Amazon, e tra i colleghi soprattutto over 40 e anche tra i sistemisti c'è l'idea ferma che non si debbano neanche nominare. Forse anche legata al certificazioni software delle piattaforme da poter scegliere che storicamente erano Intel o Power di IBM / non so come si sia evoluta negli anni. Per alcuni vendor specifici non c'erano piattaforme amd certificate / i pochi che avevano provato nei forum avevano sistemi molto instabili...ricercando adesso dal primo epyc ci hanno messo quasi 5 anni per far certificare una piattaforma con amd epyc per determinati software (tradotto se hai problemi installando quel software su piattaforma amd son cazzi tuoi e il vendor non ti supporta => installi per forza Intel)
Buon Natale.. ho trovato il regalo di natale
Evvai buone feste anche a te !
Grazie
è ovviamente interessante però c’è da dire che se uno ha un pc abbastanza prestante ed è in grado di far usare ollama può far girare modelli più prestanti rispetto ai 9b, mi sbaglio?
si se hai un buon hardware puoi far girare modelli anche più grandi
pensa ad usarlo che so in un pronto soccorso a fare analisi proattiva in tempo reale dei video per rilevare situazioni che potrebbero sfociare in violenza, disordini o altro, altro che Minority Report
Mauro è una fantastica idea, sarebbe un ottimo caso d'uso !!
L'OriNano ti entra nella mano 😂😂
🤣
Ma per l' applicazione in robotica penso che manchino un po' altre interfacce , certo di base partire da 250/300 dollari per il cuore del sistema non è poco .
esatto non è una macchina perfetta ma per il costo che ha è veramente una bomba!
Questa è la mossa giusta per prendersi il mercato AI
Credo che già se lo siano perso il mercato AI, vogliono cercare di mantenerlo più che altro, sfornando hardware al passo con il progresso software nei limiti del possibile.
Invidia è il leader da anni. Ha solo da perdere,. Non da prendere. Prova a guardare il grafico delle azioni invidia 😅
8 giga secondo me sono pochi, fra un anno lo butti, forse con 16g avrebbe avuto un po piu di vita
lo so ma comunque ci sono anche altre configurazioni più costose con caratteristiche migliori
questa si che è una figata... anche se i core potevano metterne di più almeno 128
più che core la gpu che gli hanno dato è buona e consuma veramente pochi watt
@@simone_rizzo98 ovviamente intendo tensor core... più tensor core, più calcoli matriciali e poi serve un ottimo calcolo per il parallelo.
dalla scheda tecnica vista ha pochi tensor se non sbaglio 64... sono pochetti. è anche vero che il consumo di 25w non sarebbe stato possibile... potevano arrivare ad una 1080 ti.. ottimizata.
nvidia da quello che sto percependo vuole entrare nel mercato fpga... usando questi nuovi sistemi. sicuramente questi sono solo i primi... se il mkt risponderà bene servirà una maggiore potenza per fare girare ia di un certo tipo.
oppure ed è quello che spero usare sistemi neuromorfici. questi sistemi possono abbattere i watt, offrire più potenza usando meno potenza e velocità di clock, perchè usano un sistema distribuito, oltre ad avere una piccola memoria per ogni transistor.. come un neurone semplificato. e quindi ottimale per le reti neurali.
intel era molto avanti con i prototipi e visto che è in difficoltà, potrebbero buttarli fuori cavalcando l'onda IA.
buon natale...
Un Arduino con AI, però mi sarei aspettato almeno 32gb espandibili a 128gb ram
eh si l'unica pecca sono le ram, però hanno anche altre configurazioni hardware più costose e con più memoria
💯💯💯👌👌👌💙💙💙💙💙🤩🤩🤩🤩
Futuro gosci attende i nostri figli. A pendere dalle labbra del guru ai
Io finché non ci vedo girare Doom non mi fido....
Ahahah Doon gira dappertutto anche in un frigorifero 🤣
@simone_rizzo98 😁😉
Altro rally delle azioni Nvidia per il 2025 🎉🎉🎉🎉
sempre più suu
a trovarlo......
regalo di Natale? ma veramente dici? :) ma magari!
peccato che sia castrato da soli 8GB di RAM.
Con questi commenti dimostrate di non aver capito un’acca di come funziona la scheda e a che cosa serve .. potevi anche scrivere: ci gira crysis? 😂
@@rOSScOGITANS io ho la versione precedente, quindi so benissimo a cosa serve. e se ti dico che 8GB sono poche con il sistema operativo che Nvidia ha scelto lo dico a ragione.
per fare girare alcune cose ho dovuto lavorare solo in ssh.
Comunque se vuoi più ram ci sono anche altro hardware che vende NVIDIA con diverse caratteristiche
Figata !!!! Lo voglio !!
puoi già ordinarlo ed è disponibile anche su Amazon solo che costa un po' di più
Ma non ho capito, è un computer a sé stante oppure va aggiunto a un fisso?
è un mini server , devi collegarlo in rete e accederci con una vpn protetta o su una rete privata
è un pc a sè stante
🤔🤔🤔posso fare mining di criptovalute?
Si ma non è un hardware pensato per fare quel task, ci sono hardware specifici molto più potenti
preferisco un piatto di cacio e pepe
Ah! Se non ci posso scaricare i videogames non è super x me! 😂
A parte gli scherzi ma cosa posso fare con sto robo che non posso fare con un computer ? E poi non rischia di rimanere indietro con la tecnologia ed essere legato strettamente con un solo fornitore di tecnologia e software ai?
Non è fatto per gaming questo assolutamente, é pensato per soluzioni AI nell’edge nel video ti mostro degli esempi
Costa solo duescentoscinquanta dollari??? 🎉🎉
niente!
Lo voglio
Non mi sembra accessibile all’utente finale non esperto: è un prodotto per sviluppatori (penso una nuova fonte di business). Solo un utente molto evoluto potrebbe tirarci fuori qualcosa di veramente funzionante. O i sbaglio?
In realtà con tutto il software già pronto ha la stessa difficoltà che installare un programma su Windows, lo compri lo colleghi ad un monitor installi la tua IA ed hai fatto
0:07 come lo schifo a questo
bello, chi me lo installa sul mio desktop?
Superveloce ??? Ma cosa racconti? È tutto marketta.
Eccellente
ti voglio offrire delle birre
sono molto gradite grazie!
Economico ? La Jetson Nano era economica...
Beh anche questa dai sono 250$ di computer
Da profano che sistemi operativi supporta questo hardware?
Tutti quelli Linux e ovviamente il suo proprietario