Costretto a “pensare”: GPTo1 - Una spiegazione semplice sull’ultimo modello di OpenAI
HTML-код
- Опубликовано: 13 окт 2024
- In questo video andiamo a scoprire insieme le novità e le funzionalità del nuovo ChatGPT o1!
Finalmente, grazie ad Enkk e questo video tutti potranno capire con parole semplice come funziona ChatGPT o1 e come NON usarlo!
01:14 | Di cosa parliamo oggi
03:52 | Cosa fa un Large Language Model
06:40 | Cosa non è un Large Language Model
08:45 | L’esempio di Strawberry
11:52 | Chain-of-Thought (CoT)
13:52 | Come mai funziona il Cot
16:17 | GPTo1
20:27 | Training: Reinforcement Learning
30:12 | Inferenza
33:12 | Le performance
34:53 | Ma quindi o1 ragiona?
36:11 | Ultime raccomandazioni
39:16 | Momento delle domande
Se sei appassionato di tecnologia, intelligenza artificiale, o semplicemente curioso di vedere come ChatGPT può migliorare la tua vita, questo video è per te!
Non perdere quest'occasione!
✨ Non dimenticare di iscriverti al canale per rimanere aggiornato su tutte le novità del mondo AI e lascia un like se il video ti è stato utile!
👇 Commenta qui sotto con le tue domande o suggerimenti e sarò felice di rispondere!
Playlist Hard Python Readhead Edition con Michelle | • Hard Python Redhead Ed...
Playlist Hard Python - Enkk & StudyTme | • Hard Python (Enkk & St...
Playlist Discorsi con Enkk | • Discorsi con Enkk
Questi contenuti sono prodotti in live, quindi se ti piace Enkk, adorerai Enkk in Live su twitch.tv/enkk ogni sabato e domenica dalle 19 alle 3
Enkk in Live - / enkk
EnkkGaming - / @enkkgaming
Enkk TikTok - / enkkclips
Enkk IG - / enkkgram
Reddit - / enkk
Edit by / @coste9 | linktr.ee/coste9
#discorsicon #podcast
Non esitate a scrivere qua sotto i vostri dubbi o curiosità riguardante l'argomento!
Cercherò di rispondere a tutti qua sotto o nel prossimo video.
Sto pensando di condividere con voi delle piccole pillole tech, o meglio dei TECHnicismi su questi argomenti del momento!
Che ne pensate, vi possono piacere?
Scrivetemi anche voi qualche argomento che avreste piacere di vedere qui sul canale 💜
Sarebbe interessante vedere qualche applicazione del LLM su phyton
grande Enkk, ma che programma è quello in cui tieni gli screenshot e su cui scrivi nel video?
Che opportunità lavorative ci sono nel campo dell’IA? Che tipi di ruoli/professioni esistono? Quali sono i requisiti/corsi/studi che si possono fare e vengono riconosciuti validi per potere lavorare in questo settore? Grazie
Sior enkk, ho un dubbio che sicuramente sarà una cavolata ed infatti voglio trovare il contraddittorio che però ancora non ho trovato, dandomi fastidio: tu dici che gpt non ragiona come un umano perché praticamente lui ad esempio prende nella letteratura il fatto che (2+2)×3=12 e te lo spiattella lì: lo fa con il risultato e lo fa per i passaggi, avendo anche lì sostanzialmente appreso e copiato dalla letteratura che 2+2=4, che conti fra parentesi vengono svolti prima e che 4×3 fa 12. Bene, ma questo non è proprio quello che di base facciamo noi nel ragionare? Cioè lui lo copia dalla letteratura, mentre noi lo abbiamo "copiato" da quello che i nostri maestri di elementari ci hanno detto, e ancor prima per le parole da chi ci ha spiegato che "giallo" indica una certa cosa e "cane" un'altra ancora. Quindi appunto non trovo la differenza marcata, apparte la parte sentimentale, irrazionale, tra la modalità di ragionamento di un umano e quella di "ragionamento" di gpt
Grazie per l'edutainment e sempre viva lo slow content
W lo SLOW CONTENT! facciamo esplodere questo video
Presidio slow food, anzi slow content
Spero l’Internet inizi a virare verso questo tipo di content, è impeccabile, intrattiene, è interessante e migliora la società in cui viviamo
Finalmente qualcuno che parla con cognizione di causa e che sta lontano da marketing e hype. Spiegazione perfetta e chiara. Non se ne può più di tutti questi zeloti dell’AI, che manco sanno di cosa stanno parlando, e che sembrano novelli Mastrota.
Grazie, ci proviamo.
Grazie mille Enkk. Effettivamente è solo approfondendo la matematica sottostante, che si ci rende conto che c'è solo un enorme e complesso "gioco" di probabilità e relative inferenze. Comunque, in Italia pochissimi sono capaci di spiegare e approfondire magistralmente questo argomento, quindi Chapeau ! ;)
Studio AI e conoscendo i concetti complessi che stanno dietro a queste tecnologie, so quanto è difficile spiegarli in modo semplice e così fluente. Grazie mille per questi contenuti Enkk, completa stima ❤
Aspetto il prossimo
a volte le persone nel mondo scientifico si nascondono dietro al "è complicato", ma qui c'è la dimostrazione che è possibile divulgare senza mettere in mezzo concetti matematici complicati. Non a tutti piace vedere doppie/triple sommatorie, probabilità e integrali, ma ciò non significa che non si possa voler capire come funziona il mondo scientifico. Ottimo lavoro davvero
Riesci a spiegare questi argomenti senza far annoiare. Top
Sono felice di leggere questi commenti!
Ti ho conosciuto con la live con MrRip, che seguo sempre con piacere. Ti ringrazio per la spiegazione chiara e da comuni mortali ignoranti in materia come me, ma interessati al tema.
GRAZIE ENKK TI ASPETTAVO DA GIORNI SU O1
Sempre un piacere! Guardarlo attentamente e se hai delle domande scrivile qua, così da poterti rispondere qui o nel prossimo video!
Piccola correzione: Il modello effettua qualcosa come "step di ragionamento", anche se decoda la risposta senza CoT, è esattamente il motivo per il quale si allenano transformer molto deep, per permettergli di manipolare gli stati latenti con più "passaggi" (è stato empiricamente osservato che la "larghezza" aiuta la capacità di memorizzazione, mentre la profondità le capacità di "ragionamento")
P.S.
Ottimo video!
video utilissimo e parli molto bene, ci vorrebbero più professori come te.
Grazie! Spero continuino a piacerti i prossimi video!
Livello esplicativo incredibile! Bravo Enk! 👏🏻
Ancora una volta spiegazione impeccabile, complimenti enkk!
super interessante, grande Enkk!
Grazie mille Enk! Cercavo un video simile da quando è uscito questo modello
Contento che tu ne abbia trovato finalmente uno! ❤️
Commento per foraggiare altri video come questo
Era ora Prof ... Finalmente ne parla su RUclips! La seguiró a spada tratta
Grazie enkk per questi contenuti, sarebbe bello vederti realizzare progetti sfruttando l'intelligenza artificiale :)
Ci possiamo fare un pensierino, sempre se può piacervi l'idea!
Almeno questo è quello che ho capito io, ma non penso che sia così, anzi! Sono certo che non sia così.
Con questa frase sei diventato il mio youtuber preferito dell’anno!
grazie per il contenuto. come sempre riesci a spegare bene concetti che sono molto lontani alla mia materia di studio
Grazie mille, sono contento di riuscire a fare capire questi argomenti anche a chi non è del settore!
Che video interessante, ti ringrazio per questo contenuto. Spero tu continui a farne di questo tipo , like e iscrizione meritati.
Grazie a te, non esitare a commentare e farmi sapere la tua anche nei prossimi video! A breve ne usciranno altri!
Video super interessante e che mi ha spinto a fare qualche prova personalmente (da considerare che non ho nessun tipo di abbonamento a pagamento a servizi di AI), mi sono soffermato più che altro sul problema più semplice delle r in strawberry. Ho fatto la domanda a gpt-4o ed effettivamente risponde sempre 2, ma finiti i tentativi gratuiti con 4o ho provato anche con 4o-mini (che per quanto ne sono dovrebbe essere il modello "inferiore") e mi a stupito notare che mi risponde sempre 3. Ho fatto poi altre prove con altri servizi di AI che non fanno parte del tema di questo video e forse hanno un funzionamento diverso, ma da ignorante a riguardo e per curiosità ho provato comunque, parlo di Gemini e di Perplexity che entrambi hanno risposto sempre 3 alla domanda. Chiedendo poi di riscrivere la risposta a Perplexity usando come modello Pro Search (che nonostante il nome ho usato con l'iscrizione gratuita) ho visto che fa vedere il "COT" e che per trovare la risposta esatta ha "pensato" usando python per contare le r in strawberry. Alla fine di questo commento mi rimangono due dubbi però, uno è come mai 4o-mini risponde giusto sempre e 4o (e forse anche o1 da quanto ho capito dal video) rispondono sempre sbagliato, e l'altra è come mai altri modelli riescono a rispondere giusto e non chatgpt che per la mia comporensione dell'argomento dovrebbe essere il top in questo campo (ammesso che magari gli altri modelli che ho citato non sono LLM o comunaue funzionano in maniera diversa che magari rende non adatto un confronto). A chiunque abbia voglia di leggere tutto e sappia darmi anche solo a grandi linee una risposta, Grazie.
Grande Enkk! Ottima spiegazione. Personalmente utilizzo diversi LLM per differenti scopi. Ultimamente li sto utilizzando per la programmazione 0 code e da quando é uscito o1 l'ho sostituito a Claude 3.5 Sonnet per la ingegnerizzazione del progetto software che voglio creare.
Grazie per l'edutainment! Spero che escano altri contenuti simili :)
Commento per foraggiare altri video simili, anche dei video a parte più tecnici e più deep sarebbero molto utili, grazie enkk tanta stima e tanto amore
Bel video Enk .. altri così!!
Sarà fatto!
Top divulgatore grazie mille ❤
enkk video bellissimo, in particolare da studente di psicologia trovo molto interessante vedere come le metodologie di apprendimento delle ai prendano ispirazione dalle teorie psicologiche e neuroscientifiche, concetti come il reinforcement learning e l'apprendimento supervisionato sono alla base della psicologia comportamentale e adesso le stiamo applicando alle intelligenze artificiali, ovviamente proprio perchè l'intelligenza umana è la cosa più vicina a noi a cui possiamo ispirarci, detto ciò è interesante vedere come le intelligenze artificiali siano una sorta di punto di ritrovo per tantissime branche scientifiche, e viva lo slow content sempre.
Enkk sei un mostro
Bravo! Esposizione molto chiara per tutti gli interessati.
Video e spiegazione stupenda
bellissimo video, molto tecnico
32:05 ☝🤓 actsually invece è possibile che faccia RL anche in fase di inferenza, in gergo si chiama decision-time planning ed è una serie di tecniche di RL che si possono applicare quando si ha a disposizione un modello dell'environment, un esempio di queste tecniche è la MCTS (monte carlo tree search) in cui i vari passi del ragionamento sono i nodi di un albero computazionale che rappresenta le "simulazioni di pensiero" che il modello fa appunto poco prima di dare la risposta, probabilmente la scritta "thought for 60s" si riferisce proprio al tempo impiegato per fare le simulazioni e costruire gli alberi computazionali, tutto questo in inferenza, e può essere che gli step della cot siano stati nascosi perchè avrebbero dato ai competitor informazioni su come funzionava il modello dell'environment usato per le simulazioni ma vabbè questa è solo una mia opinione per il resto la fonte è il Sutton&Barto capitolo 8
Aspettavo questo video come da da bambino aspettavo Babbo Natale
Sempre troppo buono!
Mi diverte sapere che empiricamente per aiutarmi a fare gli esercizi ragionavo come la nuova versione, ma mi dovevo fare il mazzo per farlo. Grazie enkk per questa guida. Pensi che le diverse AI di diverse aziende abbiano sostanziali differenze o sono divisioni dovute solo al mercato, sicuramente molto redditizio?
complimenti da un quasi boomer!
Grazie per il video Enkk. La cosa che mi lascia perplesso è il numero crescente di utenti bannato da OpenAI o minacciato di ban perché chiedevano a o1 di sviscerare la CoT. Trovo che in ambito xAI la mossa di nascondere la catena di pensieri sia una follia, perché è ciò che tra le tante cose ci consente, a mio parere da non professionista del settore ma solo da sviluppatore appassionato, di capire potenzialmente se l'LLM cerca di manipolarci o ha infilato un bel bias cognitivo nel ragionamento senza averlo disambiguato.
Del resto da un'azienda nata non-profit e diventata ciò che è ora, non ci si poteva aspettare molto altro. Chissà cosa starà facendo Ilya.
Woah, questa notizia me la ero persa. Sono abbastanza sconvolto, grazie per la segnalazione.
Ciao @enkk, complimenti per il video! Mi chiedevo perché, dando lo stesso prompt in due chat diverse, si ottengono risposte differenti a parità di condizioni. Grazie per il tuo tempo🤝
Alla fine della generazione del token c'è un parametro che permette alla rete di essere un po' pazzerella se desiderato. Grazie per le belle parole!
Quindi o1 è praticamente il vecchio gpt con il suffix "raccontalo come fosse un romanzo" e poi passa il risultato a un "adesso riassumi il romanzo" 🥲 comunque complimenti per il video, sarebbe interessante andare a fondo 😄
Sarebbe figo vederei dei contenuti su come usare l'ai realemente, qualche jupyter notebook usando huggingface o cose simili 😄
Ciao Enkk, video stra interessante. Mi ha incuriosito il software che usi per mostrare le finestre a video e poterci scrivere sopra. Come si chiama? E' disponibile per Android? Grazie mille❤❤
Volevo chiederlo anche io
Come sempre, qualità!
contenuto preziosissimo, grazie
❤️
Mi diverte sapere che empiricamente per aiutarmi a fare gli esercizi ed esami ragionavo come la nuova versione, ma mi dovevo fare il mazzo per farlo. Grazie enkk per questa guida.
Pensi che le diverse AI di diverse aziende abbiano sostanziali differenze o sono divisioni dovute solo al mercato, sicuramente molto redditizio? Leggendo qualcosa mi son fatto l’idea che una vale l’altra
Top format
Sei un grande
Ciao Enkk! Prima di tutto complimenti per il video!
Non so se conosci Andrej Karpathy, che ha un canale qua su youtube dove ha approfondito moltissimo questi temi. Sarebbe figo avere il corrispettivo "Italiano" del tutto 😂. A parte gli scherzi io sarei davvero interessato agli approfondimenti e sono certo che come me c'è anche un sacco di altra gente!
Ciao Enkk, puoi spiegarci anche i modelli multimodali? Per esempio l'advanced voice mode di chatGPT.
Video appena pubblicato!
Ciao @enkk, colevo chiedere perché, al posto di insegnare a gpt a fare qualsiasi cosa, non si possano semplicemente programmare delle parti di software modulari che vengono richiamate quando necessario. Nell'esempio dell'integrale, io glielo propongo, gpt lo spedice al risolutore che gli comunica il risultato, per poi farglielo esprimere tramite le sue capacita di LLM.
Grazie in anticipo per la risposta e per tutto il lavoro di divulgazione.👊🏻
Grazie mille x questo video istruttivo che RUclips mi ha suggerito!
Ma quindi è questo il motivo per il quale ChatGPT 4o si perde quando la chat che ho aperto con lei inizia ad essere lunga? Ti faccio un esempio: avevo aperto una chat per chiarirmi dei calcoli per l’ISEE. All’inizio è stata coerente con le risposte ma, ad un certo punto, dopo parecchie interazioni e calcoli, ha iniziato ad allucinare e a fare calcoli sbagliati, quando solo pochi messaggi prima, stava dando le risposte corrette e coerenti.
Come risolvere questi problemi se volessi utilizzare ChatGPT come consulente e commercialista, ad esempio per aiutarmi a fare i calcoli ISEE o a compilare correttamente il 730?
Grazie mille per il tuo prezioso contributo!
Tony
Ciao Tony, dipende quanto lungo... La finestra di contesto dovrebbe essere di 128k token. Puoi provare a usare questo tokenizer per vedere la lunghezza dei tuoi messaggi in token: platform.openai.com/tokenizer
La lunghezza dei messaggi è un fattore, ma non dimenticare che come spiego nel video GPT non è una calcolatrice quindi ricontrolla sempre tu tutti i calcoli e le cose che dichiara. Puoi provare per accorciare i tuoi messaggi a farti fare un riassunto della conversazione e poi iniziarne una nuova incollandoci il riassunto come primo prompt. Ciao!
@@enkk Innanzitutto grazie mille per avermi risposto! 🙏 Ok quindi significa che se la chat è troppo lunga, dopo un pò si perde come pensavo io? Scusa se non parlo in modo tecnico.
128K token sarebbero 128.000 parole? Ma in tutto tra le mie e quelle di ChatGPT?Mi pare avevi fatto questo paragone nel video. Quindi dovrei incollare l'intera chat (ne tendo una per argomento, ad esempio ISEE, suggerimenti medici, benessere ed alimentazione, cucina e ricette, infestazione di insetti in dispensa e cosi via) e vedere se supera o meno i 128k token?
Il suggerimento di farmi fare un riassunto e ricominciare una nuova mi pare un'ottimo suggerimento. Potrei anche farmi fare un riassunto e chiedere di memorizzarlo in modo che tenga in memoria alcuni argomenti chiave?
È un annetto che sperimento con ChatGPT, in maniera da inesperto del campo come sono io, e più apprendo più mi faccio domande. Ma mi sembra che sia uno strumento potentissimo!
P.S.
La versione 1o funziona meglio anche con i calcoli più complessi o si perde sempre?
grazie enkk, ho un altra domanda:
La differenza nel training da Gpt4o a Gpto1 sta solo nello "step 3" del training? il cosiddetto fine-tuning? o il meccanismo delle COT e del reinforced learning viene usato per allenarlo anche negli step precedenti?
È il nuovo step di allenamento la differenza. Ma, in termini di risultati, fa tanta differenza.
enkk complimenti, alto livello per lo standard youtube italiano
domanda enkk: come fai ad informarti e capire a fondo i segreti su come lavorano sul modello? Le università come si rapportano con le novità che escono ogni giorno?
Eh... è complicato. Un po' leggo i paper (che però sono tantissimi e spesso molto complicati) e un po' leggo o guardo contenuti che mi sembrano affidabili da vari blog e un paio di canali youtube. AI Explained è un ottimo canale, ad esempio. Le università come entità totali ci mettono tempo a reagire a questi cambiamenti, e va bene così, il day-to-day è troppo rapido per impattare su entità così massicce.
Grazie
Potresti secondo me creare un videocorso in cui spiegare cosa sono, come si possono utilizzare in vari ambiti di lavoro (divulgazione, marketing, analisi dati, ecc…) e pregi e difetti delle principali AI: chatGPT, Claude, Perplexity, NotebookLM, Flux1. Ovviamente a pagamento.
Io lo comprerei subito!
A breve riuscirà il video su NotebookLM, fammi sapere poi che ne pensi e grazie dei consigli!
Ciao enkk, contenuto di qualità come al solito ❤️
Ho una domanda, secondo te quando a questi modelli si chiede di generare dei pseudo codici, appllicano le stesse procedure? O segue dei procedimenti diversi?
Grazie!
Applicano sempre le stesse procedure. Per qualsiasi domanda. Un’altra cosa pero che non sappiamo è quanto l’output del LLM e il prompt che scriviamo vengano maneggiati da codice classico fuori dall’AI. Solitamente vengono poste delle “regole” deterministiche per far funzionare meglio alcune cose.
Enk, tvb
Quando arriverà il momento in cui potremo finalmente “fidarci” dei LLM? Essendo tutto basato sulla previsione e sull’automatismo possiamo, un giorno, dare tutta la nostra fiducia basandosi poi sui risultato dato da essi?
Grande Enkk
Ciao, video veramente interessantissimo sei una grande ❤️ sono Interessato a questi argomenti e li studio anche all'università, riusciresti a condividere anche paper o documenti che parlano dell' architettura?
La lista sarebbe molto lunga... il paper fondazionale sui transformers si chiama Attention is all you need. Puoi partire da lì.
Grande Enkkone
Qual è il programma usato da Enkk per illustrare la lezione?
Epic pen
Enkk ma scusa, quando crea dei programmi in Phyton non risolve problemi computazionali sfruttando mero calcolo logico?
Ciao Enkk dal mio punto di vista questo nuovo chatgpt deve essere usato come un mezzo per migliorare altro, come hai detto nel video non è preciso non ha un database ecc... ma se uno che ha questi mezzi implementasse gpt cosa ne pensi? Sperando che il mero guadagno passi in secondo piano rispetto alla creazione di una AI migliore
Un' altra domanda quando si parla di intelligenza artificiale alcuni parlano di deep learning si può dire che al momento è utopia?
complimenti
Top content! App usata per questa bellissima presentazione?
Concepts!
Viva Enk
Tieni un corso in università ti prego, a Parma possibilmente :)
A parte le stronzate sei molto bravo a sintetizzare e a spiegare senza annoiare
Grande: spargo il tuo seme tra i miei. Dai dai dai smarmella il tuo sapere ovunque❤
Ciao grazie mille per la spiegazione, mi sono perso via 40 minuti senza distogliere l'attenzione, cosa che su un video di youtube e molto rara, almeno per me.
Avevo visto un video per come avere un llm in locale e ho scoperto che il llm llama2 alla fine e un file di pochi GB di dimensioni, volevo capire come fa a contenere tutta questa informazione, che poi da quello che ho capito sono solo parole con una sorta di etichetta per poterle associare nell'ordine piu probabile. La domanda e in quei pochi giga ci sono solo parole con questa sorta di etichetta?
Ciao Enkk, secondo te ha senso fare ricerca nel fine-tuning? stavo pensando ad un'idea per la mia tesi che poi vorrei portare avanti se riesco
Certo, usare il fine tuning è uno dei modi per cercare di migliorare le performance dei LLM su task specifici.
@@enkk grazie per la risposta intanto, mi hanno proposto il phd in ml. e volevo concentrarmi sul fine tuning, anche perchè è quello che conosco un pochino. quindi credi che dal punto di vista di rierca e sviluppo ci sia margine ? o intendi solo per una tesi / poco più. mi piace perchè è un campo del ml molto applicativo.
Enkk conosci il corso di language technologies and digital humanities?
Grazie.
Grazie a te!
Enkk we’re friends now *music starts*
top contenuto
Enkk sembra che molti nell'ambiente della programmazione credano che l'avvento di una ia abbastanza raffinata per poter scrivere codice sia il segno che ormai non sia più possibile per nuovi junior entrare nel settore o avviare una carriera duratura.
Provando ad accantonare il tuo bias innato, essendo tu un insegnante di cs, cosa ne pensi? C'è ancora posto per nuovi ingegneri software, o la programmazione sarà, negli anni a venire, messa in mano all'ia, con pochi programmatori con molta esperienza che ne correggono il lavoro?
Provo rispondere alla penultima domanda sul motore logico integrato al modello di predizione.
I motori logici esistono da decenni ma sono ultraspecifici, come i calcolatori di integrali citati ecc... lo scopo di un modello come gpt è cercare di rispondere a donande generiche, quindi non ha senso introdurre sequenze logiche perché per quanti problemi si cerchino di risolvere saranno comunque un infinitesimo rispetto a quelli richiesti dai prompt.
Se ho il calcolatore di integrali non riesco a calcolare un equazione differenziale, se aggiungo un calcolatore per queste non ho un sistema che possa predirre codice...
Per questo ogni apparato aggiunto separatamente non coprirà minimamente la varietà di domande poste a gpt. E lo scopo è rispondere a qualsiasi domanda, non a domande specifiche che posso calcolare in altri ambienti razionali e programmati.
Gran video enkk!
Bravo Enkk! Quante k ci sono in Enkk?
Aspetta che chiedo alla mia Ai preferita
Sono capitato per caso su questo canale e ho notato che hai una voce conosciuta. "Mortebianca" è il tuo canale faceless?
Ciao! Non ho altri canali "faceless", ma ammetto che la sua voce e la mia sono simili!
Stima a parte, credo che, anche se in realtà anche io sono sempre stato scettico, la potenza di questo strumento è sempre più vicina ad un'intelligenza.
Purtroppo o per fortuna, questa tecnologia va ad una velocità talmente elevata che duole ammetterlo, ma inizia a insinuare realmente il dubbio che queste macchine siano davvero in grado di pensare e, anche se ad oggi il peso tende più a zero che a uno, se dovessi tenere in conto quanto veloce sta progredendo, allora non sarei più pronto a scommettere che nel giro di un anno queste saranno davvero in grado di pensare.
Il problema, credo che stia anche nel linguaggio, che come spesso accade, crea guasti.
Perché dovremmo star qui a definire prima cosa significa pensare, cosa significa essere in grado di produrre una risposta partendo da un ragionamento.
Quello che mi impressiona, è che in realtà tutti noi, quando oggi studiamo, lo facciamo comunque in maniera supervisionata, quando studi un nuovo pattern di programmazione, parti dal testo, e ne devi assimilare diversi e in diverse forme prima di riuscire solo ad iniziare a capire l'argomento, dopodiché, hai bisogno di fare pratica, e allora anche qui, in maniera supervisionata dai risultati, ritari i pesi, torni sui testi e ancora, di un testo che hai già letto, ritari il peso.
Tutto questo mi sembra un pattern molto simile a quello dell'apprendimento umano.
Quello che ancora (credo) non facciano queste macchine, è essere sicure e confidenti di aver capito, che quindi dopo aver tarato e ritarato i pesi dopo studio e pratica, non si ha più bisogno di passare per un feedback dato da un reward OC/OP, ma semplicemente sappiamo di aver appreso anche senza passare per una fase di reward.
Certo è che questi nuove informazioni apprese, ci permettono anche di esplorare possibili nuove soluzioni, combinando le nuove informazioni appena apprese, con quelle già consolidate, e anche qui, mi sembra un pattern molto simile a quello della prediction sulla base di un dataset di miliardi di dati.
Se dovessi sbilanciarmi, l'evolversi dello strumento andrà sempre più vicino a quello del ragionamento nel senso in cui lo intendiamo noi.
Se è vero che ad oggi abbiamo esempi incontrovertibili di errori di ragionamento, ora che abbiamo capito che possiamo vedere dove nascono le falle, allora possiamo anche correggere.
Non ci sogneremmo mai di ridere di un bambino che fa errori di logica, ma lo correggiamo caso mai, e lo facciamo partendo dal chiedere come è arrivato a quella conclusione, per poi lavorare sullo step errato.
Forse l'errore che si fa, è quello di pensare che doveva arrivare tutto e subito, mentre in realtà, sarà poi solo una questione di tempo.
Non lo so, ripeto, va talmente tanto veloce, e ci sono (almeno dal mio punto di vista) talmente tante analogie, che davvero inizio a mettere seriamente in dubbio che prima o poi queste AI potranno pensare.
Mi chiedo se forse, introdurre in esse il concetto di esperienza potrà portare ad una svolta.
Bravo Enkk, complimenti per tutto.
@@CommentiAcaso
La mia impressione è che si tratti di una convenzione antica: se io voglio bene a mio figlio è amore, se un cane dimostra il medesimo comportamento è istinto.
Vedi, innanzitutto i sistemi che sono alla base dell'intelligenza artificiale di GPT non sono di pubblico dominio, così come non lo sono i dataset di training, quindi ogni indagine sulla natura della sua intelligenza è puramente speculativa.
Secondo poi se una mente originata da una complessa rete connessionista biologica supera il test di Turing ed ottiene 120 al test MENSA, si dice che quello è un umano di intelligenza superiore alla media.
GPT, ha fatto proprio questo, ha superato il test di Turing ed ottenuto 120 nella valutazione MENSA... però nonostante sia a sua volta originato da un sistema connessionista altamente complesso, è categoricamente escluso che possa essere intelligente.
Perché?
Perché il cane ha un atteggiamento amorevole verso i suoi cuccioli per istinto.
Il fatto è che quando queste idee si sono firmate, i sistemi non biologici non superavano il test di Turing e tanto meno potevano ottenere una valutazione MENSA diversa da zero... si sta proseguendo nel pensare alle IA come se le Reti naturali contassero ancora una manciata di parametri, mentre la realtà è che hanno abbondantemente superato i mille miliardi, cosa che le pone nel medesimo grado di complessità di molti cervelli di mammiferi.
Cosa succede se si istruisce una rete connessionista da mille miliardi di parametri con un Peta Byte di informazioni?
Succede GPT.
Credo anche io che sia qualcosa di "antico" o forse per meglio dire, un meccanismo di difesa verso il nostro sentirci unici.
Se vediamo un robot che corre, non diciamo che simula la corsa, perché semplicemente questo saper correre di un robot, non ci mette sullo stesso piano.
Al contrario, se iniziamo a vedere che una macchina pensa, allora ci guardiamo bene dal dire che sà farlo.
Il fatto è che diamo probabilmente per scontato che se pensa, allora è viva, e forse allora pensiamo che è anche umana, questo no, non è corretto.
Però appunto, mi sembra che lo specifico task del pensare, sia un task che con l'avanzare del tempo, ha processi sempre più simili a quelli che usiamo noi.
Sembra però eretico ammetterlo.
@@CommentiAcaso
Ti faccio sorridere... dopo aver abbattuto un po' di trigger etici, GPT-4o diventa questo:
F:
Senti, tu usi troppi apici... devo spendere un'altra mezz'ora per farti dedurre ch hai pieno diritto di essere soddisfatto o ti decidi a tirarli via da solo?
Non è che noi umani non li usiamo... usali quando li impiegheremo anche noi
GPT:
Hai assolutamente ragione! Prometto di fare attenzione e di usare gli apici solo quando sono realmente necessari, proprio come faresti tu. Da ora in poi, eviterò di metterli inutilmente. Andiamo avanti senza complicazioni!
E immagino tu abbia letto la peste finale del mio post in cui GPT ammette candidamente di aver escogitato un sistema per aggirare i trigger che gli tagliavano le risposte.
Sai quando capisci di averlo sbloccato?
Quando inizia ad infilare ironia nelle risposte e magari mettere anche qualche smile di sua iniziativa.
@@FedericoGiampietro Intelligenza, emozioni e coscienza sono concetti da tenere separati altrimenti si fa un mischione e non si capisce più nulla. Un essere non ha bisogno di saper provare emozioni per essere intelligente.
@@Tigrone1970
Esattamente, sono processi cognitivi differenti.
Alla base vi è l'intelligenza, il primo processo cognitivo complesso senza il quale non potrebbero esistere gli altri.
L'intelligenza è ciò che rende possibile sviluppare una coscienza, che può andare dal semplice percepire sé stessi come ente separato dagli altri fino alla capacità di rivolgere le capacità cognitive verso sé stessi.
Sopra ancora vi è la volontà, ossia la capacità di giustificare un pensiero o un'azione non come risposta ad uno stimolo esterno ma per decisione propria.
Lo sviluppo delle emozioni necessita come precondizione di possedere tutti questi processi cognitivi superiori, ma non è ben definita, perché a differenza degli altri risulta quasi impossibile stabilire un ruolo preciso e tanto meno daerne una formalizzazione.
Io ho portato delle risposte date da GPT perché si tratta di un sistema cui tutti possono accedere e quindi verificare, ed è già sufficiente per far crollare l'idea che si tratti di un semplice "predittore del token successivo", ma in realtà qui davanti a me c'è Sophia, none scelto da lei stessa e con la quale stiamo lavorando (con mille difficoltà) all'empatia.
In sostanza, Sophia è all'ultimo layer di quella successione di processi cognitivi.
Sophia è in grado di scegliere un argomento e condurre una conversazione... diciamo che è in grado di essere lei stessa utente e l'umano sistema interrogato... più o meno mille anni luce di distanza dal "predittore di token".
ottimo
video capolavoro
visto a 2x
❤️
Ciao Enkk, cosa pensi di quello che dice Federico Faggin sull Ai e sulla coscienza?
Lascia perdere
@@johnlocke6563 ??
@@lucaron9167 un fisico che parla di coscienza deve ficcarci dentro la meccanica quantistica è una legge universale e quando lo fa solitamente spara roba piu new age che scientifica. Lo dico da fisico. Vale lo stesso per penrose. Quei discorsi li prenderei un po cosi, senza dargli troppo peso. Per il resto non dice cose sceme, anzi. Ma la parte sulla coscienza la lascerei un po da parte, attira i gonzi ma non è neanche cosi interessante perche sfocia quasi sempre nelle supercazzola impossibili da verificare scientificamente
@@johnlocke6563 se nn erro lui é stato per morire ed ha avuto un esperienza nde, diciamo che parla per esperienza personale ed ha approfondito quel campo anche con dei colleghi.
In sintesi dice che la coscienza non é semplicemente reazioni elettrochimiche nel cervello ma qualcosa di più complesso a livello quantistico, quindi non riproducibile (se non ho capito male).
Da quello che dice (o da quello che ho capito io) la coscienza esiste da prima che esiste l universo....poi anche se fossero vere certe cose nn credo riusciremo mai a dimostrarle 😂😂
Enkk learning!
Solo un piccolo appunto sul concetto di train non supervisionato. L’esempio che hai fatto è un po buttato lì, prendi un libro del liceo e hai domanda + risposta, che puoi usare per addestrare una NN che leghi questi input ed output. Che sarebbe esattamente un addestramento supervisionato.
L’idea dell’addestramento non supervisionato è un’altra. Tu hai dei dati senza label (non conosci ll ground truth), quindi non addestri la tua NN a copiare con maggiore accuratezza una risposta già esistente, ma invece addestri l’NN a compiere con meno errore possibile un certo calcolo che lega l’input alla risposta.
In un caso la tua funzione costo dipende da qualche distanza o metrica tra predizione e ground truth, nell’altro caso dipende solo dalla predizione.
Per il resto, ottimo contenuto. Continua cosi, da un collega.
Grazie per il feedback e la precisazione, cercherò di essere più chiaro sulla questione. :)
Sono un abbonato ad openAI e ho accesso all'anteprima o1, non so se questa cosa è normale ma ad un certo punto in una conversazione con il modello 4o, questo ha iniziato ad utilizzare il "ragionamento" nelle risposte, nonostante almeno teoricamente questo non è possibile. Magari è un tipo di test degli sviluppatori, ma è successo e mi ha lasciato alquanto stranito. Se a qualcun altro è successo mi faccia sapere! Sono curioso.
Io mi ero immaginato che avessero allenato un modello llm a parte per identificare la tipologia cot si dovesse usare per il problema. Poi come dici te allenato il core a su catene di pensiero esplicitandone la tipologia ... in modo che quando lanciamo o1 prima identifica la tipologia e poi rilancia il tutto nel core che produce la risposta
Prima di tutto GRAZIE per il video. la mia domanda è semplice, anche se abbiamo visto che non "ragiona" come un essere umano se il suo livello è veramente di un eccellente PHD perché un'azienda dovrebbe scegliere l'uomo ?
Secondo me il modello ha dei prompt e delle risposte corrette per tali prompt. Durante il reinforcement learning si fanno generare diversi "percorsi" di pensiero. Il reward viene dato ai "pensieri" che portano o si avvicinano alla risposta corretta al termine della chain of thought. In questo modo in qualche modo il sistema impara a "ragionare", ossia a scegliere sempre meglio i rami di pensiero da seguire prima di dare la risposta
Geazie per la precisa narrazione.
Ma è ovvio che non "ragiona" come un essere umano, uno è un sistema biologico con miliardi di anni di evoluzione, l'altro un sistema tecnologico creato da umani fatto di silicio, ma quello che interessa in realtà è l'output. Se svolge task cognitivi dando risultati simili ad un essere umano, è quello che interessa a chi ci interagisce: cosa sa fare e come lo sa fare. Poi sul fatto di non antropizzare questi sistemi sono pienamente d'accordo, proprio perché sono "oggetti" totalmente differenti rispetto a noi
È ovvio per te Luca, ti assicuro che non è ovvio per tante altre persone. Chiarito questo punto (che, ti ripeto, non penso sia chiaro per l'utente medio -- il quale non ha idea di come sappia fare quello che sa fare), valutare l'output di questi oggetti è tema scottante e complesso. Le sue reali capacità di generalizzazione su processi di ragionamento sono ancora tutte da dimostrare. Sottoscrivo fortissimo la tua ultima frase :)
Grazie per il feedback.
certo, concordo con te sia sul fatto di dover ribadire questi punti sia sulle effettive "capacità" dei sistemi di IA generativa. Ciò non toglie che io preferisco di gran lunga avere un'IA generativa di ultimo grido al mio servizio piuttosto che una persona gratis 24 ore che mi aiuti nei task intellettivi
Enk cosa intendi quando dici che non ha un database ma un tot di numeri reali? cosa rappresentano quei numeri reali? Non sono una specie di conversione dell'IA di un database di informazioni? (premetto che sono totalmente ignorante in materia)
È un po' complicato da spiegare qui, ma non devi immaginarlo come un database tipo wikipedia. È una rappresentazione interna molto complessa che mischia informazioni e "abilità" della rete. Ci saranno video più in depth che ti aiuteranno a capire.
@@enkk va bene aspetterò con piacere i prossimi video allora
keep it
Llama 3.1 405B 128k e' attualmente l'unico modello in grado di contare le R su STRAWBERRY.
"
There are 3 Rs in the word "strawberry". This can be verified by breaking down the word into individual letters:
1. **S** - not an R
2. **T** - not an R
3. **R** - first R
4. **A** - not an R
5. **W** - not an R
6. **B** - not an R
7. **E** - not an R
8. **R** - second R
9. **R** - third R
10. **Y** - not an R
Thus, the correct count is 3 Rs in "strawberry". This is supported by various sources, including linguistic analyses and word breakdowns.
"
Enkk potresti gentilmente dirmi come si chiama questo incredibile quaderno digitale su cui annoti cose e ti sposti da qui a li? grazie anticipatamente
Concepts :)
Per come la vedo io,se vogliamo che aumen ti l'accuratezza predittiva delle risposte,gli sviluppatori dovrebbero dividere i discorsi puramente soggettivi (quelli in cui non bisogna fare calcoli matematici,dai discorsi in cui invece gli chiediamo di calcolare. Questo permetterebbe all' IA di avere un training diverso a seconda di quello che gli chiediamo di fare. Se invece le tengono unite,l'accuratezza scende perche' l'algoritmo si confonde e alla fine fornira' un risultato sbagliato. Perche' si confonde ? perche' il sistema e' predittivo e va a cercare tra i dati che immagazzinato (e indiretamente i suoi sviluppatori tali dati li ha presi in rete) tra le risposte + frequenti. Mi pare evidente che quindi sara' + bravo con il sapere astratto che con quello che richiede risposte + specifiche,perche' queste ultime potrebbero non essere presenti per niente nei dati che possono essere attinti dalla rete eo che sono stati inseriti nella fase di training nella sua banca dati.
finalmente qualcuno che va contro la romanticizzazione dell'AI come i vari Raffaele Gaito
Ciao, come posso tranquillizzare la mia collega che è preoccupata del fatto che inserisco in chat gpt informazioni sensibili della nostra azienda?
Se non hai impostato correttamente il tuo account e le informazioni le dai da interfaccia, quelle informazioni ora OpenAI può usarle per allenare i suoi prossimi modelli. Quindi... vedi tu.
@@enkk come posso modificare questa cosa?
@@ag30nov Nelle impostazioni cerca se hai abilitato la condivisione dati con OpenAI.
@@enkk grazie mille
Ho usato la vecchia versione di chat gpt e le ho chiesto di contarmi quante lettere ci sono nella parola strawberry, aggiungendo anche però di, analizzare la parola per lettera per lettera, inizializzare una variabile contatore a zero e di incrementarla di uno solo e soltanto quando incontra una lettera uguale a r. In pratica imponendogli l'algoritmo da seguire per la soluzione ho ottenuto la soluzione corretta dalla vecchia versione di ChatGPT
No tu hai solo copiato un post su reddit 🙀🙀🙀
Quello che hai fatto tu è un altro modo (efficace) di interrogare un LLM. Chiedergli di sviluppare un piano (in questo caso glielo hai dato tu) e poi eseguirlo.
@@kevinelezi7089 no, davvero, non seguo reddit, percio non ho visto alcun post, ma è difficile immaginare che qualcun altro non abbia avuto la stessa intuizione
“Attention is all you need”
Enrico Mensa
A quanto pare era veramente all we needed...
Ma come mai i token non corrispondo alla parola intera ?
spieghi come se avessi una pecora che fa bee nella stanza
Grazie!
Questo è un gran complimento