La "Strategia" Italiana per l'Intelligenza Artificiale - con Alfonso Fuggetta
HTML-код
- Опубликовано: 7 сен 2024
- Insieme ad Alfonso Fuggetta commentiamo il nuovo piano strategico per l'Intelligenza Artificiale, per capirne insieme i problemi e i punti di debolezza.
Articoli ‧ www.liberioltr...
Economia, Politica, Attualità ‧ / @liberioltre
Scienze e Tecnologie ‧ / @liberioltrestem
Scienze Sociali, Filosofia e Politiche Pubbliche ‧ / @liberioltreagora
⤷ Strategia Italiana per l’Intelligenza Artificiale 2024-2026, Executive Summary
‧ www.rivista.ai... (archiviato)
Alfonso Fuggetta
alfonsofuggett...
Luca Mariot
www.liberioltr...
Paolo Bizzarri
www.liberioltr...
Un luogo Aperto, Plurale, non Ideologico e non Identitario. Cerchiamo di diffondere i principi del Merito, della Competenza, della Responsabilità Individuale, della Trasparenza Decisionale e Informativa, della Sussidiarietà, della Tutela delle Libertà Individuali, dell'Economia di Mercato, della Concorrenza e della Solidarietà Individuale e Collettiva... Questa è Liberi Oltre!
Contenuto distribuito con licenza CC BY-NC 4.0 da Liberi Oltre le Illusioni.
creativecommon...
Grazie mille per queste chiacchierate super interessanti, anche se le prospettive descritte non sono propriamente rosee per il nostro Paese..
grazie!
Questa cosa di dover creare degli LLM nazionali, con dataset di una certa lingua, è una cosa che non ha senso. Primo perchè più i dataset sono grandi e variegati più i modelli migliorano (transfer learning), quindi un modello addestrato con dataset italiani performerà molto peggio di un modello addestrato con dataset italiani + dataset inglesi + altri dataset.
Seconda cosa perchè i dataset sono pubblici, quindi nessuno vieta ad OpenAI o ad altri di prendere questi dataset italiani e addestrarci un modello da immettere sul mercato italiano, qualora ce ne fosse bisogno in ambiti specifici.
Terza cosa, è già chiaro che non è con dataset diversi che un modello diventa "intelligente" in un certo ambito. Un modello piccolo con dataset prevalentemente italiani specifici farà comunque 100 volte peggio di chatgpt, anche se chatgpt magari non è stato addestrato su determinati dataset.
I modelli migliori sono enormi e vengono addestrati su quantità enormi di dati, e poi vengono "rifiniti" con milioni di esempi revisionati a mano. Non c'è un altro modo per arrivare a quelle prestazioni, e qui si parte svantaggiatissimi perchè servono risorse immense per svilupparli, ed anche team di ingegneri e ricercatori enormi e di alto livello.
Mistral, che è un'azienda francese, sta dicendo la sua perchè ha creato dei modelli generali molto buoni, che competono con alcuni modelli di OpenAI & co (non con quelli migliori, ma con quelli di livello medio). Non è che mistral va forte perchè fa modelli in lingua francese.
Pensare di "fregare" mercato in italia con dei modelli piccoli e addestrati su dataset italiani semplicemente è una strada senza senso: chatgpt sarà sempre mille volte meglio di qualsiasi micro-modello tirato fuori da qualche università italiana con i fondi pubblici, e la gente userà quello. Può aver senso crearli in determinati ambiti molto specializzati, ma se si pensa di fare dei modelli generali (general purpose) tipo chatgpt pensando che poi conquisteranno il mercato italiano, allora non si è capito nulla. A meno di avere le stesse risorse di OpenAI ovviamente, cosa che non mi sembra si possa dire. Il più potente supercomputer italiano, che va diviso tra 100 team di ricerca diversi, ha una capacità di calcolo che è una frazione dei prossimi supercomputer che verranno costruito per OpenAI, Meta, Google, & co. E loro non devono dividerseli tra 100 team di ricerca diversi.
Per capire di che numeri parliamo: il supercomputer Leonardo è uno dei più potenti supercomputer in europa (forse il secondo più potente), nel 2022 era il quarto più potente al mondo, e ha 13.000 GPU A100. Questa macchina deve servire decine e decine di team di ricerca diversi che "prenotano" delle porzioni per effettuare le loro ricerche.
Oggi è disponibile la GPU H100, che è circa 4 volte più potente della A100. Meta per addestrare i suoi modelli ha a disposizione 2 supercomputer da 25.000 GPU H100 ognuno, che equivalgono come detto a circa 4 A100. Quindi un solo team di Meta ha a disposizione l'equivalente di 100.000 GPU per addestrare un modello, contro le 13 mila che i vari team di ricerca italiani si devono dividere.
Meta entro il 2025 dovrebbe aver installato in tutto 600.000 GPU H100 (seicento, non c'è nessun zero di troppo).
Ordini di grandezza diversi.
E i modelli che Meta realizza sono open-source, gratis e scaricabili da chiunque. Quale azienda italiana dovrebbe pagare per un modello italiano 10 volte peggiore di quelli che realizza Meta, che sono pure gratis?
Io credo invece che avere un LLM nazionale sia una grande idea, bisogna però implementarla bene. Chiaro che se si addestra da zero si avranno performance imbarazzanti, l’idea dovrebbe essere prendere un LLama3 o un GPT già altamente capace e fare fine tuning su dataset italiani. Magari non sulla ricetta del tortellino ma sulla legge italiana, sulla costituzione, su sentenze giuridiche in modo che poi chiunque possa partecipare più facilmente alle attività pubbliche.
Se poi il general purpose non funziona si può sempre puntare su applicazioni più limitate come Retrival Augmented Generation.
Tutto dipende dalle ambizioni di applicazione ma considera che già oggi “piccole” aziende sono in grado di utilizzare questi prodotti facendo fine tuning su dati propri
@@gianmarcoguarnier2525 Ma che questo si possa fare non c'è dubbio, ma sicuramente ci saranno aziende che ci stanno già lavorando e presenteranno prodotti nei prossimi mesi/anni.
Però addestrare dei modelli da zero, come dicono nel documento, che dovrebbero competere (non si capisce poi in quale ambito) con quelli di OpenAI, Meta, Google, MS, Anthropic non ha senso.
Non solo per le prestazioni, visto che se non hai quelle risorse (e intendo anche dataset sufficientemente grandi) non vai da nessuna parte, ma anche perchè ormai ogni 2-3 mesi tirano fuori modelli open-source sempre più prestanti, basta vedere i "tagli" piccoli di LLaMa-3 o Phi-3 che prestazioni hanno.
Modelli fine-tuned per contesti lavorativi italiani e ingegnerizzati in un prodotto/servizio specifico non c'è nessun problema. Ma appunto, ci saranno aziende che già ci stanno lavorando.
Mariot e Bizzarri sempre una garanzia
Appena iniziato il video e vedere strategia tra virgolette mi fa già capire dove andremo a finire.
Non che avessi dubbi a riguardo 😢
Su una cosa non sono d'accordo e mi piacerebbe ci fosse l'opportunità di dibatterne, ovvero sull'idea dei percorsi di laurea generalisti. È vero, il marketing universitario è spesso deleterio, ma l'elefante nella cristalleria non toccato dal prof. Fuggetta è il basso costo/opportunità che gli attuali corsi di informatica e ing. informatica offrono agli studenti (si vedano i dati sui tempi di laurea, lo stipendio medio post laurea, e lo stipendio medio a parità di anzianità senza laurea).
❤
Ho messo un mi piace per votare al "Astenuti? Contrari?"
Commento tattico
Buona sera!
Secondo me il punto 6 anticipa un superbonus sui finanziamenti per la AI
Se questa strategia l'avesse scritta un'AI, sarebbe uscita meglio
Ispirata alle Supercazzole di Amici Miei...🤦♀️🤦♀️
Redistribuire i fondi ha un valore aggiunto negativo: è uno spreco
L'AI del made in itali !!!
Esatto, questa mania di creare miriadi di aggregazioni pubblico private che creano innovazione, ciò che non è mai successo nella storia delle tecnologie. Aggregazioni che gestiscono e distribuiscono risorse pubbliche. Unico scopo.
E il papa invitato al G7 dal governo per discutere l'etica dell'intelligenza artificiale dove lo mettiamo? Fa parte del piano? A me pare un obbrobrio
❤LIKE ❤
Ma se ancora io a lavoro(sanità) devo inviare FAX a tutte le vie per avere servizi per gli utenti???
Quindi ... speriamo?