Grazie molte. Con 8Gb in Windows del mio pc girano pochi modelli. Secondo te c'è un modello che risponda bene come NotebookLM per interrogare dei documenti? Anche con più RAM ovviamente.
Ciao Dataproject! Grazie mille davvero per la donazione, super apprezzata 🙏🙏 Non so dirti un modello simile alle funzioni di NotebookLM,che è molto di nicchia, ma l'idea alla base è che non è facile replicare in locale quello che fanno le più grosse webapp, come NotebookLM, ChatGPT, Copilot, Claude, ecc. Io uso sempre le webapp disponibili online (se necessario pagandole), per le AI in locale ci sono ancora troppi vincoli hardware per la stragrande maggioranza degli utenti , a mio avviso :) Grazie ancora Dataproject, un saluto e a presto! 🚀
Ciao Lore, bel video molto interessante. Potresti indicarci i requisiti minimi oppure consigliati come hardware e GPU per utilizzare Ollama con un modello come Llama 3.1 o Phi 3, modelli da 8M oppure superiori? grazie in anticipo
Ciao DataProject! 👋😃 Grazie mille, sono contento che il video ti sia piaciuto! Per quanto riguarda i requisiti hardware per utilizzare Ollama con modelli come Llama 3.1 o Phi 3, ecco una panoramica: 💻 Requisiti Minimi CPU: Processore multi-core (almeno 4 core) con una buona frequenza (minimo 2.5 GHz). RAM: 16 GB (può essere sufficiente per modelli più piccoli, ma potresti sperimentare rallentamenti). GPU: GPU con almeno 8 GB di VRAM (ad esempio, una NVIDIA GTX 1070 o superiore). I requisiti consigliati ti direi che puoi usare quelli sopra raddoppiando il valore in RAM (32 GB) e GPU (16 GB). Un abbraccio e a presto qui sul canale my friend! 🚀
Ma per quale motivo hai bisogno di docker, se poi installi il tuo modello privato all’interno della tua macchina invece che all’interno di un’immagine docker?
@@LoreCloud ahh ok, mi ero perso questa parte. E scusami, perché allora non fare tutto su docker? Cioè installare all’interno dell’immagine docker anche il modellino invece che installarlo in locale?
Favoloso! Ho fatto installazione, ma continua ad entrare in gioco l'antivirus che mi minaccia! Adesso l' ho disinstallato per tranquillità. Che cosa ne pensi?
Ciao Sabrina! 😀 Immagino dipenda dall'antivirus, io ad esempio non ho ricevuto nessun avviso con avast versione gratuita 😅 potresti provare ad escludere la minaccia dal settings del tuo antivirus, e poi provare a riattivarlo 👍
Il compromesso è che non stai visualizzando in markdown ma visualizzi in plaintext non formattato. Basterebbe attivare la visualizzazione in markdown in alto a destra
Ciao Matteo! 😀 Hai ragione, non avevo notato la visualizzazione markdown nei pulsanti in alto a destra 😅 Grazie mille per la condivisione di valore, super apprezzatissima! 🙏
In che senso? Immagino tu ti riferisca alla differenza tra modelli Open Weight, ovvero modelli che pubblicano solo i parametri preaddestrati (come Meta), e quelli Open Source, ovvero che rilasciano il codice sorgente completo che permette di riaddestrare volendo il modello da zero?
Grazie molte. Con 8Gb in Windows del mio pc girano pochi modelli. Secondo te c'è un modello che risponda bene come NotebookLM per interrogare dei documenti? Anche con più RAM ovviamente.
Ciao Dataproject! Grazie mille davvero per la donazione, super apprezzata 🙏🙏
Non so dirti un modello simile alle funzioni di NotebookLM,che è molto di nicchia, ma l'idea alla base è che non è facile replicare in locale quello che fanno le più grosse webapp, come NotebookLM, ChatGPT, Copilot, Claude, ecc.
Io uso sempre le webapp disponibili online (se necessario pagandole), per le AI in locale ci sono ancora troppi vincoli hardware per la stragrande maggioranza degli utenti , a mio avviso :)
Grazie ancora Dataproject, un saluto e a presto! 🚀
Ciao Lore, bel video molto interessante. Potresti indicarci i requisiti minimi oppure consigliati come hardware e GPU per utilizzare Ollama con un modello come Llama 3.1 o Phi 3, modelli da 8M oppure superiori? grazie in anticipo
Ciao DataProject! 👋😃 Grazie mille, sono contento che il video ti sia piaciuto!
Per quanto riguarda i requisiti hardware per utilizzare Ollama con modelli come Llama 3.1 o Phi 3, ecco una panoramica:
💻 Requisiti Minimi
CPU: Processore multi-core (almeno 4 core) con una buona frequenza (minimo 2.5 GHz).
RAM: 16 GB (può essere sufficiente per modelli più piccoli, ma potresti sperimentare rallentamenti).
GPU: GPU con almeno 8 GB di VRAM (ad esempio, una NVIDIA GTX 1070 o superiore).
I requisiti consigliati ti direi che puoi usare quelli sopra raddoppiando il valore in RAM (32 GB) e GPU (16 GB).
Un abbraccio e a presto qui sul canale my friend! 🚀
ottimo ottimo ottimo... tutto chiarissimo (Y)
Mi fa piacere, grazie mille Nicolò 🚀🚀
molto chiaro e preparato.bravo
Grazie mille Gianluca, feedback super apprezzato 🙏🚀
🎉🎉🎉
Ma per quale motivo hai bisogno di docker, se poi installi il tuo modello privato all’interno della tua macchina invece che all’interno di un’immagine docker?
Ciao Omar! Docker è fondamentale per far funzionare Ollama su Open WebUI 👍
@@LoreCloud ahh ok, mi ero perso questa parte. E scusami, perché allora non fare tutto su docker? Cioè installare all’interno dell’immagine docker anche il modellino invece che installarlo in locale?
Perchè è necessario utilizzare un interfaccia per utilizzare i modelli di Ollama su Docker, in questo caso appunto quella di Open WebUI 😉
Favoloso! Ho fatto installazione, ma continua ad entrare in gioco l'antivirus che mi minaccia! Adesso l' ho disinstallato per tranquillità. Che cosa ne pensi?
Ciao Sabrina! 😀 Immagino dipenda dall'antivirus, io ad esempio non ho ricevuto nessun avviso con avast versione gratuita 😅 potresti provare ad escludere la minaccia dal settings del tuo antivirus, e poi provare a riattivarlo 👍
@@LoreCloud provo su un altro computer e vedo. Comunque mi lascia lavorare…ma continua ad uscire la finestra con minaccia.
Il compromesso è che non stai visualizzando in markdown ma visualizzi in plaintext non formattato. Basterebbe attivare la visualizzazione in markdown in alto a destra
Ciao Matteo! 😀 Hai ragione, non avevo notato la visualizzazione markdown nei pulsanti in alto a destra 😅 Grazie mille per la condivisione di valore, super apprezzatissima! 🙏
“Come? Open ……?” Dopo di che ho cambiato 😅
In che senso? Immagino tu ti riferisca alla differenza tra modelli Open Weight, ovvero modelli che pubblicano solo i parametri preaddestrati (come Meta), e quelli Open Source, ovvero che rilasciano il codice sorgente completo che permette di riaddestrare volendo il modello da zero?