Hello, Tout dépendra de la précision que tu souhaites avoir dans les réponses fournies ! Si tu veux avoir des modèles sur ta machine, je te conseille de faire quelques test en téléchargeant plusieurs modèles sur hugging face ! (Tu peux te baser sur les modèles les plus téléchargés) Le modèle de Llama à 8b de paramètres est pas mal pour une utilisation basique👍 Si tu passes par les APIs ou les interfaces web tu peux te tourner vers Claude 3.5 Sonnet d’anthropic ! Très fort en génération de texte. *ça n’engage évidemment que moi 😁
@@AnthonyFauchère merci ;) oui, je cherche un système qui me génére du texte correct en seo pour mon blog WordPress, et si possible sans dépenser de sous, et pas forcément en local sur ma machine mais tous les générateurs que je trouve sont payants.
@@AnthonyFauchère la data privacy c'est important lorsque tu utilise tes documents privé et sensible ? Je t'avais écrit sur insta mais il est probable que tu n'aies pas reçu mon message puisque mon insta déconne, sinon est-ce que je pourrais t'envoyer un email
Merci Très belle vidéo . peut tu conseiller si c 'est possible pour faire de la programmation python par exemple . c 'est dingue ce truc tu as raison brava à toi pour ton partage
Carrément incroyable ! Est-ce que notre pc doit remplir certaines conditions pour faire tourner le modèle Q6 ou est-ce que n'importe quel bon pc peut le faire tourner ?
Ça va dépendre des RAM que tu as à disposition ! Je te conseille de faire tests, tu peux voir en haut à gauche sur l’interface d’LM STUDIO les ressources que ton modèle consomme lorsqu’il calcul ta réponse. Tu peux également jouer avec les paramètres au niveau de la taille du contexte pour “brider” le modèle
Tu peux le faire tourner sans avoir de carte graphique puissante avec suffisamment de RAM et un bon CPU. Le problème c'est qu'il va te répondre avec plusieurs dizaines de secondes entre chaque token (mots). Ça risque d'être très lent.
Toutes les semaines c'est "complètement fou" ça va tellement vite franchement des fois j'hésite à explorer ce terrain parce que je saais que si je me casse la tête à installer, personnaliser, corriger les problèmes, bah d'ici là y'aura un Groke 4 ou un CLAUDE X ou un ChatGPT-4xm qui sera sorti
100% d’accord avec toi ! J’ai rarement vu un domaine qui avance à une telle vitesse 😅. Mais c’est tellement passionnant que je ne peux pas m’empêcher de m’y intéresser 😬
M'enfin, un model de 405B de paramètres ça tourne pas un PC ou un Mac de Monsieur tous le monde. Le petit model est bon mais ne suffit pas pour travailler comme avec GPT. GPT 3 c'est déjà 175B et cela demande une machine avec 8 GPU A100 pour le faire tourner. Soit une machine à 150k€. A mon avis, il faudra encore attendre 10 ou 15 ans pour le faire tourner à la maison. D'ici là, d'autres techno seront encore plus puissants.
Yes ! Je le précise dans la vidéo (avec un petit effet explosion en bonus ) haha ! Pour des tâches du quotidien tel que résumer des textes, créer une réponse à un mail etc.. je trouve que le modèle 8B s’en sort vraiment pas trop mal ! Tu as essayé de le faire tourner de ton côté? Curieux de savoir les résultats que tu as eu. Merci pour ton commentaire et belle journée 🤝
Toujours très intéressant 👌
Merci 🙌
Merci compagnon !
Plaisir 👍
Merci pour la vidéo. C'est quoi l'histoire des tokens ?
Intéressant ! Juste pour générer du contenu rédactionel quel systeme ou modele utiliser ?
Hello,
Tout dépendra de la précision que tu souhaites avoir dans les réponses fournies !
Si tu veux avoir des modèles sur ta machine, je te conseille de faire quelques test en téléchargeant plusieurs modèles sur hugging face ! (Tu peux te baser sur les modèles les plus téléchargés)
Le modèle de Llama à 8b de paramètres est pas mal pour une utilisation basique👍
Si tu passes par les APIs ou les interfaces web tu peux te tourner vers Claude 3.5 Sonnet d’anthropic ! Très fort en génération de texte.
*ça n’engage évidemment que moi 😁
@@AnthonyFauchère merci ;) oui, je cherche un système qui me génére du texte correct en seo pour mon blog WordPress, et si possible sans dépenser de sous, et pas forcément en local sur ma machine mais tous les générateurs que je trouve sont payants.
Salut
L'avantage d'utiliser une IA en local c'est de pouvoir l'utiliser lorsque tu n'as pas de connexion Internet
C'est le seul avantage ?
D'une part, mais également un énorme plus du côté de la data privacy
@@AnthonyFauchère la data privacy c'est important lorsque tu utilise tes documents privé et sensible ?
Je t'avais écrit sur insta mais il est probable que tu n'aies pas reçu mon message puisque mon insta déconne, sinon est-ce que je pourrais t'envoyer un email
Vraiment top !
Gracias 🫡
Merci Très belle vidéo . peut tu conseiller si c 'est possible pour faire de la programmation python par exemple . c 'est dingue ce truc tu as raison brava à toi pour ton partage
Carrément incroyable ! Est-ce que notre pc doit remplir certaines conditions pour faire tourner le modèle Q6 ou est-ce que n'importe quel bon pc peut le faire tourner ?
Ça va dépendre des RAM que tu as à disposition ! Je te conseille de faire tests, tu peux voir en haut à gauche sur l’interface d’LM STUDIO les ressources que ton modèle consomme lorsqu’il calcul ta réponse.
Tu peux également jouer avec les paramètres au niveau de la taille du contexte pour “brider” le modèle
Tu peux le faire tourner sans avoir de carte graphique puissante avec suffisamment de RAM et un bon CPU. Le problème c'est qu'il va te répondre avec plusieurs dizaines de secondes entre chaque token (mots). Ça risque d'être très lent.
Toutes les semaines c'est "complètement fou" ça va tellement vite franchement des fois j'hésite à explorer ce terrain parce que je saais que si je me casse la tête à installer, personnaliser, corriger les problèmes, bah d'ici là y'aura un Groke 4 ou un CLAUDE X ou un ChatGPT-4xm qui sera sorti
100% d’accord avec toi ! J’ai rarement vu un domaine qui avance à une telle vitesse 😅.
Mais c’est tellement passionnant que je ne peux pas m’empêcher de m’y intéresser 😬
M'enfin, un model de 405B de paramètres ça tourne pas un PC ou un Mac de Monsieur tous le monde. Le petit model est bon mais ne suffit pas pour travailler comme avec GPT.
GPT 3 c'est déjà 175B et cela demande une machine avec 8 GPU A100 pour le faire tourner. Soit une machine à 150k€.
A mon avis, il faudra encore attendre 10 ou 15 ans pour le faire tourner à la maison. D'ici là, d'autres techno seront encore plus puissants.
Yes ! Je le précise dans la vidéo (avec un petit effet explosion en bonus ) haha !
Pour des tâches du quotidien tel que résumer des textes, créer une réponse à un mail etc.. je trouve que le modèle 8B s’en sort vraiment pas trop mal !
Tu as essayé de le faire tourner de ton côté?
Curieux de savoir les résultats que tu as eu.
Merci pour ton commentaire et belle journée 🤝
18th like
🙏🙏