Bonjour Johan, merci pour ce tuto et comme d'habitude ludique et pro ! p'tite info de mon coté impossible d'activer le GPU, la fonction n'apparaissais pas dans les paramètres malgré le CUDA installer et la bonne version de driver (vérifié par le PowerShell de Windows), après des recherches sur les forums de JAN, il faut installer la version Nightly et la tout est OK !
Hello Luc, merci pour le partage de ton expérience, c'est intéressant pour tous ceux qui rencontreront cette difficulté. Les Forums de JAN sont une très bonne source d'infos. Dans mon cas, je n'ai pas eu à installer la version Nighly mais c'est là-bas que j'ai trouvé la solution également. Merci et bien à toi 👌🙂
Salut Johan, depuis le temps que je suis ta chaîne je n'avais encore pas pris le temps d'écrire un commentaire mais je dois avouer que tes vidéos sont passionnantes, et c'est toujours un plaisir de découvrir de nouveaux outils ! 👌
merci pour cette vidéo surtout par son contenu inédit et par l'utilité que présente l'installation en local de modèles de génération de contenus ,ce qui permet de se libérer un peu des contraintes des modèles en ligne. même si ces modèles ne sont pas tous assez performants pour un initié comme vous mais pour des gens qui sont novices et de compétences moindres en la matière comme moi ,ou d'autres, cela constitue des outils de travail utile et de moindre coût. prière de développer des connaissances ,infos et astuces pour permettre aux utilisateurs de ces modèles de les exploiter efficacement . bonne continuation.
Merci, avec plaisir 🙂 Oui, vous avez raison, nous sommes un peu des enfants gatés avec les outils commerciaux tels que ChatGPT 4 et son ecosystème... Mais ces outils sont déjà formidables à bien des égards et peuvent rendre de grands services. J'y reviendrai... Bien à vous
Très intéressant . Les modèles Mistral 8x7b semblent aussi performant dans les benchtests que chatGPT 3.5 mais avec une taille permettant de tourner en local, certes avec une très bonne carte graphique, mais ça ouvre des perspectives énormes. Et tout ça est fine-tunable. Cocorico , Mistral est français et les models sont open sources.. 😉
Hello Eric, Très sympa Mistral et plus léger qu'on le pense, il tourne plutôt bien sur un PC de moyenne puissance sans carte graphique dédiée, un i5 récent ou un i7 plus ancien, 16 Mo de RAM l'emmèneront. Pour le comparatif avec GPT 3.5, il fait de sacrées fautes et il invente de nombreux mots, cela s'arrangera, c'est sûr ! Sinon c'est vraiment génial d'avoir cela en libre à la maison 👌😉
Merci pour cette présentation. J'attendais justement un truc dans ce genre (facile à mettre en œuvre) pour voir ce que ça vaut ces IA conversationnelles. Maintenant, je peux enfin me faire mon propre avis sur ces trucs. PS : Bon après avoir commencé a joué avec ces IA, je constate que ça ne casse pas encore de pattes à un canard. Par exemple, j'ai l'impression qu'il manque la capacité de conserver le contexte de la conversation. Par exemple, dans Mistral, je lui ai demandé de me parler comme si il était un extra-terrestre. Mais il n'a pas compris l'idée par la suite de l'échange.
Merci avec plaisir, oui, ChatGPT est plus performant, même en 3.5, il faut aussi mettre dans la balance que la version de Mistral que nous avons là est beaucoup plus légère... Affaires à suivre 😉
Bravo pour vos vidéos. Très instructives et très bien réalisées ! Chapeau 👍👍👍 Vivement la prochaine ! Pourriez-vous nous indiquer un tuto (ou éventuellement en faire un 😉) pour paramétrer la carte graphique (avec couda ???) et pouvoir l'utiliser avec JanAI, Ca serait vraiment super. Bravo encore et bonne année avec l'IA
Bonjour et merci Patrick, en fait je vous donne les infos en fin de vidéo et les liens en descriptions, il n'y a rien de particulier à faire juste mettre à jour les drivers Nvidia et installer le SDK Cuda. Et ensuite vous relancez Jan.ai et c'est parti 😉 Meilleurs voeux !
Hello Johan, comme d'habitude, une vidéo claire précise et détaillé. On ne peut pas charger de pdf j'imagine? Un Ia simple d'installation local pour traiter ses documents ca serait pas mal. Merci et encore bonne année 2024
Bonjour et merci, à cette heure ce n'est pas possible, mais c'est prévu en Roadmap, le projet semble dynamique, nous ne devrions pas attendre trop longtemps pour ça... Très bonne année à vous
Bonjour, merci pour la video ! Mistral c'est 7 milliards de paramètres (billion en anglais, 7B), GPT3.5, c'est 175B (GPT4 cela pourrait être 1.7 trillions). Un paramètre = poids des connections entre nœuds du réseau + bias sur les nœuds. Donc il ne faut pas non plus s'attendre à des performances cognitives comparables. Ceci dit, l'année 2024 pourrait être l'année des SLM (Small Language Model), par exemple Google a déjà prévu un Gemini nano.
Bonsoir, oui, bien sûr, il faut comparer ce qui est comparable, d'ailleurs, je le signale dans les commentaires. Oui, en effet, des processeurs aux modèles, beaucoup d'activités pour l'IA embarquée en 2024 ! 😉👌
Encore une vidéo hyper intéressante. Merci Johan! Est-ce qu'il est possible de créer un chatbot avec ce chatgpt local. Je voudrais lui faire apprendre une documentation fonctionnelle d'une application pour qu'il répondent automatiquement aux utilisateurs de cette dernière ?
Merci Fabien, avec plaisir ! En théorie c'est possible, vu qu'il propose une API (en développement), il faudra un serveur un peu de travail de dev donc. Pour lui faire apprendre une doc, c'est en roadmap mais pas encore disponible. Bien à vous
Merci Johan pour votre travail de vulgarisation. La forme comme le fond est de très bonne qualité. Je ne vois nulle part la façon d'enrichir les modèles à partir de documents personnels, liens choisis, etc..., en gros tout ce qui constitue l'apprentissage de ces IA qui, il me semble, est le principal enjeu, car leur "crédibilité" se situe dans les sources de documents qui servent à leur apprentissage . J'ai testé ChatGPT et sur les sujets sensibles (géopolitique, Economie, etc... ) elle est bourrée d' a priori, et d'idéologies mondialistes par exemple. y a t-il des modèles qui permettent d'en faire l'apprentissage ?
Bonjour, avec plaisir ! Bien sûr, il existe des moyens pour faire cela, mais cela coute plutôt cher, j'ai vu des tarifs qui débutent à 200 000 Euros, chez OpenAI c'est 2 000 000 d'euros le ticket d'entrée. Le Finetuning est plus abordable, peut-être aurons-nous la possibilité prochainement et simplement...
Une Bonne Année pour commencer! Merci beaucoup pour vos réponses et cette super vidéo. Je me permet de rajouter sur ce fil, je suis en plein développement d'un projet et cette vidéo tombe à pic! Une chose que je n'ai pas saisi, est t'il par contre possible, via le logiciel ou API ou autre, de connecter ces IA local a des documents (ou base de données) pour rechercher des informations? Donc pas d'entrainement mais plus de l'indexation/recherche? Ex: je lui met plusieurs documents à dispo, et je lui demande de me sortir plusieurs infos, ce genre d'idées. Mille merci pour votre travail, j'apprends beaucoup grâce à vos partages! @@johansolutionsdigitales
Bonjour bonne et heureuse année 2024 à toi et toute la communauté. Grand merci pour cette nouveauté d'IA en local. Elle relance la question sur l'importance des serveurs privés au lieu du cloud. Un retour en arrière? La question trouve sa reponse dans le choix entre la course à l'innovation avec Open IA, la protection des données sensibles, les connaissances à développer pour maîtriser en interne et suivre la cadence de vitesse qu'impose l'open AI. Est ce une bonne solution à usage perso? Je n'y croix pas bcp. Cependant c'est tjrs d'avoir le choix et de faire vivre la concurrence.
Merci, meilleurs vœux 2024. En effet, le cloud soulève bien des questions 😉, ici le local offre surtout la protection des données. Pour l'usage, tout dépend des besoins et de la finalité, toutes les tâches ne réclament pas la puissance d'un GPT4... Ceci dit, il parait que l'avenir est aux modèles légers et complémentaires, nous verrons bien. Bien à vous
Salut Johan, bon, évacuons les mondanités tout de suite : Bonne année !! ça c'est fait... (euh...c'est vraiment sincère quand même einh!) Alors, je mets ta vidéo super intéressante en pose pour commenter au moment où s'affiche la conso cpu et mémoire sur ton pc car là, ça pique...15 G de mémoire utilisée sur 34 Go dispo ? Tu as chargé X models en même temps ou c'est la conso mémoire de base du modèle que tu utilises ? Parce que là, bah, je vais devoir attendre un peu pour tester du coup, mon pc n'ayant "que" 16 Go de ram...
Salutations à toi également 😉 Alors moi, j'avais en même temps 2 instances de chrome ouvertes avec plus de 80 onglets ouverts... Plus OBS Studio qui enregistre en live l'écran et les cams... Donc, tu as de la marge à mon avis, le modèle ne prendra que 4 ou 5 GO en RAM. Cela est confirmé ci-dessous par @MultiMustash. Tu peux y aller, bien à toi
Merci Johan pour cette excellente présentation de cette IA. Je l'ai installée très facilement sur mon portable (HP Probook i7 de 11ème génération, 16 Go de RAM). Par contre, à une simple question comme "Quelle est la différence entre un indien et un indou", cela rame tellement que j'ai dû supprimer la tâche. Si l'IA met 10 ou 15 minutes à répondre alors que ChatGPT met 30 secondes, il y a un problème. Quelle configuration faut-il exactement pour utiliser cette IA dans de bonnes conditions ?
Bonjour Marc, en effet, c'est un peu étonnant, sur une configuration un peu similaire, je n'ai pas eu cette expérience. Pouvez-vous me dire si votre portable était branché au secteur et quel modèle vous avez lancé ? Bien à vous
@@johansolutionsdigitales Bonjour Johan. Le portable était branché sur secteur. J'ai attendu que toutes les mises à jour Windows 11 soient installées avant de lancer l'IA avec le modèle mistral-ins-7b-q4.
Intéressant. J'ai voulu jouer un peu avec, mais après avoir activé le GPU, je confirme que l'IA (Mistral Instruct) débloque grave ! Example User: bonjour Jan: Bonjour! Hallucid sentence: "Way to the question about the chemise, "French Greeting Greeting User: Je n'ai pas compris ce que tu dis Jan: Désolide répondre de l'expression que tu disait "I do not understand what you say is not understood what you saying I do not understand what you say not understood said said " "French Greeting" I did not understand what you say not understood what you say? Je n's apologies, "I' "I' pour " " I I don'n's sentence is not understood what you say but I I Je "Je n'entendre about the sentence is not understood what you are saying I I are not understand what you said. Je n's sentence is a a a I I you you speak French Greeting Hallucid sentence: "I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I " I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I
Bravo pour cette vidéo qui répond à mon souhait d'avoir une solution locale. Ce logiciel est-il capable de manipuler des images ? Avez-vous testé cette possibilité ? Pour ce besoin y a-t-il des modules plus adaptés ? Encore merci pour toutes les infos, je vais explorer votre chaîne.
Bonsoir et merci🙂 Non, Jan est spécialisé sur les LLM textuels, pour l'image, regardez du côté de mes vidéos sur Pinokio et sur les ia text to image. Bien à vous
Bonjour Johan j'ai suivi votre présentation , mais ma pauvre bécane à soufert cpu 100 % , je voudrais connaitre la configuration minimale et celle recommandé , car avec un vieux i5 , ça galère merci et mes meilleurs voeux et très bonne année 🎖🏆
Bonjour, super vidéo. Je ne connais rien en AI mais est-il possible avec JAN AI de lui faire lire pleins de documents PDF ou mon coffre Obsidian afin qu'il puisse utiliser les infos qu'il contient ? Belle journée.
Bonsoir 🙂, je ne sais pas, à priori, je comparerai plutôt des modèles plutôt que les plateformes. Mais si elles se différencient plus largement, ce n'est pas exclu. Bien à vous
Bonjour Johan et tout d'abord merci pour toutes tes vidéos très instructives. Peux-tu me dire comment incruster de la vidéo dans une vignette ronde comme celle que tu utilises ? Merci d'avance et bonne année 2024 !
Bonjour, merci, avec plaisir 🙂 Pour faire cela j'utilise un filtre "masque d'image/mélange" appliqué sur la source caméra sur OBS, et il suffit de sélectionner "Masque Alpha" puis une image PNG d'un rond noir sur fond transparent. Bonne année ✨
merci infiniment pour cette vidéo encore une fois. est ce que tu sais si parmis ces modèles, il y en a un qui est non censurée. Car pour la plupart des questions, on a le droit au message lourd du meme type qu'open AI, "en tant qu'assistant, je n'ai pas le droit de ..." je sais qu'il y a certain modèle sur d'autres logiciels mais je me demandais si sur celui ci il y en avait un ? merci !
En effet, sur les modèles listés, cette info n'est pas stipulée. Cependant, vous pouvez facilement installer de nouveaux modèles manuellement, voir ici > jan.ai/guides/using-models/import-manually/ Bien à vous
Bonjour, merci pour toutes vos vidéos que je suis depuis longtemps. Il y a t-il une configuration minimale sur les CPU Intel par rapport à la génération?
Bonjour Loic, merci pour ton soutien 🙂 Pour les processeurs Intel, ils disposent des premières instructions destinées aux IA depuis 2013, ceci dit, plus ils sont récents, mieux c'est. Côté références, les derniers i5 sont une bonne entrée en matière. La RAM a aussi son importance, les modèles y sont chargés et 16 Go sont souvent le minimum. Enfin, les cartes Nvidia sont fort appréciées et contribuent souvent à un calcul rapide et efficace.
Salut ! Très bonne vidéo ! J'ai essayé d'installé le CUDA toolkit, quelle version faut instalé ? Je sais qu'il faut que j'installe la 12.3, mais dans cette version il me propose la version 10 , 11 , server 2019 et server 2022. Pourrais tu me dire la quelle tu as pris ? Merci d'avance !
Merci Beaucoup Pour les videos .Enfaite j'ai deux question La premiers c'est est ce que une fois les models télécharger est ce qu'il évolué . La deuxième c'est est ce qu'il est possible de l'avoir sur le server de la maison pour en fait profiter a la famille
Merci, avec plaisir 😉 Si les modèles évoluent, il faudra les télécharger à nouveau. Pour l'accès en réseau, c'est en théorie possible, à tester 😉 Bien à vous
merci ! Je cherche un moyen de lui faire apprendre des documents pour l'interroger sur une base de connaissance, comme Danswer par exemple ? Une idée ?
Hello, Danswer pour de la RAG (retrieval augmented generation) semble très bien et offre de larges possibilités, pour des outils plus légers voir Reor ou PDFtoChat. Open WebUI + Ollama sur Pinokio offre aussi cette possibilité en local 🙂
Bonjour Johan ! Il y a-t-il un moyen de lui donner des documents / photos qu'il puisse garder en mémoire à la manière des API d'open AI. ( Exemples de documents à suivre )
@@johansolutionsdigitales tout à fait d'accord, vous m'avez mal compris. C'était juste qu'en lisant les commentaires il m'a semblé que certains espèrent en chargeant 7B avoir les perfs de 8x7B d'où mon 1er msg.
Bonjour. J'ai téléchargé l'IA et j'utilise Mistral. Il y'a quand même des lacunes. J'ai testé un peu. Par exemple elle a été infoutue de me donner la date de la mort d'un chanteur célèbre. A chaque fois elle se trompait. D'autre part, comme c'est du hors ligne, comment fait-on pour la mettre à jour ? Y'a t-il sur le site des modules de mise à jour ? Merci d'avance.
Bonjour Arnaud, Oui, j'ai d'abord testé Mistral et il faut que cela progresse de mon point de vu, limité, fait des tonnes de fautes... Bref, en production, c'est difficile... Cependant j'ai également testé Mixtral 8x7B et là, certes, c'est plus gros et plus lent, mais les résultats sont vraiment bons !
Bonjour Johan, j’ai installé llama 3 8B pour voir et par curieusement, j’ai eu l’idée de lui posé cette question; Quelle est la dernière date de ton entraînement, il m’a répondu ceci; Je suis un modèle de langage construit à partir de données d'entraînement qui ont été collectées jusqu'en 2021. Cela signifie que la dernière date à laquelle j'ai été entraîné avec des données est 2021 savez-vous si ses modèles sont condamnées a demeurer stagnant à cette années 2021?
Bonjour Alain 🙂 L'ia vous à fait une blague, les modèles 7B et 80B du lama 3 utilisent des dates d'arrêt des connaissances différentes. Le modèle 7B a une date limite de connaissance de mars 2023, tandis que le modèle 80B de Llama 3 a une date limite de connaissance de décembre 2023. Pour le 8b ce doit être également une de ces 2 dates, à vérifier. Bien à vous
Ha Ok ça explique pourquoi par test je lui avais posé cette question; Quel évènement c’est produit le 7 octobre 2023 à Israël, il m’avais répondu;c’est une blague cet évènement n’a jamais eu lieu, si je comprend bien,pour mettre à jour il faudra désinstaller et réinstaller vu qu’ils sont en local et qu’ils n’ont pas accès au web. Merci
Bonjour, j'ai un pc amd (cpu r5 5500 et gpu rx 6650xt) donc à priori pas de support de cuda mais il existe 2 choses qui peuvent éventuellement changer la donne : Rocm et zluda. Je suis actuellement en train de chercher activement comment bénéficier de l'accélération matériel gpu avec amd. D'après les premières infos que j'ai trouvé le support de Rocm est à 100% à partir de la rx 6800 ce qui n'est pas mon cas mais je vais persévérer et espérer trouver une solution. Je suis actuellement à 8 token / sec avec juste mon cpu mais si je peux passer à 30 token/sec voir même juste 20/sec je serai très content :)
Bonjour je souhaiterai avoir un Chat GPT version libre comme celui ci, en local, que je pourrai interroger comme tu viens de faire mais avec une bibliothèque de documents spécifiques, PDF, WORD, etc... est ce possible s'il te plait ?? Merci pour l'ensemble je déguste chacune de tes vidéos.
Bonsoir, merci, avec plaisir 🙂 Dans de récente vidéo, je parle d'IA locales et d'outils qui permettent ça et j'y reviendrai en détail dans de prochaines vidéos.
Bonjour, Merci pour cette belle découverte, Il sera intéressant de connaître les possibilités de leur api. Est ce que le meilleur modèle de language (le français) est censuré? Merci pour tes vidéos
Merci pour cette découverte. Comment réaliser un fine tuning des modèles avec de la documentation texte perso (donc créer un chatbot sur sa doc) ? Autre chose, avec OpenAI et sa clef API, on perd l'aspect local non ?
Bonjour et merci. Pour l'instant, pas de finetuning dispo, c'est prévu il me semble. Oui lorsque l'on utilise l'API OpenAI, le modèle n'est évidement plus local 😉
Aucune idée Cedric, je ne l'ai pas encore testé... L'approche technique est intéressante, avec une version mobile et l'API en roadmap... L'utilises-tu toi-même ?
Par énormément pour le moment, quelques différences de fonctionnalités, mais étrangement de meilleurs résultats avec les mêmes modèles sur Jan.ai. Je ne m'explique pas pourquoi, mais la différence est énorme...
Bonjour. Quand je lui envoie le texte auquel je veux qu'il réponde, il me mets des partie de mon texte en code et me dit : ''The model gpt-4 does not exist or you do not have access to it. " alors que je parle bien à GPT 4 à coté --'
up si je mets le 3.5 il mets ça: You exceeded your current quota, please check your plan and billing details. For more information on this error Soi-disant gratuit mais votre programme de f*p me parle de payer; si quelques données sont volées je vous en tiens pleinement responsable.
Bonjour, en fait, il faut que vous mettiez une clé API de OpenAI comme je l'indique pour cette partie. Il faut bien sûr avoir un compte API OpenAI, j'en parle dans certaines de mes vidéos comme ici : ruclips.net/video/5AdtN8oX1yg/видео.html
Bonsoir, oui Yannick, je ne crois pas que la plateforme Chromebook puisse accueillir ces IA rapidement. Un portable de gaming avec un i5 ou + de dernière génération et une RTX permettra de faire tourner ces IA.
Bonsoir, avez laissé le téléchargement se faire jusqu'à son terme ? Ce pourrait être la cause, sinon supprimez-le et réinstallez. Combien de RAM avez-vous ?
Bonsoir 🙂, non pas forcément, il y a des tas d'autres utilisations intéressantes, mais en effet entrainer un modèle est passionnant, mais aussi très couteux en temps et en argent. Cela évoluera sans doute... Bien à vous
@@johansolutionsdigitales Sans nécessairement entrainer le modèle, il serait très utile de pouvoir fournir une knowledge base à base de fichier type .pdf et de pouvoir aussi connecter l'assistant à des API (Prévision météo par ex.) comme comme le fait OpenAI with Chat GPTs. Existe-t-il une version open source de GPTs pour créer des assistants plus personnalisés? Mes recherches restent sans succès. Merci pour vos videos et tutos. Excellentes explications pour les débutants.
Bonjour et merci 👍 Cependant, il faut un PC assez puissant hélas.....sur mon MX Linux avec son I5 avec 6GO de Ram et une GTX745 😂😂 je laisse tomber bon çà me motive à me faire une new config et avec une Nvidia compatible IA...c'était prévu au programme 2024 😎
Hello 🙂 Oui, je pense que votre config actuelle est trop légère, cependant, un I5 de dernière génération et 16Mo de RAM sans carte GPU s'en débrouille, bien à vous
J'étais encore avec 8Go sur Debian il y a 6 mois et maintenant 64Go avec 64 autres à venir. Ma rtx 3060 12 go fait encore le taf mais utilise déjà beaucoup ma patience.
@@rodolpher8056 HA bien, la rtx 3060 est bien cotée en ENABLE- CUDA , et au niveau proc tu as quoi ? moi je ne sais pas encore quel config je vais assembler pour mon Linux ....
@@rodolpher8056 Sur mon Windows, j'ai un ryzen 5 3600 32 GO en Ram mais hélas, une Sapphire AMD RX5600T ...... çà tourne lentement avec JAN et mistral instruct 7X8 26GB Sur LM Studio, c'est plus rapide, et j'ai testé le Dolphin non censuré (celui qui doit sauver les chats en prompt 😂) Par contre, pfff compliqué d'ouvrir serveurs, plusieurs agents et de les faire bosser.... Prochainement, je vais tester Pinokio pour voir... Ma new config sera que pour après l'été hélas...je compte y mettre un I5 13400 F et une RTX 3060 OC et 64 GO de Ram !!!
J'ai testé mistral en suivant cette vidéo et honnêtement je ne le trouve pas incroyable. Avec mon petit prompt il à rien compris et il est totalement passé à côté, alors que GPT on peu lui donner des précisions il comprend tout de suite...
@@johansolutionsdigitales Vous avez raison, je pense que c'est surtout fait en premier lieu pour le finetuning, afin de permettre de perfectionner le modèle soit même. Belle journée à vous.
@@The_Little_One_Of_Darkness j'ai pas vu tant de différence avec gpt 3.5. J'ai posé quelques questions sur des calculs de thermique, les deux font des erreurs d'analyse dimensionnelle mais le raisonnement est correct. En plus je n'ai pas utilisé 8x7B mais seulement 7B, car je n'ai pas de carte graphique et que ça traînait déjà avec le 7B donc je me suis arrêté là. Alors là future version medium voir large est prometteuse.
@@The_Little_One_Of_Darkness j'ai pas vu tant de différence avec gpt 3.5. J'ai posé quelques questions sur des calculs de thermique, les deux font des erreurs d'analyse dimensionnelle mais le raisonnement est correct. En plus je n'ai pas utilisé 8x7B mais seulement 7B, car je n'ai pas de carte graphique et que ça traînait déjà avec le 7B donc je me suis arrêté là. Alors là future version medium voir large est prometteuse.
@@12testmicro41 ça dépend de ton utilisation je dirais mais pour l'avoir essayé en mode je rajoute du "contexte" en l'état il comprenait rien pourtant j'avais fais un texte très court. En même temps je pense que je cherche un bot un peu spécifique du coup j'ai bien du mal à trouver mon bonheur pour l'instant. Je suis en train de chercher à créer le miens sur mon pc directement.
Je me demande entre la Rtx 3060 et la rtx 4070 : Nvidia indique 4070 : compute 8.9 et 3060 : compute 8.6 ......??? pfff le price n'est pas du tout pareil raa....çà fait son chemin "in my headcompute" avant d'avoir ma nouvelle config Linux, j'ai testé Jan, LM studio et Dolphin ....et je vais tester Pionokio et m'amuser avec mon Windows Gaming Ryzen 5 3600 et ses 32 go de Ram ^^
Bonsoir, entre la 3060 et la 4070 il y a plus de 3 dixièmes de différences en capacité de calcul... En réalité, la 4070 et plus de 2 fois plus puissante : Performances en virgule flottante de 16.41 TFLOPS supérieure, soit 29.15 TFLOPS vs 12.74 TFLOPS.
Désolé, mais quel est l'intérêt d'utiliser en local un LLM, facilement et en no code, certes...mais s'il ne peut accéder à aucun document, texte, qu'on pourrait lui faire ingurgiter en privé ? Cette option semble encore totalement oubliée, pourtant LocalGPT ou Private GPT semblent proposer des choses dans ce sens (mais nécessitent un editeur de code)
Salut Johan, je viens de tester jan ai avec GPT mais malgré une clé d'API générée sur mon compte celle-ci ne fonctionne pas avec jan ai et ça me met : Incorrect API key provided: sk-. You can find your API key at... j'ai bien le sk-xxxxxxx et j'ai essayé plusieurs fois mais rien ne passe. Merci à toi.
@@johansolutionsdigitales Bonjour Johan, alors je viens de tester avec un autre PC et ça fonctionne nikel étrange... Donc si d'autres on ce souci... Je retest ce soir sur l'autre PC et vous redis. Merci, tes vidéos sont top.
@@johansolutionsdigitales Salut Johan, je n'ai pas réussi à solutionner mon problème avec Jan AI sur un de mes PC (cf message plus haut). Via un autre PC, j'ai testé des gros modèles (llama 70B et Dolphin 8x7B) en local via CPU avec pas mal de RAM et bien Jan AI plante enfaite. En effet, l'inférence CPU avec de gros modèles s'arrête sans spécifier d'erreurs... Du coup je suis passé à LM Studio et là impeccable. Bon c'est long car la phase d'ingestion est super longue et après la génération est de 0,5 tokens par secondes soit 4 secondes par mots environs.
Chatbot en local sur une machine "standard": Salut, comment fabrique-t-on . . . - du chocolat? Réponse du chatbot: geubeuleumeugeureugemeuleu - du papier? Réponse du chatbot: geubeuleumeugeureugemeuleu - de la colle? Réponse du chatbot: geubeuleumeugeureugemeuleu J'ai bien fait de regarder ta video et de l'installer on va bien rigoler entre potes, ce we.
Bonjour Johan, merci pour ce tuto et comme d'habitude ludique et pro ! p'tite info de mon coté impossible d'activer le GPU, la fonction n'apparaissais pas dans les paramètres malgré le CUDA installer et la bonne version de driver (vérifié par le PowerShell de Windows), après des recherches sur les forums de JAN, il faut installer la version Nightly et la tout est OK !
Hello Luc, merci pour le partage de ton expérience, c'est intéressant pour tous ceux qui rencontreront cette difficulté. Les Forums de JAN sont une très bonne source d'infos. Dans mon cas, je n'ai pas eu à installer la version Nighly mais c'est là-bas que j'ai trouvé la solution également. Merci et bien à toi 👌🙂
L'accélération GPU n'est pas disponible avec les carte graphique de chez amd
Salut Johan, depuis le temps que je suis ta chaîne je n'avais encore pas pris le temps d'écrire un commentaire mais je dois avouer que tes vidéos sont passionnantes, et c'est toujours un plaisir de découvrir de nouveaux outils ! 👌
Un grand merci à toi ! Avec plaisir 🙏 Très bonne année !
Pareil, j’ai vu plusieurs vidéo et celle ci tombe à pique! Un like, un abo et des encouragements! Merci encore
Merci Johan et bonne année 😎⭐😚 et bravo pour tes 63k abonnés 👍
Merci Christophe, très bonne année à toi également et merci pour ton soutien 👌🙂
merci pour cette vidéo surtout par son contenu inédit et par l'utilité que présente l'installation en local de modèles de génération de contenus ,ce qui permet de se libérer un peu des contraintes des modèles en ligne.
même si ces modèles ne sont pas tous assez performants pour un initié comme vous mais pour des gens qui sont novices et de compétences moindres en la matière comme moi ,ou d'autres, cela constitue des outils de travail utile et de moindre coût.
prière de développer des connaissances ,infos et astuces pour permettre aux utilisateurs de ces modèles de les exploiter efficacement .
bonne continuation.
Merci, avec plaisir 🙂 Oui, vous avez raison, nous sommes un peu des enfants gatés avec les outils commerciaux tels que ChatGPT 4 et son ecosystème... Mais ces outils sont déjà formidables à bien des égards et peuvent rendre de grands services. J'y reviendrai...
Bien à vous
De nouveau magnifique !
✨Tout mes vœux pour cette année ✨
Merci beaucoup Luc, et très bonne année ✨😉
Bonjour ! Je découvre, merci pour ce partage et cette vidéo quali ! Bonne continuation.
Avec plaisir 😉 merci, bien à vous !
Merci beaucoup Johan, toujours du nouveau et toujours du contenu prometteur 👍👋❤️
Avec plaisir Ben, merci, bien à toi 🙂
Très intéressant . Les modèles Mistral 8x7b semblent aussi performant dans les benchtests que chatGPT 3.5 mais avec une taille permettant de tourner en local, certes avec une très bonne carte graphique, mais ça ouvre des perspectives énormes. Et tout ça est fine-tunable. Cocorico , Mistral est français et les models sont open sources.. 😉
Hello Eric, Très sympa Mistral et plus léger qu'on le pense, il tourne plutôt bien sur un PC de moyenne puissance sans carte graphique dédiée, un i5 récent ou un i7 plus ancien, 16 Mo de RAM l'emmèneront. Pour le comparatif avec GPT 3.5, il fait de sacrées fautes et il invente de nombreux mots, cela s'arrangera, c'est sûr ! Sinon c'est vraiment génial d'avoir cela en libre à la maison 👌😉
Merci pour cette présentation. J'attendais justement un truc dans ce genre (facile à mettre en œuvre) pour voir ce que ça vaut ces IA conversationnelles. Maintenant, je peux enfin me faire mon propre avis sur ces trucs.
PS : Bon après avoir commencé a joué avec ces IA, je constate que ça ne casse pas encore de pattes à un canard. Par exemple, j'ai l'impression qu'il manque la capacité de conserver le contexte de la conversation. Par exemple, dans Mistral, je lui ai demandé de me parler comme si il était un extra-terrestre. Mais il n'a pas compris l'idée par la suite de l'échange.
Merci avec plaisir, oui, ChatGPT est plus performant, même en 3.5, il faut aussi mettre dans la balance que la version de Mistral que nous avons là est beaucoup plus légère... Affaires à suivre 😉
Plutôt sympa Johan. Ça fait un moment que j'étais pas passé par là. Bonne année et merci pour toutes ces vidéos
Avec plaisir Tiemji 👌 Merci et très bonne année à toi également !
incroyable ta vidéo! je cherchais justement une alternative open-source de LM studio
Génial ! Merci pour ton retour, bien à toi 🙂
Bravo pour vos vidéos. Très instructives et très bien réalisées ! Chapeau 👍👍👍 Vivement la prochaine !
Pourriez-vous nous indiquer un tuto (ou éventuellement en faire un 😉) pour paramétrer la carte graphique (avec couda ???) et pouvoir l'utiliser avec JanAI, Ca serait vraiment super.
Bravo encore et bonne année avec l'IA
Bonjour et merci Patrick, en fait je vous donne les infos en fin de vidéo et les liens en descriptions, il n'y a rien de particulier à faire juste mettre à jour les drivers Nvidia et installer le SDK Cuda. Et ensuite vous relancez Jan.ai et c'est parti 😉 Meilleurs voeux !
Merci Johan et meilleurs voeux.
Avec plaisir Thierry 😉 merci, meilleurs vœux !
J'ai toujours appris les astuces de l'ai avec toi !
Super, c'est un peu le but de la chaine 😉👌 Merci pour ton retour, bien à toi !
Merci pour ce généreux partage.
Tous mes meilleurs vœux pour 2024😊
Avec plaisir Georges et mes meilleurs vœux pour cette nouvelle année 2024 !
Merci pour cette découverte !
Avec plaisir 🙂 Bien à vous
Tes vidéos sont toujours riches. Je te suis du Togo
Merci beaucoup 🙂 Et salutation à toi et au Togo 👋
Hello Johan,
comme d'habitude, une vidéo claire précise et détaillé. On ne peut pas charger de pdf j'imagine? Un Ia simple d'installation local pour traiter ses documents ca serait pas mal. Merci et encore bonne année 2024
Bonjour et merci, à cette heure ce n'est pas possible, mais c'est prévu en Roadmap, le projet semble dynamique, nous ne devrions pas attendre trop longtemps pour ça... Très bonne année à vous
Bonjour, merci pour la video ! Mistral c'est 7 milliards de paramètres (billion en anglais, 7B), GPT3.5, c'est 175B (GPT4 cela pourrait être 1.7 trillions). Un paramètre = poids des connections entre nœuds du réseau + bias sur les nœuds. Donc il ne faut pas non plus s'attendre à des performances cognitives comparables. Ceci dit, l'année 2024 pourrait être l'année des SLM (Small Language Model), par exemple Google a déjà prévu un Gemini nano.
Bonsoir, oui, bien sûr, il faut comparer ce qui est comparable, d'ailleurs, je le signale dans les commentaires. Oui, en effet, des processeurs aux modèles, beaucoup d'activités pour l'IA embarquée en 2024 ! 😉👌
Encore une vidéo hyper intéressante. Merci Johan!
Est-ce qu'il est possible de créer un chatbot avec ce chatgpt local. Je voudrais lui faire apprendre une documentation fonctionnelle d'une application pour qu'il répondent automatiquement aux utilisateurs de cette dernière ?
Merci Fabien, avec plaisir ! En théorie c'est possible, vu qu'il propose une API (en développement), il faudra un serveur un peu de travail de dev donc. Pour lui faire apprendre une doc, c'est en roadmap mais pas encore disponible. Bien à vous
Je m’installe pour le visionnage
Super, merci et bon visionnage 👌✨🙂
@@johansolutionsdigitales je vais installer cela aujourd’hui, c’est vraiment prometteur malgré le « faible » score comparé à ChatGPT 4
Merci Johan pour votre travail de vulgarisation. La forme comme le fond est de très bonne qualité. Je ne vois nulle part la façon d'enrichir les modèles à partir de documents personnels, liens choisis, etc..., en gros tout ce qui constitue l'apprentissage de ces IA qui, il me semble, est le principal enjeu, car leur "crédibilité" se situe dans les sources de documents qui servent à leur apprentissage . J'ai testé ChatGPT et sur les sujets sensibles (géopolitique, Economie, etc... ) elle est bourrée d' a priori, et d'idéologies mondialistes par exemple. y a t-il des modèles qui permettent d'en faire l'apprentissage ?
Bonjour, avec plaisir ! Bien sûr, il existe des moyens pour faire cela, mais cela coute plutôt cher, j'ai vu des tarifs qui débutent à 200 000 Euros, chez OpenAI c'est 2 000 000 d'euros le ticket d'entrée. Le Finetuning est plus abordable, peut-être aurons-nous la possibilité prochainement et simplement...
Même question ! comment entraîner un modèle avec mes propres données?
Je viens de refaire ma réponse au commentire@@csebastienc
Une Bonne Année pour commencer!
Merci beaucoup pour vos réponses et cette super vidéo. Je me permet de rajouter sur ce fil, je suis en plein développement d'un projet et cette vidéo tombe à pic! Une chose que je n'ai pas saisi, est t'il par contre possible, via le logiciel ou API ou autre, de connecter ces IA local a des documents (ou base de données) pour rechercher des informations? Donc pas d'entrainement mais plus de l'indexation/recherche? Ex: je lui met plusieurs documents à dispo, et je lui demande de me sortir plusieurs infos, ce genre d'idées. Mille merci pour votre travail, j'apprends beaucoup grâce à vos partages! @@johansolutionsdigitales
sympa merci beaucoup 😃
Avec plaisir 😁 Merci
Bonjour bonne et heureuse année 2024 à toi et toute la communauté.
Grand merci pour cette nouveauté d'IA en local. Elle relance la question sur l'importance des serveurs privés au lieu du cloud. Un retour en arrière? La question trouve sa reponse dans le choix entre la course à l'innovation avec Open IA, la protection des données sensibles, les connaissances à développer pour maîtriser en interne et suivre la cadence de vitesse qu'impose l'open AI.
Est ce une bonne solution à usage perso? Je n'y croix pas bcp. Cependant c'est tjrs d'avoir le choix et de faire vivre la concurrence.
Merci, meilleurs vœux 2024. En effet, le cloud soulève bien des questions 😉, ici le local offre surtout la protection des données. Pour l'usage, tout dépend des besoins et de la finalité, toutes les tâches ne réclament pas la puissance d'un GPT4... Ceci dit, il parait que l'avenir est aux modèles légers et complémentaires, nous verrons bien.
Bien à vous
Salut Johan, bon, évacuons les mondanités tout de suite : Bonne année !! ça c'est fait... (euh...c'est vraiment sincère quand même einh!) Alors, je mets ta vidéo super intéressante en pose pour commenter au moment où s'affiche la conso cpu et mémoire sur ton pc car là, ça pique...15 G de mémoire utilisée sur 34 Go dispo ? Tu as chargé X models en même temps ou c'est la conso mémoire de base du modèle que tu utilises ? Parce que là, bah, je vais devoir attendre un peu pour tester du coup, mon pc n'ayant "que" 16 Go de ram...
Un modèle 7B prend en moyenne 4.5Go de ram en quantisation 4b.
Merci 👌
Salutations à toi également 😉 Alors moi, j'avais en même temps 2 instances de chrome ouvertes avec plus de 80 onglets ouverts... Plus OBS Studio qui enregistre en live l'écran et les cams... Donc, tu as de la marge à mon avis, le modèle ne prendra que 4 ou 5 GO en RAM. Cela est confirmé ci-dessous par @MultiMustash. Tu peux y aller, bien à toi
Bonjour, Très bonne vidéo, merci, je vais essayer
Rythme juste un peu lent, mais j'ai regardé la vidéo en x1, 75
Avec plaisir 😉 merci ! Sinon, le rythme est parfait, c'est le mien. Bien à vous !
Merci Johan pour cette excellente présentation de cette IA. Je l'ai installée très facilement sur mon portable (HP Probook i7 de 11ème génération, 16 Go de RAM). Par contre, à une simple question comme "Quelle est la différence entre un indien et un indou", cela rame tellement que j'ai dû supprimer la tâche. Si l'IA met 10 ou 15 minutes à répondre alors que ChatGPT met 30 secondes, il y a un problème. Quelle configuration faut-il exactement pour utiliser cette IA dans de bonnes conditions ?
Bonjour Marc, en effet, c'est un peu étonnant, sur une configuration un peu similaire, je n'ai pas eu cette expérience. Pouvez-vous me dire si votre portable était branché au secteur et quel modèle vous avez lancé ? Bien à vous
@@johansolutionsdigitales Bonjour Johan. Le portable était branché sur secteur. J'ai attendu que toutes les mises à jour Windows 11 soient installées avant de lancer l'IA avec le modèle mistral-ins-7b-q4.
Mr Merci 😁
Avec plaisir 😉 merci, bien à vous !
Intéressant. J'ai voulu jouer un peu avec, mais après avoir activé le GPU, je confirme que l'IA (Mistral Instruct) débloque grave !
Example
User: bonjour
Jan: Bonjour! Hallucid sentence: "Way to the question about the chemise, "French Greeting Greeting
User: Je n'ai pas compris ce que tu dis
Jan: Désolide répondre de l'expression que tu disait "I do not understand what you say is not understood what you saying I do not understand what you say not understood said said " "French Greeting" I did not understand what you say not understood what you say? Je n's apologies, "I'
"I' pour " " I I don'n's sentence is not understood what you say but I I Je "Je n'entendre about the sentence is not understood what you are saying I I are not understand what you said. Je n's sentence is a a a I I you you speak French Greeting Hallucid sentence: "I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I " I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I I
Wahoo ! En effet, cela m'est également arrivé avec des répétitions infinies...
Bravo pour cette vidéo qui répond à mon souhait d'avoir une solution locale. Ce logiciel est-il capable de manipuler des images ? Avez-vous testé cette possibilité ? Pour ce besoin y a-t-il des modules plus adaptés ?
Encore merci pour toutes les infos, je vais explorer votre chaîne.
Bonsoir et merci🙂 Non, Jan est spécialisé sur les LLM textuels, pour l'image, regardez du côté de mes vidéos sur Pinokio et sur les ia text to image. Bien à vous
est-il possible d'utiliser un gpu amd à la place des cudas cores, est-il possible de lier jan ai avec un model de voix utiliser pour le deep fake
Bonsoir, je ne sais pas, il vous faudrait voir sur le Discord de Jan.ai et leur demander.
Bonjour Johan j'ai suivi votre présentation , mais ma pauvre bécane à soufert cpu 100 % , je voudrais connaitre la configuration minimale et celle recommandé , car avec un vieux i5 , ça galère merci et mes meilleurs
voeux et très bonne année 🎖🏆
Super, merci ! Question : y a-t-il un SDK pour ROCm (Radeon Open Compute Ecosysttem), l'équivalent de Cuda sur les cartes graphiques d'AMD ?
Merci, avec plaisir 🙂 Il me semble que oui, cependant il est moins populaire que celui de Nvidia et moins implémenté en OpenSource
Bonjour, super vidéo. Je ne connais rien en AI mais est-il possible avec JAN AI de lui faire lire pleins de documents PDF ou mon coffre Obsidian afin qu'il puisse utiliser les infos qu'il contient ? Belle journée.
Cela viendra mais cette fonction n'est ps encore présente sur Jan.ai, je ne manquerai pas d'en reparler.
@@johansolutionsdigitales merci de la réponse
❤
👌😉
est ce que vous prévoyez un comparatif avec ce type de solution comme Farday, LLM studio et Jan ?
Bonsoir 🙂, je ne sais pas, à priori, je comparerai plutôt des modèles plutôt que les plateformes. Mais si elles se différencient plus largement, ce n'est pas exclu. Bien à vous
Bonjour Johan et tout d'abord merci pour toutes tes vidéos très instructives. Peux-tu me dire comment incruster de la vidéo dans une vignette ronde comme celle que tu utilises ?
Merci d'avance et bonne année 2024 !
Bonjour, merci, avec plaisir 🙂 Pour faire cela j'utilise un filtre "masque d'image/mélange" appliqué sur la source caméra sur OBS, et il suffit de sélectionner "Masque Alpha" puis une image PNG d'un rond noir sur fond transparent.
Bonne année ✨
merci beaucoup et bonne continuation à toi et ta super chaine :)
@@johansolutionsdigitales
merci infiniment pour cette vidéo encore une fois.
est ce que tu sais si parmis ces modèles, il y en a un qui est non censurée.
Car pour la plupart des questions, on a le droit au message lourd du meme type qu'open AI, "en tant qu'assistant, je n'ai pas le droit de ..."
je sais qu'il y a certain modèle sur d'autres logiciels mais je me demandais si sur celui ci il y en avait un ?
merci !
En effet, sur les modèles listés, cette info n'est pas stipulée. Cependant, vous pouvez facilement installer de nouveaux modèles manuellement, voir ici > jan.ai/guides/using-models/import-manually/
Bien à vous
Bonjour, merci pour toutes vos vidéos que je suis depuis longtemps. Il y a t-il une configuration minimale sur les CPU Intel par rapport à la génération?
Bonjour Loic, merci pour ton soutien 🙂 Pour les processeurs Intel, ils disposent des premières instructions destinées aux IA depuis 2013, ceci dit, plus ils sont récents, mieux c'est. Côté références, les derniers i5 sont une bonne entrée en matière. La RAM a aussi son importance, les modèles y sont chargés et 16 Go sont souvent le minimum. Enfin, les cartes Nvidia sont fort appréciées et contribuent souvent à un calcul rapide et efficace.
Salut ! Très bonne vidéo ! J'ai essayé d'installé le CUDA toolkit, quelle version faut instalé ? Je sais qu'il faut que j'installe la 12.3, mais dans cette version il me propose la version 10 , 11 , server 2019 et server 2022. Pourrais tu me dire la quelle tu as pris ? Merci d'avance !
Ça, c'est pour la sélection de votre version de Windows 🙂 Si vous êtes sur Windows 10, vous choisirez 10...
merci !@@johansolutionsdigitales
La longueur du string dans les instruction de départ a elle une limite ? Merci d'avance
Certainement, mais je ne les ai pas touchées encore, je lui ai collé 200 mots dans un test, c'est passé... Bien à vous
Merci Beaucoup Pour les videos .Enfaite j'ai deux question La premiers c'est est ce que une fois les models télécharger est ce qu'il évolué . La deuxième c'est est ce qu'il est possible de l'avoir sur le server de la maison pour en fait profiter a la famille
Merci, avec plaisir 😉 Si les modèles évoluent, il faudra les télécharger à nouveau. Pour l'accès en réseau, c'est en théorie possible, à tester 😉 Bien à vous
merci ! Je cherche un moyen de lui faire apprendre des documents pour l'interroger sur une base de connaissance, comme Danswer par exemple ? Une idée ?
Hello, Danswer pour de la RAG (retrieval augmented generation) semble très bien et offre de larges possibilités, pour des outils plus légers voir Reor ou PDFtoChat. Open WebUI + Ollama sur Pinokio offre aussi cette possibilité en local 🙂
Bonjour Johan ! Il y a-t-il un moyen de lui donner des documents / photos qu'il puisse garder en mémoire à la manière des API d'open AI. ( Exemples de documents à suivre )
Hello 👋 C'est prévue dans les prochaines mises à jour pour des documents 🙂
@@johansolutionsdigitales Okay je reste donc à l'affût !
Salut, oui avec GPT4ALL, LM STUDIO, ... un de plus, il indique les RAM. C'est OK !
Merci, oui, c'est cool 🙂
Y aussi Ollama et Ollama Web Ui aussi (Dockerisable).
Super, oui ! Merci pour l'info 👌🙂
Attention à la confusion :
Mistral 7B
Mixtral 8x7B
Dans la vidéo il s'agit de Mistral 7B instruct q4 ( 4-bit) et non de Mixtral 8x7B instruct .
Je ne parle pas de Mixtral 8x7B !?
Vous faites l'installation de Mistral 7B et dans les commentaires je sens une confusion avec Mixtral 8x7B. Il n'y a pas les 8 MoE sur 7B.
D'ailleurs le modèle 8x7B y est, seulement 26Go.
Et merci je viens de télécharger pour tester plus tard.
@@rodolpher8056 Je ne parle nulle part de Mixtral ?! Vous devez confondre avec une autre vidéo
@@johansolutionsdigitales tout à fait d'accord, vous m'avez mal compris. C'était juste qu'en lisant les commentaires il m'a semblé que certains espèrent en chargeant 7B avoir les perfs de 8x7B d'où mon 1er msg.
Il existe LM Studio qui est également open source. Y a t-il une différence particulière ?
Très bien aussi, mais je trouve que Jan a pas mal de potentiel de développement 🙂
Bonjour. J'ai téléchargé l'IA et j'utilise Mistral. Il y'a quand même des lacunes. J'ai testé un peu. Par exemple elle a été infoutue de me donner la date de la mort d'un chanteur célèbre. A chaque fois elle se trompait. D'autre part, comme c'est du hors ligne, comment fait-on pour la mettre à jour ? Y'a t-il sur le site des modules de mise à jour ? Merci d'avance.
Bonsoir, personnellement ce ne sont pas des questions que je pose aux IA, un moteur de recherche est bien plus fiable pour cela
Oui oui. Je voulais juste tester.@@johansolutionsdigitales
Hello Johan, as tu deja testé l'AI de Mistral?
Bonjour Arnaud, Oui, j'ai d'abord testé Mistral et il faut que cela progresse de mon point de vu, limité, fait des tonnes de fautes... Bref, en production, c'est difficile... Cependant j'ai également testé Mixtral 8x7B et là, certes, c'est plus gros et plus lent, mais les résultats sont vraiment bons !
Bonjour Johan,
j’ai installé llama 3 8B pour voir et par curieusement,
j’ai eu l’idée de lui posé cette question;
Quelle est la dernière date de ton entraînement,
il m’a répondu ceci;
Je suis un modèle de langage construit à partir de données d'entraînement qui ont été collectées jusqu'en 2021. Cela signifie que la dernière date à laquelle j'ai été entraîné avec des données est 2021
savez-vous si ses modèles sont condamnées a demeurer stagnant à cette années 2021?
Bonjour Alain 🙂 L'ia vous à fait une blague, les modèles 7B et 80B du lama 3 utilisent des dates d'arrêt des connaissances différentes. Le modèle 7B a une date limite de connaissance de mars 2023, tandis que le modèle 80B de Llama 3 a une date limite de connaissance de décembre 2023. Pour le 8b ce doit être également une de ces 2 dates, à vérifier.
Bien à vous
Ha Ok ça explique pourquoi par test je lui avais posé cette question;
Quel évènement c’est produit le 7 octobre 2023 à Israël,
il m’avais répondu;c’est une blague cet évènement n’a jamais eu lieu,
si je comprend bien,pour mettre à jour il faudra désinstaller et réinstaller vu qu’ils sont en local et qu’ils n’ont pas accès au web.
Merci
Bonjour, j'ai un pc amd (cpu r5 5500 et gpu rx 6650xt) donc à priori pas de support de cuda mais il existe 2 choses qui peuvent éventuellement changer la donne : Rocm et zluda. Je suis actuellement en train de chercher activement comment bénéficier de l'accélération matériel gpu avec amd. D'après les premières infos que j'ai trouvé le support de Rocm est à 100% à partir de la rx 6800 ce qui n'est pas mon cas mais je vais persévérer et espérer trouver une solution. Je suis actuellement à 8 token / sec avec juste mon cpu mais si je peux passer à 30 token/sec voir même juste 20/sec je serai très content :)
Et oui, il est vrai que l'omniprésence de CUDA relègue injustement de nombreuses bonnes cartes... Bonnes recherches et merci du partage ! 👌
Bonjour je souhaiterai avoir un Chat GPT version libre comme celui ci, en local, que je pourrai interroger comme tu viens de faire mais avec une bibliothèque de documents spécifiques, PDF, WORD, etc... est ce possible s'il te plait ?? Merci pour l'ensemble je déguste chacune de tes vidéos.
Bonsoir, merci, avec plaisir 🙂 Dans de récente vidéo, je parle d'IA locales et d'outils qui permettent ça et j'y reviendrai en détail dans de prochaines vidéos.
Pour une utilisation en local, pourquoi ne pas privilégier un Small Language Model (SML) du type Phi-2 ?
Peut-être à cause de la qualité des résultats ? Je ne le connais pas... Il vous faudrait leur demander 🙂
Bonjour,
Merci pour cette belle découverte,
Il sera intéressant de connaître les possibilités de leur api.
Est ce que le meilleur modèle de language (le français) est censuré?
Merci pour tes vidéos
Bonsoir, la documentation de l'API est sur le site, elle est amenée à évoluée... Tous ces modèles sont certainement alignés 🙂 Bien à toi
Merci pour cette découverte. Comment réaliser un fine tuning des modèles avec de la documentation texte perso (donc créer un chatbot sur sa doc) ? Autre chose, avec OpenAI et sa clef API, on perd l'aspect local non ?
Bonjour et merci. Pour l'instant, pas de finetuning dispo, c'est prévu il me semble. Oui lorsque l'on utilise l'API OpenAI, le modèle n'est évidement plus local 😉
Bonjour, merci pour cette vidéo.
C’est quoi leur intérêt de permettre d’avoir accès à ce logiciel gratuit ?
Avec plaisir, merci 🙂 ! La diffusion de leur modèle, la publicité gratuite, son adoption par les développeurs...
Salut Johan. Quelles avantages par rapport à LM Studio ?
Aucune idée Cedric, je ne l'ai pas encore testé... L'approche technique est intéressante, avec une version mobile et l'API en roadmap... L'utilises-tu toi-même ?
quel differences par rapport a GPT4ALL ?
Par énormément pour le moment, quelques différences de fonctionnalités, mais étrangement de meilleurs résultats avec les mêmes modèles sur Jan.ai. Je ne m'explique pas pourquoi, mais la différence est énorme...
Peut on analyser des fichiers word, powerpoint en local avec cet IA en local ?
Oui, c'est possible et efficace sur Open Web UI, Jan ou GPT4all
Bonjour. Quand je lui envoie le texte auquel je veux qu'il réponde, il me mets des partie de mon texte en code et me dit : ''The model gpt-4 does not exist or you do not have access to it. " alors que je parle bien à GPT 4 à coté --'
up si je mets le 3.5 il mets ça: You exceeded your current quota, please check your plan and billing details. For more information on this error
Soi-disant gratuit mais votre programme de f*p me parle de payer; si quelques données sont volées je vous en tiens pleinement responsable.
Bonjour, en fait, il faut que vous mettiez une clé API de OpenAI comme je l'indique pour cette partie. Il faut bien sûr avoir un compte API OpenAI, j'en parle dans certaines de mes vidéos comme ici : ruclips.net/video/5AdtN8oX1yg/видео.html
salut le mien fonctionne bien suir mon pc mais il me parle en francais avec traduction englais en dessous du texte, peut on mettre que le francais ??
Hello, super, il suffit de lui demander, vous pouvez également lui demander dans les instructions (à droite)
Bonjour Yohan, je suis sur Chromebook. Dois forcement changer pour avoir ces IA en local ?
Bonsoir, oui Yannick, je ne crois pas que la plateforme Chromebook puisse accueillir ces IA rapidement. Un portable de gaming avec un i5 ou + de dernière génération et une RTX permettra de faire tourner ces IA.
Merci Yohan@@johansolutionsdigitales
Bonjour, je viens de tester Mistral et cela ne fonctionne pas. Message d'erreur "Error occurred: Failed to fetch"
Savez-vous, ce qu'il ne va pas ?
Bonsoir, avez laissé le téléchargement se faire jusqu'à son terme ? Ce pourrait être la cause, sinon supprimez-le et réinstallez. Combien de RAM avez-vous ?
@@johansolutionsdigitales 16go de ram
@@johansolutionsdigitales Bonsoire, je dispose de 16Go de Ram et j'ai déja ré installer. Sa ne marche pas non plus.
@@johansolutionsdigitales RE bonsoire, Je pense avoir trouvé le problème, Mon CPU passe à 100%
@@johansolutionsdigitales je possède un vieux cpu FX8350 8 coeurs 4.0Ghz
L'intérêt d'avoir un bot LLM local c'est surtout de l'entrainer sur ses données propres (perso ou pro) : comment le configurer ? Merci !!!
Bonsoir 🙂, non pas forcément, il y a des tas d'autres utilisations intéressantes, mais en effet entrainer un modèle est passionnant, mais aussi très couteux en temps et en argent. Cela évoluera sans doute... Bien à vous
@@johansolutionsdigitales Sans nécessairement entrainer le modèle, il serait très utile de pouvoir fournir une knowledge base à base de fichier type .pdf et de pouvoir aussi connecter l'assistant à des API (Prévision météo par ex.) comme comme le fait OpenAI with Chat GPTs. Existe-t-il une version open source de GPTs pour créer des assistants plus personnalisés? Mes recherches restent sans succès. Merci pour vos videos et tutos. Excellentes explications pour les débutants.
Bonjour,
Est-ce qu'il peut gérer un dossier local ?
Bonsoir 🙂
Pas pour le moment, mais c'est prévu.
Merci, avez vous une date en tête ? Même en béta @@johansolutionsdigitales
salut Johan ne m'en veux pas car moi je plane toujours pour l'informatique malgré que tu explique super bien merci...
Il n'y a pas de soucis Daniel, bien à toi cher ami ! 🙂
De combien de Go de RAM est-ce que votre RTX 4070 dispose?
12Go de VRAM, les prochaines Super et Super TI seront dotés de 20Go il me semble. Attention aux TI qui ont parfois des soucis en IA
Bonjour et merci 👍
Cependant, il faut un PC assez puissant hélas.....sur mon MX Linux avec son I5 avec 6GO de Ram et une GTX745 😂😂 je laisse tomber
bon çà me motive à me faire une new config et avec une Nvidia compatible IA...c'était prévu au programme 2024 😎
Hello 🙂 Oui, je pense que votre config actuelle est trop légère, cependant, un I5 de dernière génération et 16Mo de RAM sans carte GPU s'en débrouille, bien à vous
J'étais encore avec 8Go sur Debian il y a 6 mois et maintenant 64Go avec 64 autres à venir. Ma rtx 3060 12 go fait encore le taf mais utilise déjà beaucoup ma patience.
@@rodolpher8056 HA bien, la rtx 3060 est bien cotée en ENABLE- CUDA , et au niveau proc tu as quoi ?
moi je ne sais pas encore quel config je vais assembler pour mon Linux ....
Au départ c'était pour ComfyUi d'où la 3060 mais petit budget donc Ryzen 5 3600. Il faut qu'il tienne les finances sont à sec.
@@rodolpher8056 Sur mon Windows, j'ai un ryzen 5 3600 32 GO en Ram mais hélas, une Sapphire AMD RX5600T ......
çà tourne lentement avec JAN et mistral instruct 7X8 26GB
Sur LM Studio, c'est plus rapide, et j'ai testé le Dolphin non censuré (celui qui doit sauver les chats en prompt 😂)
Par contre, pfff compliqué d'ouvrir serveurs, plusieurs agents et de les faire bosser....
Prochainement, je vais tester Pinokio pour voir...
Ma new config sera que pour après l'été hélas...je compte y mettre un I5 13400 F et une RTX 3060 OC et 64 GO de Ram !!!
Merci pour la video !
Par contre est il connecté au web ! Peut on le faire ?
Avec plaisir, merci. Je ne suis pas sur de comprendre votre question.
Mais oui, il peut se connecter à l'API OpenAI
@@johansolutionsdigitales par exemple pour lui donner de la doc d'un logiciel ? Pour ensuite pour faire des requetes precises !:)
gen 2 sera open source un jour ?
Je ne pense pas, mais qui sait, lorsqu'ils auront GEN3...
J'ai testé mistral en suivant cette vidéo et honnêtement je ne le trouve pas incroyable. Avec mon petit prompt il à rien compris et il est totalement passé à côté, alors que GPT on peu lui donner des précisions il comprend tout de suite...
Oui, mais la différence de taille entre ces 2 modèles est tellement énorme... Que l'on ne peut pas en attendre la même chose. Bien à vous
@@johansolutionsdigitales Vous avez raison, je pense que c'est surtout fait en premier lieu pour le finetuning, afin de permettre de perfectionner le modèle soit même. Belle journée à vous.
@@The_Little_One_Of_Darkness j'ai pas vu tant de différence avec gpt 3.5. J'ai posé quelques questions sur des calculs de thermique, les deux font des erreurs d'analyse dimensionnelle mais le raisonnement est correct. En plus je n'ai pas utilisé 8x7B mais seulement 7B, car je n'ai pas de carte graphique et que ça traînait déjà avec le 7B donc je me suis arrêté là. Alors là future version medium voir large est prometteuse.
@@The_Little_One_Of_Darkness j'ai pas vu tant de différence avec gpt 3.5. J'ai posé quelques questions sur des calculs de thermique, les deux font des erreurs d'analyse dimensionnelle mais le raisonnement est correct. En plus je n'ai pas utilisé 8x7B mais seulement 7B, car je n'ai pas de carte graphique et que ça traînait déjà avec le 7B donc je me suis arrêté là. Alors là future version medium voir large est prometteuse.
@@12testmicro41 ça dépend de ton utilisation je dirais mais pour l'avoir essayé en mode je rajoute du "contexte" en l'état il comprenait rien pourtant j'avais fais un texte très court. En même temps je pense que je cherche un bot un peu spécifique du coup j'ai bien du mal à trouver mon bonheur pour l'instant. Je suis en train de chercher à créer le miens sur mon pc directement.
Mistral existe depuis un moment ;-)
Et alors ?
Je me demande entre la Rtx 3060 et la rtx 4070 : Nvidia indique 4070 : compute 8.9 et 3060 : compute 8.6 ......??? pfff le price n'est pas du tout pareil
raa....çà fait son chemin "in my headcompute" avant d'avoir ma nouvelle config Linux, j'ai testé Jan, LM studio et Dolphin ....et je vais tester Pionokio et m'amuser avec mon Windows Gaming Ryzen 5 3600 et ses 32 go de Ram ^^
Bonsoir, entre la 3060 et la 4070 il y a plus de 3 dixièmes de différences en capacité de calcul...
En réalité, la 4070 et plus de 2 fois plus puissante : Performances en virgule flottante de 16.41 TFLOPS supérieure, soit 29.15 TFLOPS vs 12.74 TFLOPS.
Désolé, mais quel est l'intérêt d'utiliser en local un LLM, facilement et en no code, certes...mais s'il ne peut accéder à aucun document, texte, qu'on pourrait lui faire ingurgiter en privé ? Cette option semble encore totalement oubliée, pourtant LocalGPT ou Private GPT semblent proposer des choses dans ce sens (mais nécessitent un editeur de code)
De quoi êtes-vous désolé ? Comme je le dit dans cette vidéo, cette fonctionnalité est prévue en roadmap, donc patience.
Quoi ? Le GPT4 ou le 3.5 ??
Celui que vous voulez
ça tournerai sur un macbook air M1 ?
Quel espace disque est-il nécessaire ?
Sans connection internet ?
Ça peut aider des personne handicapés?
Bonjour 🙂 Je ne sais pas, possiblement, à quoi pensez-vous ?
Bonjour
Hello 🙂
dilète ^^
🤔
silicone ?
Mac M1, M2, M3
Ah moi, c'est le CHIEN QBC ou rien.
?
@@johansolutionsdigitales "chat, j'ai pété" m'a toujours fait rigoler 😁
...
😶
Surtout Pas !!!!!!!!!!!!!
De quoi parlez-vous ?
Lm studio est meilleur
À voir
c'est un programme pas une IA
C'est une interface pouvant accueillir des IA et non un programme
Merci beaucoup Luc, intervention décisive 👌 Tous mes vœux !
😶
Pas ouf moi c'est hyper lent meme sur un i7 bon pas trop jeune mais quand meme 3 euro pour chier du text lol
De quoi parlez-vous ? 3 euros pour quoi ? Et la vulgarité ?
Salut Johan, je viens de tester jan ai avec GPT mais malgré une clé d'API générée sur mon compte celle-ci ne fonctionne pas avec jan ai et ça me met : Incorrect API key provided: sk-. You can find your API key at...
j'ai bien le sk-xxxxxxx et j'ai essayé plusieurs fois mais rien ne passe. Merci à toi.
Bonjour Gauthier, étonnant, je n'ai pas de soucis avec ça, as-tu des crédits ou un moyen de paiement déclaré sur l'API ?
@@johansolutionsdigitales Bonjour Johan, alors je viens de tester avec un autre PC et ça fonctionne nikel étrange... Donc si d'autres on ce souci... Je retest ce soir sur l'autre PC et vous redis. Merci, tes vidéos sont top.
Merci pour ton retour, c'est intéressant et utile 👌cela est bien mystérieux 🙂 Merci pour le soutien ! @@gauthiersornet6051
@@johansolutionsdigitales Salut Johan, je n'ai pas réussi à solutionner mon problème avec Jan AI sur un de mes PC (cf message plus haut). Via un autre PC, j'ai testé des gros modèles (llama 70B et Dolphin 8x7B) en local via CPU avec pas mal de RAM et bien Jan AI plante enfaite. En effet, l'inférence CPU avec de gros modèles s'arrête sans spécifier d'erreurs... Du coup je suis passé à LM Studio et là impeccable. Bon c'est long car la phase d'ingestion est super longue et après la génération est de 0,5 tokens par secondes soit 4 secondes par mots environs.
Chatbot en local sur une machine "standard":
Salut, comment fabrique-t-on . . .
- du chocolat? Réponse du chatbot: geubeuleumeugeureugemeuleu
- du papier? Réponse du chatbot: geubeuleumeugeureugemeuleu
- de la colle? Réponse du chatbot: geubeuleumeugeureugemeuleu
J'ai bien fait de regarder ta video et de l'installer on va bien rigoler entre potes, ce we.
😶
Merci à toi, je test ça merci ;) #davidsimvr
Avec plaisir 😁 et bons tests !