Comment extraire les données d'un site web pour en faire un Assistant IA
HTML-код
- Опубликовано: 6 сен 2024
- Dans cette vidéo, je vous explique comment installer GPT Crawler afin de récupérer l'ensemble du contenu d'un site web pour ensuite l'utiliser comme base de connaissance dans un Assistant ChatGPT.
★ POUR SOUTENIR LA CHAINE ★
Venez voir ce que je vous propose ici : / korben
★ RETROUVEZ-MOI SUR TWITCH EN LIVE ★
Je fais également du live stream sur : / korbenfr
⚑ S'ABONNER A LA CHAINE ⚑
Si vous ne voulez pas rater les prochaines vidéos, n'hésitez pas à vous abonner, à cocher la cloche et tout le reste via www.youtube.com...
★★★ RETROUVEZ-MOI AILLEURS ★★★
Laissez un commentaire sur cette vidéo et j'essayerai d'y répondre. Ou vous pouvez également vous me retrouver sur différentes plateformes sociales :
Mon site : korben.info
Pour s'abonner au podcast : paralleles.org
Twitter : / korben
Instagram : / korben00
TikTok : / korbeninfo
Facebook : / manueldorne
La chaine RUclips Webosaures : / @webosaures
✔ Liens mentionnés dans la vidéo ✔
github.com/Bui...
chat.openai.com
Merci d'avoir regardé, liké et/ou partagé - j'apprécie vraiment :)
Faites attention à vous
#Korben
Le même chabot sur des fichiers pdf ce serait top
Utilises obsydian ( logiciel ) avec le plugin smart connexion... C'est magique
Salut, oui ce bot fonctionne bien de mon côté mais il ne traite pas les PDF, il y a t il une astuce ?
Merci, toujours enrichissant, je vais regarder ça de plus près comme chacune de vos Vidéos, 👍🤝
Bonjour. La ligne merci beaucoup pour la vidéo. C’est une bonne astuce. Je testerai. Bonne continuation
Avec plaisir
Merci beaucoup. Est ce qu'il y a aussi simple comme procédure pour faire la même chose avec un LLM en local svp ? Je connais assez peu et j'ai un peu cherché mais je n'arrive pas a faire comprendre la doc à mon IA.
Merci chef des internets
Lui ? 😂 j crois pas non 😅
excuse moi mais t'es qui ? le mec de la vidéo ça fait 20 ans qu'il est dans le milieu de la tech, il a sorti des livres, il a l'une des plus longue longévité en etant solo, et toi ?@@elfo1799
Concis, efficace, Bravo ;)
Merci beaucoup pour le tuto. Je cherche le moyen de faire la meme chose à partir d'un documentation qui se trouve dans des pdf. Une idée ? Merci.
Ça va me servir. Merci !
Merci Korben pour cette vidéo sur ce sujet intéressant de création d’un fichier regroupant les data d’un site web. Existe t’il d’autres outils du même genre? Malheureusement pour moi, il ne fonctionne pas sur mon mac, à travers mon terminal, l’installation est apparemment Ok, le config.ts est rempli avec le site test, le port est Ok, j’ai longuement discuté avec chatGPT pour trouver la porte de sortie, mais c’est un raté pour le moment. Lors du lancement du crawl npm start, il se lance mais n’arrive pas à récupérer les data (failed), il finit par "found 0 files to combine". J’avais changé le port 3000 en 5000 dans un .env mais ce n’est apparemment pas ça le problème. Mon coupe-feu est désactivé. J’ai aussi testé de changer le nom de sortie en .html au lieu de json. Un peu dégoûté 😅
Merci
BOn j'ai tenté avec un site web de 1000 pages mais il ne parvient pas à générer une réponse. J'obtiens erreur sur erreur. Est-ce trop d'infos pour chatgpt?
Bonjour, Quelqu'un sait pourquoi je ne vois pas le menu explore dans le menu de gauche ? je suis pourtant bien connecté. Merci
Cool, mais comment tu fais un chatbot basé sur ça via l api openai ?
Salut, et merci Korben pour ça, oui ce bot fonctionne très bien de mon côté mais il ne traite pas les PDF, il y a t il une astuce ?
Bonjour, je cherche à créer mon propre gpt mais je n'ai aucune connaissance en code. Donc j'ai regardé votre vidéo en comprenant dans les grandes lignes ce que vous faisiez mais n'ai aucune idée de par où commencer. Je dois me former sur python d'abord ? De quelles connaissances j'ai besoin au départ pour que cette vidéo me soit compréhensible ?
Merci de votre aide!
J'ai l'impression que ça ne marche pas pour tous les sites, comme ceux qui sont écrit via des scripts car j'try de scraper un site et j'ai bien les bonnes urls et ça me donne pas le résultat attendu
Merci pour cette vidéo, es qu'on peux rendre disponible ce chat Bot a des utilisateurs qui ne sont pas premium sur chatGPT?
Dans une application tierce ou n'importe où autre que chatGPT ?
Salut Korben
J'ai des erreurs sur l'upload des deux premiers json, le chat-bot n'en veut pas. Bizarrement il prend le troisième et dernier, mais ce n'est pas une question de taille, puisque le fichier peu faire 25Mo au maximum. Je vais voir avec le createur du crawler.
Salut... est-ce que c'est le même principe que scraper et peut crawler n'importe quel site? Merci et Bne vidéo
Hate de voir comment crawler s en sort sur des sites plus complexes et s il peut récupérer des données dans un espace authentifié
Peut-on ajouter des match ? Ou faut relancer le script avec un autre match ?
C'est quoi cette obsession pour l'IA ???? Cela fait 2 jours que je demande une image simpliste à une IA (j'en ai même essayé une autre !). L'image est belle, mais ce n'est pas ce qu'on lui demande, c'est bête à manger du foin !!!!
Il faut etre précis exagérément dans le prompt si on veut que ca colle avec ce qu’on s’imagine
@@ludovicasebashi5215 plus on est précis, pire ça est !! Même le signe de l'intégrale est difficile à avoir, même en mettant tout en anglais ! ça fait un peu ce que ça veut, sans qu'on comprenne pourquoi, et on voudrait faire piloter des avions aux IA ! Bonne chance !