Scraper instagram: Exemple de scraping avec Python
HTML-код
- Опубликовано: 5 окт 2024
- Salut à toutes et à tous, aujourd’hui une vidéo un peu plus longue pour vous montrer un exemple un peu plus concret de scraping avec Python. On scrape Instagram, ou plutôt un profil Instagram.
CONTACT: contact@ninjascripter.com
Pour voir plus clairement l'arborescence dans un json, tu peux le copier-coller dans un json verifier: ça te le trie avec des menus déroulants, indentés pour chaque niveau de l'arborescence
j’ai été choqué quand tu as parler en français mdrrr enfin un programmeur fr je te soutiens merci pour ta vidéo
C'est très clair, même pour un débutant, merci!
Merci beaucoup pour ces très bonnes explications, c'est super clair.
Bonjour
Super tuto et superbe chaîne je vous encourage
Si vous pouvez faire une vidéo sur comment scrapper le site leboncoin ça serait top
Merci
super merci jai suivi toute la série c super
Hey j'adore t'es vidéos et j'aurais kiffé que tu scrape un site internet et que tu le mette sur une app mobile avec React-Native donc en gros que ton scraping genere un ficher JSON ça aurait été démon si tu fais ça :D
@Sae x . mais what comment tu sais ? C’est mon autre compte excuse 😌
Bonjour, Merci beaucoup pour ces vidéos c'est très clair. Je voulais savoir si c'était possible un scraping des profils linkedin car actuellement je suis dessus et j'ai quelques blocage (Une petite vidéo sur le scrapping de profils linkedin ou si l'on a deja un certains nombre de url linkedin) Merci d'avance
Merci pour cette vidéo, j'ai essayé de suivre le tuto mais le site n'est plus identique j'ai l'impression. Si c'est le cas, est-ce que tu pourrais remetre à jour ta vidéo ? Un grand merci :)
merci pour cette video... une video sur un exemple de scraping de donnees avec une action derriere serait magnifique... je pensais par exemple à scraper les liens des abonnements ou abonnes sur une page et les follw derriere avec des conditions (tags, nb abonnes, bio ou date du dernier commentaire)
Bonne idée, je prend note
tu peux scrapper linkedin et recuillir des information comme le nombre de like et commentaire ainsi que quelques information du post
tres top merci
Comment scraper une vidéo sur un site de streaming (youtube, netflix, ou autres sites de streaming)
Sinon super vidéo
Pour une vidéo tu as la commande ytdownload qui marche très bien
@@user-jm3ix9kg3w Dans ÿthon?
Bonjour, super boulot ! Une question néanmoins, si on rajoute " .text" à la fin du " 'script', {'type': 'text/javascript'})[3] " le résultat dans le cmd ne retourne rien. Savez-vous pourquoi?
faut verifer les balise à identifier
@@bigben001 Merci pour l'indice, en vérifiant les balises ont pourtant l'air correctes ...
@@bigben001 .findAll('script' ,{'type' : 'text/javascript'})[3].text erorr
Bonjour, superbe vidéo ! Mais que faire si en passant par python, la page instagram renvoie 'page not found' alors que sur un navigateur classique ça marche ? Merci !
Salut un tuto sur comment, si je créer un logiciel et que je veut une fonction qui cherche sur Wikipedia ou autre à ma place juste en mettant des mot clef. Sans avoir à trouver les id de chaque page car vu que c'est un site communautaire les balise ne sont peut-être pas les même ?
Peut être un peu d'ia 😂
Merci continue comme ça 💪
Merci très bonne idée, pas besoin d'IA pour ça. Il y a un tas de méthodes, ça pourrait faire un bon sujet pour les explorer ! :)
Salut je suis un peu bloquer... J'essaye de scraper un site donc, cependant chaque balise que j'essaye il me met None...
Pour tu m'aider ?
Bonjour, je me demandais pourquoi instagram ne bloque pas ces requêtes, aurais-tu une idée ?
Salut tu pourrais faire une vidéo ou tu fais un site avec l’outil d’analyse pareil que le site que tu montres dans la video stp ?
Bonjour,
Une question , lorsque je rajoute .text
à la fin du script = soup.findAll('script',{'type':'text/javascript'})[3].text le résultat ne retourne rien.
Savez-vous pourquoi?
Salut comment tu vas, j'aimerais savoir si tu peux scrapé le site du leboncoin.Merci
Bon boulot, vidéos claires et de bonne qualité ! Je m'abonne !
Je me lance dans le scrapping, saurais tu me dire si ça se monnetise bien ?
Il y a plein de manières de monétiser le scraping. C'est une compétences comme une autre, création de SAAS, freelancing, prestations de service, etc... Le scraping peut aussi servir à récolter des données pour du ML ou encore à réaliser des automations pour driver du traffic.
Pour copier une page entière fais control+a
Stp tu pourrais en faire pour les canaux telegram ?
scrapper une sortie de chaussure sur nike snkrs :)
Et aussi tu pourais me donnais l'url pour le logiciel terminator ?
Comment récupérer les statuts WhatsApp avec le scrapping python
Salut
Je pourais savoir comment tu fais pour ouvrire la console ?
Sur sublime text je sais pas mais sur VS Code c'est Ctrl + F5
Salut tu aurais quelquechose ou je peux te contacter ?
Bjr,
Cool tes videos, Pourrais tu faire une video de scraping sur leboncoin stp, et rentrer les résultats directement dans une base de données ?
Merci encore.
Ce n'est plus possible. Du moins c'est devenu très compliqué. Ils ont mis un catcha
salut
j'ai besoin de scraper une page facebook
quels sont les étapes à suivre
Salut, la méthodologie de la série de vidéos sur le web-scraping devrait t'aider reprend les étapes et adapte les à la page que tu veux scraper
Salut, peux tu apprendre à scrap sur télégram car ça aiderais énormément de monde
Salut et merci pour tes vidéos fort intéressantes! J'ai un souci avec instagram: quand je fais un request sur le site instagram j'ai systématiquement une réponse 429 (Too Many Requests). comment faire pour régler ce problème systématique... Merci d'avance
tu peux utiliser un user agent différent, ceux de google marchent souvent pas mal. Tu peux retarder tes requêtes avec time.sleep(n). Ou encore utiliser des proxies
Pour utiliser time.sleep il faut importer time (import time) et passer une valeur n dans sleep pour la durée en secondes
@@ninjascripter5214
Où trouver cette liste de user_agent Google et comment coder ça dans Python? Désolé je suis novice. A moins que tu aies tu déjà fait un tuto sur le sujet? Je serai preneur
bonjour, comment pourrait on changer le nombre de posts a analyser ? merci
Il me semble qu'il y à 12 posts dans le json, alors quand tu fais référence à la variable "posts" définie dans le tuto, tu peux commencer à partir du deuxième post avec la syntaxe posts[1:] et ainsi avoir 11 posts. tu peux augmenter le nombre exemple: posts[5:] qui te fera commencer à partir du 6eme tu aura donc 7 posts sauf erreur. Tu peux aussi commencer à partir de la fin et effectuer la même opération. la variable "posts" n'est jamais qu'une liste, pour en apprendre plus sur les liste tu peux jeter un coup d'oeil ici -> docs.python.org/fr/3/tutorial/datastructures.html
En revanche si tu veux avoir plus de posts dans ta liste ça devient un peu plus complexe car il faut multiplier le nombre de requêtes et jouer sur les paramètres mais on verra tout ça dans la série de tuto avancés sur le scraping !
@@ninjascripter5214 oui je pensais plus a augmenter le nombre de posts. Merci, je suis impatient de voir la suite !
Pour répondre à ta question initiale, je t'invite à consulter la dernière vidéo de la chaîne ruclips.net/video/pQL-Bflq_pw/видео.html
Très bonne série de vidéos ! :)
Je rencontre néanmoins un problème sur la définition de la variable script.
script = soup.findAll('script', {'type': 'text/javascript'})[3].text
Il m'est impossible de rajouter ".text". Le print devient nul et ne m'affiche alors plus rien. En enlevant ".text" j'ai bien le 4ème script qui s'affiche mais donc avec les balises.
Tu peux me donner plus de détails ?
J’ai le même problème! Quand j’ecris .text , j’ai aucune résultat
@@fatimahabib1431 Au lieu de mettre ().text essaye str()
Cela va convertir en string (=texte) le contenu de la parenthèse
@@Allouetti merci , jai fait comme ca : script =
str(
soup.findAll
('script', {'type':'text/javascript'})[3])
raw_data = script.replace(';' ,',').replace('window._sharedData =','').replace(' ','').replace('','')
-----------------------
mais quand utiliser json.loads(raw_data),j'ai erreure "json.decoder.JSONDecodeError: Extra data: line 1 column 50281 (char 50280)
"
@@fatimahabib1431 Toujours pas de solution ? car j'ai le même problème
Je voulais juste les codes de ma meuf tu m'as sorti un truc j'ai rien compris 🤣🤣🤣
Merci pour cette vidéo ! Je n'arrive pas à scraper Instagram, requests me renvoie un code 429 -> Too many requests ...
Salut JP, j'ai le meme problème. As tu pus le résoudre depuis ?
@@elliotprybil3408 Salut, oui, en mettant ça comme paramètre Headers de la méthode .get -> r = requests.get(url,headers= {"User-Agent": "Mozilla/5.0"})
It's called JSON not jayzon 🙄
Dommage pas assez de pédagogie, trop de perte de temps et trop de blabla...