Merci vraiment ça m'a énormément aidé.. j'utilise octo pour scrap mais j'y allais toujours à l'aveuglette. Avec ta vidéo je comprends un peu mieux ce que je fais. 👍
Salut François ! Merci pour le tuto. Je n'arrive cependant pas à extraire les URL's montré dans cette vidéo à 5:55 car l'interface a changé sur Octoparse. Pourrais-tu me dire quelles sont les étapes à suivre une fois que je clique sur "selct OuterHTML" ? Merci
Год назад+1
Salut, Si l'interface change, le mieux est de changer le XPath.
Bonjour François, à ton pourquoi quand je scrape un siteweb après un résultat de 10.000 lignes au moment du transfert il 200 lignes uniques et le reste sont des duplications, comment éviter cela. un grand merci pour ta réponse et pour les video que tu fais
Salut François, top t es tuto merci ! Cependant, après avoir sélectionné mes éléments a scrapper, dans la barre TIPS je n'ai pas la fonction "extract the text of the selected element" pour save ensuite save et déclancher la RUN. Aurais-tu une solution/raccourci pour afficher la fonction ?
Год назад+1
Salut Lucas, Maintenant, la fonction est renommée sobrement "Text".
Hello, pour ma part, malgré mes multiples essais, je n'arrive pas à récuprérer des adresses mail... C'est toujours la totalité du site que se trouve scraper... As-tu un conseil à me donner ?
Год назад
Hello Alex, Je fournis à mes clients ce genre de prestation s'ils le souhaitent. Sans plus de détails, j'aurai du mal à te trouver un conseil pertinent.
Super! Merci pour ce tuto! Très simple d'utilisation après cette explication détaillée. Mais malheureusement cet outil (Ou manipulation) ne permet pas d'extraire les données d'un site comme celui de Leroy Merlin... Aurais-tu une solution?
2 года назад+1
Salut, Le problème doit vraisemblablement se situer sur le workflow. Mais si tu n'arrives pas avec Octoparse, tu peux toujours essayer un autre outil comme Data Miner.
En fait sur LM il y a un sweet captcha (une page où il faut cliquer/déplacer un élément sur le côté) un peu comme le captcha avec la pièce de puzzle à remettre en place. Octoparse gère-t-il ce genre de captcha un peu complexe ? @
Год назад
@@francois5591 Un Datadome? Non, pas du tout. Il faut une solution d'anti-captcha. Mais je ne pense pas qu'on puisse l'intégrer sur Octoparse.
Oui, c'est effectivement un Datadome qu'utilise LM. Même un scraper assez évolué comme Browse AI qui gère facilement des captcha simples (ReCaptcha, hCaptcha) n'arrive pas à le passer. Pour cela que je posais la question pour Octoparse puisque tu es un spécialiste. Merci pour ton retour rapide ! @
Bonjour Merci pour le tutoriel superbe. Est-possible de scraper les information d'un sous page qui est en lien dans la page principale ? Il s'agit de la page qui donne plus de détails sur le produit.
Super tuto mais à 6:03 il n'y a plus moyen de faire "customise field avec un clic droit pour choisir ensuite Page Url... Je suis sur une version plus ressente et ça n’apparait pas. Je ne sais donc pas comment transformer un
Bon ben j'ai trouvé la réponse dans un de tes tutos en anglais! (No Code Web Scraping Tool: How to Extract Data with Octoparse) Merci encore. Pour ceux que ça intéresse, il faut cliquer sur le A juste avant le SPAN dans la fenêtre Tips puis choisir link.
juste une question bête: sur le site que je souhaite scrapper, j'ai un bouton "Afficher plus" qui me permet bien sûr d'acceder à d'autres page, il y en a 7, or dans Octoparse je n'ai pas la main sur ce bouton pour créer une pagination ce qui fait que je n'ai pas le pop up et donc la possibilité de faire "loop click single URL" Peux tu me dire comment contourner cela... merci
2 года назад
Bonjour, Je ne suis pas sûr de bien comprendre. Vous voulez dire que vous avez un bouton "afficher plus" à la place du bouton "suivant" ?
Hello François, je trouve ta vidéo vraiment simple et efficace, j'aurais une question à te poser avec OCTOPARSE peux ton extraire quand le numéro de téléphone se trouve "derrière" un lien? ( téléphone ou logo...) merci de ton retour
2 года назад
Hello, Merci à toi. Normalement, c'est possible avec Octoparse.
Bonjour François, merci pour tes vidéos sur Octoparse, elles sont très pédagogiques. Néanmoins, je rencontre de grosses difficultés pour extraire les données de certains site, peut-on en discuter ?
2 года назад
Bonjour Bien entendu. Tu peux m'envoyer un email à fdufaurboidin@gmail.com
Bonjour j'ai une question. J'ai acheté une formation et j'aimerais download toutes les formations sans avoir à les visionner pour pouvoir les stocker et les regarder plus tard. Est-ce que octoparse peut faire ce genre de chose ? Merci
Год назад
Bonjour, Octoparse peut downloader des documents dans le cas où les URLs sont bien présentes dans le code source.
bonjour, ça marche pour leboncoin ? et pour les emails ont fait comment ?
2 года назад
Pour Leboncoin, je recommande plutôt Data Miner (tout en faisant très attention). Pour les emails, je ne savais pas qu'ils étaient disponibles sur Leboncoin
Bonjour François, merci bcp pour ton super tuto simple et concis. Stp, serait-ce possible d'extraire en seul coup l'ensemble au lieu de procéder menu après menu et puis catégorie après catégorie puis sous catégorie après.. Pff! puis d'obtenir tous les résultats en un seul output exportable ?
2 года назад
Bonjour Modeste, Malheureusement, tu ne peux pas tout avoir d'un seul coup. Sauf si les résultats sont sur la même page (ou que tu utilises un SAAS spécialisé sur le site en question).
Bonjour, est-il possible de scraper des données sur un site qui sont dans des menus déroulants. En fonction de la sélection faite dans les menus déroulants on obtient une donnée résultats. Je souhaiterais obtenir toutes les données de ce menu déroulant avec tous les résultats possibles. Est-ce possible ? Si oui comment faire cela dans les grandes lignes svp ? Merci 🙂
2 года назад
Bonjour, Oui c'est possible ;) De mémoire, il vous faut combiner une "loop item" avec un "switch dropdown" + un "extract data".
Très bien, mais pouvez-vous spécifier quelles données crawler, j'ai déjà lu le tutoriel que vous avez enseigné sur la collecte d'instagram, et j'ai découvert plus tard qu'Octoparse ne peut pas collecter de données après 200 données, je ne suis pas sûr de ce qui se passe.
Hello François, merci beaucoup pour cette vidéo. Je veux savoir si c'est possible d'extraire les données en fonction d'un nom spécifique ?
3 года назад
Hello Modibo Est-ce que c'est bien reformulé: "Tu cherches à scraper des données qui correspondent à un certain texte"? Dans ce cas, c'est possible. Il faut modifier le XPath. ça te dit peut-être quelque chose?
@ Oui ça me dit quelque chose Xpath expressions in Web scraping with python. Je veux extraire sur un site le nom des pharmacies en fonction des villes, car le site fournit la liste de toutes les pharmacies du pays. Par exemple if(Pharma_location == CityName){extraction} mais j'arrive pas a le faire avec Data scraper (chrome-extension)
3 года назад
@@modibobouare9165 Peux-tu m'envoyer le lien à tout hasard ? Que je jete un oeil
Très bien fait le tuto, bravo, intuitif, existe t'il une solution pour automatiser le scrapping et la création de liste prête à envoyer par une solution comme Mailpoet ou autre newsletter ?
3 года назад
Pour l'automatisation pur, tu peux aller faire un tour chez Phantombuster ;)
Bonjour François. Je suis tes tutos et je me suis lancé sur Octoparse. Néanmoins je constate lors de mes scraps que ces derniers s'arrêtent avant la fin : sur 360 produit j'en sors maximum 50-150 en fonction des sites. La pagination semble pourtant bonne, puisque j'arrive à accéder à la 2e ou 3e page, mais l'extraction se fait pas entièrement. As-tu déjà rencontré ce problème ? Merci d'avance
2 года назад+1
Bonjour Florian Il peut y avoir tellement de causes à tout ça que ça risque d'être difficile de tout énumérer dans un commentaire ;) Si tu penses que la pagination est bonne, c'est peut-être un problème de "loop item". Mais si tu as des cellules ou des lignes incomplètes, c'est sans doute qu'il y a un problème dans "extract data"
@ Merci pour cette Réponse François. En effet il m'arrive parfois que certains EAN manquent sur les scrap de fiche produits. Je regarderai le "extract". Néanmoins le souci principal est vraiment que je n'arrive à scraper que 15-50% des produits. Je dis que la pagination est bonne dans le sens où j'arrive à aller sur les pages suivantes car je scrape plus de donnés que le maximum affichable par page... C'est un souci récurrent qui me bloque un peu dans ma démarche je dois dire 😥
2 года назад+1
@@pumbaa_airsoft Je peux t'aider plus en détail si tu veux. Mais ce sera en coaching. Sinon, ce qui me vient à l'esprit, c'est peut-être un problème de boucle.
Bonsoir, stp je vais extraire les données d'un site d'annonce mais qu'on j'utilise octoparse par exemple une publication a 6 images, il me scrappe que la première image, comment faire pour parcourir toutes les photos de chaque publication d'annonce? merci
3 года назад
Hello Jihane As-tu essayé avec un Xpath ? Normalement, pour chaque image, tu peux trouvé un xpath différent.
Salut et merci pour tes vidéos. L'outil Octoparse est fabuleux, mais il plante chez moi quand je lancer certaines taches. Je ne sais pas s'il s'agit d'une limitation de la version gratuite ou si c'est un blocage venant du paramétrage que j'effectue de mon scrapping. Dans la majorité des cas, lorsque je lance une tache pour la première fois, elle marche sans problème, mais si je change d'URL et que je relance une deuxième tache, lorsque j'appuie sur le bouton "save" une croix rouge s'affiche sans aucun message, puis lorsque je clique sur "run" idem, deux croix s'affichent en haut de l'écran l'une en dessous de l'autre et mon scrapping ne marche pas. Est-ce que tu as une idée sur d'o% ça peut venir ? Merci d'avance.
3 года назад
Salut Voici quelques pistes à explorer: 1) L'option gratuite est limitée à 10 tâches maximum. Si tu as dépassé ce quota, tu peux supprimer certaines tâches et en créer une nouvelle. 2) Essaye de lancer ta tâche directement sur le dashboard 3) Les bugs peuvent arriver, que ce soit l'option gratuite ou payante, dans ce cas, je quitte ma tâche et j'y retourne immédiatement. Et en recliquant sur "run", ça fonctionne. Voilà ;)
Je comprends pas l’objectif, tu as que des données brutes ? Tu n’as pas d’e-mail etc ?
2 года назад
Tu as en parti raison. Le web scraping peut servir en lead generation. Mais pas que. Cela sert plus généralement à faire des études de marché et à s'informer sur ses concurrents.
BONSOIR merci pour vos vidéos vraiment c 'est un plaisir de vous écouter, pouvez vous me renseigner s'il ya une astuce comment extraire les liens d'affiliation'( récemment j'ai commencé la vente en affiliation et j'ai rien gagné à ce moment hhhh c'est dur ) si vous pouvez me conseiller sur un outil ou autres chose qui peut m'aider dans la vente en affiliation
Bonjour, Super vidéo. J'aurais quelque questions a propos de cette application. Pour expliquer rapidement mon projet, je travaille dans une société qui vend des service en rapport avec le milieu de l'aéronautique ( baptêmes, initiation, brevet ULM, licence avion, ...). Dans le cadre de ce travaille il ma été demander de réaliser un document Number ( sur Mac ) qui liste tout les contrat dans un tableau disposer comme cela: Ligne -> Nom, Prénom du client + Type de contrat Colonnes -> Prix totale de la formation - Somme verser - Reste a payer - Pourcentage de progression de la formation Je me suis dit que de réaliser cela mais avec une actualisation régulière serais beaucoup plus confort. Voila donc le projet. Les donnée permettent d'alimenter ce tableau sont noter sur un site avec le quelle l'entreprise travaille, le premier problème est que l'accès a la page info de ce site est restreint par un authentification ( login + mdp ). J'aurais donc 3 petit question a vous poser en concernant l'application: 1) Est-il possible de scraper une page qui nécessite une authentification ? 2 ) Est-il possible de faire le scraping de manière automatique ? 3) Est-il possible de contraindre les donner récupérer a s'afficher dans un tableau déjà existant ? Merci d'avoir pris le temps de lire mon message. J'ai essayer d'être le plus claire possible. Je suis débutent dans ce milieu la, j'ai la conviction que mon projet est réalisable mais que je suis juste bloquer par mes compétence. J'espère que vous pourrez m'apporter des réponde a mes question Très bonne journée a vous Cordialement Corentin S.
2 года назад
Bonjour Corentin, Pour répondre à vos questions: 1) Cela demande une étape en plus mais c'est possible. 2) Si ta question est "Peut-on planifier une tâche?", la réponse est "oui"" 3) Pas directement. N'ayant pas fait la manipulation moi-même, je peux difficilement te faire une réponse détaillée. Je pense que tu résoudre ce problème avec des outils comme Zapier.
@ salut. Oui, on est d'accord ^^ Bon, apres meme sans s'authentifier, ya 2 techniques qui devraient marcher mais pas tres légales je crois (et sans prendre l'authentification de qqlun)...
Svp Comment faire si la liste des pages à extraire n'est pas précis, c'est à dire ca descend toujours pas de fin ( pas de bouton next ni numero) Merci
3 года назад
Hello Une très bonne question ;) J'avais fait une vidéo qui en parlait "Les problèmes de pagination sur Octoparse". Ce qu'il faut retenir: Tu cliques sur l'icône "plus" puis "loop" et tu transformes "list of urls" en "scroll page" N'hésite pas à me dire si c'est pas clair
Bonjour, peut on scraper les mails de compte sur sales navigator. Pas dans les mails visibles de compte mais dans les mails cachés, je sais pas si tu m'as compris
3 года назад
Je ne suis pas le mieux placé pour te répondre. Je n'ai jamais touché à Sales Navigator. En terme d'enrichissement de données, tu peux aller voir chez "Dropcontact". Il y a moyen que tu trouves les emails professionnels si c'est ta question.
bonjour, je suis tomber par hasard sur ta vidéo et je me demander si cela était possible de scraper plus facilement des sous catégorie par exemple sur un site de e-commerce stp. merci d'avance parce que je suis assez bloqué avec ça
3 года назад
Hello Est-ce que tu peux me filer le lien que je vérifie vite fait?
@ merci pour ta réponse rapide il y a que deux catégorie qui on les sous catégorie c'est ceux-ci www.casalsport.com/fr/cas/equipement-de-fitness-et-cross-training et www.casalsport.com/fr/cas/equipement-de-larbitre-et-coaching
3 года назад
@@nicolorde8202 Alors d'après ce que je vois, je te conseille de le faire en 2 temps: Extrait d'abord les URL des sous-catégories. Et après, tu prends les URLs et tu extrais directement les données de chacun des articles. Si tu as encore des doutes, tu peux m'envoyer un email.
Bonjour François, j'essaye de scrapper des donnée AirBNB mais je ne peux pas faire la pagination manuellement ni utiliser la méthode de detection de données ( No Data Detected). Auriez-vous une solution ? Merci :)
3 года назад+1
Bonjour Antoine C'est un peu plus avancé. Je te recommande de tester la pagination via les Xpaths/ AJAX. Me semble-t-il que la chaîne RUclips d'Octoparse présentait un tuto sur "Comment scraper Airbnb" ? ;)
@ Bonjour, j'ai regardé tous les tutos que j'ai pu trouver mais rien ne me permet de trouver comment réaliser réellement la pagination. A chaque fois, j'arrive a extraire toute la première page et ensuite mon programme s'arrête ( run completed), donc il ne prend jamais en considération ma volonté de changer de page. Merci :)
3 года назад
@@antoinecoudert237 Hello Antoine As-tu pensé à scraper à partir d'une liste d'URL ? Chaque URL correspondant à une page ;)
Salut moi je voudrais scraper RUclips mais uniquement la centaine de pages RUclips, de vidéo, que j'ai collecté Je voudrais scraper les titres et les nom des chaînes Lorsque je fais un copier-coller d'une URL RUclips, et pas que, automatiquement RUclips change l'URL en titre, Comme lorsque je fais un copier-coller ou un glisser déposé d' une vidéo dans les favoris chrome Lorsque j'utilise google doc ou Evernote et que je fais un copier-coller d'une URL ça ne fait pas le changement, je veux dire ça reste sous forme d'URL, cliquable, mais ça ne change pas en titre Et j'ai beau demander sur des groupes Facebook en français comme en anglais mais personne ne peut me dire si il y a un paramétrage à faire ou un raccourci clavier C'est la raison pour laquelle je voudrais scraper, Est-ce que octoparse est-ce qu'il me faut ? Et sinon est-ce que tu connais la méthode miracle pour faire un paramétrage dans Google docs par exemple pour que j'ai automatiquement les titres ? Et enfin une dernière chose, avant j'utilisais parsehub, tu n'aimes pas ? Merci Cyril
2 года назад
Salut Cyril, Je ne suis pas certain d'avoir tout compris. Mais tu peux parfaitement scraper une liste d'URLs avec Octoparse. Donc si tu as ta liste de vidéos RUclips, ça doit le faire. Je n'ai jamais utilisé ParseHub. D'après ce que j'en ai vu, il est assez similaire à Octoparse. Mais je ne vais pas me pencher sur chaque outil que je croise ;)
@ tu sais lorsque tu fais un copier-coller d'une URL dans Google keep, Google keep de la transforme automatiquement en titre cliquable de la page, par contre lorsque je fais un copier-coller d'une URL dans Google docs là ça ne le fait pas, à la place je n'ai que l'URL cliquable et non pas le lien cliquable Est-ce que tu vois ce que je veux dire ? Et donc c'est pourquoi je voudrais scraper les titres et nom de la chaîne RUclips de quelques centaines de vidéos RUclips qui composent mes playlist
Salut Merci pour la présentation, je voulais savoir on veut scraper les abonnés d'un groupe ou d'une page Facebook, est-ce que octoparse est approprié ou faut-il utiliser phtontombuster ?
3 года назад
Hello Je n'ai encore jamais utilisé sur Facebook avec Octoparse. A tester. Pour Phantombuster, c'est possible. La seule condition, c'est d'avoir un proxy. Il y a Proxymesh.com qui peut t'aider à en créer un. phantombuster.com/automations/facebook/6987/facebook-group-extractor
@ oui j’ai tout essayé et je n’ai pas les images car il me faut description produit prix image Car je prend les produits sur mes sites fournisseurs pour les lettres sur mon site shopify et j’en ai beaucoup à prendre alors compliqué de rajouter les images une à une
3 года назад
@@tristanthuilier1342 Dans ce cas je te recommande Data Scraper pour scraper les URL d'image. C'est plus instinctif à ce niveau-là chrome.google.com/webstore/detail/data-scraper-easy-web-scr/nndknepjnldbdbepjfgmncbggmopgden
ne pas perdre du temps avec des futilités? connaitre les bases de fonctionnement du code c'est utile et ca donne une certaine ouverture d'esprit, mais pas tout le monde n'a le temps ni l'envie d'apprendre à coder, surtout si de tels outils existent. Sinon autant apprendre à coder en binaire haha
@@timauthee861 peut-être pas en binaire mais pourquoi pas en assembleur xD. Non plus sérieusement je comprends mais avec un language au niveau comme python faire un scapper n'est pas beaucoup plus dure et amène plus de possibilités. Se qui m'a dérangé c'est le terme débutants (donc des gens qui ont envie d'apprendre à coder) et moi personnellement je trouve que c'est perdre du temps que de commencer par ça. Après je suis d'accord c'est un super outil pour des gens qui ne s'intéresse pas à la programmation.
3 года назад
@@starnakin5314 Je vois le processus comme un escalier. Avant de pouvoir faire un marathon, il faut apprendre à courir 1heure. Puis 1h30. Puis 2h. Puis 3h. Je n'ai encore jamais utilisé Python pour scraper mais là où je suis d'accord, c'est d'avoir quelques bases en code. Notamment sur Octoparse où ça peut te débloquer des situations compliquées. Mais tout ça est un cheminement qui peut prendre du temps.
Salut je suis limité à 50 lines, c'est un site ou les lignes se chargent toutes seules, il n'y a pas de page. Sais-tu comment je peux augmenter ça ?
2 года назад
Salut Julien, Il n'y a pas de limite en terme de lignes avec Octoparse. Quand tu parles de lignes qui se chargent toutes seules, tu veux parler d'une page de type "scroll infini" ?
![[Tuto] Scraper 100 emails et téléphones tous les jours et gratuitement avec Octoparse](http://i.ytimg.com/vi/McOl_R5_CTc/mqdefault.jpg)
![[Tuto] Scraper 100 emails et téléphones tous les jours et gratuitement avec Octoparse](/img/tr.png)
![[Tuto]: L'Extension Chrome Numéro 1 en Web Scraping (Web Scraper)](http://i.ytimg.com/vi/b5INLUsgCy8/mqdefault.jpg)
Pour obtenir vos 100 premiers leads B2B offerts:
scrap.id/s/1xY
Pour une demande en Web Scraping:
fdufaurboidin@gmail.com
@Mohmaed Amine Oui, ça marche aussi ;)
Bravo François, tu m'as appris en 11 min, ce que le prof n'a pas pu faire déjà en 6 heures. Merci beaucoup, tu es super pédaguogue ⛷
C'est un compliment qui fait chaud au coeur ;)
Merci vraiment ça m'a énormément aidé.. j'utilise octo pour scrap mais j'y allais toujours à l'aveuglette. Avec ta vidéo je comprends un peu mieux ce que je fais. 👍
Au plaisir Thierry ;)
Merci, ça m'a permis de découvrir un outil que je ne connaissais pas. Maintenant grâce à ton tuto je vais pouvoir l'utiliser !! 😉
C'est fait pour ça ;)
Je découvre ta chaine.
Tu fais de l'excellent travail, merci pour ton contenu de qualité.
Merci à toi. Ça fait plaisir.
Bravo pour ta video,
2:44 mais elle n’a plus rien à voir avec la version d’Octoparse d’aujourd’hui.
Peux tu la mettre à jour ?
Bonjour
Merci beaucoup pour toutes ces infos précieuse
Est-ce qu'il est possible d'injecter les contacts dans un crm ??
Merci d'avance
Bonjour, c'est sans doute possible via Zapier. Il faut s'assurer que le CRM en question est bien répertorié.
Salut François !
Merci pour le tuto.
Je n'arrive cependant pas à extraire les URL's montré dans cette vidéo à 5:55 car l'interface a changé sur Octoparse.
Pourrais-tu me dire quelles sont les étapes à suivre une fois que je clique sur "selct OuterHTML" ? Merci
Salut,
Si l'interface change, le mieux est de changer le XPath.
Vraiment cool
Merci ;)
merci de tes vidéo
jute j'ai un problèmes avec liste déroulante dynamique comment les scraper
Bonjour François, à ton pourquoi quand je scrape un siteweb après un résultat de 10.000 lignes au moment du transfert il 200 lignes uniques et le reste sont des duplications, comment éviter cela. un grand merci pour ta réponse et pour les video que tu fais
Trop bien, super bien expliqué 👍👍👍
Merci à toi.
Est-il possible de créer une automatisation avec Make vers Notion ?
Salut François, top t es tuto merci !
Cependant, après avoir sélectionné mes éléments a scrapper, dans la barre TIPS je n'ai pas la fonction "extract the text of the selected element" pour save ensuite save et déclancher la RUN.
Aurais-tu une solution/raccourci pour afficher la fonction ?
Salut Lucas,
Maintenant, la fonction est renommée sobrement "Text".
@
Tout simplement ahah
Merci pour ce retour !
Hello, pour ma part, malgré mes multiples essais, je n'arrive pas à récuprérer des adresses mail... C'est toujours la totalité du site que se trouve scraper... As-tu un conseil à me donner ?
Hello Alex, Je fournis à mes clients ce genre de prestation s'ils le souhaitent. Sans plus de détails, j'aurai du mal à te trouver un conseil pertinent.
@ Merci pour ta rapide réponse. Comment puis-je te joindre ?
Super! Merci pour ce tuto! Très simple d'utilisation après cette explication détaillée. Mais malheureusement cet outil (Ou manipulation) ne permet pas d'extraire les données d'un site comme celui de Leroy Merlin... Aurais-tu une solution?
Salut,
Le problème doit vraisemblablement se situer sur le workflow. Mais si tu n'arrives pas avec Octoparse, tu peux toujours essayer un autre outil comme Data Miner.
En fait sur LM il y a un sweet captcha (une page où il faut cliquer/déplacer un élément sur le côté) un peu comme le captcha avec la pièce de puzzle à remettre en place. Octoparse gère-t-il ce genre de captcha un peu complexe ? @
@@francois5591 Un Datadome?
Non, pas du tout. Il faut une solution d'anti-captcha.
Mais je ne pense pas qu'on puisse l'intégrer sur Octoparse.
Oui, c'est effectivement un Datadome qu'utilise LM. Même un scraper assez évolué comme Browse AI qui gère facilement des captcha simples (ReCaptcha, hCaptcha) n'arrive pas à le passer. Pour cela que je posais la question pour Octoparse puisque tu es un spécialiste. Merci pour ton retour rapide ! @
Bonjour Merci pour le tutoriel superbe.
Est-possible de scraper les information d'un sous page qui est en lien dans la page principale ? Il s'agit de la page qui donne plus de détails sur le produit.
Bonjour Bien sûr c'est possible ;)
Super tuto mais à 6:03 il n'y a plus moyen de faire "customise field avec un clic droit pour choisir ensuite Page Url... Je suis sur une version plus ressente et ça n’apparait pas. Je ne sais donc pas comment transformer un
Bon ben j'ai trouvé la réponse dans un de tes tutos en anglais! (No Code Web Scraping Tool: How to Extract Data with Octoparse)
Merci encore.
Pour ceux que ça intéresse, il faut cliquer sur le A juste avant le SPAN dans la fenêtre Tips puis choisir link.
Merci pour cette vidéo. C'est bien faite.
C quoi les limites de cette solution par rapport au web scraping avec python (beautifulsoup) ?
Il y a certaines choses que vous ne pourrez pas faire avec Octoparse. Ou alors qui seront plus longues à faire.
Merciii beaucouppp. Ton contenu a été très utile pour moi. Je m'abonne directe
Fais-toi plaisir ;)
juste une question bête: sur le site que je souhaite scrapper, j'ai un bouton "Afficher plus" qui me permet bien sûr d'acceder à d'autres page, il y en a 7, or dans Octoparse je n'ai pas la main sur ce bouton pour créer une pagination ce qui fait que je n'ai pas le pop up et donc la possibilité de faire "loop click single URL"
Peux tu me dire comment contourner cela... merci
Bonjour, Je ne suis pas sûr de bien comprendre. Vous voulez dire que vous avez un bouton "afficher plus" à la place du bouton "suivant" ?
Hello François,
je trouve ta vidéo vraiment simple et efficace, j'aurais une question à te poser avec OCTOPARSE peux ton extraire quand le numéro de téléphone se trouve "derrière" un lien? ( téléphone ou logo...)
merci de ton retour
Hello,
Merci à toi.
Normalement, c'est possible avec Octoparse.
@ merce de ton retour, on serait sur quel type de manip?🧐
merci
@@moimoi588 Normalement un simple "click item" devrait suffire.
Bonjour François, merci pour tes vidéos sur Octoparse, elles sont très pédagogiques.
Néanmoins, je rencontre de grosses difficultés pour extraire les données de certains site, peut-on en discuter ?
Bonjour Bien entendu. Tu peux m'envoyer un email à fdufaurboidin@gmail.com
Merci François, je fais ça demain.
Mail envoyé ;-)
Bonjour j'ai une question.
J'ai acheté une formation et j'aimerais download toutes les formations sans avoir à les visionner pour pouvoir les stocker et les regarder plus tard.
Est-ce que octoparse peut faire ce genre de chose ?
Merci
Bonjour,
Octoparse peut downloader des documents dans le cas où les URLs sont bien présentes dans le code source.
Si les vidéos sont hébergé ailleurs comment faire pour les récupérer?@
@@remimorichon5218 Je ne pense pas que cela soit possible.
Bonjour, je cherche a faire cela sur le bon coin et se loger mais je suis bloqué. Existe-t-il une astuce pour scraper ? Merci de votre réponse.
Bonjour,
Cela me semble possible.
Je vous réfère au commentaire épinglé.
bonjour, ça marche pour leboncoin ? et pour les emails ont fait comment ?
Pour Leboncoin, je recommande plutôt Data Miner (tout en faisant très attention). Pour les emails, je ne savais pas qu'ils étaient disponibles sur Leboncoin
Bonjour François, merci bcp pour ton super tuto simple et concis. Stp, serait-ce possible d'extraire en seul coup l'ensemble au lieu de procéder menu après menu et puis catégorie après catégorie puis sous catégorie après.. Pff! puis d'obtenir tous les résultats en un seul output exportable ?
Bonjour Modeste,
Malheureusement, tu ne peux pas tout avoir d'un seul coup. Sauf si les résultats sont sur la même page (ou que tu utilises un SAAS spécialisé sur le site en question).
merci bcp pour le contenu
Bonjour, est-il possible de scraper des données sur un site qui sont dans des menus déroulants. En fonction de la sélection faite dans les menus déroulants on obtient une donnée résultats. Je souhaiterais obtenir toutes les données de ce menu déroulant avec tous les résultats possibles. Est-ce possible ? Si oui comment faire cela dans les grandes lignes svp ? Merci 🙂
Bonjour, Oui c'est possible ;) De mémoire, il vous faut combiner une "loop item" avec un "switch dropdown" + un "extract data".
Hello je fais exactement ce que tu fais mais ça ne me sort que un résultat sur la page des offres de job WeLoveDev une idée du souci ?
Hello, Si tu n'as qu'une seule page, c'est que c'est vraisemblablement un problème de pagination.
ok merci@
Très bien, mais pouvez-vous spécifier quelles données crawler, j'ai déjà lu le tutoriel que vous avez enseigné sur la collecte d'instagram, et j'ai découvert plus tard qu'Octoparse ne peut pas collecter de données après 200 données, je ne suis pas sûr de ce qui se passe.
Il n'y a pas de limite sur le nombre de données
Hello François, merci beaucoup pour cette vidéo. Je veux savoir si c'est possible d'extraire les données en fonction d'un nom spécifique ?
Hello Modibo Est-ce que c'est bien reformulé: "Tu cherches à scraper des données qui correspondent à un certain texte"? Dans ce cas, c'est possible. Il faut modifier le XPath. ça te dit peut-être quelque chose?
@ Oui ça me dit quelque chose Xpath expressions in Web scraping with python. Je veux extraire sur un site le nom des pharmacies en fonction des villes, car le site fournit la liste de toutes les pharmacies du pays. Par exemple if(Pharma_location == CityName){extraction} mais j'arrive pas a le faire avec Data scraper (chrome-extension)
@@modibobouare9165 Peux-tu m'envoyer le lien à tout hasard ? Que je jete un oeil
Très bien fait le tuto, bravo, intuitif, existe t'il une solution pour automatiser le scrapping et la création de liste prête à envoyer par une solution comme Mailpoet ou autre newsletter ?
Pour l'automatisation pur, tu peux aller faire un tour chez Phantombuster ;)
@ Merci, je vais aller voir ça...
Merci
Super tuto ... bravo
Merci
Bonjour François. Je suis tes tutos et je me suis lancé sur Octoparse.
Néanmoins je constate lors de mes scraps que ces derniers s'arrêtent avant la fin : sur 360 produit j'en sors maximum 50-150 en fonction des sites. La pagination semble pourtant bonne, puisque j'arrive à accéder à la 2e ou 3e page, mais l'extraction se fait pas entièrement.
As-tu déjà rencontré ce problème ?
Merci d'avance
Bonjour Florian Il peut y avoir tellement de causes à tout ça que ça risque d'être difficile de tout énumérer dans un commentaire ;) Si tu penses que la pagination est bonne, c'est peut-être un problème de "loop item". Mais si tu as des cellules ou des lignes incomplètes, c'est sans doute qu'il y a un problème dans "extract data"
@ Merci pour cette Réponse François.
En effet il m'arrive parfois que certains EAN manquent sur les scrap de fiche produits. Je regarderai le "extract".
Néanmoins le souci principal est vraiment que je n'arrive à scraper que 15-50% des produits. Je dis que la pagination est bonne dans le sens où j'arrive à aller sur les pages suivantes car je scrape plus de donnés que le maximum affichable par page...
C'est un souci récurrent qui me bloque un peu dans ma démarche je dois dire 😥
@@pumbaa_airsoft Je peux t'aider plus en détail si tu veux. Mais ce sera en coaching. Sinon, ce qui me vient à l'esprit, c'est peut-être un problème de boucle.
salut simplement le site est protégé
Bonsoir, stp je vais extraire les données d'un site d'annonce mais qu'on j'utilise octoparse par exemple une publication a 6 images, il me scrappe que la première image, comment faire pour parcourir toutes les photos de chaque publication d'annonce? merci
Hello Jihane As-tu essayé avec un Xpath ? Normalement, pour chaque image, tu peux trouvé un xpath différent.
Salut et merci pour tes vidéos. L'outil Octoparse est fabuleux, mais il plante chez moi quand je lancer certaines taches. Je ne sais pas s'il s'agit d'une limitation de la version gratuite ou si c'est un blocage venant du paramétrage que j'effectue de mon scrapping. Dans la majorité des cas, lorsque je lance une tache pour la première fois, elle marche sans problème, mais si je change d'URL et que je relance une deuxième tache, lorsque j'appuie sur le bouton "save" une croix rouge s'affiche sans aucun message, puis lorsque je clique sur "run" idem, deux croix s'affichent en haut de l'écran l'une en dessous de l'autre et mon scrapping ne marche pas. Est-ce que tu as une idée sur d'o% ça peut venir ? Merci d'avance.
Salut Voici quelques pistes à explorer:
1) L'option gratuite est limitée à 10 tâches maximum. Si tu as dépassé ce quota, tu peux supprimer certaines tâches et en créer une nouvelle.
2) Essaye de lancer ta tâche directement sur le dashboard
3) Les bugs peuvent arriver, que ce soit l'option gratuite ou payante, dans ce cas, je quitte ma tâche et j'y retourne immédiatement. Et en recliquant sur "run", ça fonctionne.
Voilà ;)
merci pour la video très utile
De rien. C'est fait pour ça.
c quoi l utilisation du scraping ?
Extraire des données sur le web. Cela peut être pour faire une étude de marché ou récolter des leads.
Je comprends pas l’objectif, tu as que des données brutes ? Tu n’as pas d’e-mail etc ?
Tu as en parti raison. Le web scraping peut servir en lead generation. Mais pas que. Cela sert plus généralement à faire des études de marché et à s'informer sur ses concurrents.
BONSOIR merci pour vos vidéos vraiment c 'est un plaisir de vous écouter, pouvez vous me renseigner s'il ya une astuce comment extraire les liens d'affiliation'( récemment j'ai commencé la vente en affiliation et j'ai rien gagné à ce moment hhhh c'est dur ) si vous pouvez me conseiller sur un outil ou autres chose qui peut m'aider dans la vente en affiliation
Bonjour,
Super vidéo. J'aurais quelque questions a propos de cette application. Pour expliquer rapidement mon projet, je travaille dans une société qui vend des service en rapport avec le milieu de l'aéronautique ( baptêmes, initiation, brevet ULM, licence avion, ...). Dans le cadre de ce travaille il ma été demander de réaliser un document Number ( sur Mac ) qui liste tout les contrat dans un tableau disposer comme cela:
Ligne -> Nom, Prénom du client + Type de contrat
Colonnes -> Prix totale de la formation - Somme verser - Reste a payer - Pourcentage de progression de la formation
Je me suis dit que de réaliser cela mais avec une actualisation régulière serais beaucoup plus confort.
Voila donc le projet. Les donnée permettent d'alimenter ce tableau sont noter sur un site avec le quelle l'entreprise travaille, le premier problème est que l'accès a la page info de ce site est restreint par un authentification ( login + mdp ).
J'aurais donc 3 petit question a vous poser en concernant l'application:
1) Est-il possible de scraper une page qui nécessite une authentification ?
2 ) Est-il possible de faire le scraping de manière automatique ?
3) Est-il possible de contraindre les donner récupérer a s'afficher dans un tableau déjà existant ?
Merci d'avoir pris le temps de lire mon message. J'ai essayer d'être le plus claire possible. Je suis débutent dans ce milieu la, j'ai la conviction que mon projet est réalisable mais que je suis juste bloquer par mes compétence.
J'espère que vous pourrez m'apporter des réponde a mes question
Très bonne journée a vous
Cordialement
Corentin S.
Bonjour Corentin,
Pour répondre à vos questions:
1) Cela demande une étape en plus mais c'est possible.
2) Si ta question est "Peut-on planifier une tâche?", la réponse est "oui""
3) Pas directement. N'ayant pas fait la manipulation moi-même, je peux difficilement te faire une réponse détaillée. Je pense que tu résoudre ce problème avec des outils comme Zapier.
@ merci beaucoup
salut si le site est bien fait ,si on a pas une authentification, ça passe pas. sauf hacking complément illégal....
@@arnaques-tuto-informatique Oui. Cela ne fonctionne que si tu peux déjà t'authentifier manuellement.
@ salut.
Oui, on est d'accord ^^
Bon, apres meme sans s'authentifier, ya 2 techniques qui devraient marcher mais pas tres légales je crois (et sans prendre l'authentification de qqlun)...
Dommage impossible de télécharger la version gratuite
Octoparse n'est pas disponible sur Linux. C'est peut-être pour ça. Sinon, il faut directement contacter le service client.
Super ,mercii bcp ,it works 👏🏻
Parfait ;) Je t'en prie
Svp
Comment faire si la liste des pages à extraire n'est pas précis, c'est à dire ca descend toujours pas de fin ( pas de bouton next ni numero)
Merci
Hello Une très bonne question ;) J'avais fait une vidéo qui en parlait "Les problèmes de pagination sur Octoparse". Ce qu'il faut retenir: Tu cliques sur l'icône "plus" puis "loop" et tu transformes "list of urls" en "scroll page" N'hésite pas à me dire si c'est pas clair
Bonjour, peut on scraper les mails de compte sur sales navigator. Pas dans les mails visibles de compte mais dans les mails cachés, je sais pas si tu m'as compris
Je ne suis pas le mieux placé pour te répondre. Je n'ai jamais touché à Sales Navigator. En terme d'enrichissement de données, tu peux aller voir chez "Dropcontact". Il y a moyen que tu trouves les emails professionnels si c'est ta question.
@ Merci beaucoup
bonjour, je suis tomber par hasard sur ta vidéo et je me demander si cela était possible de scraper plus facilement des sous catégorie par exemple sur un site de e-commerce stp. merci d'avance parce que je suis assez bloqué avec ça
Hello Est-ce que tu peux me filer le lien que je vérifie vite fait?
@ merci pour ta réponse rapide il y a que deux catégorie qui on les sous catégorie c'est ceux-ci www.casalsport.com/fr/cas/equipement-de-fitness-et-cross-training et www.casalsport.com/fr/cas/equipement-de-larbitre-et-coaching
@@nicolorde8202 Alors d'après ce que je vois, je te conseille de le faire en 2 temps: Extrait d'abord les URL des sous-catégories. Et après, tu prends les URLs et tu extrais directement les données de chacun des articles. Si tu as encore des doutes, tu peux m'envoyer un email.
@ d'accord merci je vais essayer comme ça
Bonjour François, j'essaye de scrapper des donnée AirBNB mais je ne peux pas faire la pagination manuellement ni utiliser la méthode de detection de données ( No Data Detected). Auriez-vous une solution ? Merci :)
Bonjour Antoine C'est un peu plus avancé. Je te recommande de tester la pagination via les Xpaths/ AJAX. Me semble-t-il que la chaîne RUclips d'Octoparse présentait un tuto sur "Comment scraper Airbnb" ? ;)
@ Bonjour, j'ai regardé tous les tutos que j'ai pu trouver mais rien ne me permet de trouver comment réaliser réellement la pagination. A chaque fois, j'arrive a extraire toute la première page et ensuite mon programme s'arrête ( run completed), donc il ne prend jamais en considération ma volonté de changer de page. Merci :)
@@antoinecoudert237 Hello Antoine As-tu pensé à scraper à partir d'une liste d'URL ? Chaque URL correspondant à une page ;)
@ Hello, oui effectivement j'ai déja essayé de scraper une liste d'URL mais j'arrive au même resultat. Seulement ma première page est scrapée. :(
@@antoinecoudert237 Hello C'est peut-être un problème de temps d'attente. Essaye en mettant un temps d'attente de 10s entre 1 page et une autre
Merci François
Je t'en prie.
Bonjour, est ce possible de vous contacter pour une affaire privé?
Cordialement.
Bonjour Ludovic, Oui sur fdufaurboidin@gmail.com
@ mail envoyé cdlt
salut je trouve génial t'as video mais je n'y arrive pas avec la dernière versions
Salut,
Il faut toujours adapté un tutoriel lorsque celui-ci date un peu. En fonction des sites, cela peut-être plus ou moins compliqué.
Salut moi je voudrais scraper RUclips mais uniquement la centaine de pages RUclips, de vidéo, que j'ai collecté
Je voudrais scraper les titres et les nom des chaînes
Lorsque je fais un copier-coller d'une URL RUclips, et pas que, automatiquement RUclips change l'URL en titre,
Comme lorsque je fais un copier-coller ou un glisser déposé d' une vidéo dans les favoris chrome
Lorsque j'utilise google doc ou Evernote et que je fais un copier-coller d'une URL ça ne fait pas le changement, je veux dire ça reste sous forme d'URL, cliquable, mais ça ne change pas en titre
Et j'ai beau demander sur des groupes Facebook en français comme en anglais mais personne ne peut me dire si il y a un paramétrage à faire ou un raccourci clavier
C'est la raison pour laquelle je voudrais scraper,
Est-ce que octoparse est-ce qu'il me faut ?
Et sinon est-ce que tu connais la méthode miracle pour faire un paramétrage dans Google docs par exemple pour que j'ai automatiquement les titres ?
Et enfin une dernière chose, avant j'utilisais parsehub, tu n'aimes pas ?
Merci Cyril
Salut Cyril,
Je ne suis pas certain d'avoir tout compris.
Mais tu peux parfaitement scraper une liste d'URLs avec Octoparse. Donc si tu as ta liste de vidéos RUclips, ça doit le faire.
Je n'ai jamais utilisé ParseHub. D'après ce que j'en ai vu, il est assez similaire à Octoparse. Mais je ne vais pas me pencher sur chaque outil que je croise ;)
@ tu sais lorsque tu fais un copier-coller d'une URL dans Google keep, Google keep de la transforme automatiquement en titre cliquable de la page, par contre lorsque je fais un copier-coller d'une URL dans Google docs là ça ne le fait pas, à la place je n'ai que l'URL cliquable et non pas le lien cliquable
Est-ce que tu vois ce que je veux dire ?
Et donc c'est pourquoi je voudrais scraper les titres et nom de la chaîne RUclips de quelques centaines de vidéos RUclips qui composent mes playlist
Salut Merci pour la présentation, je voulais savoir on veut scraper les abonnés d'un groupe ou d'une page Facebook, est-ce que octoparse est approprié ou faut-il utiliser phtontombuster ?
Hello Je n'ai encore jamais utilisé sur Facebook avec Octoparse. A tester. Pour Phantombuster, c'est possible. La seule condition, c'est d'avoir un proxy. Il y a Proxymesh.com qui peut t'aider à en créer un. phantombuster.com/automations/facebook/6987/facebook-group-extractor
@ merci beaucoup, je vais essayer
Merci
Top cool 👍
Au début, on a l'impression de faire un tour de magie.
Domage que ça ne fonctionne pas sur GNU/Linux.
C'est un gros désavantage. Il y a encore quelques années, on ne pouvait l'utiliser que sur Windows.
est il possible de scraper le mail d'une personne précisément ?
Difficile à répondre. ça dépend de votre site
Bonjour François, merci beaucoup pour cette vidéo, mais il doit me manquer une info, car je n'arrive pas à extraire les données!
Hello Philippe Octoparse a parfois quelques subtilités. Quel est le site que tu veux scraper exactement ?
je n arrive pas a extraire les images
@@tristanthuilier1342 Tu as essayé "Auto-detect web-page data" ?
@ oui j’ai tout essayé et je n’ai pas les images car il me faut description produit prix image
Car je prend les produits sur mes sites fournisseurs pour les lettres sur mon site shopify et j’en ai beaucoup à prendre alors compliqué de rajouter les images une à une
@@tristanthuilier1342 Dans ce cas je te recommande Data Scraper pour scraper les URL d'image. C'est plus instinctif à ce niveau-là chrome.google.com/webstore/detail/data-scraper-easy-web-scr/nndknepjnldbdbepjfgmncbggmopgden
Bonjour, est-il toujours gratuit ? il me demande une activation.
Bonjour Il est toujours gratuit. Si le problème persiste, je t'invite à contacter le support.
@ merci
Thank you
Yo je comprend pas un truc le scrapping ca sert à quoi ? je comprend pas mdr
Cela sert à gagner en productivité. A récupérer plus de data, plus rapidement.
très bon contenu mais maintenant c'est une nouvelle version d'octoparse
Je comprends l'intérêt d'éloigner les débutants du code
ne pas perdre du temps avec des futilités? connaitre les bases de fonctionnement du code c'est utile et ca donne une certaine ouverture d'esprit, mais pas tout le monde n'a le temps ni l'envie d'apprendre à coder, surtout si de tels outils existent. Sinon autant apprendre à coder en binaire haha
@@timauthee861 peut-être pas en binaire mais pourquoi pas en assembleur xD. Non plus sérieusement je comprends mais avec un language au niveau comme python faire un scapper n'est pas beaucoup plus dure et amène plus de possibilités. Se qui m'a dérangé c'est le terme débutants (donc des gens qui ont envie d'apprendre à coder) et moi personnellement je trouve que c'est perdre du temps que de commencer par ça. Après je suis d'accord c'est un super outil pour des gens qui ne s'intéresse pas à la programmation.
@@starnakin5314 Je vois le processus comme un escalier. Avant de pouvoir faire un marathon, il faut apprendre à courir 1heure. Puis 1h30. Puis 2h. Puis 3h. Je n'ai encore jamais utilisé Python pour scraper mais là où je suis d'accord, c'est d'avoir quelques bases en code. Notamment sur Octoparse où ça peut te débloquer des situations compliquées. Mais tout ça est un cheminement qui peut prendre du temps.
@ d'accord merci
pour moi tu vas beaucoup trop vite
Pq tu te rases si c'est pour te foutre un shirt pourave et une coupe affreuse
Salut je suis limité à 50 lines, c'est un site ou les lignes se chargent toutes seules, il n'y a pas de page. Sais-tu comment je peux augmenter ça ?
Salut Julien, Il n'y a pas de limite en terme de lignes avec Octoparse. Quand tu parles de lignes qui se chargent toutes seules, tu veux parler d'une page de type "scroll infini" ?