Парсинг без программирования II. WebScraper

Поделиться
HTML-код
  • Опубликовано: 16 дек 2024

Комментарии • 62

  • @Bogdan-fq9go
    @Bogdan-fq9go 10 месяцев назад +3

    спасибо за ваш труд! как просили, просьба-совет по улчшению: пожалуйста немного помедленнее показывайте свои действия на компе. иногда тяжело понять, что вы сделали и приходится пересматривать на замедленном воспроизведении. А в принципе очень круто 👍

  • @sergeiss6236
    @sergeiss6236 2 года назад +3

    спасибо за видео,
    не забывай ссылочку на видос добавлять в чат, что бы вовремя узнать о нем.
    очень жду урок про регулярку

    • @usota
      @usota  2 года назад +1

      Спасибо, поделюсь) Про регулярки самому бы хорошо подучиться )

  • @МаратАрти
    @МаратАрти 2 года назад +1

    Евгений, как всегда все супер. Узнал даже про некотрые моменты которые не знал. Будем пробывать!Благодарю!

    • @usota
      @usota  2 года назад

      Спасибо 🙏

  • @McMaruhin
    @McMaruhin 2 года назад +2

    С регулярными выражениями вообще круто)

  • @Darya_lukina
    @Darya_lukina 2 года назад +6

    Не нужно убирать лицо ☺️ интересно смотреть на человека который рассказывает такие интересные вещи. Кому не нравится, можете не смотреть, не нужно других этого лишать.

    • @55555qvazar
      @55555qvazar Год назад

      Да Бро!
      Человек раскрывается и делится полезным контентом.
      🤝

  • @UtkaMF
    @UtkaMF 8 месяцев назад

    Спасибо. Понял за первые несколько секунд с авито)

  • @andreyberdnikov600
    @andreyberdnikov600 10 месяцев назад

    Спасибо за материал! Помог разобраться 🤝

  • @R.Y..V.1992
    @R.Y..V.1992 2 года назад +1

    Очень актуально, спасибо!

  • @berher7452
    @berher7452 7 месяцев назад +1

    Поклон до земли. 20к сохранил. Как разбогатею - с меня донат )

  • @YaroGum-q6b
    @YaroGum-q6b Год назад

    Спасибо подпишусь.много интересного

  • @LexGorod
    @LexGorod Год назад +1

    21:33 как минимум один пример, когда одинаковые данные в разных классах: фото (да и видео тоже) в инстаграме - они часто зарыты на разных уровнях. как минимум это зависит от того, одно или несоклько изображений в посте, но даже если одно изображение - уровни (и, собственно, классы) - отличаются.
    про другие сайты не знаю, не сталкивался

  • @konstantin5908
    @konstantin5908 2 года назад +1

    👍🔥🥃Круто, будем осваивать. Сейчас python на яндексе добиваю.

    • @usota
      @usota  2 года назад

      Python - это уже следующий уровень 👍

  • @Почему_я_плачу
    @Почему_я_плачу 9 месяцев назад +1

    СПАСИБО. У Вас круто получается!! Продолжайте.

  • @КуанышКайсенов
    @КуанышКайсенов 2 года назад +2

    Спасибо за видео, очень познавательно! Главное у меня получилось запарсить данные с Крыши.кз. Последние два дня засел за ваши видео. Есть просьба, покажите как можно запарсить данные (с телефонами) с Хедхантера?

    • @usota
      @usota  2 года назад +1

      Спасибо 🙏 По поводу парсинга HH в бесплатном доступе по-моему ограниченное количество резюме можно посмотреть. Поэтому парсинг этой площадки без лимитов бесплатно не доступен. Но у них можно купить доступ, правда и денег стоит немаленьких.

    • @cuancase1007
      @cuancase1007 2 года назад

      @@usota Доступ есть, хотелось выгрузку в табличном виде для дальнейшего анализа

  • @arslan10696
    @arslan10696 4 месяца назад

    Добрый день! Не видит все отзывы на озоне. Приходится протыкивать все.

  • @McMaruhin
    @McMaruhin 2 года назад +2

    Насчёт классов я запишу видео в котором постараюсь объяснить всё подробно что имел ввиду.
    Скину в час с телегой.

  • @Евгений-г4р2т
    @Евгений-г4р2т Год назад

    Подскажите, как парсить категории с под, под, подкатегориями, ни где не могу найти эту инфу и все перепробовал, только с главной страницы вытаскивает и все, на другие страницы не переходит.?

  • @elenavoinova1247
    @elenavoinova1247 Год назад +2

    Добрый день) Благодарю за видео) Скажите пожалуйста, после парсинга товаров и добавления на свой сайт, каким образом можно отслеживать изменение цен у поставщика и соответственно обновлять у себя? Спасибо)

    • @usota
      @usota  Год назад

      Спасибо 🙏 отслеживать можно вручную, делая разовый парсинг поставщика и сверяя, например, в экселе со своей выгрузкой с сайта. Такой способ подойдет, если цены обновляются редко. Если нужно обновление каждый день или чаще, то тут нужно писать скрипт для автоматического обновления. WebScraper для этого не подойдёт, к сожалению.

  • @psergio_it4884
    @psergio_it4884 Год назад

    В начале ролика говорили и про парсер Авито, а по факту его не показали - хотел бы увидеть в др ролик

  • @yanin68
    @yanin68 2 года назад +2

    Евгений добрый день или вечер. Возможно ли WebScraper -ом парсить динамические сайты такие как (Dns shop).

    • @usota
      @usota  2 года назад

      Добрый день, этот инструмент парсит любые сайты. Ну может кроме сайтов с . Но и тут можно придумать, как добраться до данных.
      Днс шоп - парсит легко, прямо сейчас попробовал, данные собирает быстро и полностью.

    • @yanin68
      @yanin68 2 года назад

      @@usota Спасибо

    • @yanin68
      @yanin68 2 года назад +1

      И еще ... смотрю Ваш канал постоянно, очень полезный и доходчивый материал, порой бывает смешно как все просто. Еще раз спасибо огромное !!!

    • @usota
      @usota  2 года назад

      Спасибо за приятные слова 🙏

  • @dhard1410
    @dhard1410 2 года назад +2

    можете подсказать, как работает елемент клик. Столкнулся с проблемой когда нужно перейти на следующую страницу определенной категории, она через Link не работает, потому что ссылки нет, он не понимает куда ему переходить. Я вот подумал что возможно елемент клик поможет в этом деле, но не могу понять что я должен выделять. Спасибо!

    • @usota
      @usota  2 года назад

      Пришлите ссылку на сайт, посмотрим, как можно решить проблему, если ещё актуально) контакты в описании

  • @beststoryNOGACHC
    @beststoryNOGACHC 5 месяцев назад +2

    А есть ли способ импортировать сценарий более 200 элементов, или как то редактировать сценарий не через браузер...короче нужен способ два сценария поженить вместе в общей сумме более 400 элементов. Создавать он дает более 200 а копировать нифига, как то есть способ отредактировать расширение может напрямую через проводник виндовс до корневой папки chrome или есть какие то другие пути...пожалуйста отпишитесь

    • @usota
      @usota  5 месяцев назад +1

      Можно попробовать экспортировать, отредактировать JSON, и импортировать обратно. Но редактировать JSON нужно внимательно, чтобы ничего не сломать. Других способов, к сожалению, не знаю.

  • @Илья-п5в5р
    @Илья-п5в5р 2 года назад +1

    а как указать в элементе, выбор конкретных категорий? Например при выборе фильтров в интернет магазине, чтобы выбирал не все категории товара подряд, а только жестко прописанные.

    • @usota
      @usota  2 года назад

      Жестко прописать в Start URL. Их же можно указать несколько, когда вы создаёте Sitemap.

  • @metamorphosisdesignstudio4828
    @metamorphosisdesignstudio4828 9 месяцев назад

    Все-таки я сделал все с ценами и ссылками, все норм. Но вот картинки из пинтереста и даже с авито не смог, скачивает только первых несколько. Картинки самое главное, как дальше? Я кстати вам письмо написал, ищу обратную связь так сказать, еще в тг напишу утром уж. Очень нужно разобраться

  • @SeoAlexWizard
    @SeoAlexWizard 2 года назад

    подскажит как можно сделать enter value в web scrapper е?

    • @usota
      @usota  2 года назад

      Расскажите подробнее?

  • @dimon015
    @dimon015 8 месяцев назад +1

    А Вы работаете в бесплатной версии?

    • @usota
      @usota  8 месяцев назад +1

      Да

    • @dimon015
      @dimon015 8 месяцев назад +1

      @@usota спасибо! И бесплатной Вам хватает под все задачи? А если на сайте стоит капча?

    • @usota
      @usota  8 месяцев назад

      @dimon015 ws использую редко, для быстрых не сложных задач. Для профессионального использования пишу скрипты на Python. У нас в чате @proparsing можно посмотреть много решений по парсингу

    • @dimon015
      @dimon015 8 месяцев назад +1

      @@usota подскажите а Вы python самостоятельно изучали? Или какие то курсы?

    • @usota
      @usota  8 месяцев назад +1

      Бесплатный курс на Яндекс Практикуме и курс Олега Молчанова

  • @Фау
    @Фау Год назад +1

    Все хорошо кроме того что данные он собирает лесенкой((

    • @usota
      @usota  Год назад +1

      Так бывает, если мы указываем для каждого элемента мультипл. Чтобы избежать эту ошибку - нужно указывать мультипл только главному элементу, внутри которого лежат нужные данные.

    • @Фау
      @Фау Год назад +1

      @@usota спасибо большое за совет, помогло)

    • @psergio_it4884
      @psergio_it4884 Год назад

      ​@@usotaчто значит лесенкой? Можно пример?

  • @ДмитрийВласов-з8ч
    @ДмитрийВласов-з8ч 8 месяцев назад +1

    Сплошной сумбур в подаче материала. Кто Вам отзывы пишет? Можно все подать в несколько раз короче

    • @usota
      @usota  8 месяцев назад

      Спасибо за оценку. Может сделаем хороший, качественный ролик по этому материалу вместе с вами?

    • @usota
      @usota  8 месяцев назад

      Вы так и не ответили на предложение сделать лучше. Возможно вы уже самостоятельно сделали более короткую подачу без сумбура? Поделитесь пожалуйста.

  • @allaurross
    @allaurross Год назад +1

    на седьмой минуте выключил видео
    вообще шлак полный
    тыкает не понятно куда, фиг знает что выскакивает, что-то там рассказывает, цто-то куда то копирует, вставляет.
    То и понятно что из 1200 просмотров всего 64 лайка
    и от меня дизлайк ещё лови.
    Чёрный пиар тоже пиар ))))

    • @usota
      @usota  Год назад

      Спасибо за обратную связь)

  • @AntonGl-g2p
    @AntonGl-g2p 10 месяцев назад +1

    А если нужно по определенному списку ссылок переходить , к примеру {ссылка}/номер конкретного товара . То как быть ?

    • @usota
      @usota  10 месяцев назад

      Как создать одностраничный сайт со списком ссылок для парсинга
      ruclips.net/video/26kGYPw9454/видео.html
      Можно через промежуточную страницу

  • @AntonGl-g2p
    @AntonGl-g2p 10 месяцев назад

    Как спарсить данные с открывающегося в chrome PDF файла ? Вроде расширение поставил которое переводит PDF в HTML а все равно webScraper не дает ссылку добавить (( тк в начале нее chrome-extension://oemmndcbldboiebfnladdacbdfmadadm/

    • @usota
      @usota  10 месяцев назад

      Не тратьте время. WS парсит сайты, которые можно открыть по url, если по простому. Для парсинга PDF используются другие способы, например библиотека pdfquery для Python. Но если очень нужно через WS, то разве что конвертировать все PDF в HTML, загрузить на сервер и с него уже открывать по url и парсить. Но это костыли на костылях, уж простите.