WebScraper - парсим без кода сайт поставщика
HTML-код
- Опубликовано: 18 ноя 2021
- Рассмотрим, как бесплатно собирать информацию о товарах на примере сайта поставщика.
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
WebScraper webscraper.io/
forum.webscraper.io/
Телеграм-чат про парсинг:
t.me/proparsing
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Телеграм @lukin_ea
Профиль на профи.ру:
profi.ru/profile/LukinEA8/?ut...
Это невероятно полезное видео, спасибо большое.
Оооо, круть))) Спасибо огромное!!! Буду изучать.
Красава, мужик! Объяснил подробнее и понятнее, чем в официальных видосах ВебСкрапера!
Отличный ролик! Вы очень мне помогли!
Доброго времени суток. Спасибо большое за видео. Очень помогло в работе.
Вы мой спаситель! Спасибо огромное!
Удачи Вам. Благодарю за хороший материал.
Спасибо 🙏
Отличное видео! Кстати, фиксировать ячейки удобно в строке формул с нажатие кнопки F4 поочередно меняет что фиксировать, столбец, строку или всю ячейку
Спасибо за видео!
тот момент когда ты изучаешь не только по парсинг, но и узнаешь новое в работе с excel
Спасибо, очень полезно)
Спасибо за видео. Мы хотим видео для новичков
Нашёл ура)) Надо было читать документацию) Pagination(BETA)
Отлично 👍
Евгений, привет. Отличное видео, но я жестко запутался что и куда. Вероятно что из-за того что я новичок в парсинге. Раза с третьего думаю разберусь, хотя кого я обманываю! :))
Спасибо за ответ, значит мне надо ещё проще попытаться рассказать про парсинг. Я подумаю, как это подать более понятнее. Но и у вас всё получится, нужно только привыкнуть к новому.
Спасибо!
спасибо! всё понятно было (но я продвинутый user)
Отличное видео, еще бы таймкоды ему.
Очень хорошее и понятное видео. Только есть момент который было бы неплохо разобрать поподробнее или записать по нему видео на 11:30. Как собрать все ссылки сразу и уже с них считывать характеристики, а не по одной
У меня есть плейлист «WebScraper - парсинг без кода», в нём как раз рассмотрены такие ситуации. Там есть про пагинацию - как собрать список товаров со всех страниц. Соединив пагинацию с парсингом отдельной карточки вы как раз решите свой вопрос. В чате телеграмм добавлю комментарий по этому вопросу. Спасибо, что смотрите )
Я вот уже почти 3 дня продолжаю парсить игровой веб-сайт Канобу, поскольку у них там датабаза на 50,000 с лишним элементов (это так, приблизительно), поэтому пожалуй соглашусь, что будет намного проще самому написать код, хотя сам webscraper несомненно полезный и эффективный инструмент для парсинга.
Отличное видео. Есть затыки. Например, на этапе сбора характеристик, у меня опытным путем синтаксис получился другой но сработал, самая загвоздка оказалась в exel. Если есть возможность снимите пожалуйста подробное видео по компоновке, формулам в excel нужным для парсинга. Может быть уже есть такое. Еще раз благодарю, действительно без программирования оказывается можно парсить, но как оказалось html нужно хотя бы понимать. Видео в архив обязательно.
Спасибо 🙏 В видео «Импорт атрибутов WooCommerce - скринкаст»
ruclips.net/video/B1IvW0l57b8/видео.html скрупулёзно разбираю работу с данными в экселе. Многие элементы использую и при работе с сырыми данными после парсинга. Возможно там будут какие-то ответы на ваш вопрос. Смотреть на скорости х1,5 😊
Классный конечно инструмент для парсинга простых сайтов,
но вот у меня не было в пагинации кнопки next
и вообще там все варианты селектора пагинации не срабатывали из-за выполнения js скрипта поэтому не получилось использовать его.
Пришлось самому парсер писать
Теперь нужно занести товары на сайт свой
Евгений,спасибо за обзор! Подскажите, если в каталоге нет кнопки «показать еще» и нет кнопки «далее» для просмотра товаров, но работает скролл на сайте для загрузки товаров. Как можно организовать Парсинг со скроллом?
Спасибо за оценку 🤝 В WS есть такой селектор Element Scroll, который используется как раз для таких случаев
Евгений, спасибо вам за видео. При изучении документации по Web Scrapper моменты, которые вы освещаете, я не нашел. В особенности то, что можно сохранять одновременно оба селектора
Спасибо ☺️ Какой момент про два селектора, уточните?
@@usotaЗдравствуйте. Снимите, пожалуйста как парсить изображения товаров? На каждом товаре по несколько изображений?
@@usotaда, нужен Эксель чтобы с импортом товара научиться нормально работать. Заснимите, пожалуйста курс с Экселем
Не могу спарсить фотографии. Не выбираются миниатюры, увеличено изображение выбирается в директорией .active img не знаю что в ней менять и как выбрать все фотографии. подскажите пожалуйта.
Добрый день! Евгений спасибо за ваши полезные видео. Сможете показать как спарсить с каспий магазина. Я сам пытался парсить, одну под категорию но не получается. Я хотел мониторить цены, и регулировать на своем сайте. Или подскажите пожалуйста есть какое то решение. Заранее спасибо.
А людям, которые не могут читать код и писать вручную команду никак не справиться?:
Не могу спарсить таблицу из википедии.
Выделяю Шифтом ячейку, апри нажатии на следующую захватывает и соседний столбец, а он мне не нужен в этой итерации. Как это исправить? Нет ли какого то сочетания клавиш, при котором отменяет выделение при указании ячейки для сбора информации:?
Евгений. Очень интересно. Подскажите пожалуйста. Хочу сделать парсер на авито. И встал на этапе парсинга платных услуг. Дело в том, чтобы узнать какая услуга была применена нужно нажать на стрелочку, всплывёт подсказка, и после если посмотреть код страницы, наведя курсор мышки на х2,х5,х10 и.т.д. то можно увидеть какую именно услугу применили. (там картинка с именем например 5_7). Вопрос в том реально как-то спарсить эту картинку, или даже вернее название её?
Спасибо большое
В WebScraper есть селектор ElementClick, который отвечает за клик мышью. Я думаю, с помощью этого селектора можно вытащить эти данные.
Привет Евгений, не пойму, что то в формула не работает ВПР СЦЕПИТЬ(A2;$D$1);'Лист1'!C:D;2;0, не вижу п видео что должно быть между ВПР СЦЕПИТЬ
Привет, ВПР(СЦЕПИТЬ…. )
У вас талант просто рассказывать о сложном! СпасибО!
И такой вопрос а почему у меня нет в меню Selector Graph?
и еще вопрос а если в карточки товара есть еще кнопка выбора подвида товара? что тогда делать?
А можно ответ? У меня тот же вопрос
Доброго времени суток. Возник вопрос по данному инструменту. Парсить теги Title и h1 получается, а вот description уже нет. Возможно ли это? и как выглядит синтаксис?
1. Выбери тип селектора - Element attribute
2. Условие селектора - meta[name="description"]
3. Наименование атрибута (Attribute name) укажи - content.
@@usota Премного благодарен Вам. Я преданно смотрю канал, далее буду учиться парсингу с помощью питона)))
Спасибо, очень интересно и доходчиво!!! Подскажите: есть excel файл с определенными установками, написанные макросом, можно ли каким либо способом импортировать данные из Webscraber сразу в указанную excel файл?
Спасибо ☺️ К сожалению, в бесплатной версии WS нет экспорта сразу в какую-то другую систему. Только скачать файл в эксель и уже вручную «поженить» его с вашим файлом.
@@usota спасибо,понял, очень оперативно ответили)
Спарсила позиции с сайта, их 300, а парсер собрал больше, почему так? И при пагинации, парсер собирает позиции со след.страниц не по порядку, как они идут на сайте
Если парсер собрал больше, то возможно парсер проходит одну страницу больше одного раза, я бы проверил настройки пагинации. А по поводу «не по порядку»: это особенность выгрузки в WS - он просто выдает нам не отсортированный результат из базы данных. Если вы отсортируете в экселе по первому столбцу , то всё будет в нужном порядке.
Пишите в наш телеграм чат @proparsing - ребята помогут с вопросами, если что 🤝
Еще раз спасибо за видео! Подскажите пожалйста, как можно добавить сразу большое количество Start Url, не пользуясь каждый раз плюсиком
Для этих целей я использовал свою страницу ссылок
ruclips.net/video/26kGYPw9454/видео.html
@@usota Спасибо!
Так просто сказано насчет списка ссылок, создайте сайт и внесите туда этот список. И что, как это делать?
Обязательно скоро расскажу, всё в одно видео не уместить. Ролики и так длинные )
Specially for you - ruclips.net/video/26kGYPw9454/видео.html
@@usota Вот за это огромное спасибо)
Спасибо! Крутое видео. Можете показать как с помощью этого инструмента парсить Домклик?
Спасибо, а какие вопросы возникают с домклик?
@@usota задача: с небольшого (любого) города нужно выкачать все квартиры указаны (фильтр любой, главное чтоб было от 5 страниц и более). В Excel должно быть два столбика адрес с количеством комнат и второй столбец цена. Сам сайт домклик очень интересно работает ( по крайне мере у меня): страницы либо подгружаются автоматически либо нужно нажимать на номер стр, если нам нужно зайти в объявление то всегда открывается новая вкладка. Как итог у меня не выкачиваются все квартиры и не получается выгрузить цену. Если у вас будет время и вам интересно разобрать данный пример, буду очень признателен, спасибо.
Классное видео! Посоветуй сервисы для парсинга интернет магазинов. Бесплатные, платные.
К сожалению, готовых сервисов не знаю. Только пишу вручную.
Скажите пожалуйсто а что делать если внизу вместо следующей страницы кнопка показать ещё?
Можно использовать селектор Element Click, который будет кликать на эту кнопку.
@@usota Спасибо вам огромное)
@@usota Нажатие на кнопку "Показать ещё" не открывает новую страницу, а продлевает
существующую. Получается, что данные будут задваиваться при следующем проходе?..
@SV-13 парсер собрирает подгруженные данные, а не проходит заново всю страницу - это было бы не рационально
Как убрать букву Р не понятно. И вообще где писать код JS для обработки данных? Платную версию бы посмотреть. На торе запустить. Много еще чего надо разобрать.
Спасибо, Евгений. Без воды и с позитивом. Приятно смотреть. Хочу понять в чем моя ошибка: собираю имя товара и стимость, делаю так как показываете, однако финальный результат имеет такой вид: сначала идет список названий, а потом цена,
название
название
название
цена
цена
цена
а нужно, чтобы было:
название-цена
название-цена
название-цена
Подскажите, в чем моя ошибка?
Попробуйте сначала создать селектор Element, а уже внутри него собирать поля.
@@usota Попробовал, вообще нет информации в строках. Что-то я не так делаю. Может у Вас есть по похожим вопросам видео на канале? Сам не нашёл пока.
Извините пожалйста но не получаеться с инструментом элемент клик(
Напишите в телеграм-чат (есть в описании) ссылку на сайт, я думаю найдём решение
@@usota Спасибо сейчас напишу)
Евгений, а может парсер пройтись по чекбоксам фильтра и собрать ссылки? Есть категория товара- масляный фильтр, в фильтре выбор по брендам. У каждого бренда свои поля с описанием и характеристиками. Хочу собрать ссылки каждого бренда, чтобы потом под каждый бренд спарсить нужные поля, чтобы в файле и при импорте на сайт товара потом не было путаницы . Всего 41 бренд, не много, можно и вручную сделать, но хочется научиться парсить все сразу для экономии своего времени. Если может подскажите как настроить, у меня самостоятельно не вышло.
Как правило, фильтр по бренду добавляет в url ссылки параметр с именем бренда, например site.ru/smartphones/?brand=iphone. Если это так, то достаточно спарсить фильтр, как ссылки. А потом уже по ним собирать товары. Но если фильтр по брендам делается через ajax, то простым парсером их не соберёшь.
@@usota Спасибо, я "везучий", мне достался фильтр через ajax. :))))) Еще вопрос: Совсем не понял про интервал запросов. 2000мс для небольшого объема данных это нормально, правильно? Какие значения ставить, если объем большой? У меня вчера парсер с таким интервалом запросов 950 позиций с фото и описанием парсил около 2х часов, это нормально?
Про интервал запросов: по умолчанию интервал 2 сек., или 2000мс. Это медленно, но не создаёт нагрузку на сайт, который парсим. Если нагрузка будет большая, на сайте может сработать защита и наш IP заблокируют. Это не зависит от объема данных. Но если их очень много, можно попробовать уменьшить интервал запроса до 1 секунды. Теоретически скорость Парсинга увеличится в 1,5-2 раза. Но я рекомендую не спешить. Если ваш IP заблокировали, а вы его не можете быстро поменять, то будете вынуждены ждать, пока блокировка снимется.
@@usota А интересно, существуют ли парсеры с каким-либо ip-миксером,
чтобы слать запросы с разных адресов и сервер не ощущал DOS-атаки?
@SV-13 да, для этого используются прокси, но писать такие парсеры лучше уже на Python
спасибище! Только зачем каждую ссылку добавлять плюсиком? Почему нельзя выбрать селектор внутри селектора на ссылку по товару?
Пожалуйста 🙏 Ссылки добавляем плюсиком, если делаем новую карту. А так вы правы, можно и внутри селектора.
Видео шорошее. Только в моем случае нет таблиц характеристик.
Как по мне, мне скрипт на питоне проще написать)), а вы как характеристики парсите через питон?
Согласен, мне тоже проще на питоне) А по поводу характеристик у меня есть видео ruclips.net/video/hQRr-27w9G8/видео.html
Если количество характеристик неизвестно, как например у товаров на WB, то использую другой способ, про который постараюсь в ближайшее время тоже рассказать.
@@usota Ну там у вас характеристики одинаковые везде, хотел бы посмотреть как вы решаете задачи с множеством характеристик, где у каждого товара они разные.
Записал видео, как решаю задачу с множеством характеристик ruclips.net/video/nAFJM8D3Z58/видео.html
Евгений здравствуйте.
Неудобно смотреть за Вашими действиями на экране мобильного телефона, - мелковато.
_Хотелось бы, чтобы демонстрируемая рабочая область занимала основную площадь экрана, - крупным планом показывать себя не обязательно._
Здравствуйте. Ваше пожелание принято. Подумаю о специальном выпуске для вас, без показа себя. По поводу мелковатости на мобильных - к сожалению, не знаю, как адаптировать видео для телефонов. Ведь тогда будет неудобно смотреть с ПК? Возможно, у вас есть предложение или пример?
@@usota жаль, что мой намек не был замечен. Нет необходимости адаптировать видео под телефоны, просто уменьшите долю изображения "себя любимого" или совсем уберите.
_Какая-то в этом есть необходимость?_
Я вас прекрасно понял с первого раза ) Поверьте, причины есть. Но обсуждать их не вижу смысла, потому что это не несёт никакой пользы для будущих роликов. Может у вас есть вопросы по содержанию?
Евгений, привет. А как вытащить фото товара из слайдера? Все перепробовал, ничего не получается. Полное изображение сидит тут:
Можно вытащить через селектор Element attribute и в качестве имени атрибута использовать style. А потом уже в экселе автозаменой почистить свойство бэкграунд-имадж.
Вобщем надо написать нормальный обзор на работу WebScraper )
@@usota Все обзоры у Вас нормальные, просто ситуации использования парсера разные у всех, а как известно на всех не угодить. Так и не вышло вытащить полное изображение, только из быстрого обзора товара миниатюру смог достать.
@@usota Сильно заняты? Не сможете объяснить где-нибудь в вайбере или ватсапе как победить мне этот парсер? Заодно и про обучение бы поговорили. Станем ближе к своим подписчикам, так сказать! 😉😀
Лучше WhatsApp
Евгений, я просмотрел много ваших видео, но так и не смог найти самое главное(
В этом видео вы все очень доступно объяснили, за что я вам очень благодарен.
Но упущен один момент:
с 11:47 минуты по 12:00 минуту
что же это за файлик такой, куда его выгрузить, и как указать в парсер путь к нему?
Понятно что для 10-15 товаров проблем нет, можно и в ручном режиме повставлять ссылки.
Буду благодарен вам за ответ😁
Если коротко, то я создаю html страницу со списком нужных ссылок и запускаю парсер уже на эту страницу. Напишите мне в телеграм, постараюсь объяснить подробнее.
Я в первый раз, но на удивление удалось совместить сбор ссылок и одновременно сбор нужной информации, пришлось так сделать, 1500 ссылок не смог загрузить в текстовый блок)
Добавил на канал видео, как сделать собственную страницу со списком ссылок ruclips.net/video/26kGYPw9454/видео.html
не работает нихрена с теми сайтами которые нужны да и так то работает то нет
Это как с девушками 🙂 К каждому сайту свой подход.
То есть я хотел сказать парситься
36:30 Зачем человеку, не умеющему работать в экселе, вообще заниматься этим??
Согласен 🤝
я понимаю что ты сказочно красив, но обязательно свою рожу в треть экрана делать да ещё и так близко? 😨
Если я тебя раздражаю, зачем пользуешься результатом моей работы?
@@usota
1. до тебя мне дела нет, просто видео смотреть неудобно
2. угадай с одного раза почему я пользуюсь "результатом твоей работы"
Зачем ты делаешь себе неудобно и винишь в этом меня?
@@usota зачем отвечать таким свиньям неблагодарным как этот ГУНИК? Оно же животное бестолковое, не тратьте свое время на умственно отсталых, так еще и эта падаль умудряется оскорблять, пользуясь бесплатным видео в котором отличный туториол и понятный! Спасибо за ваш труд!
Мир вам и вашему дому )
Такой труд проделали , грамотно все рассказали про парсер.Без запинок и скучноты ( хотя тема не развлекательная ).Не обращайте внимания.Вопрос в том , что данный комментатор - в состоянии ли такой контент отснять на вашем уровне.
Салам из Кыргызстана )
Добрый день, Евгений. Подскажите пожалуйста как собирать данные если они у нас в попап окне выводятся?
Добрый, можно попробовать через селектор Popup Link или напишите пример сайта с попап окном, посмотрим 🙂
@@usota вчера кое как, додумался сделал Popup link (он нажимает по кнопкам), рядом сделал два селектора текстовых, которые парсят Ф. И. О. и телефон, но теперь не могу понять как заставить его бегать по страницам пагинации. Ваше видео посмотрел, вроде как сделал так же, но что то лыжи не едут))) P. S. Яндекс Услуги парсю.
Посмотрите, может в этом видео будет решение Парсинг без программирования III. WebScraper
ruclips.net/video/7j5RA5bOO5Q/видео.html
@@usota Всё, работает. Только столкнулся с ещё одной проблемой, когда вылезает кнопка "в начало" она имеет такой же селектор... и на 3 странице у меня парсер перестает парсить.
Попробуйте выбрать селектор не по классу, а не по другому способу, например через xpath