Грамотный парсинг на Python - выгружаем товары с Wildberries с помощью API
HTML-код
- Опубликовано: 30 мар 2023
- В этом видео мы разработаем скрипт парсера на Python, который собирает из конкретной категории маркетплейса Wildberries базовую информацию о товарах (бренд, название, цены и процент скидки).
💎 Мой Boosty с усовершенствованным кодом парсера (добавлена асинхронность (скорость x10+), автосканер всех категорий Вайлдберриз, проверка товаров на уникальность):
boosty.to/isartem
📟 Telegram-бот
t.me/isartem_bot
📚 Telegram-канал:
t.me/isartem
📝 Telegram-бот с ChatGPT + 12 ролей
t.me/ai_pro_bot
🧿 Telegram-бот с Midjourney и Stable Diffusion:
t.me/midjourney_ai_robot
ASocks.com прокси:
asocks.com/c/nlpX
Промокод: ISARTEM
Код парсера из видео:
t.me/isartem/173
#программирование #программист #айти #python #pythonprogramming #pythoncoding #wb #wildberries #парсинг #parsing #asocks #прокси #proxy
Спасибо! Пишу на JS, а не на Python, но все понял с первого раза.
Такой уникальной информации, как за 15 минут сделать свой парсер и как они вообще работают, ни у кого не найдешь.
СПАСИБО БОЛЬШОЕ, НАКОНЕЦ-ТО НАШЕЛ ТО, ЧТО МНЕ НУЖНО💘
А, тю - настолько не сложно это))) спасибо я думал там головняка куча. Сейчас буду пытаться допилить этот скрипт и сделать что-то интересно) огромное спасибо и лайк
Спасибо большое за ролик! Очень сильно помогло! Подскажите, пожалуйста, что значит показатели time 1 и time 2?
привет! классный контент! работаешь где прогером? какой стек у тебя?
Спасибо за видео. Как называется программа-блокнот для кода и какая тема в ней выбрана со шрифтом?
@isartem подскажите пожалуйста, какой редактор кода используется в видео?
А если нужно именно парсить карточку, то как там получить число basket для запроса? Оно всегда разное
Полезное видео и очень понятно все показано и рассказано. Круто , не останавливайся. Видео в интернете много, а хорошего видео как всегда мало ((
Спасибо за урок!
curl удобно форматировать в Курлконвертер, чтобы не копаться в нем вручную.
Можешь написать название сервиса-агрегатора, который упомянут в конце? интересно посмотреть, а на слух трудно разобрать первые буквы.
Рад, что урок был для Вас полезен!
Сервис аналитики - MPStats
Здравствуйте, не подскажите как можно парсит заказы , продажи и возвраты ?
сколько стоит парсер для стима нужен ? пока новичок по пайтону хочу сделать парсер сколько времени займет ?
Совсем не понял, где здесь API? И вообще чтобы записать в csv файл нужна целая библиотека pandas.
Авито так получится парсить. Можете снять про это видео ?
Вроде как считается грамотным записывать параметры URL'а в отдельную переменную. Интересно было что значат такие параметры в URL как regions dest spp и откуда они берутся и как определяются при формировании запроса.
А есть ли возможность автоматизировать получения url для json данных с сайта, что бы ручками не копировать?
Есть. Как раз для подписчиков Бусти выложил скрипт, который автоматом сканирует все категории товаров 🙌
Здравствуйте, не подскажите на пару слов как можно парусить с Вб всё что возможно чтоб не заблокировал наше запросы ?
Прокси наше всё )
Здравствуйте Артём. Я прописал ваш код, но есть проблема. Питон ругается на эту строку --- "priceU": float(product.get('PriceU', None)) / 100 if product.get("priceU", None) != None else None. Пишет TypeError: float() argument must be a string or a real number, not 'NoneType'. Может вы знаете, что я не так сделал.
Решили свою проблему?
А реально ли сделать парсер и обойти всю защиту на Мегамаркете?
Спасибо большое!
Можно подкину идею, парсер Авито!
(Все подобные видео старые и не работают методы с авито уже )
пишу сейчас себе, selenium и bs4 решат все вопросы
У меня не работает Modulenotforund error, хотя все модули импортированы
может быть ошибка в слове, проверьте заглавные буквы
интересно
Я сегодня день по сидел и разобрался как из запросов вытягивать джисон с 300 строками, конвертирую его в эксель и все это за 5 минут, в то время когда вы ради 100 строк будете писать код 40 минут.
Вопрос от чайника - на основании данного материала, можно ли как-то спарсить данные своего личного кабинета (как продавца) + картинки товаров, чтобы потом сделать, например, визуализацию в Power BI? Идея: карточка товара в Power BI с переключением с товара на товар и с подгрузкой фотографии товара.
по всем своим данным можно просто воспользоваться API Wildberries, зачем что-то парсить
@@_dks_ не работает так
Озон, Леруа мерлен, авито так не получится парсить. Скорее исключение.
вот только на странице там больше 100 товаров, и оставшиеся в другом запросе
Ничего не мешает получить товары и с других страниц, если есть такая потребность
@@isartem как реализовать парс с нескольких страниц?
@@lupc через пагинацию
@@godforger очень информативно, ладно можно не утруждаться, я уже сам разобрался как реализовать парс многостраничников.
@@lupcпомоги пожалуйста, та же проблема, неделю уже репу чешу🙏
Be Pythonic - метод get по дефолту возвращает None, сравнение с None аналогично считается плохим тоном. Весь код можно сократить минимум на треть
Всё именно так, благодарю за дельное замечание 🙌
голос автора уж больно напоминает голос Ильи Галкина.... автора канала по микроконтроллерам)
Не знаю такого)
одно не пойму вы отправляете запрос и даже не видя ответит ли он вам что то сразу пишите код ((( без теста без всего - ведь ответ в браузере это одно а через другое приложение может и не ответить
Всё ведь работает, что не так?)
@@isartemздравствуйте, а как сделать так чтобы много разных каталогов и самый главный вопрос , снимите пожалуйста как это выгружать в телеграмм с фото 😢
Где хоть слово про API то?
Зачем покупать у тебя на бусти когда этого добра на гитхаб полно, бесплатно
Можешь, пожалуйста, скинуть ссылки? Или хотя бы подсказать, где и, что главное, что искать?
Спасибо заранее!
@@MarkTheCat ссылки в комментах банятся
Процент скидки не имеет смысла, т.к. она рисованная. Даже график цен не показывает все колебания, а зачеркнутая цена взята с потолка.
ничего не пон
сплошная реклама,то купи это купи.Разочарован
Спасибо Артем за классное видео, но я сомневаюсь что каждый сможет такое повторить учитывая что не все обладают даже базовыми знаниями пользования питоном. Я лично обратился к Serm Expert с этим вопросом. Сделали всё быстро и качественно. И не надо сидеть и париться сутками с этим питоном. Советую
Выключил после привет друзья
Что не так?)
@@isartem, ты первый, кто назвал его другом. Хоть это и не серьёзно.
Эм, а о чем вообще ролик и зачем его смотреть то? 😂