Секреты парсинга на Python | Как зарабатывать больше на фрилансе | Парсинг сайтов
HTML-код
- Опубликовано: 17 фев 2023
- ⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. Секреты парсинга, незаменимые помощники при парсинге данных.
💰 Поддержать проект:
www.netstalkers.com/private
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
🔥 Telegram канал к кучей ништяков и командами из видео:
t.me/python2day
****Ссылки****
Дешевый/надежный сервер в Европе + СКИДКА 10%:
vdsina.ru/?partner=858b36ud3p
Хороший proxy сервис:
proxy6.net/a/149995
С нуля до 100 000 за полгода | Что должен знать JUNIOR PYTHON разработчик в 2023:
• С нуля до 100 000 за п...
Кликер на Python | Фармим ресурсы в играх:
• Кликер на Python | Фар...
Выполняем тестовое задание на Junior Python разработчика с зарплатой 70000р:
• Выполняем тестовое зад...
Зарабатываем на фрилансе | Requests, bs4 и телеграм бот на aiogram:
• Обучение парсингу на P...
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
CURL into Python requests:
curlconverter.com/
****Соц.сети****
Telegram: t.me/python2day
#фриланс #парсинг #заработоквинтернете #requests #python #заработок #webscraping #scraping
Большое Вам Спасибо! Очень хочется больше видео по Python!
Красавчик, человеческое спасибо, с уверенностью скажу - ты старался и стараешься не зря, ты пробудил огромный интерес у многих людей, интерес к программированию! Здоровья твоей семье, живи вечно, всего самого хорошего тебе и твоей семье!
Огромное спасибо за теплые слова дружище! Взаимно! Здоровья и успехов тебе и семье 💪
Dominic Toretto: "Ты сказал семья?"
@@the_huge_knightbandaleros
@@the_huge_knight ты чепес
@@the_huge_knight 😂😂😂
Давай ещё по парсингу, материал огонь! 🔥
Лучший, спасибо! Скоро будет 200к. Очень давно тебя смотрю) всегда лучшие объяснения и качество)
Только учусь) Большое спасибо за поддержку!
Огроная благодарность за то, что тратишь свое время и делишься полезной и интересной практикой! 👍
Спасибо за поддержку!
Спасибо автору !!!
PythonToday, спасибо за видосы, очень классные! Но есть пару просьб - увеличивай пж размер кода в редакторе, не очень читабельно на малых мониторах и комментируй урок пж не так быстро как печатаешь - с усвоением написанного и быстрой озвучкой мозг бывает не справляется, уменьшаю скорость видео)))
Спасибо за видео! Видно, что видео проработано!
Спасибо, огромное. Сильно помогли. На работе таск был в бэклоге ваш видос помог исправить ситуацию.
Рад что полезно! Спасибо за фидбэк!
Спасибо, очень нужные вопросы раскрываешь).
Спасибо за фидбэк и поддержку!
Здравствуйте. Благодарю. Все супер!
Приветствую, спасибо за фидбэк!
Здорово! Благодарю за прекрасный практический материал!
Благодарю за фидбэк и поддержку!
Спасибо. Очень полезно
Спасибо что делишься знаниями!
На здоровье друг) Главное чтоб было полезно!
Огромное спасибо, как всегда на высоте
Большое спасибо за поддержку!
Спасибо! Лучший!
Спасибо за фидбэк!
Я почти неделю не мог вытащить данные с сайта , не проходил защиту. После этого видео всё получилось , думаю комментарии излишни. Большое спасибо
Просто топ как всегда огромное спасибо просто с удовольствием и жду твое видио
Большое спасибо за поддержку!
Топовый контент, топовая подача! благодарность!
Большое спасибо за поддержку!
Смотрю все видео, лучший канал. Было бы круто если бы выложил что-то с fingerprint защитой. Или где нужно через моб апи ломиться. Сбермегамаркет показался очень сложным.
Довольно интересная информация. Спасибо за ролик!
Спасибо за фидбэк!
Дружище, ты меня очень сильно выручил, благодарю за видео))
Благодарю за фидбэк!
@@PythonToday у меня есть вопрос, как парсить с помощью rest api?
Спасибо большое за видео! Очень полезное, интересное и что самое главное понятное для новичков
Большое спасибо за фидбэк!
Спасибо огромное, благодаря твоему видео удалось прочитать лимиты для Яндекс API JavaScript API и HTTP Геокодер для своего скрипта. Еще раз огромный респект!
Благодарю за фидбэк! Рад что полезно
Спасибо, вы сэкономили мне кучу времени! Посмотрев видео я поняла, что такое программирование - уж точно не моё, хотя не так давно всё же (по подсказкам с ютуба) написала работающего бота для биржи, но это скорее было мучением, чем удовольствием. Пойду дальше ковырять свои микропроцессоры и писать код под "железо". Питон - интересно, но когда смотришь со стороны))
Здравствуйте! Подскажите, пожалуйста, как Вы создали бота для биржи? У меня проблема с парсингом цены на золото в унциях (XAU/USD) в реальном времени с биржи. Я создаю телеграм-бота, у которого можно постоянно узнавать с помощью одной кнопки актуальную цену на золото в унциях с конкретной биржи с помощью парсинга, но никак не могу реализовать этот нюанс. Есть предложения?
@@jerrysimon7687 Здравствуйте! У меня получалось подключиться к двум биржам: OKX и Kucoin. Там это открытые публичные данные и прямо есть пример запроса по паре монет и документации по АПИ. В вот на московскую биржу меня не пускает, с другими тоже пока не разбиралась.
@@jerrysimon7687 могу помочь (не за бесплатно)
Видео класс, давно пользуюсь этим методом, кстати подсмотрел я его у тебя в одном из прошлых видосов по парсингу. Рекомендую всем, таким способом даже многие сайты с серьёзно защитой от парсинга не догадывались что орудует скрипт)
Но я предпочитаю сразу json данные с Бэка так скачивать, если они есть конечно.
Всё верно) Молодцом! Большое спасибо за фидбэк и поддержку! Рад видео помогают 👍
@@PythonToday спасибо большое за приятные слова и за твою работу!)
@@PythonToday вот про скачивать json с бэка тоже был бы годный контент
сори, понял что вопрос глупый))) Ведь для этого нужно таким же методом искать *.json...
@@user-yb2rm6rb7i такой уже есть. Пересмотри ролики. Не могу сказать где именно.
Круто, спасибо. еще бы видос как обойти cloudflare2 без selenium...
Спасибо за видео! Хотелось бы узнать, как парсить характеристики товаров, когда у всех они разные, и в разном порядке? Есть ли видео на канале с объяснением этого?
Спасибо тебе за все видосики
Благодарю за фидбэк!
спасибо братан мотивируешь
Спасибо!
Огромное, тебе спасибо. Говорю уже не первый раз
Большое спасибо за поддержку!
Спасибо тебе крутой парень !!!
Твой канал - находка года. Подписался
Благодарю за поддержку!
Большое спасибо за ценную информацию, отдельный респект за краткость и отсутствие воды
Большое спасибо за фидбэ и поддержку!
Слушай, а попробуй записать сравнение httpx и requests, а так же selectolax + bs4, на скорость, удобство настройки параметров всяких и т.д.
Я думаю, что тема очень интересная, т.к. чем проще и быстрее сможешь собирать данные, тем легче тебе будет :Р
что это ?
Если можешь , сделай видос , со скачиванием видео с сайта , для усложнения задачи , пусть будет одно дефолтное видео , а другое с otp ключом которое рендерится в , и привязано к домену
видео интересное, но вот как парсить сетевые пакеты в селениуме это очень будет интересно посмотреть т.к таких видео попросту нет(
Охренеть. Просто охренеть. Спасибо!
Спасибо за фидбэк!
хороший ролик, спасибо, как бы еще решить вопрос с куками после авторизации, если примерно через 30-40 минут сайт закрывает авторизацию и снова просит логинов паролей
Написать запрос авторизации, далее получить токен и подставлять в заголовки запроса. Т. е. настроить cron (не знаю как питоне, я js), чтобы он логинился каждые 30 минут и сохранял токен в переменную, которую вы будете передавать с запросом
не могли бы вы объяснить бизнес-логику в ваших следующих видео?
Бро пожалуйста сними плейлист про библиотеку requests
Есть вопрос, я хочу парсить сайт, параметры поиска товара будут всегда разны (в зависимости от того что выберит пользователь в телеграмм боте), соответственно и ссылки, и страницы будут постоянно меняться. Есть ли смысл, повторить всё как на видео, но только с главной страницы? Будут ли куки, прокси от главной страницы полезны для подстраниц сайта? Заранее спасибо
Можно ли запустить live сервер в pycharm ?
Подскажите, пожалуйста, в каком запросе можно цены на товар выловить у dns? А так, видео - супер! Всё работает, спасибо)
В браузере можно посмотреть, f12 и во вкладке network
Приветствую, хотел бы узнать, можно ли хранить данные для сайта(в моём случае задания для учеников) в json файле, и отдавать их оттуда при запросе на сайте?
Безопасно ли это, и стоит ли так делать?
Приветствую. Думаю лучше хранить информацию в БД
Подскажи пожалуйста,как установить Visual Studio Code на Кали линукс!!!
Ты лучший 👍👍👍👍👍
подскажите, начал делать парсер АлиЭкспресс, и спустя время столкнулся с ошибкой 429( слишком много запросов) как можно обходить эту проблему?
вау, действительно качественный контент
Благодарю!
Да, простой и удобный инструмент для работы.
А есть такая возможность у телеграмм ботов. Их можно как нибудь спарсить или вытянуть данные?
А что если сайт жмот. и пишет в файле html {"status":"wait"} и всё
я правда копировал готовое чуть не там, но тоже так сделал на пером парсере своем.😁а реативные сайты проверяли? где чисто ajax.
а как дальше цены получить?
При открытии файла *html у меня возникали проблемы с кодировкой. Проблема была решена указав принудительно его кодировку. with open("rez1.html", "w", encoding='utf-8') as file:
спасибо, помог!
Здорово)))
Как получить и выполнить первый заказ? Где бы его найти вообще
Вроде как у самого получается парсить, парсил за логином, парсил Вайлдберриз, ну заказы хз где взять
Я не поняла, но было интересно)
класс, но больше бы инфы для чего можно было бы это использовать как для начинающих прогеров не ясна цель использования данного ресурса и парсинга
Здравствуйте! как найти id код сайта помогите пожалуйста!
Отличный урок! Могли бы сделать видео о том, как обходить 403 Cloudflare?
К сожалению, этот метод не помог. Пытаюсь написать небольшой парсер для озона, маркетплейса.
Тоже пытаюсь парсер для озона написать и тоже не выходит, если решил проблему отпишись пожалуйста
@@user-eu8gq7md3z После загрузки страницы в одном из div есть атрибут data-state, в котором массив items и там есть название, цена, цена скидкой и т.д., все что вам потребуется. Я так думаю, что понадобится библиотека - эмулятор браузера, после чего вы сможете получить контент страницы и далее по dom элементам вытащить нужный атрибут в json и распарсить
привет, наверное не по теме видео но хотелось бы спросить и получить ответ на вопрос
я написал тг бот но при выключении пк он перестает работать, я слышал что бота можно закинуть на сервер что бы он работал,
в обще подскажите пожалуйста на какой сервер его лучше закинуть?
Я тебе больше скажу, не только при выключении пк твой под умрет, но и при остановки скрипта. Есть видосы на тему деплоя бота на сервер, открывай и смотри
бот*
Отлично и крайне полезно, парсинг на питоне - это гибкость и мощь👍
Благодарю за фидбэк!
Привет, можешь написать, на каких фриланс биржах лучше и удобнее искать заказы?
открываешь гугл, пишешь в нем ФРИЛАНС и на первых 5 можешь искать, все нормальные,
чем дороже оплата за месяц тем выгоднее проекты
Подскажите пожалуйста. Парсил сайт обьявлений при клике пару раз на "посмотреть телефон" в модальном окне показывался телефон. Если больше раз кликать на просмотр тел. Появляется окно регестрации. Как можно обойти это???
очищать куки
Уже наверное все твои видео на канале пересмотрел
Надеюсь нашел что-то полезное!)
Добрый вечер. Не могли бы вы мне подсказать, вот если я хочу развиваться в сфере "Информационная безопасность" ( пентестинг ), какой язык программирования стоит начать учить, самым первым ?????
Здравствуйте, если мы говорим про веб пентест, думаю для начала нужно изучать сети.
@@PythonToday А если мы говорим про пентест в целом, я понимаю что там нужно учить сетевые протоколы, криптографию и т.д. Если брать конкретно язык, в каком языке присутствует, больше инструментария для данной деятельности????
а можно прямо для ограниченных вывести на экран нажимаемые кнопки
У меня тот же вопрос если json не открывается сам по себе , выдает что данных нету , а вот сами данные есть
способ конечно сработал. капчу обойти удалось. Но что делать, если в полученном response так и не удалось найти никакой информации, которую можно было бы спарсить?
Привет, сталкивался с защитой от ботов "F5"? Подскажи как обходить, если да🙃 Задолбало видеть запись The requested URL was rejected. Please consult with your administrador.
Привет, не сталкивался
Спасибо за твой труд!!! Лайк в поддержку канала!!!
Большое спасибо за поддержку!
Вы лучший!
Только учусь) Большое спасибо за фидбэк и поддержку!
@@PythonToday На самом деле Ваши видео бесценны!))
Ещё раз спасибо) Искренне рад, что полезно и интересно!
Лучшего гайда не существует!
Спасибо большое видео было очень полезно 👍👍👍
Благодарю за поддержку и интерес! Рад что видео помогают!
👏
Я спарсил сайт с товарами. На странице должно быть 20 товаров, но в файле только первые 10. И так на каждой странице
Поищите параметр limit, попробуйте увеличить (подобрать) с 10 до максимально возможного количества
лучший канал про python
Большое спасибо за поддержку!
парни подскажите как так быстро разворачивает локальный сервер. Нажимает кнопку' go live' это плагин или что ?
Коллеги,
подскажите, пожалуйста, как спарить информацию с ЯндексМаркета?
Он меня банит сразу, ничего не помогает. Может кто подсказать рабочий метод с selenium?
Как автоматизировать получение необходимых для получения контента cookies идентификаторов типа qrator_ssid?
Не возможно запустить парсер, которому нужно постоянно передавать вручную извлеченные из браузера ключи.
Selenium эту страницу не прогружает, уходя в бан по ip на некоторое время.
Есть какие то методы обхода?
qrator_ssid активен не долго, получается в результате работы js кода на странице из qrator_ssjr отправленного сервером.
Очередное доброе утро с новым видео от pythonToday :3
Спасибо за поддержку)
либо это уже не работает, потому что мне после сохранения response в html выдаёт просто загрузку, то есть когда я открываю его, то там просто страница loading и символы вместо анимации прокрутки, либо просто я что-то не так делаю
Хотелось бы узнать как парсить те данные которые подгружаются скриптами, и желательно не используя селениум
Но ведь скрипты не подгружаются просто так, это тот же запрос
@@PythonToday Проблема в том, что я пытался найти запрос который отправляют js скрипты с сайта, и понял что они никуда его не отправляют. Они просто как то подставляют данные, но как - вообще не понятно. я могу отправить в тг например показать что там происходит
Хотел бы посмотреть как Авито таким образом спарсишь)
👍
Кто знает как можно спарить элементы из Frame с помощью requests в интернете ничего не могу найти
👍👍👍👍👍
было видео как спарсить сайт у которого исходный код это js, а весь Html css генерируемый?
если нет, можешь показать как-бы ты решил такую проблему?
Selenium web driver
Чем этот метод лучше чем Selenium например? Если был бы бесплатный proxy + selenium + bs4 то можно эмулировать полностью клики переходы прокрутку время рандомное посещения и тд для сбора инфы и дальнейшей обработки)
Зачем вам загружать все ресурсы с сайта если есть возможность этого не делать? Это время, трафик, лишняя нагрузка на сайт, нагревание воздуха и т.п.
Если у сайта есть апи то нужно через него получить всё что нужно, если нет то просто хтмл качнуть без лишнего мусора, если сайт защищается то уже в этом случае использовать безголовый браузер, если и от этого защищается то использовать реальное устройство с внешним управлением вплоть до роботизированного пальца который тыкает в экран смартфона.
Начинать нужно с простого и дешёвого способа
крассавчик
Парни, кто может помочь? В запросах network у меня есть только тип document, html нет и я не знаю как толком спарсить днс)
А яндекс как запарсить? он при определенном количестве запросов выставляет капчу...
яндекс я не парсил. Но парсил гугл выдачу множеством реквестов. Там я использовал прокси сервер с ротацией. Может и с яндексом так же прокатит.
Какой IDE ты используешь?
vscode
Если куки убрать - то перестаёт работать, но как тогда работать с парсером, не используя куки? Ибо тогда приходится каждый раз обновлять их содержимое вручную
Для этого существует метод requests.Session() в библиотеке requests
Далее делаешь запросы через переменную этой сессии, например: session = requests.Session()
session.get(URL)
Почитай документацию библиотеки Requests, есть хорошая на русском языке
@@Vladimir_F609 спасибо
я правильно понимаю что на patreon можно только через ВПН попадать?
Если вы из России то да, для подписчиков из России доступна оплата по картам на сайте
@@PythonToday подскажите плиз сервис для potriona
Крутяк, анимего топ
Если можно пожалуйста сделайте обзор библиотек python-а которыми можно преоброзовать html на pdf а так же с подробным описанием как правильно подключить свой шрифты что бы они коректно отображались на pdf Файле. Я искал в интернете и в ваших платных контентах но нормального обясниние не нашел.
Зарание спасибо.
Все понятно и очень интересно! Добра, любви, денежных средств! Спасибо за внимание, до свидания! 🤗
Большое спасибо за поддержку!) Взаимно!
Скажите пожалуйста что за браузер используется в начале?
firefox
@@PythonToday спасибо, давно собирался начать изучать питон ) смотрел и смотрю все видео в захлеб) но тут не выдержал) начал! Очень крутой контент! Крепко жму руку. Вы делаете большой вклад в эту культуру