8000р за вечер на фрилансе | Обучение парсингу на Python | Proxy, Requests, API, JSON, CSV
HTML-код
- Опубликовано: 4 июн 2022
- ⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео выполняем заказ взятый на фрилансе по парсингу сайта лаборатории тестов.
Поработаем с прокси и отправим через них запрос на сайт с помощью библиотеки requests, исследуем сайт, напишем запрос к API, запишем данные в json и csv файлы, ну и конечно заработаем 8000 рублей.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
****Ссылки****
Дешевый/надежный сервер в Европе:
zomro.com/?from=246874
promo_code:
zomro_246874
Хороший proxy сервис:
proxy6.net/a/149995
Выполняем тестовое задание на Junior Python разработчика с зарплатой 70000р:
• Выполняем тестовое зад...
Зарабатываем на фрилансе | Requests, bs4 и телеграм бот на aiogram:
• Обучение парсингу на P...
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
CURL into Python requests:
curlconverter.com/
Код проекта на github:
github.com/pythontoday/scrap-...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
#фриланс #парсинг #заработоквинтернете #requests #python #aiogram #заработок #webscraping #scraping #api #json #csv #pythonapi
Умение завернуть в 10 минутный бесплатный ролик практики из месячного платного курса...Потрясающий канал, автору респект и спасибо за труд!👍👍👍
Найс месячный платный курс, в котором инфы на 10 минутный ролие
@@rianoneq пхахаххаха )
Большое спасибо за фидбэк!)
@@PythonToday зачем тебе прокси? Есть библиотеки которые даже клаудфларе защиту обходят, ты просто не знаком
@@dimamihalev2986 напиши название, полезным будет
Пару месяцев назад даже не понимал как такое возможно вообще, но теперь уже предугадываю действия) все благодаря твоим видео, ты делаешь людей образованнее, дорогой Автор! 🫡
Спасибо тебе 🤝
Большое спасибо! Рад что видео интересны и полезны)
Я вот тоже сейчас не понимаю как это вообще возможно ))
Шикарные видео. Понемножку вливаюсь в программирование и когда наступают моменты "опускания рук" - Ваши видео - элексир. Больших Вам успехов!!! И большое СПАСИБО!!!
Автору огромное спасибо! Благодаря навыкам, которые он показывает, я уже начал свою предпр. деятельность по сбору данных!
Материал доносит понятно и без напряжений, приятно смотреть уроки. Ну и конечно кивающий под бэксаунд, котофей! Мои любимые моменты ))))
Большое спасибо за фидбэк!)
Спасибо за видео, с нетерпением ждем каждого выпуска. Отличная подача материала 👍
Благодарю за фидбэк!
Лайк за полезный контент и крутую подачу без воды. Коты топ))
Спасибо за поддержку!
Я даже и не знаю что ещё написать) спасибо за очередной огненный ролик с тонной информации! Всё логично и просто, надеюсь, что, когда-нибудь и я смогу так же легко видеть решение проблем)
В видео всё просто) Спасибо за фидбэк!
Очень крутой видос! Спасибо)
Мощно, мужик! 😍
Хотелось обвинить в слишком быстром темпе, но ты предусмотрительно отправил на видосы-предыстрию 👍
Шикарный контент, Автор просто молодец!!! Успехов и процветания каналу!!!
Огромное спасибо за фидбэк!
Буду начинать с твоих уроков обучение! Очень интересно!
Спасибо за фидбэк!
Классное видео ) спасибо ☺️
Спасибо большое автору за проделанную работу, как всегда кратко и по существу
Где ж ты был пару месяцев назад. Так красиво, и главное, ДОСТУПНО объяснил всё то, что было необходимо для моей учебной практики в вузе. Но благодаря ролику теперь задумался о фрилансе в этом направлении, спасибо за обучение!
Благодарю за фидбэк! Рад что видео интересны)
Сразу лайк. Потом просмотр.
Подписался на телегу ;) Канал офигенный, честно говоря.
Дружище очень позновательно) Сам Бэк работаю с битриксом больше и на пыхе. Подчерпнул для себя полезной инфы)
Как всегда топовый контент, спасибо !
Благодарю за фидбэк!
Круто все делаешь, спасибо )
Видео очень крутые и информативные! Благодарю!)
Есть вопрос - на 4:42 ты говоришь, что нашел ОДИН ВЕСЬМА ИНТЕРЕСНЫЙ ЗАПРОС. Но как ты понял (по каким признакам) что это тот самый?
Спасибо огромное! Очень помогли!
@PythonToday Шикарная подача бро, интересно
Шикарное видео, хоть парсингом и занимаюсь давно, но всё равно нашёл для себя много интересного
Большое спасибо за фидбэк! Рад что полезно.
Каждый новый ролик сродни теплу душевному
Благодарю!
Спасибо огромное за практику!
Большое спасибо за фидбэк!
Спасибо за видео, было интересно посмотреть, как выполняются реальные проекты
Благодарю за фидбэк!
Ещё не успел посмотреть, так как на работе ) ну уже лайк однозначно!))))))
Большое спасибо за поддержку!
@@PythonToday не за что! Серьезно помогаешь людям хорошо)) я сам учу python пол года, и очень хорошо помогает твои советы и уроки!)
Ты умница, спасибо огромное =*
Ролик познавательный, изложено понятно
Лайк и комент, за полезный контент!
Полезное видео! Кот как всегда рулит! :)
Благодарю за фидбэк!
ну вот, годнота, а не какие-то там сериальчики)
Лайк за крутой контент!!!!
Видео супер👍
Спасибо. Писал для Windows и всё получилось)
Рад что видео полезны!
Привет! А продолжение по голосовому ассистенту будет или только на патреоне смотреть?
круть! знал бы такое 7 лет назад когда парсил вручную сайт кафешек...
Подскажи биржу фриланса, где брал заказ? Ну или в принципе куда залетать лучше всего на he сегменте (для начала)
10:29 правильнее написать "в течение", т.к. "в течении реки" разве что можно сказать, а тут у нас идёт течение времени, т.е. не буквальное значение выражения
ок
А у тебя есть где то видео по настройке VS Code под разработку на python? Все вот эти подсказки при написании, линтер, дополнения итд
tremendous video PythonToday. I killed that thumbs up on your video. Maintain up the very good work.
Thanks a lot! Really appreciate it
Супер полезно!
5:53 спасибо за сайт, теперь знаю где удобнее смотреть json 😁
Флаг "А" при записи в один и тот же файл, я так понимаю, позволяет аппендить, т.е. добавлять данные? В данном конкретном коде, если запустить скрипт два раза подряд в течение дня, то не добавит ли это в csv после данных первой выгрузки еще раз название столбцов вместе с данными второй выгрузки? На питоне не пишу
А это весь заказ или там еще требовалось как то обработать данные? И еще какойто код который не вошел в видео был?
Здравствуйте. Классный ролик. Может след. ролик будет про telegram web bot? Сейчас ни где нету туториал видео про такой телеграм бот.
Очень круто объясняешь
Привет, случайно наткнулся на видео, сделано неплохо, но слишком уж простой случай) Хотя для новичков самое то. Какую биржу посоветуешь на данный момент где такие заказы падают?)
Приветствую, давно не сижу на биржах, не подскажу.
Пушка!
добрый день, объясни пожалуйста куда нужно подписаться, для закрытого контента? и как там его много?
4-20
Пользуюсь Хромом, делаю также как и вы, но после того как страница прогрузилась и очищаю вкладку, далее начинаю гулять по группам, то всё равно какие-то запросы появляются. Почему так может быть?
Подскажите что за прога для просмотра json файла(5:30).
И да, спасибо автору за ценный контент!!!
В devtools если нажать на кнопку fetch, то покажутся только нужные запросы, без всяких картинок и is файлов.
Есть один вопрос, я как-то раз делал парсер который post запросами с url в котором я менял циклом id поста и асинхронно парсил по 10 за запрос и сразу записывал в бд через aiosqlite+sqlalchemy, но данные то записываются, то нет :( с csv и json всё супер(я предварительно записывал данные в список, но это грузит скрипт, и при случайном сбое данные из ОЗУ могут пропасть, а запись в бд после изменения длинны списка(допустим каждые 100 записей) и его очистка не очень помогли) крч как лучше записывать огромные объёмы данных в бд при этом минимально нагружая систему?
Спасибо огромное за контент, в качестве первого проекта решил запарсить сеть магазинов магнит моего города, но вот в городе то как раз и загвоздка, не сооброжу как заставить парсер выбрать не Москву (на электронный адрес город не влияет, он вбит в HTML, но не могу же я заставить парсер менять HTML код) буду благодарен за любые подсказки в этом направлении
Когда в универе учился, писал прогу что парсит сайты с выгрузкой csv файлов на google disk для препода
Интересно было)
Привет. Спасибо за помощь. Но мог бы ты подробнее рассказать как использовать proxy. Куда какое IP?
Здравствуйте меня интересует вопрос,я пытаюсь спарсить hh ,но на странице из 50 карточек он выдаёт мне ссылки только на 20 из 50.Хотя request 200.Подскажите в чем дело
А как парсить сайты контент которых генерируется на JS, а при нажатии на следующую страницу пагинации url не изменяется???
В питоне есть специальный метод str.translate для преобразования одних символов в другие, работает молниеносно. По факту это базовая реализация команды tr из GNU. По поводу replace не нужно проверять наличие символа в строке, т.к. он не вызывает ошибки, если символ не был обнаружен. Ну и я бы всё-таки поискал способ сохранить без модификации, кодировку поменять или ещё что-то.
Способ, который приведён в видео требует 4 прохода по строке и весьма громоздкий, решение точно не из лучших. Ещё мне не понравилось, что в переменную result добавляются списки, хотя рациональным решением тут конечно было бы использовать кортежи, потому что строчки после этого не изменяются. При использовании кортежей получаем 10x выигрыш по скорости и приличный выигрыш по памяти.
А еще можно было разбить на функций все, а не писать в одной. + делать функцию main() и вызывать в ней одну функцию, а саму main вызывать в if name... - это жестко
@@tarlock4089 Тоже хотел написать, но коммент и так большой получился) Никто бы не стал читать
@@tarlock4089 это не "жестко" - это правильно
А Что за музыка играет на фоне? очень очень интересно
Здравствуйте! А можете попробовать olx спарсить? Там защита мощная от парсинга стоит. Ни selenium, ни bs не получается
Хорош!
Очень интересная тема
проработал все уроки из данного плейлиста!!!
PythonToday - спасибо тебе за такую большую и интересную практику! Всех благ тебе!
теперь попробую взять свой первый заказ на фрилансе, надеюсь у меня все получиться
а параллельно буду смотреть другие твои видосы на ютубе и NetStalkers
ты, с котиком из видео, самые крутые айтишники во всем ютубе!!!!!!!
Благодарю за фидбэк! Всё обязательно получится, главное практика и выше нос!
Александр Итяксов, кстати, как сейчас на фрилансе обстоят дела? Кол-во заказов там, цены и т.д. Всё получилось?
Как у вас с заказами, получилось?
Я несколько заказов успешно завалил😢
@@1244188 как так?
Вот у меня вопрос , у меня json при клики выдает ответ ошибку что такого не существует, а в панели разработчика я все данные вижу , как тогда быть
Здравствуйте, очень хорошие объяснения, с большим интересом смотрю вас! А возможно ли сделать подобный парсинг на сайте РЖД. Просто интересует одно направление и самый дешевый вариант цены отследить. Но нужен не самый простой плацкарт, но и не купе?
Парсер можно сделать для вообще любого сайта, можно хоть сделать с будильником, цена меньше-больше определенной, то звонок, ну или push-message на мобильник.
Просмотрел внимательнее.
Тут эти for не нужны. Опять с list comprahension необходимо подойти.
Как? Очень просто, 2х мерный list comprahension и данные возвращает в строке разделяемой split.
пытаюсь спарсить данные с апи. при гет запросе получаю 403 статус, а при запросе в бразуере - корректный json. добавил в коде к запросу хедерс, в том числе и юзер-агент, и все равно ловлю 403 статус... не пойму, что и делать
Почему на этом канале еще нет 1 000 000 подписчиков?
Видос - кайф...
Технично!
Где вы находите такие простые задания за такие большие деньги?
Я за пару часов могу сотню подобных парсеров написать
кто нибудь знает почему хром, во вкладке сеть, выдает меньше запросов чем фаерфокс?
тот же запрос api из видео вообще отсутствует в хроме
как это можно зафиксить?
Как подключить к ноутбуку acer wife . Подскажите пожалуйста
Шеф, не подскажите где вы берёте такие заказы?
Или фриланс биржи в целом
Ну есть предположение что нигде и такого заказа не существует в природе, ибо зачем платить кучу денег за то, что можно сделать руками за полчаса?
Пробовал распарсить этот же сайт по вашему видео, но почему-то запись в CSV идёт вообще не правильная, если поможете разобрать буду рад.
8:53 советую научиться пользоваться регулярками, я их тоже не понимал, но как-то раз когда редактировал один патч для ядра linux в редакторе kate(входит в рабочую среду kde) были удобно расписаны символы для регулярных выражений и спустя час мучений я смог понять их работу чтобы посмотреть в патче только на добавленные изменения и наоборот
3:12 просто посмотри в инспекторе на запросы сайту, обычно данные подгружаются через rest api и запросом к нему можно это не трудно спарсить и без selenium)))
Главное при большом парсинге про заголовки и возможно прокси не забыть
мне кажется, что это не настоящие заказы...
А нельзя сразу UTF-8 использовать?
Дядя спасибо на инфу
Пользуйся сынок
Спасибо. Для продвижения
Благодарю!
ты лучший!
Всем привет, Удачного дня подскажите как и где искать заказы на парсинг сайтов и всё такое ?_)
не понял зачем заменять B и Y и причем здесь виндоус кодировка. просто надо сохранять файл в кодировке utf-8, нет? она отлично открывается где угодно.
Мне интересно, сколько у вас опыта в разработке? Акцентируете внимание даже на таких мелких деталях как .strip(), что безусловно ОЧЕНЬ круто!
И при этом замена двух символов двумя реплейсами с двумя ифами...
Надеюсь я когда-то начну понимать это))))
Конечно, главное ковырять что-то ежедневно, прогресс обязательно придет
Пипец, курю первый букварь, как далеко мне еще плыть.
Спасибо за труд
Дорогу осилит идущий, главное практика! Спасибо за фидбэк!
А а можно это перенести в бот телеграмм дописав в этом же коде иограмм ?
pd.read_json применять не пробовали?
Давненько я не видел парсеры на requests, я сам пишу парсеры и очень привык к селениуму. Что не заказ так сайт со сложной структурой, ибо заказы с requests разбирают как горячие пирожки)). @PythonToday какой фриланс биржей пользуешься??
писать на силениуме это плохой тон, ты что отвыкай...
@@romanbond1060 а на чем актуально?
Магия какая-то прям!
А прокси использовали, из России данный сайт не открывается?
Уважаемый, а где брать такие "вкусные" заказы? )
Классное видео. Не знаю насчёт 8тысяч. На фрилансе и за 1000 рублей несложно такой заказ найти
Подскажите, заказчику Вы отправляет только сам питон файл или папку с файлом и виртуальным окружением?
Всё зависит от ТЗ. Когда только файл с результатами, кто-то просит .py файл, завернуть в бота и настроить, запилить веб интерфейс и т.д.
@@PythonToday Понял, спасибо!
Спасибо за видео. Недавно скриптом качал файлы с google drive, а название файла парсил реквестом. Так вот, спец символы попадались. например '\\26' вместо '&' и уходило в ошибку. Тоже ничего не придумал как replace(. Грёб*ный юникод.
Прикольно. Я сам с помощью стаковерфлоу и прочих "интернетов" смог научиться парсить сайты архивов и т.д.
Но благодаря этому каналу стал больше внимания уделять именно чистоте кода. А то некрасиво получалось :)
Спасибо за фидбэк! Но над "чистотой" мне ещё работать и работать, сам учусь)
Кто-нибудь знает как правильно парсить сайты яндекса: яндекс поиск, кинопоиск, маркет и тд. даже при использовании прокси они выдают мне капчу и что делать я не знаю