Learning to scrape in python and bs4 | A course on scraping websites in python from scratch
HTML-код
- Опубликовано: 15 май 2024
- Video - a training course on site scraping from scratch in the python programming language.
Let's start with simple things, write a parser using the example of collecting data from an online store and get to the magic of scraping with post authorization, writing parsing data to a table and optimizing the scraper code according to the generator principle.
00:00 python site scraping - introduction
02:37 install libraries pip install requests, beautifulsoup4, lxml
04:04 import libraries into the project
04:57 review of the HTML code of the online store page for scraping
09:15 inspecting the HTML element of the product code
10:45 write code for product scraping
16:28 BeautifulSoup find method
25:07 BeautifulSoup get method
28:00 find_all method scrape all elements of the product catalog page
31:26 scraping all pages of the product catalog
33:38 sleep - pauses between get requests
34:54 masking request headers - headers
37:32 scraping into each product card
55:27 scraper - generator, optimize the code
01:01:02 write scraping result data to exсel table
01:11:42 scraping product pictures (download)
01:12:58 requests get download file
01:22:32 scraping with POST authorization on the site
Links to websites from the video:
Site with product catalog:
scrapingclub.com/exercise/lis...
Website with quotes and authorization:
quotes.toscrape.com/
Video on working with the requests library:
• Python requests http, ...
Video course on the python language:
• Учим python за 7 часов...
Like, subscribe, comment) If you liked the video,
and I will know that such content is of interest to you!
Боже!!!! Скажите ваше имя, я на вас свечу поставлю! Миллион свечей! Господи три дня не спал, искал как парсить, ибо никаких объяснений на предмете не было. Просто - делай. Я пытался, я пробовал и лишь благодаря вам я смогу вовремя сдать проект! Я слов не могу найти! Спасибо огромное, настолько огромное, что и выразить невозможно! Вы сделали одного начинающего программиста вдвое счастливее!!!!
Привет,классный ролик,если можешь,сделай пожалуйста курс по созданию голосового ассистента на пайтон
Если лайков коммент наберёт, сделаю, это не сложно, главное чтоб тема интересная была.
✔️
Видео на канале появилось )
Очень интересная идея.
Интересная тема и автор доносит понятно
Двумя лапами За!
@@PythonHubStudio лучше уж по-подробней,интересная всё-таки тема
Давайте же поблагодарим автора 👍
Сколько пытался смотреть обучающих видео, никто толком нормально не может ничего объяснить.
Здесь же настолько всё адекватно и понятно, что хочется смотреть и смотреть.
Автору спасибо!!!
Полностью соглашусь, так как некоторые еще добавляют фоновую музыку, от чего невозможно сосредоточиться и половина видео у них занимает всякая ерунда типа графики и прочего.
После 7 часового видео по Питону, которое я учу уже 3 недели, голос автора кажется таким родным))))
автору идея для продолжения - асинхронность, selenium, обход капчи, обход cloudflare, undetected chromedriver, парсинг в обход html при грамотном анализе вкладки сеть и вытаскивание json файлов от сервера (например при динамической подгрузке информации через js), объяснение работы ajax, другие варианты сложных кейсов )
да, это был бы настоящий подарок, присоединюсь к просьбам)
Поддерживаю. Кроме того, неплохо было-бы рассмотреть защиту от бана по IP.
И по поводу задержки, для разгрузки сайта, по-моему, использование random выглядит более "человекоподобно".
Однозначно это нужно, особенно обход защиты и предварительный анализ. Очень много пересмотрел видео и нигде такого не нашёл. В основном все показывают самое простое, которого в сети навалом
тоже поддерживаю
Ну, такой курс потребует не полтора часа, а скажем - месяц, по часу в день! Это уже Advanced Course, за них, обычно, следует платить деньги... Альтруизм не может быть бесконечным - это развращает людей...
Спасибо за ваш труд! Это лучшие уроки из тех, что я находила на youtube.
Безмерно благодарен вам за ваши труды!!! Благодаря вам я хоть что то начал понимать в этом деле и начал свой путь в дебри за хвостом Питона !!!
Крайне приятно вас слушать, как будто отец чему то учит, очень комфортно и спокойно рассказываете. Ощущается как будто не учусь, а просто отдыхаю и расслабляюсь.
Дорогой автор, чтоб ты жил долго, счастливо и богато. Спасибо! Для новичков супер подача
Как мне нравится ваше объяснение! Всё понятно, вопросов не возникает в процессе просмотра. Особенно нравится, как вы рассказываете про свой каждый шаг и что от него зависит и происходит. Спасибо большое!
Отличный туториал! На одном дыхании, спасибо!
Большое спасибо! Ваши уроки очень помогают!
Спасибо огромное! Материал - клад! 🔥🔥🔥
Безмерно Вам благодарен за ваши труды✊️👍
Вы лучший!!
Все комплексно объяснили
Супер, спасибо, все объясняет как нужно для понимания, ничего не упускаете.
Подача отличная. Спасибо за такой мини-курс. Очень радует, что автор разжевывает все до мелочей, даже и так понятные кому то вещи. Всем кто только начал смотреть - советую!
Самое лучшее обьяснение из всех что я видел, спасибо вам за ваш огромный труд
Спасибо за очень ценную информацию. Очень подробно, понятно. Такие должны быть учителя!
Огромное спасибо! Сразу лайк!
Очень понятно и доступно подан материал. Реально все понял с первого раза, даже забегая наперед самостоятельно. Благодарю
Огромное спасибо автору за эти уроки!) Для меня они максимально подходящие, комфортные и понятные ❤️ Умение объяснять у вас на высоте
Просто, доходчиво, без понтов и заумностей, одним словом - класс! Благодарю! Подписка, лайк и плюс в карму!
Спасибо большое! Ценный материал!
Автору необъятное спасибо! Посмотрел практически все на канале, попутно делая то же самое. Изучал на протяжении трех-четырех месяцев примерно. Ну и дополнительные материалы с еще парочки классных каналов. С нового года выхожу на свою первую работу в IT. Пока в качестве стажера, но в очень приличную фирму. Если есть какая то возможность отблагодарить вас материально, было бы очень классно. Так как просто словами мою благодарность Вам не передать!
Голос, подача материала, дикция, понимаемость просто на высоте! Спасибо дяде! 🎉
огромнейшее спасибо автору!!!! лучший урок для начинающих по парсингу!!!
Отличное и полезное видео. Спасибо за работу!Ждем новых полезных тем. Спасибо
Огромное спасибо за урок. Все четко и по делу. Только после этого видео научился парсить сайты.
Добрый вечер! смотрю уже третье видео и просто в восторге от грамотного объяснения и красивого в своей простоте кода!!!
Автору искреннее уважение! Уже больше года с вами)
в целом все уже знал умел, но все равно посмотрел от начала до конца, для себя взял использование генератора, раньше делал через обычный список с append ) автору респект, в одно видео засунул инфу по которой можно парсить большинство сайтов, с человека по сути только грамотно прощупать сайт и придумать точный алгоритм
Спасибо, добрый автор канала! Всё очень подробно и понятно даже начинающему. У Вас очень интересные и полезные ролики!
Лучший канал по Python! Спасибо огромное за ваш труд!
Безмерная благодарность автору видео. Все досконально понятно и является отличной отправной точкой. Могу заверить, что у вас есть отчетливая предрасположенность к преподаванию). Спасибо вам еще раз, всех благ!
Огромное спасибо тебе. У тебя несомненно дар учителя, способность разъяснять, даже таким дубам как я.
Отличное видео. Огромное спасибо автору за просвещение.
Автор, твоё видео лучшее по парсингу! Я пересмотрел большое множество подобных видео, но ты собрал всё очень логично, последовательно и полно. Даже Post запросы затронул. Спасибо!
согласен, прям очень пошагово, один из лучших уроков, отличная подача материала!
сначала на циклах for показал, потом превратил это в функцию, всё время показывая как работает код, такой подход в обучении очень хорош!
большое спасибо за подробный урок!! для начинающих то что нужно
Лучший обучающий материал!!!!
Лучший канал, спасибо огромное
заморочился, ставлю ЛАЙК!! спасибо за урок:))
Действительно хороший ролик. Пожалуй самый внятный из виденных. Особой спасибо за описание способа сохранения информации в excel.
Впервые, когда захотелось написать комментарий для продвижения видео. Спасибо автору, целиком на одном дыхании посмотрел и этот гайд, и плейлист по созданию телеграм бота, спасибо!
лучший видос для обучения парсингу!!! ЛУЧШИЙ!!!
лайк заслуженный!
Автору - ОГРОМНЫЙ РЕСПЕКТ!!!!Продолжайте в том же духе!!!Удачи Вам и процветание каналу!!!!И поболее подобного контента!
Урок просто пушка, спасибо!
для новичков, которые захотят повторить проект:
22:53 → лучше использовать strip(), который удалит лишние переносы, пробелы справа и слева.
Привет,можно кое что спросить? Пару проблем возникло,которые не критично,но хотелось бы узнать почему не работает)
@@TestRobot168 не совсем понятен вопрос. Круто, когда сразу спрашивают
У вас очень хорошо получается объяснять. Большое спасибо за урок!
Топовый контент! Спасибо!
Нет слов. Бесконечно полезный и ёмкий видео ролик. Огромная благодарность автору, кто бы что ни говорил, вы делаете хорошие вещи для людей.
просто, ОГРОМНОЕ СПАСИБО!!! :)
Все понятно, разложили по полочкам👍
Спасибо за хороший курс.
смотрю уже не первое видео, все понятно, все объясняет, чудесное видео
Вы крутой мужик! Вы единственный канал на RUclips, в котором всё разжёвывают и объясняют что это и с чем едят. На других каналах обычно просто что то пишут и даже не объясняют нормально для чего это нужно. Не знаю как другим, но мне Вас смотреть нравится!
ВСЁ ЧЕТКО КЛАССНО РАССКАЗАНО , ЛУЧШИЙ!
Отличное видео по максимуму полезного материала и по минимуму "воды"! Автору большое спасибо
Спасибо большое. С заходом на сам товар/отзыв и т.д. были проблемы, помог
Спасибо большое за Ваши видео)))
Лайк не глядя . Спасибо брат .
Дорогой автор, классный ролик. Спасибо! Для новичков супер подача
Спасибо за такое детальное и понятнок описание всего процесса, я из тех людей, которые молча смотрят видео(не комментируют, не подписываются и не лайкают) Но подача такого видео заслуживает всех возможных плюшек.
Я только начал изучать пайтон, но теория не сильно помогла улучшить навыки, решил практиковаться, а именно начать с парсеров, так как по рабочим причинам есть в этом необходимость.
Начал писать свой парсер, естественно с просмотров роликов, но каждый автор пишет по своему, кто-то через функции, кто-то через классы, а кто-то и вовсе все логирует, мне как новичку достаточно сложно разобраться во всем и сразу.
Так вот к сути комментария, после просмотра видео решенено большенство вопросов, которые не были решены до этого.
Спасибо огромное и успехов в дальнейшем развитии!!!
@Python Hub Studio, Спасибо за этот замечательный ролик! буквально только-только начал вливаться в Python. очень срочно потребовалось спарсить кучу информации и столько информации сколько ты изложил здесь очень сильно мне помогла! Спасибо!
Спасибо за ваши ролики!
это первое нормальное видео по парсерам, где все расписывается
Спасибо вам большое , очень информативно
Очень актуально, для диплома нужен парсер и тут выпало такое подробное видео, спасибо) Вот только пока трудности с составлением блок-схемы к полученному коду, мощь питона даёт о себе знать.)
Мое почтение автору видео. В течение долгого времени не мог проводить post запросы. Но с вами всё удалось. Спасибо за ваше видео!
спасибо. Вы очень круто объясняете!
огромное спасибо автору. тема очень интересная!
Офигенный урок! За один вечер смог авторизоваться на сайте с которого буду парсить данные и уже немного вник как это сделать! Скоро будет результат! Спасибо
Супер, супер! В восторге от занятия! Я чайник - и мне почти всё понятно! Спасибо вам огромное! У вас талант преподавания!
Воу супер крутой и понятный урок, прям вот третий урок на разных каналах смотрю - этот самый поучительный! отличная подача, всё пошагово разложено
Отдельное спасибо за проверку кода при его написании, так действительно наглядно понятно что как работает и отдельное спасибо за повторение инфы, по которой уже есть ролики! спасибо что не пересылаешь на эти ролики а просто обьясняешь на месте - это топ!!!!!!111!1
Топовый видос, очень сильно мне помог
Спасибо, очень крутой ролик, начало что то получаться наконец то на питоне
Наверное, лучшее видео
Очень сильно помог
Спасибо за детальные объяснения
Спасибо большое, очень понятный разбор
Очень инфыормативное и содержательное видео! Спасибо!"
шикарное обучение дружище, продолжай в том же духе!
автор, ну прям красавчик))) огромное тебе спасибо
Вчера смотрел ваше видео, как настраивать питон в саблайм, сегодня попал на это видео. Тут как раз урок с lxml. Останусь с вами. Спасибо! :)
Здравствуйте! Без сомнения - это лучший ролик на просторах интернета о парсинге!!! Отправил его всем друзьям! Вы лучший, Автор! Спасибо Вам огромное!
Большое спасибо, очень доступно и понятно объясняете, очень мне помогли
Спасибо автору !
Автор, хотел тебя поблагодарить, за тот контент, что ты выпускаешь!
Начал изучать питон с твоего курса, после пошёл в школу программирования, одна из популярных не буду рекламировать)
и я понял, что без твоего курса, всё было бы крайне печально) Ты дал основу так скажем, спасибо тебе большое!
В армию пиздуй
Автор, ты просто лучший!
отличный контент. спасибо автору
Добротный тутор, спасибо автору.
Посмотрел твой видеоролик, очень доходчиво и грамотно объясняешь, смотреть одно удовольствие! Спасибо за твой труд, очень помогло в моих задачах =)
Респект за материал!!! Продолжай в том же духе, просто отличный контент! Удачи тебе мой друг 👍🏻
Однозначно лайк и подписка!
Спасибо тебе от души!
Спасибо, реально помог
Спасибо за урок!!!
Добрый день. Я очень редко оставляю комментарий ( скорее никогда). Но в данном случае не могу выразить свою огромную благодарность автору ролика. Очень долго искал информацию про парсер. Ни одного более менее нормального ролика. Ваша работа - спасение для начинающих программистов. Огромное вам спасибо , вы большой молодец! Однозначно лайк и подписка.
Спасибо! Я потратил несколько часов на то чтобы найти понятное объяснение, но так и не смог пока не наткнулся на твой ролик. Еще раз спасибо за внятное объяснение!
Здоровья и всех благ желаю тебе. Большое спасибо!
И Вам)
Привет все четко обьяснил по полочкам спасибо большое!
Уважаемый УЧИТЕЛЬ - ВЫ КРАСАВЧИК)))))))))))))))))
круто, большое спасибо!
СУУУУУУУУПЕР!!!!! БЛАГОДАРЮ!!!!!!