Это видео недоступно.
Сожалеем об этом.
Парсинг динамических сайтов | selenium python
HTML-код
- Опубликовано: 15 авг 2024
- Учимся автоматизировать браузер и парсить статистику из личного кабинета маркетплейса detmir.ru.
🔥 Курс по Python: python.smysl.io/ - новый набор
📢 Канал в Телеграме: t.me/kulichevskiy
СОДЕРЖАНИЕ
00:00 - Начало
01:32 - Динамические сайты
06:26 - Устанавливаем Selenium
13:31 - Демо Selenium
17:55 - Парсим отчет
ОБО МНЕ
👋 Привет! Меня зовут Алексей. Я работаю в IT, занимал ключевые позиции в Групоне, Gett, Яндекс-Логистике и Osome. Я люблю преподавать, и у меня получается делать сложные вещи понятными. Хочу помогать людям не бояться нового и понимать, как технологии могут сделать нашу жизнь лучше.
Вперше на вашому каналі, дуже круті відео, дуже сильно допомогли! Дякую за якісний контент!
Обожаю ваш канал и конкретные примеры на задачах. Спасибо что снимаете видео!
Большое спасибо. Ваши видео очень приятно и познавательно смотреть) Вы как будто читаете мои мысли, как только мне что то нужно вы выпускаете на эту тему видео)
Чтоб ты жил долго и счастливо. Обалденно обьясняешь.
Здравствуйте! Спасибо за видео! С версии 4.6 (если не путаю) Selenium обзавелся Selenium Manager, который сам управляет драйверами браузера автоматически.
о, надо посмотреть
это прям упростит процесс
В новых версия качать драйвер ненужно, абсолютно точно.
Очень круто, спасибо)
Спасибо за интересные видео
Хотелось бы видио о сборке веб драйвера из расширений крипто про и браузера chromium gost, для авторизации на сайте гос закупок
вопросик. В документации же написано: Selenium Manager - это новый инструмент, который помогает создать рабочую среду для запуска Selenium « из коробки». Для чего вы ставите отдельно драйвер браузера и заморачиваетесь с версиями?
Как называется среда в который вы пишите ?
Добрый день!
Подскажите, на какой должности можно работать с такими знаниями?
Офисным шнырем
По-моему тут должно быть тысячи 2 лайков
очень интересное и познаватальное видео, спасибо. А подскажите пожалуйста, как вы сделали, чтобы выполнять код не весь а в этих блоках пошагово?
тут создается не файл .py , а jupiter notebook. Такое можно быстро в google colab делать
@@egornekr понял, спасибо
добрый день. Спасибо за видео. По поводу Selenium, сейчас вроде уже не нужно устанавливать драйвера. я не устанавливала и всё работает.
Ага, они это в одном из недавних апдейтов добавили, кажется. Красота!
зачётное видео
Вот и минусы использования не официальной документации. Они могут попросту не обновляться и в итоге ты получаешь не актуальную информацию
Поджбонькали, пару раз скидыжнули и готово😊
Я понял как спарсить динамический сайт через добавление chromedriver но как это все засунуть в телеграмм бота и захостить на любом хостинге? Дайте материалы или сделайте видео
Хромдрайвер под линунс, в коде программы делаешь условие, если винда, запускать екзешник, если линукс или сервера, то линуксовский драйвер. Бота запихиваешь прямо в код, токен + вывод сообщений на свой чат айди.
Подскажите пожалуйста, если на сайте несколько страниц, с которого надо спарсить данные. Как лучше это сделать?
Если адреса страниц известны, можно просто в цикле их перебрать. Если нет, то можно их спарсить с текущей страницы, а потом в цикле перебрать.
В общем, парсеры так и работают:
1. найди и сохрани все ссылки на страничке
2. перейди по каждой ссылке, найди на этих страничках все ссылки и пройди по ним
3. повторяй, пока ссылки не закончатся
@kulichevskiy А если у меня около 500 ссылок,ведущие на динамический сайт, по которым нужно перейти и спарсить, есть ли что-то быстрее селениума?
Вроде бы драйвера уже давно идут в комплекте с Селениумом и не нужно устанавливать их отдельно
Как в Vscode запускать по блокам код?
Это просто Jupyter Notebook (jupyter.org/). Формат файла такой. Обычно люди с ними в браузере работают, но я их в VS Code открываю.
@@kulichevskiy Есть ли у Вас видео с тюнингом VS Code? Настройка различных линтеров, например
@@hellpingpeople неа, но надо бы сделать, наверное
Алексей, почему не Pycharm?)
Да чет не зашел :)
А еще Pycharm отказался от пользователей из России , почему-то недавно а не в 2022. Поэтому с тем что не Pycharm, удачно угадано