Большое спасибо. Ваши видео очень приятно и познавательно смотреть) Вы как будто читаете мои мысли, как только мне что то нужно вы выпускаете на эту тему видео)
Здравствуйте! Спасибо за видео! С версии 4.6 (если не путаю) Selenium обзавелся Selenium Manager, который сам управляет драйверами браузера автоматически.
Хочу переселиться в пайтон, но пока вижу нюансик. В последнее время только парсингом занимаюсь и бывают данные которые умещаются в десятки тысяч строк. С 1 окна это крайне долго, возможно есть варианты как открыть скажем 10 окон и брать данные с 10-ти массивов из ссылок. в 4 браузерах в 4 раза быстрее получалось чем у других, но только через расширения для хром на js
Здравствуйте, а можете сказать, возможно ли спарсить данные из кабинета, для входа в который необходим смс-код? Теоретически, вход в кабинет в браузере всегда выполнен, и сессия не сбрасывается, но это, вроде как, значения не имеет...
Обалденные видео - доберусь до компа и заведу учетку в детском мире 😅. На самом деле хочу залезть в свою учетку в WB и вытащить от туда информации в тг-бота. У них есть официальные api но не для этого раздела... кто нибудь работал с WB? - есть инфа что могут учетку заблокировать если подключаться неофициальный способом - есть у кого опыт работы с WB?
подскажите, возможно ли сделать так чтобы забирать с сайта новые статьи, закидывать их в openAI и размещать в ТГ канале ? получилось только разместить названия статей, а тексты вообще ни в какую не может
вопросик. В документации же написано: Selenium Manager - это новый инструмент, который помогает создать рабочую среду для запуска Selenium « из коробки». Для чего вы ставите отдельно драйвер браузера и заморачиваетесь с версиями?
Я понял как спарсить динамический сайт через добавление chromedriver но как это все засунуть в телеграмм бота и захостить на любом хостинге? Дайте материалы или сделайте видео
Хромдрайвер под линунс, в коде программы делаешь условие, если винда, запускать екзешник, если линукс или сервера, то линуксовский драйвер. Бота запихиваешь прямо в код, токен + вывод сообщений на свой чат айди.
Если адреса страниц известны, можно просто в цикле их перебрать. Если нет, то можно их спарсить с текущей страницы, а потом в цикле перебрать. В общем, парсеры так и работают: 1. найди и сохрани все ссылки на страничке 2. перейди по каждой ссылке, найди на этих страничках все ссылки и пройди по ним 3. повторяй, пока ссылки не закончатся
У меня, почему-то, вылетает что chrome, что firefox. Запускаю код, потом открывается либо chrome либо firefox как приложение прогружает страницу и закрывается! не могу понять в чем может быть дело! Версия chromedriver и версия браузер отличаются только в конце, на одну цифру, т.е. cromedriver ver: 131.0.6778.69 а у браузера: 131.0.6778.70 ! но где-то видел, что главное, чтобы совпадали первые цифры
Чтоб ты жил долго и счастливо. Обалденно обьясняешь.
Обожаю ваш канал и конкретные примеры на задачах. Спасибо что снимаете видео!
2 дня мучился с решением проблемы, а тут все понятно объяснили, спасибо большое!
Большое спасибо. Ваши видео очень приятно и познавательно смотреть) Вы как будто читаете мои мысли, как только мне что то нужно вы выпускаете на эту тему видео)
Большое спасибо за очень полезный контент ! Здоровья и успехов ! Отличный преподаватель !
Вперше на вашому каналі, дуже круті відео, дуже сильно допомогли! Дякую за якісний контент!
Крутейший человек, очень доходчиво объясняете.
Здравствуйте! Спасибо за видео! С версии 4.6 (если не путаю) Selenium обзавелся Selenium Manager, который сам управляет драйверами браузера автоматически.
о, надо посмотреть
это прям упростит процесс
В новых версия качать драйвер ненужно, абсолютно точно.
Очень круто, спасибо)
Грамотная речь. Хорошая подача. Спасибо)
Очень полезное видео. Спасибо.
Спасибо тебе. Спасибо большое...)
Спасибо!
Лайк, подписка)
Благодарю
37:36 Типичная реакция, когда написал какую-то хрень, но она необъяснимым образом работает.
контент разжован очень понятно. класс.
Хочу переселиться в пайтон, но пока вижу нюансик. В последнее время только парсингом занимаюсь и бывают данные которые умещаются в десятки тысяч строк. С 1 окна это крайне долго, возможно есть варианты как открыть скажем 10 окон и брать данные с 10-ти массивов из ссылок. в 4 браузерах в 4 раза быстрее получалось чем у других, но только через расширения для хром на js
Selenium последних версиях драйвера вроде как не требуют🎉
Спасибо за интересные видео
Здравствуйте, а можете сказать, возможно ли спарсить данные из кабинета, для входа в который необходим смс-код? Теоретически, вход в кабинет в браузере всегда выполнен, и сессия не сбрасывается, но это, вроде как, значения не имеет...
Обалденные видео - доберусь до компа и заведу учетку в детском мире 😅. На самом деле хочу залезть в свою учетку в WB и вытащить от туда информации в тг-бота. У них есть официальные api но не для этого раздела... кто нибудь работал с WB? - есть инфа что могут учетку заблокировать если подключаться неофициальный способом - есть у кого опыт работы с WB?
Возможно, но маловероятно. Блокируют, когда парсинг мешает работать - либо грузит серверы, либо использует какие-то нежелательные фичи
Хотелось бы видио о сборке веб драйвера из расширений крипто про и браузера chromium gost, для авторизации на сайте гос закупок
Подскажите пожалуйста. Можно ли с помощью selenium парсить сайты, где стоит защита qrator? dns например?
Спасибо! Познавательно, как называется плагин который делит код по комментариям?
Это не плагин, это Jupiter NoteBook
И, к стати спасибо за такое видео
Алексей, что за компилятор у вас стоит или настройка (26 минута видео), которая ошибки прям коде показывает?
добрый день. Спасибо за видео. По поводу Selenium, сейчас вроде уже не нужно устанавливать драйвера. я не устанавливала и всё работает.
Ага, они это в одном из недавних апдейтов добавили, кажется. Красота!
Поджбонькали, пару раз скидыжнули и готово😊
зачётное видео
подскажите, возможно ли сделать так чтобы забирать с сайта новые статьи, закидывать их в openAI и размещать в ТГ канале ? получилось только разместить названия статей, а тексты вообще ни в какую не может
очень интересное и познаватальное видео, спасибо. А подскажите пожалуйста, как вы сделали, чтобы выполнять код не весь а в этих блоках пошагово?
тут создается не файл .py , а jupiter notebook. Такое можно быстро в google colab делать
@@egornekr понял, спасибо
вопросик. В документации же написано: Selenium Manager - это новый инструмент, который помогает создать рабочую среду для запуска Selenium « из коробки». Для чего вы ставите отдельно драйвер браузера и заморачиваетесь с версиями?
Раньше надо было отдельно путь прописывать , потом селениум обновился и стало все из коробки браться )
а он про него не в курсе....а если бы читал комменты...
Здесь много багов. Зачем библиотека, когда можно просто импортировать данные файла секретного😂
По-моему тут должно быть тысячи 2 лайков
Добрый день!
Подскажите, на какой должности можно работать с такими знаниями?
Офисным шнырем
Вроде бы драйвера уже давно идут в комплекте с Селениумом и не нужно устанавливать их отдельно
Я понял как спарсить динамический сайт через добавление chromedriver но как это все засунуть в телеграмм бота и захостить на любом хостинге? Дайте материалы или сделайте видео
Хромдрайвер под линунс, в коде программы делаешь условие, если винда, запускать екзешник, если линукс или сервера, то линуксовский драйвер. Бота запихиваешь прямо в код, токен + вывод сообщений на свой чат айди.
Как называется среда в который вы пишите ?
VSCode
Подскажите пожалуйста, если на сайте несколько страниц, с которого надо спарсить данные. Как лучше это сделать?
Если адреса страниц известны, можно просто в цикле их перебрать. Если нет, то можно их спарсить с текущей страницы, а потом в цикле перебрать.
В общем, парсеры так и работают:
1. найди и сохрани все ссылки на страничке
2. перейди по каждой ссылке, найди на этих страничках все ссылки и пройди по ним
3. повторяй, пока ссылки не закончатся
@kulichevskiy А если у меня около 500 ссылок,ведущие на динамический сайт, по которым нужно перейти и спарсить, есть ли что-то быстрее селениума?
Вот и минусы использования не официальной документации. Они могут попросту не обновляться и в итоге ты получаешь не актуальную информацию
Как в Vscode запускать по блокам код?
Это просто Jupyter Notebook (jupyter.org/). Формат файла такой. Обычно люди с ними в браузере работают, но я их в VS Code открываю.
@@kulichevskiy Есть ли у Вас видео с тюнингом VS Code? Настройка различных линтеров, например
@@hellpingpeople неа, но надо бы сделать, наверное
Алексей, почему не Pycharm?)
Да чет не зашел :)
А еще Pycharm отказался от пользователей из России , почему-то недавно а не в 2022. Поэтому с тем что не Pycharm, удачно угадано
@@kulichevskiyчто за расширение такое, которое позволяет запускать код блоками по очереди?
Смысл от видео?
Можно просто доку почитать, автор сам не понимает за парсинг ничего.
У меня, почему-то, вылетает что chrome, что firefox. Запускаю код, потом открывается либо chrome либо firefox как приложение прогружает страницу и закрывается! не могу понять в чем может быть дело! Версия chromedriver и версия браузер отличаются только в конце, на одну цифру, т.е. cromedriver ver: 131.0.6778.69 а у браузера: 131.0.6778.70 ! но где-то видел, что главное, чтобы совпадали первые цифры