если годнота то надо лайкосы ставить и комментов по три штуки писать что бы алгоритмами ютуба видосы лучше продвигались, тогда годноты будет еще больше
Спасибо за твои усилия, ведь донести довольно простым языком до, не всегда продвинутого зрителя довольно сложно. Смотрел разных ребят, но как то всё больше на тех жаргоне, у тебя просто и доступно. Скромное пожелание, если попадётся проект по силениуму с авторизацией в всплывающем окне браузера, а не сайта, обозри этот нюанс
Если ты про отдельное окно браузера, driver.switch_to.window(driver.window_handles[-1]), если про то, которое окошком вылезает (как прокси обычно просит авторизацию в браузере) то driver.switch_to.alert.accept()\decline()
@@PythonToday Ага, сначала затупил, но потом вкурил почему отлетает селька при работе этой либы. Надо циклить в конце действие, чтобы программа не завершалась с ошибкой сразу. Он тут уходит в подобие многопотока, который останавливается при отключении программы
Искал, как авторизоваться в гугле через селю, в итоге последний коммент на SO меня привёл к этой либе. Радости не было предела. Думал, что она не сильно популярная, а оказывается, уж как год у тебя был по ней видос)))
Сделай видео, например как передавать post данные из файла) или вот на selenium все понятно а как например это делать через reguests and bs4! авторизовываться входить какую нить информацию) я думаю не один буду благодарен
Это просто кладезь полезной информации, а не канал! Большое спасибо, что делишь опытом! Если блокировка все таки произойдет, будешь перезаливать видео на ру хостинги или продолжать вести канал?
Благодарю за фидбэк и интерес! Думаю буду дублировать в РУ соц сети, возможно начну вести канал на английском, с русскими субтитрами. Время покажет, что нас ждет. :/
Хотелось бы видео о сборке вебдрайвера для доступа на сайт госзакупок по эцп. Это браузер Хромиум гост + расширение крипто про. А так же хорошо бы ещё добавить расширения СБИС, Госуслуги. Для того чтобы сработала авторизация по ЭЦП российского ГОСТа шифрования
Супер, из всего что смотрю, только твои, бывает, сохраняю в избранное) А насколько реально написать бота под Линукс без графической оболочки под Яндекс капчу?
Да, на обычном selenium это можно тоже реализовать, минус undetected-chromedriver заключается в том, что он не поддерживает chrome версии ниже 112, следовательно он не работает до 10 винды, так как chrome на винде ниже чем 10 перестал автоматически обновляться
Спасибо, но вот второй пример у меня не работает, выдает такую ошибку "File "C:\PycharmProjects\Parser_WB\1.py", line 13, in driver.close() NameError: name 'driver' is not defined" - код такой же как на видео, один в один, при том что веб драйвер этой библиотеке не нужен Undetected-chromedriver
Вопросец, пишу приложухуна диплом, чтобы собирала библиотеку в одном приложении с нескольких сайтов. Во первых: т. к. беру с пиратских сайтов такой метод сбора инфы легален и целесообразно ли использовать селениум и парсинг в целом для этой идеи? Во вторых в теории на андроид такое сработает?
Первый метод у меня сработал точно так же как и у тебя. Браузер запускает, но висит на CF или требует капчу. А второй метод не работает, не открывает браузер. Пишет "NameError: name 'driver' is not defined", хотя сделал всё точно так же и даже код взял с твоего git hub, чтобы исключить ошибку в коде. Может ли в undetecter_chromedriver быть драйвер под linux, который не работает на винде? Может кто-то из зрителей пробовал повторить за автором и у вас на винде всё работало или так же как и у меня не работало?
Спасибо за видео! Сделай в следующем видео, пожалуйста, как парсить номер телефона на авито без селениума. Сам через json пробовал парсить, действительно номер вытянуть удается, но факт в том, что спарсенный номер отличается от, что указан в объявлении. Как то авито видит, что через json обращение идёт (надо через мобильную версию делать, там номер указан текстом в json), как то нужно обойти их систему
На stackoverflow в ответах я находил библиотеку cloudscraper, которая по заверению разработчика проходит проверку CloudFlare, но в моем случае - не помогло.
добрый день, можете, пожалуйста, показать как в undetected_chromedriver загрузить гугл расширение в виде crx файла, ибо метод как в селениуме не выдает ошибки в консоле, но расширение не загружается?
Реализовывал такой алгоритм для SlimerJS. Имитация событий мыши на JS. С использованием кривых безье, случайных промежуточных точек, изменением скорости движения и промахов перед кликом, когда мышь чуть уежает дальше. В Вебвизоре было красиво, от действий человека не отличить.
Как сделать такую-же цветовую схему как у тебя на видео? Все установил и написал код с видео, а в ответ - Process finished with exit code 0 и больше ничего. Страница с проверкой не открывается. Как исправить?
session = requests.Session() url = "тут адрес страницы с логин скрином" user = fake_useragent.UserAgent().random headers = { 'user-agent': user } data = { 'username': '', 'password': '', 'autologin': "on", 'redirect': "index.php", и прочие ключи, которые нужны сайту чтобы залогиниться и получить куки } responce = session.post(url, data=data, headers=headers) profile_responce = session.get(url, headers=headers).text cookies_dict = [ {"domain": key.domain, "name": key.name, "path": key.path, "value": key.value} for key in session.cookies ] #тут список ключей и значений из кукисов session2 = requests.Session() for cookies in cookies_dict: session2.cookies.set(**cookies) вроде все лишнее удалил ))
Тоже сталкивался с такой проблемой. Использовал undetected_chromedriver.v2. Модуль не стабильный, и не удается передать параметры запуска, например создать профиль. Помогало изменение порта вебдрайвера в обычном селениуме, а так же изменение путя до местоположения хрома. К сожалению данный код не остался..
@@PythonToday согласен, просто я настраивал селениум в режим необнаружения, перебирал информацию из постов на стековерфлоу, но все равно сколько-нибудь серьёзная защита определяла браузер как бота, а с этой библиотекой с первого раза проскочил там, где настроенный селениум не мог.
Потому, что он слишком многое делает за меня. Попав в очередной раз на сервер, не смог без гугла вспомнить нужный синтаксис. Выбрал что-то более простое и универсальное, в моем случае vscode.
3:31 я всегда использую input как паузу, с ним можешь выключить когда хочешь
СПАСИБО, БОЛЬШОЕ!
сегодня столкнулся с этой проблемой, и сразу увидел твое видео, повезло)
думал до утра просижу в поисках решения
Спасибо за фидбэк, рад что полезно)
С нетерпением ждём новые видосы. Спасибо за отличную работу👍👍👍
Большое спасибо за фидбэк и поддержку!
@@PythonToday Почему вы используете хром а не фирефокс, вы его выбрали потому что пользуетесь хромом или он лучше для селениума?
СПАСИБО за ТРУД!!!
ВСЕГДА ЖДЕМ!
Большое спасибо за поддержку!
Еще не успел посмотреть видео, а лайк проставил) Спасибо!
Большое спасибо за интересные и полезные видео! Каждый новый ролик жду с нетерпением!!
Большое спасибо за поддержку! Если из РФ то самое время устанавливать VPN)
Гениальные видео, одно за другим. Ультра-годнота.
если годнота то надо лайкосы ставить и комментов по три штуки писать что бы алгоритмами ютуба видосы лучше продвигались, тогда годноты будет еще больше
Спасибо. Всегда очень интересные и понятные видеоуроки 🔥👍👍👍
Благодарю за фидбэк и поддержку!
@@PythonToday а у меня парсится раз в 15 секунд через тор и клауд не банит)))
Спасибо за твои усилия, ведь донести довольно простым языком до, не всегда продвинутого зрителя довольно сложно. Смотрел разных ребят, но как то всё больше на тех жаргоне, у тебя просто и доступно. Скромное пожелание, если попадётся проект по силениуму с авторизацией в всплывающем окне браузера, а не сайта, обозри этот нюанс
Благодарю за фидбэк. Посмотри ролик по аутентификации tiktok ruclips.net/video/b4BvpQpKJQo/видео.html , там писал подобный код.
куки попробуй передать
Если ты про отдельное окно браузера, driver.switch_to.window(driver.window_handles[-1]), если про то, которое окошком вылезает (как прокси обычно просит авторизацию в браузере) то driver.switch_to.alert.accept()\decline()
Спасибо за урок! Не раз натыкался на подобную проблему, а всё было так просто
Спасибо за фидбэк!
Привет. Я долго мучился с детектом селениума и остановился на модуле селениум стелс. Хорошая штука, всегда помагает😁
Ссылочку... на документацию
@@fvvdres.pro1007 Комментарии со ссылками Ютуб удаляет автоматически.
очень полезный и хорошо разжеваный урок - спасибо
Спасибо за фидбэк!
Спасибо ... очень понравилось!! 👏👏 просто супер 😎
Благодарю за фидбэк!
Единственный реально толковый канал из всех на кого подписан
Большое спасибо за поддержку!)
Есть другие еще каналы тоже толковые. Писать сюда не буду. Но PythonToday конечно талант!
Спасибо очень интересные, полезные видео на вашем канале желаю вам успехов и процветания вашему каналу!
Огромное спасибо за фидбэк и поддержку!
Спасибо большое за полезное видео)) Сталкивался с такой проблемой, помогло то что открывал сразу 2 вкладки и как ни странно все работало)
Благодарю за фидбэк!
Приятно смотреть как работаешь и стоит осознание того, что бы дойти до полного понимания того, что ты делаешь придется много и долго пахать. ))
Сам учусь) Практика наше всё 💪 Благодарю за фидбэк!
Спасибо уважаемый!!! Вы молодец.
Большое спасибо за фидбэк и поддержку!
Информативно и доступно!
Спасибо, ждём новых роликов.
Спасибо за интерес!
Привет. Ты очень крутой чел. Посмотрел почти все твои ролики. Очень нравится, Продолжай снимать.
Благодарю за поддержку! Рад что видео помогают)
Полезный контент!
Благодарю за интерес и поддержку!
Всегда жду, когда уже кот начнет колбаситься :)
😀 Благодарю за интерес)
Спасибо, как всегда - бомбически!
Большое спасибо за фидбэк!
Спасибо за контен ты красавчик )
Сударь, Вы великолепны, как всегда:)
Большое спасибо за поддержку!
Чувак, спасибо! То что нужно!
Надеюсь полезно!
@@PythonToday Ага, сначала затупил, но потом вкурил почему отлетает селька при работе этой либы. Надо циклить в конце действие, чтобы программа не завершалась с ошибкой сразу. Он тут уходит в подобие многопотока, который останавливается при отключении программы
ураааа!!
новый видос!!!))
Спасибо за видео! Крайне полезное вышло, но так и грызет любопытство, как же оно там всё хитро написано в исходниках
Спасибо за фидбэк!
Спасибо огромное)
Лучший🥰
Большое спасибо за фидбэк и поддержку!
Как всегда топ
Большое спасибо за фидбэк!
Спасибо большое
Благодарю за фидбэк!
Искал, как авторизоваться в гугле через селю, в итоге последний коммент на SO меня привёл к этой либе. Радости не было предела. Думал, что она не сильно популярная, а оказывается, уж как год у тебя был по ней видос)))
Сделай видео, например как передавать post данные из файла) или вот на selenium все понятно а как например это делать через reguests and bs4! авторизовываться входить какую нить информацию) я думаю не один буду благодарен
Спасибо за контент, за парсинг, за всё
Спасибо за фидбэк и поддержку!
Прикольненько!)
Оперативно)) Большое спасибо труд за труд, подписался на все соц.сети, будем на связи 👍
Благодарю за поддержку!
Большое спасибо!
Спасибо, за урок! Можешь рассказать, как обходить проверку на бота в браузере
Это просто кладезь полезной информации, а не канал! Большое спасибо, что делишь опытом! Если блокировка все таки произойдет, будешь перезаливать видео на ру хостинги или продолжать вести канал?
Благодарю за фидбэк и интерес! Думаю буду дублировать в РУ соц сети, возможно начну вести канал на английском, с русскими субтитрами. Время покажет, что нас ждет. :/
@@PythonToday Конечно на английском с русскими субтитрами лучше чем на рутубе по талонам смотреть))
@@PythonToday А бастион не подойдет?
Круто👍
undetected chromedriver не работает всё так же не пускает на сайты с такой защитой.
Вот красота!!!!
Хотелось бы видео о сборке вебдрайвера для доступа на сайт госзакупок по эцп. Это браузер Хромиум гост + расширение крипто про. А так же хорошо бы ещё добавить расширения СБИС, Госуслуги. Для того чтобы сработала авторизация по ЭЦП российского ГОСТа шифрования
Очень хороший!
Отличное решение!
Благодарю за фидбэк!
После того как мой парсер уперся в клаудфлэйр думал его жизнь окончена xD помогли!!
Рад что видео помогают, пользуйся!
Брооо, ты лучший, топи дальшее☺☺☺
Можешь снять видео как добавить расширение хром через селениум?😇
Супер, из всего что смотрю, только твои, бывает, сохраняю в избранное)
А насколько реально написать бота под Линукс без графической оболочки под Яндекс капчу?
А за это спасибо!
Приветствую! Выдало ошибку с An attempt has been made to start a new process before the
current process has finished its bootstrapping phase.
ну поглядим))) первок видео
ох как эта одна строка выручает по сей день)
меня детектит.....
запуск твоего кода не проходит проверку и сайт не открывается
почему сейчас cloudflare блокирует аналогичный код на данном сайте? и как обойти
Да, на обычном selenium это можно тоже реализовать, минус undetected-chromedriver заключается в том, что он не поддерживает chrome версии ниже 112, следовательно он не работает до 10 винды, так как chrome на винде ниже чем 10 перестал автоматически обновляться
Если знаете как можно ваши контакты?
Спасибо, но вот второй пример у меня не работает, выдает такую ошибку "File "C:\PycharmProjects\Parser_WB\1.py", line 13, in
driver.close()
NameError: name 'driver' is not defined" - код такой же как на видео, один в один, при том что веб драйвер этой библиотеке не нужен Undetected-chromedriver
Спасибо
7:17
уже не работает это. Пишет что робот, решайте капчу. и так до бесконечности.
вообще не пропускает
ага:(
Для обхода Cloud flare лично я юзал pyppeteer
супер
Сегодня не работает, есть рабочий способ?
Вопросец, пишу приложухуна диплом, чтобы собирала библиотеку в одном приложении с нескольких сайтов. Во первых: т. к. беру с пиратских сайтов такой метод сбора инфы легален и целесообразно ли использовать селениум и парсинг в целом для этой идеи? Во вторых в теории на андроид такое сработает?
Gooo!
Здравствуйте, чтобы писать без обнаружения, использую undetectable chomedriver, просто совет, так так долго с обнаружением мучался
топовый метод
как теперь стать патрионом, оч нужен код из видео об аудио помощнике?
Прикольно, спасибо! А есть способ обойти капчу?
Первый метод у меня сработал точно так же как и у тебя. Браузер запускает, но висит на CF или требует капчу. А второй метод не работает, не открывает браузер. Пишет "NameError: name 'driver' is not defined", хотя сделал всё точно так же и даже код взял с твоего git hub, чтобы исключить ошибку в коде. Может ли в undetecter_chromedriver быть драйвер под linux, который не работает на винде? Может кто-то из зрителей пробовал повторить за автором и у вас на винде всё работало или так же как и у меня не работало?
При старте нового проекта для парсинга или мониторинга сайтов на изменения лучше сразу использовать undetected-chromedriver или начать с bs4?
про nodriver можеш делат видео
Спасибо за видео! Сделай в следующем видео, пожалуйста, как парсить номер телефона на авито без селениума. Сам через json пробовал парсить, действительно номер вытянуть удается, но факт в том, что спарсенный номер отличается от, что указан в объявлении. Как то авито видит, что через json обращение идёт (надо через мобильную версию делать, там номер указан текстом в json), как то нужно обойти их систему
Так кто вам мешает работать через мобильный авито, мобильные хэдеры передайте драйверу и будет парситься мобильная версия авито.
почему дает ошибку на 12 строке "NameError: name 'driver' is not defined" когда использую undetected_chromedriver
Подскажите можно заказать скрипт для конкретного сайта?
И как сейчас актуально? А что за заголовки отправляются которые дают возможность обойти защиту
спасибо. а для Java или Node.js есть что-то похожее? сейчас как раз актуально.
На stackoverflow в ответах я находил библиотеку cloudscraper, которая по заверению разработчика проходит проверку CloudFlare, но в моем случае - не помогло.
Ё привет. Покажи процесс создания ссылки переходя по который ты получаешь IP(не свое а чужое)
и второй вопрос) может пора автоматизировать комментарии ;)
Lets say how it is, I Love You 😁
Стоит Mint. Сколько не бился так и не заработало. Может сам путь до хрома прописать куда надо или ещё что. Подскажите пожалуйста.
добрый день, можете, пожалуйста, показать как в undetected_chromedriver загрузить гугл расширение в виде crx файла, ибо метод как в селениуме не выдает ошибки в консоле, но расширение не загружается?
по певрой ссылки я человек тиам где вин вводить там не пускает просит чтоб я нажал что человек
привет, твои видео очень полезны, они где-то ещё сохранены, кроме ютуба? Желательно, что не заблокируют) Именно видео
Приветствую, пока не решил. В любом случае анонсы будут в telegram. Буду развивать netstalkers.com/private
👍👏
Привет , скажи пожалуйста на какой бирже ты выполняешь заказы
Привет. Есть ли возможность в селениуме эмитировать человекоподобные движения мышки? Чтобы курсор к элементу пододвигался плавно, а не резко
Нет
Для капчи?
Конечно. Можно хоть по пикселю сдвигать. Но по моему опыту это мало на что влияет
Реализовывал такой алгоритм для SlimerJS. Имитация событий мыши на JS. С использованием кривых безье, случайных промежуточных точек, изменением скорости движения и промахов перед кликом, когда мышь чуть уежает дальше. В Вебвизоре было красиво, от действий человека не отличить.
А зачем селениум тут, юзай любую другую библиотеку где есть такие фичи
OSError: [WinError 193] %1 is not a valid Win32 application на undetected chrome driver
Попробуй спарсить пятерочку или магнит. После их дыры в иб они обновили защиту
Для чего кому то нужно было парсить их?
Вряд ли тебе кто-то добровольно это скажет :)
@@usertwgetrukwwr9669 ради интереса
@@pingvin5446 а что за защита у них, не дают парсить?
Когда пишу такую конструкцию он пишет ошибку nameerror name driver is not definded
Как сделать такую-же цветовую схему как у тебя на видео?
Все установил и написал код с видео, а в ответ - Process finished with exit code 0 и больше ничего.
Страница с проверкой не открывается.
Как исправить?
Научи методу авторизации по куки, ибо у меня он не вставляет куки из-за автоматизации браузера
session = requests.Session()
url = "тут адрес страницы с логин скрином"
user = fake_useragent.UserAgent().random
headers = {
'user-agent': user
}
data = {
'username': '',
'password': '',
'autologin': "on",
'redirect': "index.php",
и прочие ключи, которые нужны сайту чтобы залогиниться и получить куки
}
responce = session.post(url, data=data, headers=headers)
profile_responce = session.get(url, headers=headers).text
cookies_dict = [
{"domain": key.domain, "name": key.name, "path": key.path, "value": key.value}
for key in session.cookies
] #тут список ключей и значений из кукисов
session2 = requests.Session()
for cookies in cookies_dict:
session2.cookies.set(**cookies)
вроде все лишнее удалил ))
На какой бирже фриланса ты работаешь ?
Видео по биржам есть на канале ruclips.net/video/1pLlX9x60rM/видео.html . Сейчас работаю только со старыми заказчиками.
@@PythonToday благодарю!👊
Уже не актуальная и заброшенная библиотека.
А есть актуальная альтернатива?
а реально обойти cloudflare по запросу, без selenium ?
У меня пишет что driver может быть неопределена, как это исправить?
Тоже сталкивался с такой проблемой. Использовал undetected_chromedriver.v2. Модуль не стабильный, и не удается передать параметры запуска, например создать профиль. Помогало изменение порта вебдрайвера в обычном селениуме, а так же изменение путя до местоположения хрома. К сожалению данный код не остался..
Благодарю за фидбэк!
собственно... а как парсить то? как брать html код со страницы?
библиотека огонь! Смысл настраивать обычный селениум после такого!?
Думаю правильнее владеть и знать о нескольких инструментах, а подбирать в зависимости от задачи
@@PythonToday согласен, просто я настраивал селениум в режим необнаружения, перебирал информацию из постов на стековерфлоу, но все равно сколько-нибудь серьёзная защита определяла браузер как бота, а с этой библиотекой с первого раза проскочил там, где настроенный селениум не мог.
у меня назрел вопрос) почему ты престал работать в pyCharm?
Потому, что он слишком многое делает за меня. Попав в очередной раз на сервер, не смог без гугла вспомнить нужный синтаксис. Выбрал что-то более простое и универсальное, в моем случае vscode.