Обязательно продолжай! Все очень нужное. Сделай плиз видео, как открыть одновременно допустим 10 потоков селениума (каждый через свой прокси из списка) - это очень надо. Плюсуйте , чтоб автор заметил и сделал
Спасибо огромное! Вот это оперативность 🚀👍 Столько видео пересмотрел на ютубе, но только у вас как все заново и главное более понятней 💪🔥 Расскажите пожалуйста про внутрянку браузера, именно по работе с опциями и расширениями, я чувствую там много сокровенного 😄 я одно время искал материал и нашел какой то зарубежный источник, где было около 1000 опций
Я вам столько идей на ролики могу рассказать 😂 сам все хотел ютубом заняться, да вот руки дошли только до телеграмм-канала, веду там жизнь аналитика. Но Python в работе использую ежедневно, конечно там все так костыльно выглядит 😄 если запросы sql то в raw виде 😄
Я правильно понимаю, что без аутентификации, то есть с бесплатным прокси (proxyip:proxyport), библиотека seleniumwire не функционирует и просто не подключает к прокси?
Должно работать. Скорее всего бесплатный прокси не работает. Подключать нужно так: options = { 'proxy': { 'http': '192.168.10.100:8888', 'https': '192.168.10.100:8888', } } driver = webdriver.Chrome(seleniumwire_options=options)
А вариант с прокси от Tor будет в дальнейших видео рассматриваться? Мне кажется это хорошая практика, учитывая то, что менять ip можно по сути сколько угодно (при этом бесплатно)
Хороший вопрос. Видео про бесплатные прокси и Tor будет обязательно. Но бесплатные варианты, к сожалению, будут работать далеко не всегда, хотя здесь всё зависит от задачи и проекта
Спасибо за гайд. Как думаешь, насколько безопасно использовать бесплатные прокси? Если чисто для парсинга сайтов без авторизации - нет проблем, а вот если в запросе передаются твои куки, апи-ключ или ключ сессии?
@@the_parse_hub я только учусь программированию. Недавно попробовал scrapy и в восторге от него. Намного меньше кода за такой-же результат. На мой взгляд beautiful soup нужно изучить для понимания как парсить сайты, а потом переходить на scrapy и пользоваться только им.
Во втором примере Вы сами сказали, что фактически запрос пойдет через 2 прокси, возможно, поэтому и страницы открываются дольше, чем в 3 примере. И расскажите, пожалуйста, как поднять свой собственный прокси.
У меня ошибка btotli при использовании твоего кода, что делать, помоги пожалуйста решить проблему. Данная ошибка только при попытки использовать прокси 2 и 3 способом(первый мне не подходит), но мне очень надо
Это немного не так делается. В репозитории github есть кнопка issue: github.com/Duff89/proxy_use_example_for_parsing/issues Там подробно пишите об ошибке, добавляете свой код и тогда я, наверное, смогу помочь
Здравствуйте. Хотелось бы поднять свои мобильные прокси через разлоченый модем. Если можно что бы были с логином и паролем. Видео только включил, сразу лайкнул. Знаю что Вы дадите ОТЛИЧНЫЙ контент. Большое спасибо.
@@the_parse_hub Я видел видеоуроки на сайте продавца прокси как он поднимал. Но подозреваю что он не договаривал. Потому что у меня не получалось. Я тоже через модем пользовался. Написал небольшой скрипт, он мне менял айпишник. Делал переподключение. Прикольно было. Но я уже это перерос.))) Надеюсь. Сейчас пытаюсь написать телеграмм-бота по Валдберрис. Но сайт не парсится. Приходится все категории через деф тулс выдергивать ручками. А там их миллион.(((Может знаете как спарсить данные?
2:21 - "VPN вам не поможет", вы смешной, route ни кто не отменял! Так же вам проблемотично будет через разные прокси сидеть в браузере, когда в стим вам необходимо заходить с одного прокси, а на сайт банка с другим.
Очень интересны свои прокси, с пулом под лям, с разным гео, можно и мобильные, но лучше, чтобы ipv4 были прям мега шустрые. Че надо делать ?) Да, еще и анонимные обязательно. И точно нужны socks5, http не подходят чаще всего.
Интересно, конечно. Все методы знакомы и часто используются. Вот seleniumwire та еще штука, щас не помню точно уже, но была ситуация, когда нужен был чистый selenium, а seleniumwire не подходил почему то, вроде бы, какие то настройки не добавлялись. А вот в селениум через расширение прокси с авторизацией не добавлялись. Хз почему, но точно помню, что не вышло ничего. А реализация расширения через класс очень классная, нужно сохранить себе) Интересно как обработать бинарпики драйверов, чтобы антибот системы их не видели, через хекс редактор что то пробовал, но еще, пока, знарий не хватает, чтобы понять на чем драйвер палиться. И интересно подключение рандомного браузера. Ведь хром, файрфокс, эдж, это не единственные браузеры. Есть via - на андроид весил 2,5 мб всего. 2 блять и 5 мегабайта, карл)))) Можно с смартфона запускать что угодно и работать с браузером на смартфоне - это вообще моща. Потому как через adb нельзя взаимодействовать с запущенным приложением и тем что внутри, функционал ограричен, лишь какие то широковещательные сигналы есть, но там, пока, еще рано все знать и уметь, но возможно. А вот селениум + любой браузер - это моща.
Чтобы не палится лучше не изобретать велосипеды а использовать готовые решения undetected_chromedriver, selenium_stealth и т.д. Как правило, этого хватает. Ну а вообще вариантов всего очень много, выбора хватает
![Blox Fruits Dragon Rework Update [Full Stream]](http://i.ytimg.com/vi/EqDAp8udhm0/mqdefault.jpg)
Примеры кода: github.com/Duff89/proxy_use_example_for_parsing
Купить прокси по партнерской ссылке: proxyline.net?ref=212089
Просто купить прокси: proxyline.net
Купон для скидки: EYvdLcmgSy4tUcBP5uk
Обязательно продолжай! Все очень нужное. Сделай плиз видео, как открыть одновременно допустим 10 потоков селениума (каждый через свой прокси из списка) - это очень надо. Плюсуйте , чтоб автор заметил и сделал
Уже есть: ruclips.net/video/BTuzb0aSZvs/видео.html
Спасибо за полезные видео. Продолжайте в том же духе. И если можно сделайте видео о том, как поднять свои прокси на удаленном сервере.
То, что в браузер Хром, пишет - Не защищено красным цветом и зачёркнуто https это ничего страшного, это ни на что не влияет?
Всё верно, это ни на что не влияет
о класс новый канал нашел.будем смотреть.
Спасибо огромное! Вот это оперативность 🚀👍
Столько видео пересмотрел на ютубе, но только у вас как все заново и главное более понятней 💪🔥
Расскажите пожалуйста про внутрянку браузера, именно по работе с опциями и расширениями, я чувствую там много сокровенного 😄 я одно время искал материал и нашел какой то зарубежный источник, где было около 1000 опций
Я вам столько идей на ролики могу рассказать 😂 сам все хотел ютубом заняться, да вот руки дошли только до телеграмм-канала, веду там жизнь аналитика. Но Python в работе использую ежедневно, конечно там все так костыльно выглядит 😄 если запросы sql то в raw виде 😄
Спасибо) насчёт опций - отличная идея для видео, обязательно нужно сделать
Я правильно понимаю, что без аутентификации, то есть с бесплатным прокси (proxyip:proxyport), библиотека seleniumwire не функционирует и просто не подключает к прокси?
Должно работать. Скорее всего бесплатный прокси не работает. Подключать нужно так:
options = {
'proxy': {
'http': '192.168.10.100:8888',
'https': '192.168.10.100:8888',
}
}
driver = webdriver.Chrome(seleniumwire_options=options)
Благодарю за ответ. Действительно, заработал код.@@the_parse_hub
А вариант с прокси от Tor будет в дальнейших видео рассматриваться? Мне кажется это хорошая практика, учитывая то, что менять ip можно по сути сколько угодно (при этом бесплатно)
Хороший вопрос. Видео про бесплатные прокси и Tor будет обязательно. Но бесплатные варианты, к сожалению, будут работать далеко не всегда, хотя здесь всё зависит от задачи и проекта
есть ли уже подобное видео?
@@the_parse_hub
@@РоманКаленкин Есть. ruclips.net/video/7fF4UizijyY/видео.html
Спасибо за гайд. Как думаешь, насколько безопасно использовать бесплатные прокси? Если чисто для парсинга сайтов без авторизации - нет проблем, а вот если в запросе передаются твои куки, апи-ключ или ключ сессии?
Лично я почти не использую бесплатные прокси, но больше по причине их нестабильности. Насчет безопасности - я бы не доверял им
Я использую 2 версию прокси на selenium, теперь буду 1, спасибо
Спасибо, очень интересно. Планируете сделать уроки или курс по scrapy?
Scrapy очень редко пользуюсь, поэтому пока в планах нет
@@the_parse_hub я только учусь программированию. Недавно попробовал scrapy и в восторге от него. Намного меньше кода за такой-же результат. На мой взгляд beautiful soup нужно изучить для понимания как парсить сайты, а потом переходить на scrapy и пользоваться только им.
Во втором примере Вы сами сказали, что фактически запрос пойдет через 2 прокси, возможно, поэтому и страницы открываются дольше, чем в 3 примере.
И расскажите, пожалуйста, как поднять свой собственный прокси.
Звучит логично, но на самом деле нельзя судить о скорости по одному лишь запуску. А про то как поднять свои прокси обязательно покажу
У меня ошибка btotli при использовании твоего кода, что делать, помоги пожалуйста решить проблему. Данная ошибка только при попытки использовать прокси 2 и 3 способом(первый мне не подходит), но мне очень надо
Это немного не так делается. В репозитории github есть кнопка issue: github.com/Duff89/proxy_use_example_for_parsing/issues
Там подробно пишите об ошибке, добавляете свой код и тогда я, наверное, смогу помочь
Здравствуйте. Хотелось бы поднять свои мобильные прокси через разлоченый модем. Если можно что бы были с логином и паролем. Видео только включил, сразу лайкнул. Знаю что Вы дадите ОТЛИЧНЫЙ контент. Большое спасибо.
Добрый день, спасибо. Мобильными прокси я только пользовался, сам никогда не делал, поэтому в данном случае ничего полезного подсказать не смогу
@@the_parse_hub Я видел видеоуроки на сайте продавца прокси как он поднимал. Но подозреваю что он не договаривал. Потому что у меня не получалось. Я тоже через модем пользовался. Написал небольшой скрипт, он мне менял айпишник. Делал переподключение. Прикольно было. Но я уже это перерос.))) Надеюсь. Сейчас пытаюсь написать телеграмм-бота по Валдберрис. Но сайт не парсится. Приходится все категории через деф тулс выдергивать ручками. А там их миллион.(((Может знаете как спарсить данные?
2:21 - "VPN вам не поможет", вы смешной, route ни кто не отменял!
Так же вам проблемотично будет через разные прокси сидеть в браузере, когда в стим вам необходимо заходить с одного прокси, а на сайт банка с другим.
Покажи как самостоятельно получать эти прокси сервера
Обязательно в будущем покажу
@@the_parse_hubзаранее спасибо...
Очень интересны свои прокси, с пулом под лям, с разным гео, можно и мобильные, но лучше, чтобы ipv4 были прям мега шустрые.
Че надо делать ?)
Да, еще и анонимные обязательно.
И точно нужны socks5, http не подходят чаще всего.
Ну нужен примерно лям долларов
Интересно, конечно.
Все методы знакомы и часто используются.
Вот seleniumwire та еще штука, щас не помню точно уже, но была ситуация, когда нужен был чистый selenium, а seleniumwire не подходил почему то, вроде бы, какие то настройки не добавлялись.
А вот в селениум через расширение прокси с авторизацией не добавлялись. Хз почему, но точно помню, что не вышло ничего.
А реализация расширения через класс очень классная, нужно сохранить себе)
Интересно как обработать бинарпики драйверов, чтобы антибот системы их не видели, через хекс редактор что то пробовал, но еще, пока, знарий не хватает, чтобы понять на чем драйвер палиться.
И интересно подключение рандомного браузера. Ведь хром, файрфокс, эдж, это не единственные браузеры.
Есть via - на андроид весил 2,5 мб всего. 2 блять и 5 мегабайта, карл))))
Можно с смартфона запускать что угодно и работать с браузером на смартфоне - это вообще моща.
Потому как через adb нельзя взаимодействовать с запущенным приложением и тем что внутри, функционал ограричен, лишь какие то широковещательные сигналы есть, но там, пока, еще рано все знать и уметь, но возможно.
А вот селениум + любой браузер - это моща.
Чтобы не палится лучше не изобретать велосипеды а использовать готовые решения undetected_chromedriver, selenium_stealth и т.д. Как правило, этого хватает.
Ну а вообще вариантов всего очень много, выбора хватает
@@the_parse_hub это в общем.
Не более.
А на практике все по другому.
Есть антиботы, которые моментально видят парсинг.
@@karandalliik Пардон, пропустил Ваш ответ. Бывает, конечно, всякое, но приведите пример такого антибота, попробую посмотреть