100 бесплатных прокси за 2 минуты с помощью Python
HTML-код
- Опубликовано: 30 сен 2024
- Я покажу как с помощью Python и библиотеки proxybroker можно получить бесплатные и при этом рабочие прокси. Также можно выбрать тип, гео, скорость и анонимность нужных прокси.
В ролике затрону тему анонимности и покажу как это работает.
Используемая библиотека: github.com/blu...
Если под Windows не работает - попробуйте сразу после импорта библиотек вставить такую строку:
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
А если Вам нужны приватные и быстрые прокси, рекомендую:
proxyline.net/...
Купон на скидку: EYvdLcmgSy4tUcBP5uk
Приватные прокси за 99 руб: proxy6.net/?r=...
Купон на скидку: SdSq8wCwJA
Поддержать канал:
yoomoney.ru/to...
или
2204 1201 0103 5539
Контакт для связи: sergeichopolovich1989@gmail.com
#python #proxy #request #анонимность #бесплатно
Странно как то с заголовками выходит - извлекал их с разных сайтов и те что имеют полный набор для детекта в плане античитинга и максимум что было на одном сайте - via, x-cache . сайты будто отказались от этих заголовок и используют каике то свои специфичные и не понятно что там. однако один сайт детекнул что я сижу через vpn и даже реальный ip извлек.
Решил посмотреть, что это за proxy-list, написал программу которая сканирует их на соединение с сайтом в ru с timeout=2.5. Немного статистики за неделю: за проход(около 5000 прокси) 50-100 штук рабочих, за неделю около 10 штук хотя бы два раза в рабочих, 2 прокси работают каждый раз, одна в Нидерландах, другая в Южной Америке. Вот как-то так.
Для бесплатных прокси вполне нормально
Тема интересная, но материал не рабочий. Ресурсы говно. Проверил все не советую особенно начинающим😂
не работает на windows, никто фиксить это не хочет)
Я могу фиксить проверять каждый прокси что работает ли нет
Тема интересная, теперь буду разбираться как такой список выгружать в файл и в какой файл, хочу подгрузить прокси списком в shadowrocket. Автор, спасибо за информацию!
Как программа называется где мы ищем прокси?
Нужен сам язык Python сначала установить, а потом установить библиотеку: github.com/bluet/proxybroker2
А я бы написал на селениуме парсер, который список прокси ещё и проверяет на качество. Пару часов заняло бы.
Так необязательно на селениуме, можно и через запросы проверять, но на самом деле эта библиотека их уже проверяет
Подскажите нубу, зачем может понадобиться большое количество прокси, что с этим делать?
Т.к. этот канал по парсингу, то приведу пример из данной сферы. Вот у нас есть сайт, который продает от скрепки до авто, количество товаров > 1 000 000 и нам нужно спарсить все товары из него. Максимальное количество запросов с одного ip=1 запрос в секунду, больше будет блокировать. Если работать с одного ip на это понадобится более 12 суток при идеальных условиях, но так не бывает. А по техзаданию, нам нужно каждый день присылать заказчику свежую базу.
Но если у нас есть 20 разных ip, то понадобится уже примерно полдня. Это всего один пример, на самом деле применить пачку прокси можно очень по-разному
@@the_parse_hub Спасибо за ответ!
@@the_parse_hub Максимальное количество запросов с одного ip вычисляется опытным путем? Или тоже есть какие то проекты на гитхабе например?
Крайне интересное видео. Спасибо за труд !
Что то я так и не понял....
Ну вроде как запросило и получили список прокси..... но при проверке из 11 предложенных 4 не рабочих.
Чем это отличается от того что я просто скопирую список прокси и также проверю на том же сайте по принципу работает или нет?
Пока кроме 40% отвалившихся вместо 80%..... но все равно ведь в конечном итоге их нужно будет проверять!
Или я чтото не понимаю?!
40% против 80% это уже отличный результат на самом деле!
При работе с публичными прокси, нельзя быть уверенным, что они будут рабочие в момент использования. Можно только сказать, что вот 100 прокси, из них 70 работают, я только что проверил. Через минуту Вы перепроверяете их, рабочих= 50, еще через минуту= 83, еще через минуту =12 и так далее.
Поэтому их использовать можно далеко не везде, но иногда прям выручают.
PS: а если нужны хорошие приватные прокси, которые стабильно работают - ссылки в описании
@@the_parse_hub , просто непонятно для чего пользоваться этой приблудой когда в конечном итоге все равно проверяешь их на одном и том же сайте :) .
Т. е. по факту например мне нужно 10-20 прокси:
- без этой системы из какогото ресурса вбил 100 прокcи и получил на выходе 20 рабочих
- с этой приблудой вбил 50 прокси и получил на выходе теже 20 рабочих
Разница лишь в количестве прокси которые ты копируешь/вставляешь списком.
P.S. Приватные прокси это конечно хорошо..... но для задач людей которые смотрят это видео их покупать нет смысла.
Например мне нужно на это удовольствие на приватный прокси каждый месяц выкидывать порядка 20-40 баксов.
Прикольно . Спасибо
Автор использует питон 3.7 )))))))))))))))))))))))))))))))
При работе с этой библиотекой да
Так себе показать что можно сделать с помощью Python норм а так ты не показал что хоть 1 работает прокси чекер не показатель вот покажи что ты хоть что то сделал с етим прокси кроме текста в консоли)
Дарю ,,,,,,,,,,,,,,,,,,,,. Тебе пригодится)
На MacOS не заработало
Что за ошибка?
Ребята, Всех приветствую! Подскажите, я ничего не понимаю в этом, но мне нужен прокси Норвегия. Мобильный. Нужен буквально на несколько минут. Подскажите, как лучше поступить? Не хочется ради нескольких минут, покупать прокси. Я не скамер никакой, обычный человек, просто есть один вопрос, который надо закрыть. Благодарю за ранее!
Некоторые сайты дают прокси на тест с ограничениями по трафику или времени. Как раз Ваш вариант
proxybroker2 сам знает откуда выдавать прокси или надо ему задавать ресурс?
Да, он знает несколько источников и берет из них всю информацию
Отличное видео. Приятный ровный спокойный голос. Спасибо.
Все отлично. Только вот что за "наш печар"? Типа командная строка, или я не шарю?
PyCharm, программа для написания кода
Что может быть, что у меня не работают SOCKS5? Все остальные типы прокси включаются нормально.
С вопросом "почему не работает?" и без всякой конкретики Вам вряд-ли кто-то поможет
Под Windows что-то не взлетает.... =(
попробуйте сразу после импорта библиотек вставить такую строку:
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
@@the_parse_hub Увы, тоже валится в ошибку:
строка:1 знак:70
+ ... yncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
+ ~
После ''('' ожидалось выражение.
+ CategoryInfo : ParserError: (:) [], ParentContainsErrorRecordException
+ FullyQualifiedErrorId : ExpectedExpression
Интересно, есть ли способ подключить auth proxy к undetected chrome?
Конечно!
Вам необходимо это делать через selenium-wire (pip install selenium-wire). Т.е. импорт будет выглядеть вот так:
from seleniumwire import undetected_chromedriver as uc
Ну и далее примерно так:
wire_options = {
'proxy': {
'https': f'{login}:{password}@{ip}:{port}',
}
}
options = uc.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
driver = uc.Chrome(seleniumwire_options=wire_options, options=options)
@@the_parse_hub Спасибо, попробовал этот код; К сожалению, не проходит cloudflare.
@@the_parse_hub Спасибо за cкрипт, но он, к сожалению, ловит капчу(cloud flare)
Это не библиотека, а кусок сами знаете чего. На Винде она валит ошибки, для роботов точно нет. Методы, которые они советуют не помогли. Проще самому парсер написать, чем тратить время на эту поделку.Фиксы ошибок не помогли. Все варианты перепробовал.
Так не вопрос, напишите свой аналогичный парсер+чекер и выложите в открытый доступ, все только спасибо скажут
@@the_parse_hub а смысл? Я купил пару на прокси6, мне хватает за глаза. Пинг отличный, скорость топ. Тестил эти прокси, которые из видео, ну это полное фиаско, я даже не знаю под какой проект они могут подойти.
@@ДенисВакуленко-о1я Конечно платные приватные прокси лучше бесплатных публичных
теперь сделай чтобы можно было брать бесплатные прокси с авторизацией
На ум приходит только нечестный способ:
- поднять свой публичный чекер прокси
- при проверке сохранять рабочие прокси для дальнейшего использования
Не исключаю, что кто-то так и делает, но я таким заниматься не буду
@@the_parse_hub а что тут не честного?
@@scoundrelblr1928 Ну как-же, пользователь где-то купил себе приватные прокси, пришел к Вам чтобы их чекнуть, а Вы не только их проверили, но и теперь сами ими пользуетесь. Что тут честного?
уважаемый бро , трекк тайм 3:25 , не совсем понял как различить прокси которые не будут (внезапно) отправлять нежелательные заголовки(касаемо реального айпи ) на серв , вот я допустим соберу из открытых источников так или иначе какое то кол-во проксей , возможно даже напишу свой чекер , чекну , даже если выйдет шутчек 10 , как определить те что не палят реальный айпи? возможно есть какая то инфа котоая мне поможет?
стоит ли для таких целей приобретать платные какие то более надежные варианты? а то что я описал это так неочем (в плане более серьездного сокрытия айпи?)
Например можно отправить запрос через конкретный прокси на url который покажет заголовки (гугли azenv, пример сайта: azenv.net/) и уже на основе полученных данных сделать вывод об уровне анонимности прокси, это если вкратце. Если лень разбирать и прокси нужно пару штук - будет проще и лучше купить к примеру здесь: proxy6.net/?r=54545
спс@@the_parse_hub
Спасибо , интересно
Какая у вас ОС?
Linux Mint. Мне нравится
Круто! Вообще платные прокси конечно гораздо лучше и стабильнее, но иногда и бесплатные нужны. Раньше я вручную на разных сайтах искал
Спасибо! Насчет платных прокси полностью согласен
Пользуюсь платными проксями, и не доволен качеством. Хотелось бы услышать от вас где вы покупаете прокси недорогие и хорошие по качеству
Не занимаюсь регулярно вещами, требующими много айпишников, но давеча потребовалось - запустил тор, для моих целей хватило)
Тоже вариант
Под Windows10 скрипт не удалось запустить, сплошные ошибки списка proxy нет. На ubuntu пошло.
Может быть, это не самая стабильная библиотека