Парсинг на Python | Подмена IP-адреса | Запросы через прокси | Proxy with Python Requests

Поделиться
HTML-код
  • Опубликовано: 14 ноя 2024

Комментарии • 134

  • @Zer-st6qv
    @Zer-st6qv 3 года назад +76

    За месяц просмотра канала узнал больше чем за год на платном курсе. Будь здоров, огромное, человеческое спасибо и поддержка) $

    • @PythonToday
      @PythonToday  3 года назад +2

      Большое спасибо за поддержку! Рад что полезно)

    • @foxik_cs5845
      @foxik_cs5845 2 года назад +1

      отвалил 110к за курсы а что то дельное тут узнаю тоже)

    • @p_r_o_e_k_t_o_r
      @p_r_o_e_k_t_o_r 2 года назад

      Тебя наебали с платным курсом ))

    • @Dvoini
      @Dvoini Год назад +1

      ни как не пойму тех кто платит а курсы, когда все есть в инете, всего лишь надо уметь искать
      тем более ИИ уже переводят текст на русский и можно смотреть уроки на любом языке, хоть индусов

    • @alexswift3749
      @alexswift3749 8 месяцев назад

      ​@@Dvoiniна любом курсе тебе тебе даётся материал поэтапно, как следует изучать. Для многих это мативация, так как бесплатно тяжело себя заставить изучать. Плюс ты сдаёшь работы, кторые проверяет куратор.

  • @vigauss1889
    @vigauss1889 3 года назад +21

    Смотрю каждый твой ролик с большим удовольствием! Большое спасибо энциклопедию полезной инфрмации!

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за фидбэк 👍

  • @topmazila8766
    @topmazila8766 3 года назад +3

    За 6 лет пользования RUclips это мой 2й лайк. В коментах к прошлому видео я просил рассказать про проблему с сертификатом, когда внутренние протаколы блчат запросы, но думаю вариант со сменой ip сможет решить эту проблему (хотя все ещё переживаю, ведь блокировка со стороны моеко ПК, а не сайта и нужно думать, как сертификат с https запихнуть в избранные, а я даже не знаю как его скачать). Я не профессиональный программист и использую python для решения разовых локальных проблем, сопряженных с работой. Более того, отдельное спасибо за подробный момент ссылки на тег с классом! Это очень важный момент, который лично я так и не нашёл на прасторах интернета.
    С лучшими пожеланиями.

    • @PythonToday
      @PythonToday  3 года назад

      Приветствую, благодарю за фидбэк! Не сталкивался пока с такой задачей. Не могу верно подсказать.

  • @АлександрВыскребцев
    @АлександрВыскребцев 3 года назад +1

    Все дружно входим в ряды Патронов на патреоне !!! Там контент огонь 🔥🔥🔥 Благодарю за проделанную работу!

    • @PythonToday
      @PythonToday  3 года назад

      Спасибо за поддержку! 😀👍

  • @m1nmara
    @m1nmara 2 года назад +2

    благодаря твоим видео про парсинг смог заработать свои первые деньги на фрилансе, спасибо за труд

    • @PythonToday
      @PythonToday  2 года назад +1

      Молодцом! Спасибо за фидбэк, рад что видео помогают.

  • @deus7204
    @deus7204 3 года назад +2

    Огонь, только вчера мучался с бесплатными прокси. Все получилось, большое спасибо за знания и за код.

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за фидбэк! Рад что полезно)

    • @diatm1506
      @diatm1506 2 года назад +1

      Бесплатные тоже можно использовать?

  • @return_1101
    @return_1101 3 года назад +3

    Ставил лайк до начало видео! Очень хороший контент!

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за поддержку!

  • @СергейГоворов-ы8и
    @СергейГоворов-ы8и 3 года назад +3

    Ни когда еще так не ждал новых выпусков на ютубе, Ваши уроки это кладезь знаний

    • @PythonToday
      @PythonToday  3 года назад

      Большое спасибо!

  • @seoonlyRU
    @seoonlyRU 2 года назад +1

    да, не устаю ставить вам лайки за видео! Лукас от СЕООНЛИ

  • @krackerbox1535
    @krackerbox1535 3 года назад +2

    Прекрасный канал.Недавно поступил в университет,появился питон.Только по этим урокам его и изучаю,т.к это,по-моёму скромному мнению,лучший ру-канал по питону.Прекрасная подача материала и детальное пояснение.Это ли не кладезь знаний?
    В общем сам смотрю и всем советую.Спасибо за бесценную практику!

    • @PythonToday
      @PythonToday  3 года назад

      Большое спасибо за фидбэк и поддержку!

  • @ВасилийК-м2с
    @ВасилийК-м2с 3 года назад

    Знал бы лучше Питон, точно бы платную подписку оформил, но я только начал учиться! Респект автору!

  • @ХалилМаденбай
    @ХалилМаденбай 3 года назад

    не зря выкладываете ролики спасибо

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за поддержку!

  • @alekseytrump1586
    @alekseytrump1586 3 года назад +2

    КОТОЛАЙК автоматом!!! Давай про Linux еще видосы)))

    • @PythonToday
      @PythonToday  3 года назад +1

      Скоро будет! Спасибо за поддержку!

  • @vladyslavpaliasnyi1611
    @vladyslavpaliasnyi1611 3 года назад

    Только искал видео о том, как использовать прокси для бота. Спасибо за информацию)

  • @optionmatic2105
    @optionmatic2105 3 года назад +4

    Ждём новые ролики)) хотелось бы посмотреть, как решить задачу парсинга динамически обновляемых данных на странице, к примеру курса валюты без api

    • @optionmatic2105
      @optionmatic2105 3 года назад +1

      Только в цикле?

    • @PythonToday
      @PythonToday  3 года назад +3

      Любые данные приходят по запросу. Смотри network, либо используй selenium

  • @grekstar8666
    @grekstar8666 3 года назад +5

    котейка лишней не бывает) спасибо за урок! и да как по мне когда второй раз котейка появилась под "бит" было четче чем в первый раз)

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за фидбэк!

  • @ИванБетц
    @ИванБетц 3 года назад +5

    в принципе механизм применения в дальнейшем ясен, только вот для чего это? (типо менять с определенной периодичностью прокси чтоб при парсинге целевой сайт не забанил?)

  • @charmedquark4814
    @charmedquark4814 2 года назад +2

    Ваш канал ну очень крутой! Самый лучший канал по кодингу! Все понятно и по делу😍

    • @PythonToday
      @PythonToday  2 года назад

      Большое спасибо!

  • @birdwatcher_channel
    @birdwatcher_channel 2 года назад

    Спасибо. Полезное видео. обязательно применю на практике

  • @semager
    @semager 4 месяца назад

    Спасибо огромное!!!

  • @rzheckii-time
    @rzheckii-time 3 года назад +1

    Очень годный контент, спасибо 😄

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за поддержку!

  • @proxycompass
    @proxycompass Год назад

    Спасибо за ролик!

  • @user-lt1jqrhcp7ext321
    @user-lt1jqrhcp7ext321 Год назад

    thank you so much for the video and useful links

  • @Ghoul_in_Tokyo
    @Ghoul_in_Tokyo 3 года назад +1

    Спасибо за урок!)

    • @PythonToday
      @PythonToday  3 года назад +1

      Благодарю за фидбэк!

  • @poggycat3671
    @poggycat3671 3 года назад +2

    Спасибо автору, очень полезные материалы и подача легкая)

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за поддержку!

  • @エグゼクティブ-g1p
    @エグゼクティブ-g1p 2 года назад

    Как прикольно, когда у тебя есть возможность просканировать картинку и вычленить оттуда текст...

  • @СергейСмирнов-ь8у
    @СергейСмирнов-ь8у 3 года назад

    Огромное спасибо за видео!

    • @PythonToday
      @PythonToday  3 года назад

      Спасибо за поддержку!

  • @falongor6836
    @falongor6836 2 года назад

    Отличный видос ¶

  • @Владимир-щ8н3ь
    @Владимир-щ8н3ь 3 года назад +2

    Давай забабахай бота, который будет мониторить цену в мобильном приложении ситимобил, к примеру, и делать заказ, когда цена достигает порогового значения.

  • @davidhartman8698
    @davidhartman8698 7 месяцев назад

    Как думаешь, данный подход позволит обходить от сервера?

  • @nikoe_dev
    @nikoe_dev 14 дней назад

    Привет!
    Можешь подсказать можно ли парсить через Proxy используя тариф IPv4 Shared? Его стоимость значительно ниже, что заманчиво)

  • @FoxRedmiNote
    @FoxRedmiNote 3 года назад

    Замечательно 👍

  • @abrahan2765
    @abrahan2765 3 года назад +1

    Спасибо

  • @mipiace4080
    @mipiace4080 Год назад

    полтора дня выяснял почему не получается законнектиться к прокси... в итоге оказалось, что достаточно обновить свой ip 🤪

  • @Чукча-х4е
    @Чукча-х4е 2 месяца назад

    при написании print(id) он выделяет это как ошибку

  • @diatm1506
    @diatm1506 2 года назад

    Может ещё вдобавок пакет кукловод рассмотрим под nodejs?

  • @ВладимирКузнецов-н9я1г

    Как можно использовать прокси для любых модулей?

  • @ВасилийК-м2с
    @ВасилийК-м2с 3 года назад

    Автор, подскажи а то что в платном контенте (интересует тестирование систем). Для этого нужны какие-либо особые навыки, чтобы пробовать по видосам?

  • @vitalymafter7572
    @vitalymafter7572 Год назад

    на сайте при покупке есть такой пункт как количество, имеется ввиду айпи? если я покупаю, то не могу выбирать между?Просто такая задача, которая требует большое количество айпи адресов

  • @shustriy1980
    @shustriy1980 3 года назад +5

    Было бы интересно увидеть как автор обходит защиту от парсинга на сайтах где например сессию нужно обновлять, куки тд

    • @flayers1646
      @flayers1646 3 года назад

      + обход капч с помощью сервисов

    • @FuriousTankers
      @FuriousTankers 2 года назад

      Для этого есть selenium

  • @niksan703
    @niksan703 3 года назад

    Спасибо за крутые уроки ! Есть вопрос, как на сайте эмулировать javascript ? К примеру мы подключились к сайту, сработал javascript и мы меняем IP, после чего мы снова подключаемся к этому сайту, и опять срабатывает javascript.

  • @RomaRAW_
    @RomaRAW_ 7 месяцев назад

    Как использовать socks5 с логином и паролем ?

  • @bonterkoz
    @bonterkoz 3 года назад

    Классный ролик, смотрел с упоением. А как взаимодействовать с доменным прокси?

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за фидбэк. Что такое "доменным прокси"?

    • @bonterkoz
      @bonterkoz 3 года назад

      @@PythonToday ISA SERVER , который прописывается в браузере или в системе целиком вида х.х.х.х:8080 и без него нет инета

    • @PythonToday
      @PythonToday  3 года назад

      Не сталкивался с таким пока, к сожалению не могу точно подсказать.

  • @user-sc4ve6ky1v
    @user-sc4ve6ky1v 3 года назад

    Добрый ночи. Возможно ли авторизация в авито для парсинга и как? Ни кого такого нет.

  • @alexmayer2704
    @alexmayer2704 Год назад

    Как реализовать обращение через прокси к некой странице на сайте?

  • @vikamama8789
    @vikamama8789 2 года назад +1

    Спасибо за урок. Но у меня почему-то постоянно выдает ошибку 'Удаленный хост принудительно разорвал существующее подключение', с чем это может быть связано?

    • @scscorpin
      @scscorpin Год назад

      те же грабли, не могу понять в чём дело, ответьте если решили

  • @alisher9442
    @alisher9442 3 года назад

    Красава спасибо

  • @marat3015
    @marat3015 2 года назад

    все сделал как в видосе, при запуске пишет Process finished with exit code 0 и ничего не выводит((((
    Помогите пожалуйста

  • @alexandergrigorev4518
    @alexandergrigorev4518 3 года назад

    Этот прокси можно использовать для бота Инстаграмм?

  • @MrStrah1969
    @MrStrah1969 Год назад

    А зачем юзер-агент надо было добавлять? Сказано НА ВСЯКИЙ СЛУЧАЙ. А что это за случай?

    • @225Desmond
      @225Desmond 11 месяцев назад

      На самом деле использовать юзер-агент это не только про "на всякий случай". Лучше использовать каждый раз, если есть большое количество запросов к сайту, и это не апи, иначе будет 403 прилетать

  • @gavin704
    @gavin704 3 года назад

    У меня вопрос есть парсинг самих ботов в телеграмме или ВК чтобы получать скрип других ботов и возможно ли это вообще?

  • @МишаКузнецов-х7ъ
    @МишаКузнецов-х7ъ 3 года назад +1

    Одного IP прокси не всегда достаточно для парсинга.

  • @alexgagag5444
    @alexgagag5444 3 года назад

    спасибо

  • @frale288
    @frale288 2 года назад

    Здравствуйте! Проблема небольшая... Всё работает до того момента, пока я не добавлю сам прокси, что делать? Прокси купил

  • @sliva_i_banan
    @sliva_i_banan 3 года назад

    хочу заказать у тебя парсер определенного сайта сохранить текстовую информацию в трёх столбцах в тхт файл,он простой но страниц много ,как связаться с тобой?

  • @ЮрийЮрьев-е5х
    @ЮрийЮрьев-е5х Год назад +1

    не работает "no_proxy = proxies.get("no_proxy") if proxies is not None else None
    AttributeError: 'list' object has no attribute 'get'"

    • @jabberflow2288
      @jabberflow2288 Год назад +1

      Такая же ошибка, вы не смогли решить данную проблему? Я был бы очень благодарен если подскажите.

  • @stiep0753
    @stiep0753 9 месяцев назад

    Подскажите что за вертальное окружение , как называеться прога

    • @MrPavel1207
      @MrPavel1207 2 месяца назад

      виртуальное окружение создается в терминале через команду python -m venv + название папки (как правило venv)

  • @blackcatdevel0per
    @blackcatdevel0per 3 года назад

    👍👍👍

  • @olegselyaznev401
    @olegselyaznev401 3 года назад

    Здравствуйте. Я не совсем понимаю где нужно вступать в камъюнити что бы узнать больше.????

    • @PythonToday
      @PythonToday  3 года назад +1

      Приветствую, больше проектов доступно на патреоне. Ссылка есть в описании к видео.

    • @olegselyaznev401
      @olegselyaznev401 3 года назад

      @@PythonToday спасибо.)

  • @Акула-к9в
    @Акула-к9в 3 года назад +1

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за фидбэк! Рад что видео помогают)

  • @sergsangels
    @sergsangels Год назад

    не работает , ip показывает реальный , как не включай выключай VPN все равно выдает реальный ip

  • @Ваши_Вести
    @Ваши_Вести 2 года назад

    а как сделать, чтоб на каждый запрос применялся другой прокси?

  • @syracuse4612
    @syracuse4612 3 года назад

    как посоветуешь практиковаться?

    • @PythonToday
      @PythonToday  3 года назад

      Открывай редактор и пиши код. Спустя 3 года, переписываю любой свой элементарный код, а не копирую.

  • @lavrynenko
    @lavrynenko 2 года назад

    Вопрос:
    from proxy_info import login, password
    Это какая библиотека используется? :( Не могу найти :(
    Заранее благодарен за ваш ответ!

    • @PythonToday
      @PythonToday  2 года назад +1

      Это не библиотека, а созданный файл. В котором хранятся данные.

    • @lavrynenko
      @lavrynenko 2 года назад

      @@PythonToday ааааа! Сообразил :) Спасибо!

  • @АлексейСамаркин-ы2н

    Спасибо за видео!!! с прокси беда, либо дорого, либо нерабочие((((

    • @ДмитрийКлименко-о1к
      @ДмитрийКлименко-о1к 3 года назад

      Посмотри в сторону тор (для управления из под питона есть официальная библиотека stem)

  • @RedKnifeSkel
    @RedKnifeSkel 3 года назад

    а как передавать прокси в session?

    • @ve2376
      @ve2376 3 года назад

      Так у Session такой-же параметр proxies=

  • @vovast8211
    @vovast8211 3 года назад

    Что это за текстовый редактор кода?

  • @Nikolla_Rus
    @Nikolla_Rus 4 месяца назад +1

    Это так примитивно... Купил прокси и подставил его. Вот не покупать прокси, а поменять IP - это да. А весь замут с выводом IP и локации ради чего? Посмотреть откуда твой IP? Муть!!!

  • @daffyteam
    @daffyteam 2 года назад

    Жавай авито попарсим с обходом блокировки)

  • @algis_sh
    @algis_sh 3 года назад

    Стоит только озадачиться каким то вопросом, как тут же выходит по этому вопросу видео. А говорят магия вне Хогвартса запрещена

    • @PythonToday
      @PythonToday  3 года назад

      Благодарю за фидбэк! Рад что полезно)

  • @v.kudyushev
    @v.kudyushev 3 года назад

    ну вы одолели уже. это не парсинг, а краулинг или скрэпинг 🤦

    • @PythonToday
      @PythonToday  3 года назад +1

      Посмотри первое видео из плейлиста. К сожалению почти никто в русскоговорящем сегменте не говорит "скрэпинг" или "краулинг". Названия исключительно из-за этого другие.

    • @v.kudyushev
      @v.kudyushev 3 года назад

      @@PythonToday тогда извиняюсь за наезд))

    • @PythonToday
      @PythonToday  3 года назад

      Да все окей, спасибо за фидбэк)

  • @liker12345ffff
    @liker12345ffff 2 года назад

    Ролики полезные. Но котов туда не нужно.

  • @3699-y8l
    @3699-y8l 3 года назад

    Благ

  • @dimannish1
    @dimannish1 2 года назад +2

    Здравствуйте. Странно, но у меня вылетает с такой ошибкой
    ProxyError: HTTPSConnectionPool(host='2ip.ru', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 407 Proxy Authentication Required')))
    причём я взял рабочий прокси (получаю статус 200 при проверке прокси)

    • @jabberflow2288
      @jabberflow2288 Год назад +1

      Такая же ошибка, вы не смогли решить данную проблему? Я был бы очень благодарен если подскажите.

    • @scscorpin
      @scscorpin Год назад

      тоже ошибка- ('Connection aborted.', BadStatusLine('\x00[\x1f@-\x9bËp')), а другой прокси такую выдал- ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response')), при этом оба прокси через firefox прекрасно работают, в чём проблема так и не понял, если кто знает ответ, подскажите

    • @rspd-t4g
      @rspd-t4g 11 месяцев назад

      Была такая же проблема. Я купил прокси на ipv6 socks5 за 6р и оно не работало. Потом я купил ipv4 на https за 100р, и все получилось

  • @vide6996
    @vide6996 2 года назад

    Приветствую, не подскажете как выдернуть текст из под (":1256")? 94.181.48.171document.write(":"+(Four7FourS........)):1256

    • @АлексейДроздов-л8р
      @АлексейДроздов-л8р 2 года назад

      a ='94.181.48.171document.write(":"+(Four7FourS........)):1256'
      soup = BeautifulSoup(a, "lxml")
      data = soup.find("td").text.split(":")
      port = ":" + data[-1]
      print(port)

  • @koteich_live
    @koteich_live 2 года назад

    Спасибо