Parsing sites PYTHON - # 1 REQUESTS REQUESTS (GET / POST)

Поделиться
HTML-код
  • Опубликовано: 14 ноя 2024

Комментарии • 84

  • @zproger
    @zproger  3 года назад +6

    ⭐Курс ООП и Приват канал: zproger-school.com/
    ⭐Телеграм канал: t.me/+ltjhP8CCll80NTAx
    Не забывайте оставлять свои идеи для следующих видео в комментариях,
    большинство из них реализовывается на канале. Также подписывайтесь
    на канал, так как именно у нас публикуется отборный материал, который позволит
    вам изучать программирование и другие технологии в разы быстрее.

  • @dmitrys5289
    @dmitrys5289 2 года назад +14

    Столько всяких тонкостей так подробно и без воды, спасибо!

    • @zproger
      @zproger  2 года назад

      Рад что понравилось :)

  • @dimapetrov9627
    @dimapetrov9627 4 года назад +15

    Спасибо за видео, всё понятно и без воды)

    • @zproger
      @zproger  4 года назад +1

      Рад что вам понравилось

  • @Тагир_Нигматуллин
    @Тагир_Нигматуллин 3 года назад +25

    Отличный курс, подача информации на запредельном уровне!

    • @zproger
      @zproger  3 года назад

      Спасибо!

  • @acidandrey
    @acidandrey 2 года назад +1

    Просто супер. Спасибо большое. Достаточно наглядно все разжевано!!!

    • @zproger
      @zproger  2 года назад

      Спасибо за поддержку :)

  • @евгенартемьев-н8у
    @евгенартемьев-н8у 2 года назад +1

    Большое спасибо. Хоть вы обьеснили понятным языком

    • @zproger
      @zproger  2 года назад

      Рад что помогло

  • @ANABOLIC_007
    @ANABOLIC_007 2 года назад +2

    Ооо, как же по кайфу было записать первый спарсенный html код в html файлик, после кучи написания базового теоретического кода из курса pythontutor. Я не думал, что будет так легко. Благодара!

  • @______373
    @______373 2 года назад +4

    mission accomplished
    respect+
    like+
    subscribe+
    правильное решение использовать линукс для python (не каждый линукс будет походить). Python на минте гораздо лучше работает чем на винде. Кстати да и само видео вроде неплохо. Кстати быстро тему начал, в многих видео (даже популярных) три часа говорят и две строчки кода объяснили.

    • @zproger
      @zproger  2 года назад

      Крутой коммент, спасибо :)
      По-поводу линукс согласен, очень удобно работать

  • @aleksey2408
    @aleksey2408 3 года назад +2

    Спасибо за полезную информацию !!!

    • @zproger
      @zproger  3 года назад

      Рад помочь :)

  • @stanislavbuzovskij8435
    @stanislavbuzovskij8435 3 года назад +2

    блин, крутой парень =) СПАСИБО!!!!

    • @zproger
      @zproger  3 года назад

      Благодарю :)

  • @ktoya2131
    @ktoya2131 4 года назад +5

    Я очень скупой на лайки, но это видео заслуживает 100000000000 лайков я считаю

    • @zproger
      @zproger  4 года назад

      Спасибо за поддержку, буду стараться :)

  • @mykolavarvarchuk937
    @mykolavarvarchuk937 3 года назад +1

    Спасибо за отлично поданную инфу!

    • @zproger
      @zproger  3 года назад

      Пожалуйста :)

  • @identitynotestablished9133
    @identitynotestablished9133 4 месяца назад

    чел, это прям круто

  • @Naberegn
    @Naberegn 7 месяцев назад +1

    А где про POST запрос???

  • @александерломоносов

    круто и меня мучает вопрос как музята на фоне называется?))))))))

  • @plit_kam9322
    @plit_kam9322 2 года назад

    Отличный контен, подскажите пожалуйста что за тема у вашего редактора. Мне понравился зелёный цвет у методов.

    • @zproger
      @zproger  2 года назад

      Благодарю, это Dracula

    • @gameworld9522
      @gameworld9522 9 месяцев назад

      @@zproger Darcula*)

  • @Joy_Mama
    @Joy_Mama 6 месяцев назад

    Подскажите как вы vs code на минте завели?

  • @IrishaChervyak
    @IrishaChervyak 3 года назад +2

    Может я чего-то не понимаю, но при выгрузке в HTML-файл ответа с сайта там НЕ тоже самое, что в ответе в браузере. Ведь ответом в браузере по тому же полю User-agent является сам браузер, но python-запросом и выгрузкой в файл мы получаем, что User-agent является python-request
    К тому же цель - распарсить страницу этого сайта, как оно там есть, но мы не получаем ни версии браузера, ни плагинов и прочей информации на момент обращения к GET-запросу данного сайта - это же не парсинг)
    Тут либо пример плохой, либо я даже не знаю. Поправьте, пожалуйста, если где-то ошибаюсь

    • @zproger
      @zproger  3 года назад +1

      Цель была показать принцип работы запросов, а не собрать данные, так как это мы делаем в следующих видео.

    • @IrishaChervyak
      @IrishaChervyak 3 года назад

      @@zproger Поняла Вас, видимо немного поторопилась с итогами)

  • @fahrenheit1863
    @fahrenheit1863 Год назад

    Мой первый файл получился с абраказябрами вместо кириллицы. Я так и не понял почему у меня все записалось в utf-16, попробовал второй раз и все уже в utf-8.

  • @chooze2999
    @chooze2999 4 года назад +2

    так-с. когда 2 часть выйдет?)

    • @zproger
      @zproger  4 года назад +1

      Всего их будет 6 штук, вторая часть 15 августа, далее 19, и так каждые 4 дня :)

    • @chooze2999
      @chooze2999 4 года назад

      @@zproger понял. Буду ждать с нетерпением.

  • @kerimtim
    @kerimtim 2 года назад +1

    Почему-то или мне кажется что для работы с библиотекой request все пользуюся Linux-ом?

    • @zproger
      @zproger  2 года назад

      Можно пользоваться где угодно =)

  • @mem_v_kruzhochke
    @mem_v_kruzhochke Год назад

    Я вот не понимаю, есть встроенный терминал в ВС код, зачем использовать сторонний и где его вообще брать? Я искал курс с нуля, чтобы узнать эти основы. Ответьте, знающие люди, пожалуйста

    • @sergiybustrov8831
      @sergiybustrov8831 Год назад

      Так удобнее, лично я также использую. Дело привычки.

  • @TERROr4ek
    @TERROr4ek Год назад

    Помогите, при парсе сайта выдаёт непонятные символы типо иврита хотя кодинг стоит utf-8 и сайт русский

  • @izgnanikull
    @izgnanikull 3 года назад +1

    Помогите, пожалуйста. Делаю всё как указано, но в итоге получаю AttributeError: partially initialized module 'requests' has no attribute 'get' (most likely due to a circular import)

    • @zproger
      @zproger  3 года назад

      Не могу помочь, так как не вижу код

    • @Himito31
      @Himito31 2 года назад

      возможно у тебя файл имеет название как библиотека.

  • @carrion5236
    @carrion5236 Год назад

    а если хочу получить json ?
    а не байт или html

  • @CatLida
    @CatLida 3 года назад +1

    Ммм, Linux. Люблю его, какой дистр у тебя?

    • @zproger
      @zproger  3 года назад

      Linux Mint :)

  • @obsi1019
    @obsi1019 Год назад

    а что делать если нажимаешь иследовать елемент а там все на англ и подругому как у тебя?

  • @AnnaSheshvak
    @AnnaSheshvak Год назад

    как сделать такой же красивый ВС код как у тебя ?

  • @rexonayt0
    @rexonayt0 2 года назад

    Я единственный который благодаря информации выкачиваю html страницы?😂

  • @Konstantin_Fit_Train
    @Konstantin_Fit_Train 10 месяцев назад

    Очень интересно, но не понятно)
    Всё что Вы делаете у меня НЕ получается)

  • @Sliwcom
    @Sliwcom 2 года назад +2

    ку, а что за операционка?

  • @sigmalame_4207
    @sigmalame_4207 2 года назад +1

    что делать когда на гет запрос в терменале пишет: 429 Too Many Requests

    • @zproger
      @zproger  2 года назад

      Too Many Requests - Переводится как "слишком много запросов".
      В итоге нужно думать, как сайт идентифицирует, что все запросы идут
      от одного клиента, это могут быть: заголовки, IP адрес, фингерпринты

  • @sfsrussia1431
    @sfsrussia1431 2 месяца назад

    не могу найти свой запрос во вкладке сеть

    • @zproger
      @zproger  Месяц назад

      Возможно логика работы сайта другая, я бы поискал еще в html, js и websocket

  • @irwe3514
    @irwe3514 2 года назад +1

    Что такое парсинг?

    • @zproger
      @zproger  2 года назад

      сбор данных

  • @NONAME-ko5zn
    @NONAME-ko5zn 4 года назад

    Как сделать чтобы сервер принимал наши изменённые запросы?? Например взломать какую то игру на функцию привилегии

    • @zproger
      @zproger  4 года назад +1

      Взломать игру таким способом достаточно трудно, так как помимо значений которые передаются на сервер, ещё и генерируются временные токены которые этому значению соответствуют, если они не будут иметь между собой связь, сервер просто проигнорирует запрос. Кроме того запрос ещё проходит дополнительную фильтрацию, не скажу что это сделать невозможно, но необходимо очень хорошо понимать то, как устроена фильтрация текущего сервера и проверка значений на валидность.

    • @NONAME-ko5zn
      @NONAME-ko5zn 4 года назад

      @@zproger можешь об этом снимать видео?

    • @zproger
      @zproger  4 года назад

      Не могу, это слишком сложная тема

    • @NONAME-ko5zn
      @NONAME-ko5zn 4 года назад

      @@zproger значит не знаешь

    • @KadenDev
      @KadenDev 2 года назад

      @@NONAME-ko5zn не знает, и что. Он хакер по твоему? Да и тебе не обязан

  • @Hanovski14
    @Hanovski14 Год назад

    status_code не работает или не существует
    что делать ?

    • @Do_The_Flop
      @Do_The_Flop Год назад

      Случайно не помнишь, находил ли решение этой ошибки? Полгода прошло всё-таки

    • @maniacpy
      @maniacpy 10 месяцев назад

      Ошибка в вашем коде связана с тем, что вы пытаетесь получить статус код и текстовое содержимое ответа неправильным способом. Метод requests.get не возвращает status_code и text непосредственно из объекта ответа.

  • @justasemza6945
    @justasemza6945 10 месяцев назад +4

    Не добавляй музыку в видео с объяснением плиззззззз,очень отвлекает!😢

  • @Dirncol
    @Dirncol Год назад +1

    Чувак ты что хакр?

    • @zproger
      @zproger  Год назад

      да, только никому не говори 😆

  • @yuritchyuri5342
    @yuritchyuri5342 Год назад

    А поч такое изображение ужасное,ничего не разобрать!!

  • @deniskuznetcov3193
    @deniskuznetcov3193 2 года назад +1

    ​ @ZProger [ IT ] вписал код, в Пайчарме пишет : Process finished with exit code 0
    прогоняю через СВкод пишет: ModuleNotFoundError: No module named 'requests'

    • @zproger
      @zproger  2 года назад

      Нужно установить модуль requests

  • @CryptoMathematica
    @CryptoMathematica 2 года назад

    line 248, in __init__
    raise FeatureNotFound(
    bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?
    При установке xmlx выдает: Defaulting to user installation because normal site-packages is not writeable
    Requirement already satisfied: lxml in c:

  • @b_b.podcast
    @b_b.podcast 3 года назад

    Отличный курс, подача информации на запредельном уровне!

    • @zproger
      @zproger  3 года назад +1

      Огромное спасибо за поддержку