Парсер с авторизацией на python 3. requests и beautifulSoup.

Поделиться
HTML-код
  • Опубликовано: 18 дек 2024

Комментарии • 40

  • @CyberVampss
    @CyberVampss 4 месяца назад

    Огромное спасибо, наткнулся случайно на видео, просто балуюсь парсерами, но вот твой способ помог решить одну задачку, которую приходилось делать через Селениум.

  • @seniorqa_auto5367
    @seniorqa_auto5367 3 года назад +3

    Да!!! Это произошло! Теперь я знаю как! )))) Спасибо.

  • @Vlad_Pi
    @Vlad_Pi 3 года назад +12

    24:04 Чтоб во вкладке Network не пропадали предыдущие запросы, нужно поставить галочку Preserve log. Тогда не нужно останавливать загрузку/редирект

    • @dewhole6254
      @dewhole6254  3 года назад +4

      Отличный совет!

  • @guiltorkoskov7310
    @guiltorkoskov7310 3 года назад +3

    Обычно никогда не пишу комментарии, но ты единственный человек, который реально помог разобраться в этом. СПАСИБО

    • @LOGOSTT
      @LOGOSTT 3 года назад

      Если бы автор тоже писал комментарии, но в коде, тогда бы не пришлось ему каждый раз вспоминать почему в коде сделано именно так.
      15:48 Вот пример, почему стоит иногда добавлять комментарии в код

  • @БогданМартинюк-в1я
    @БогданМартинюк-в1я 3 года назад +3

    Топовое видео!!! Автор молодец все понятно объяснил, респект!!!

  • @Arhangel13KAV
    @Arhangel13KAV 3 года назад +1

    Спасибо. Твои советы помогли мне.

  • @itspecial100
    @itspecial100 3 года назад +1

    Молодец, все подробно показал, рассказал про авторизацию. Лайк тебе!

  • @alexzir
    @alexzir 2 года назад

    Спасибо, Мастер на все руки!

  • @lexxkrt
    @lexxkrt 2 года назад +1

    чему вы учите? тому как не следует писать. например get_pages_count() должна выглядеть примерно вот так:
    def get_pages_count(html):
    soup = BeautifulSoup(html, 'lxml')
    return int(a[-1].text.strip()) if (a := soup.select('div.nums a')) else 1
    У вас версия питона 3.9 она позволяет так писать. и это учтите что я питон3 изучаю вторую неделю, не считая того что лет 10 назад учил 2.7.
    это питон это не бейсик, используйте все возможности и всю красоту языка

  • @smet4na1337
    @smet4na1337 3 года назад +2

    у меня в firefox отображается только полезная нагрузка запроса, нет вкладки данные форм

  • @R4HKN
    @R4HKN 3 года назад +7

    зачем перематывать если можно просто нажать 23:10 ?

  • @NiceAndNeat
    @NiceAndNeat 2 месяца назад

    Здравствуйте! Пытаюсь спарсить телефонный справочник, но там разные url в запросе и ответе, есть токены, api в url запросов и я вообще не могу понять что делать и куда копать. Вроде бы можно сделать через селениум, но хотелось бы разобраться и сделать без него. Помогите

  • @jundp4819
    @jundp4819 3 года назад

    Спасибо за урок.
    Подскажите, как найти все теги (предположим div) с классом отличным от, например, class_="code-box"?

    • @dewhole6254
      @dewhole6254  3 года назад +1

      soup = BeautifulSoup(html, 'html.parser')
      items = soup.find_all('div')

      for item in items:
      item = str(item)
      a = item.find("code-box")
      if a != -1:
      continue

    • @jundp4819
      @jundp4819 3 года назад

      @@dewhole6254 спасибо большое

    • @garrip91
      @garrip91 2 года назад

      С помощью библиотеки "beautifulsoup/bs4" это делается

  • @КоламбияПикчерз-с6т

    Dewhole автобота для регистрации аккаунтов можешь сделать?

    • @dewhole6254
      @dewhole6254  Год назад

      Зависит от целевого источника для регистрации. На первый взгляд реализуемо.

    • @КоламбияПикчерз-с6т
      @КоламбияПикчерз-с6т Год назад

      @@dewhole6254 Могу видос записать там не сложно по идее.

    • @dewhole6254
      @dewhole6254  Год назад +1

      @@КоламбияПикчерз-с6т а мне это зачем?

    • @КоламбияПикчерз-с6т
      @КоламбияПикчерз-с6т Год назад

      @@dewhole6254 Вот так надо. За деньги. Цену назови. ruclips.net/video/0VXchDvoZgk/видео.html

  • @cubictupic
    @cubictupic Год назад

    не работает репозиторий, можно перезалить?

  • @VladVons
    @VladVons 2 года назад +1

    Лучше сделать краткое видео только по авторизации.
    Суть с названия по авторизации начинается здесь 25:46

    • @dewhole6254
      @dewhole6254  2 года назад +1

      Ага, спасибо. В первые же 10 секунд об этом сказано.

  • @СеменПопов-й2г
    @СеменПопов-й2г 3 года назад

    а можно с помощью selenium авторизацию проити ?

  • @dabll0236
    @dabll0236 3 года назад

    ведь тоже самое можно делать и с регистрацией, верно?

    • @dewhole6254
      @dewhole6254  3 года назад +1

      Зависит от сайта, если без капчи и прочего, то да.
      Просто посмотреть какой запрос отправляется при регистрации и сделать то же самое в коде.
      Но чаще всего используют токен/капчу и т.д. там уже все сложнее

    • @dabll0236
      @dabll0236 3 года назад +1

      @@dewhole6254 именно капча и связывает мне руки.
      в любом случае спасибо, классное видео

  • @НикитаНикитин-г7г
    @НикитаНикитин-г7г 3 года назад +1

    Ничего не понял , но очень интересно )

  • @rsansk26
    @rsansk26 Год назад

    больше не ролика и ссылки на шаблон.

  • @reddmon7213
    @reddmon7213 10 месяцев назад

    перезалей репозиторий пж

  • @amgabad
    @amgabad Год назад

    к основной сути на 23 минуте...