Парсим сайты конкурентов с помощью Python | Часть 1 | Web Scraping Python

Поделиться
HTML-код
  • Опубликовано: 25 ноя 2024

Комментарии • 41

  • @Devivl
    @Devivl 3 месяца назад +1

    Алексей, не являюсь разработчиком Python и JS, но смотрю твои видео с большим удовольствием. Просто как кино. Очень комфортная подача материала, чувствуется даже какое-то соучастие процессу.
    Спасибо. Круто, когда такой интересный материал подается с отличном картинкой и качественным звуком.

  • @epifanovmaxim1
    @epifanovmaxim1 9 месяцев назад +4

    Леша, у тебя супер канал!пожалуйста, не останавливайся :)

  • @kulichevskiy
    @kulichevskiy  9 месяцев назад +1

    🔥 Курс про автоматизацию рутины с помощью Python: python.smysl.io/

  • @Yeyeji-s
    @Yeyeji-s 9 месяцев назад +1

    Спасибо за бесценный урок. Жду с нетерпением второй части

    • @Yeyeji-s
      @Yeyeji-s 9 месяцев назад +1

      А нет, уже оказывается вышло. Бегу смотреть.

    • @kulichevskiy
      @kulichevskiy  9 месяцев назад +3

      Там и третья часть вышла :)

  • @MrSunTrope
    @MrSunTrope 6 месяцев назад +4

    Леша, у тебя такая грамотная речь и внешка киноактера, в кино нужно сниматься))

  • @TenTwentyThings
    @TenTwentyThings 9 месяцев назад +2

    Интересно - продолжайте пожалуйста)
    Особенно интересно как работать с случаем, когда данные появляются в всплывающем окне -> Например сайт где по нажатию кнопки "Контакты" всплывает окошко с контактами. Нажатие кнопки отправляет доп. запрос и по сути дополняет главный HTML блоком кода.
    Спасибо🙌🏻🙌🏻

  • @ОляСтогова
    @ОляСтогова 5 месяцев назад

    спасибо большое! сейчас занимаюсь изучением самостоятельно, Вас очень приятно и, главное что, понятно!!! слушать. Очень интересно и все получается)

  • @furniture202
    @furniture202 9 месяцев назад

    Пришел по настройке окружения, так дальше и остался, смотрю, все, что выходит! Спасибо!
    Парсить и сайты под логином и капчи - все интересно!
    а шлифовалок уже больше на сайте =)

  • @nikolaynikolay8019
    @nikolaynikolay8019 5 месяцев назад +1

    Приятно слушать, классные усы

  • @Bafmashina
    @Bafmashina Месяц назад

    Усы топ!

  • @ИгорьДобровольский-й1о
    @ИгорьДобровольский-й1о 4 месяца назад +1

    а если у сайта защита cloudfare типо того то деать ?
    как это обойти

  • @greenanimal4596
    @greenanimal4596 4 месяца назад

    крутые усы, можно было бы получить данные с json файла и оттуда вытащить пагинацию

  • @ГенрихКраус-ч7г
    @ГенрихКраус-ч7г 9 месяцев назад

    Было бы славно посмотреть про капчи и прочие трудности, по типу ютуба

  • @sabirsadykov270
    @sabirsadykov270 9 месяцев назад

    опачки пошли просмотры👍🏻

  • @alexzakr
    @alexzakr 9 месяцев назад

    Я бы упростил условие для цикла while, посмотрев какой респонсе код выдаёт номер за границей диапазона.

    • @kulichevskiy
      @kulichevskiy  9 месяцев назад

      Хорошая идея, только там всегда 200 было. Страничка ж генерится, просто на ней нет ничего.

    • @alexzakr
      @alexzakr 9 месяцев назад

      @@kulichevskiy, посмотрел, как делают на форонде на нескольких сайтах. Заметил, что при превышении числа страниц часто возвращают последнюю. Может на этом условие сделать?
      В целом, очень хочется вас поблагодарить за мега профессиональный контент. Большое удовольствие и польза от вашего канала.

  • @ИгорьДобровольский-й1о

    Cloudflare

  • @meodep
    @meodep 9 месяцев назад

    Здравствуйте. А парсить цены p2p на bybit или huobi так можно?

    • @kulichevskiy
      @kulichevskiy  9 месяцев назад +1

      Думаю да, но, наверное, есть более простой способ. У обеих бирж есть API.

    • @kulichevskiy
      @kulichevskiy  9 месяцев назад +1

      (бесстыжее промо) Приходите на курс, там будем учиться работать с API :)

  • @Anton-t2c
    @Anton-t2c 9 месяцев назад

    а как 403 сайты парсить? только не нужно про хэдерсы их замена не помогает как и замена ип

    • @kulichevskiy
      @kulichevskiy  9 месяцев назад

      Послушайте, надо разбираться. Вообще обычно подстановка cookie помогает. Возможно, стоит попробовать selenium - там прям логин и пароль ввести можно

    • @Anton-t2c
      @Anton-t2c 9 месяцев назад

      а как подставить куки в силениум чтобы браузер воспринимал пользователя как пользователя а не силениум чтобы обойти 403? @@kulichevskiy

  • @bespalove4882
    @bespalove4882 5 месяцев назад

    Добрый день!
    Подскажите, на какой должности можно работать с такими знаниями?

    • @kulichevskiy
      @kulichevskiy  5 месяцев назад

      А на какой вы хотите?

    • @bespalove4882
      @bespalove4882 5 месяцев назад

      Я не плохо знаю js и python . Умею работать с selenium и pandas. Нравится парсить сайты. Могу работать с бд. На какой должности можно работать с такими знаниями? Аналитика?

    • @kulichevskiy
      @kulichevskiy  5 месяцев назад

      @@bespalove4882 Например, да. В общем, на какой хотите :)

    • @АзизМиров-с1э
      @АзизМиров-с1э 22 дня назад

      @@bespalove4882 Привет! Можешь взять в работу заказ ?

  • @art_alf-b9b
    @art_alf-b9b 9 месяцев назад

    где код?

  • @sledocktv7893
    @sledocktv7893 9 месяцев назад

    А когда набор на курс?

    • @kulichevskiy
      @kulichevskiy  9 месяцев назад +1

      Я думаю, что продажи откроются через 2-3 недели. Подпишитесь на сайте, я пришлю приглашение на вебинар

  • @ГенрихКраус-ч7г
    @ГенрихКраус-ч7г 9 месяцев назад

    Что за тема в VsCode?

  • @cryptohyde
    @cryptohyde 9 месяцев назад

    29:53 max_page последний элемент, зачем мудрить с дальнейшим переводом в интеджер всех элементов для поиска максимального. Ну и комент к концовке - про парсинг простых сайтов контента хоть отбавляй, как парсить сложные сайты?

  • @timapigolev1640
    @timapigolev1640 3 месяца назад

    Доктор кокс?

  • @Сергей-у5з6п
    @Сергей-у5з6п 6 месяцев назад

    усы это треш какой-то...

    • @kulichevskiy
      @kulichevskiy  6 месяцев назад

      👨🏻

    • @red8mark
      @red8mark 3 месяца назад

      Усы - топ. Не шаришь