Парсинг сайтов с помощью настраиваемой функции Power Query / Создание мультистраничного запроса

Поделиться
HTML-код
  • Опубликовано: 6 окт 2024
  • НаукаНаука

Комментарии • 26

  • @МатвейТимофеев-д1ц
    @МатвейТимофеев-д1ц Месяц назад +1

    Добрый день. Спасибо за вашц работу

  • @photo_graf_khv
    @photo_graf_khv 9 месяцев назад +1

    Супер видосик! Большое спасибо!

  • @daniyarberik9492
    @daniyarberik9492 7 месяцев назад +1

    Супер! Спасибо! 💫

  • @mizu436
    @mizu436 Год назад

    Супер, спасибо!

  • @Leon-tw3nt
    @Leon-tw3nt 2 года назад

    Интересно!

  • @ZvezdniyDimochka
    @ZvezdniyDimochka 2 года назад +1

    Анна, спасибо большое за видео! Сегодня попал на ваш канал и уже понял, что надо обязательно посмотреть все ваши обучающие видео по Power BI. Нравится ваш стиль изложения. У меня есть вопрос по парсингу, который пока не получается решить. В Power BI во вкладке "Веб-представление" появляется сообщение, что используемый браузер не поддерживается. Стандартные рекомендации от Microsoft не позволяют решить вопрос. Более подробно со скриншотами опишу в письме. Может быть вы уже встречались с такой проблемой. Буду вам очень благодарен за помощь. Но в любом случае остаюсь на вашем канале и смотрю все ваши видео!

    • @ConstellationBI
      @ConstellationBI  2 года назад

      Спасибо, Дмитрий, за теплый отзыв! Пишите на почту, постараемся разобраться😉

  • @amlevin
    @amlevin 9 месяцев назад +1

    Спасибо, очень полезное видео! Подскажите, как загрузить все страницы, если есть возможность с первой спарсить общее колиxество? Если задать жестко количество страниц - то работает нормально, а если счить с сайта, выдает ошибку:
    Formula.Firewall: Запрос "GetAllPages" (шаг "all_data") ссылается на другие запросы или этапы и поэтому не может напрямую обращаться к источнику данных. Измените эту комбинацию данных.

    • @ConstellationBI
      @ConstellationBI  9 месяцев назад

      Видимо проблема в динамическом источнике данных. Нужно пробовать оптимизировать использование функций web.contents или web.browsercontents с учетом их синтаксиса и аргументов этих функций

    • @amlevin
      @amlevin 9 месяцев назад +1

      @@ConstellationBI спасибо большое! похоже есть какая-то проблема при загрузке количества страниц и содержания из одного источника. Если загрузить количество страниц по другой ссылке (зеркало), то проблем не возникает. Те когда вначале обращаешься по ссылке для получения количества страниц, а следом по ней же за контентом - выдаёт эту ошибку

  • @assanshadyarov9677
    @assanshadyarov9677 2 года назад

    Спасибо! Очень полезная информация. Если парсить больше 1000 страниц, то сайт не заблокирует парсер?

    • @ConstellationBI
      @ConstellationBI  2 года назад +1

      Можно попробовать добавить задержку в конец тела функции, например с помощью function.invokeafter

  • @dolyama
    @dolyama Год назад +1

    ДД! В окне Навигатор слева внизу нет пункта меню "Добавление таблицы с использованием примера". Как исправить? Использую MS Office 2021.

    • @ConstellationBI
      @ConstellationBI  Год назад

      Возможно проблема в версии Power Query. Попробуйте построить запрос в Power Query внутри Power BI desktop. Power BI desktop можно бесплатно скачать с сайта Microsoft, скорее всего там будет последняя версия Power Query. А далее код запроса Power Query в Power BI можно скопировать и вставить в код запроса в Power Query в Excel.

  • @ИванИванов-о4й3э
    @ИванИванов-о4й3э 9 месяцев назад +1

    А можно ли спарсить тултипы?

    • @ConstellationBI
      @ConstellationBI  9 месяцев назад

      Смотря как они заверстаны в html

  • @addmesh
    @addmesh 4 месяца назад

    Как спарсить динамическую таблицу, когда данные на html-странице подгружаются только когда ты скролишь страницу вверх до конца?

    • @ConstellationBI
      @ConstellationBI  4 месяца назад

      Зависит от конкретной странице. Можете ссылку прислать?

  • @alisanotsleep
    @alisanotsleep 2 года назад

    Спасибо. Ну тут вроде все просто. А можно PQ как то спарсить ВСЕ отзывы организации на яндекс картах. Там вроде нет пагинации и получается спарсить только последние 50. Кроме как питоном и селениумом ничего не нагуглил(

    • @ConstellationBI
      @ConstellationBI  2 года назад +1

      Отзывы из я.карт в PQ не парсила. Но если вы написали скрипт на питоне, то можно встроить его в PQ и не париться с языком М 👌

  • @Janni-Kremm
    @Janni-Kremm 6 месяцев назад

    Выглядит просто.....Но у меня все перлось в отстутствие кнопки "добавление таблицы с использованием примеров" в навигаторе..😭😭😭

    • @ConstellationBI
      @ConstellationBI  4 месяца назад

      Попробуйте обновить или скачать последнюю версию Power BI

  • @vitalijjurt8107
    @vitalijjurt8107 Год назад

    а у меня нет кнопки "добавление таблицы примеров" что делать?

    • @ConstellationBI
      @ConstellationBI  Год назад

      Попробуйте обновить до последней версии

    • @vitalijjurt8107
      @vitalijjurt8107 Год назад

      @@ConstellationBI обновить сам Эксель или только надстройку? Если только надстройку, то как это сделать?

    • @ConstellationBI
      @ConstellationBI  Год назад

      Попробуйте оба варианта. Можно попробовать сделать в power query, который открывает power bi; выполнить запрос там, а потом скопировать в pq внутри excel, если проблема именно с pq в excel