Grafana - установка, как настроить алерты, как интегрировать Prometheus и ClickHouse - VyacheArt

Поделиться
HTML-код
  • Опубликовано: 21 янв 2025

Комментарии • 107

  • @VyacheArt
    @VyacheArt  Год назад +4

    Адрес для получения обновлений бота в Telegram: " api.telegram.org/botBOTTOKEN/getUpdates ", где вместо BOTTOKEN - токен телеграма
    Ну и чтоб два раза не вставать: если вдруг вы хотите меня поддержать, то добро пожаловать на мой бусти boosty.to/vyacheart! Если вдруг вы не досмотрели ролик до конца, то посмотрите с 14й минуты, я там рассказываю подробности:) Добавлю, что я не буду публиковать "эксклюзивный" платный контент, который связан с какими-то знаниями. Я за то, чтоб знания и образовательный контент были общедоступны. А вот какие-нибудь специфические детали внутренней кухни в стиле влога: очень вероятно, что буду публиковать там:)

  • @noelrider9755
    @noelrider9755 26 дней назад +3

    дружище, ты очень милый и очень хороший! А главное хорошо все понимаешь, желаю тебе большой удачи и продвижения!

  • @DmitryBelkovsky
    @DmitryBelkovsky Месяц назад +1

    Спасибо за очень подробное видео. Я многое понял благодаря Вашему туториалу. Удачи!

  • @МаксимБессонов-щ1р
    @МаксимБессонов-щ1р Месяц назад +1

    Только начал знакомство со связкой Prometheus + Grafana, спасибо тебе большое, за качественное объяснение без воды, буду рад если покажешь больше всяких инетересных фич :)

  • @andrey_1364
    @andrey_1364 5 дней назад

    Очень приятный автор канала

  • @404smoke
    @404smoke Год назад +9

    Круто! без воды, без "му-хрю", приятная речь. немного Быстрова о - часто приходится перематывать туда-сюда, но возможно это просто я слоупок. спасибо за чудесный тутор!

    • @VyacheArt
      @VyacheArt  Год назад +2

      Спасибо большущее, очень рад что нравится!:)

    • @Цегорах-ь5ф
      @Цегорах-ь5ф 7 месяцев назад

      Ты не слоупок, меня эта скорость и небольшая рваность изображения (склейки) тоже несколько сбивает с толку, не даёт зацепиться вниманию.

  • @Danilx1
    @Danilx1 Год назад +11

    Я недавно начал изучать возможности графаны и этого ролика мне не хватало , приходилось самому разбираться . Продолжайте

    • @VyacheArt
      @VyacheArt  Год назад +2

      Спасибо! Рад, что помог в изучении!

    • @ThePredsedatel
      @ThePredsedatel 9 месяцев назад

      ++ не для новичка

  • @deniska110
    @deniska110 Год назад +13

    Очень крутое наполнение и визуал
    Спасибо за Ваш труд! Как всегда на высоте❤

    • @VyacheArt
      @VyacheArt  Год назад +1

      Спасибо большущее за тёплые слова! 🥹

  • @ЕленаЕкимцева-з5т
    @ЕленаЕкимцева-з5т Год назад +6

    Спасибо за очередное видео! Познавательно, как всегда! Успехов!

  • @ИгорьМиронов-н6ъ
    @ИгорьМиронов-н6ъ Год назад +1

    Спасибо тебе огромное❤ самый полезный ролик для начинающих. Коротко, понятно и без воды.

  • @ЮрийПорет
    @ЮрийПорет Год назад +5

    Хороший, качественный контент. Спасибо!

  • @nd4567w
    @nd4567w Год назад +2

    Спасибо, прекрасный контент.

  • @sovrinfo
    @sovrinfo Год назад +2

    Спасибо за видео. Коммент в поддержку!

  • @mirlaniusUMK
    @mirlaniusUMK 2 месяца назад

    очень приятное изложение, мое уважение

  • @mason_mzk
    @mason_mzk Год назад +1

    Молодец парень! Очень круто и доступно объяснил, продолжай в том же духе! МОЛОДЧИНА!!!

    • @VyacheArt
      @VyacheArt  Год назад

      Большущее спасибо, очень приятно! 🥹

  • @dmitriylevin2046
    @dmitriylevin2046 4 месяца назад

    Отличный урок! Спасибо

  • @artemiypyatakov5438
    @artemiypyatakov5438 Год назад

    Хорошо рассказываешь.
    Звук и визуал на высоте.

  • @anynamemax
    @anynamemax Месяц назад

    Порядочно, спасибо за видео

  • @9285550
    @9285550 3 месяца назад

    Неожиданно хороший контент, спасибо.

  • @MrAdminpavel
    @MrAdminpavel 8 месяцев назад

    Спасибо! отлично все рассказано, коротко и ясно!

  • @Emerson-er1ne
    @Emerson-er1ne Год назад

    Друже, спасибо тебе огромное, ОГРОМНОЕ!!

    • @VyacheArt
      @VyacheArt  Год назад +1

      Огромное пожалуйста и спасибо!

  • @fprotimaru1944
    @fprotimaru1944 Год назад +1

    как всегда супер!

  • @n0v_it
    @n0v_it Год назад

    Спасибо, полезный видос

  • @abbosamritdinov419
    @abbosamritdinov419 Год назад +1

    То что нужно, спасибо!

  • @qoonmax
    @qoonmax 11 месяцев назад

    Полезно, спасибо!

  • @lalolhojahon1485
    @lalolhojahon1485 4 месяца назад

    спасибо, очень круто

  • @YT-beer
    @YT-beer Год назад

    Thank you, bro! Keed going... 🤟😉

    • @VyacheArt
      @VyacheArt  Год назад

      Thank you!
      (and for the compliment of my boobs as well)

  • @thefrostix
    @thefrostix Год назад

    Спасибо, всё отлично разжевали

  • @MightyBlow
    @MightyBlow 4 дня назад

    а можно ли как-то на всех вьюхах дашборда проставить аннотацию? один раз указываешь где-то и отрисовывается на всех графиках - например, установлен релиз такой то версии

  • @Ivan_Kaptain
    @Ivan_Kaptain 9 месяцев назад

    Спасибо за видео! Прекрасная подача!
    Не сталкивался с использованием Grafana как BI-системы?

  • @4atRuletka
    @4atRuletka 4 месяца назад

    Как подвзяать к графане устройство андродид по ip, что бы было видно когда унего связь WiFi пропадает ??

  • @infinitynoir5441
    @infinitynoir5441 Год назад

    Молодец, хороший контент, развивай пожалуйста канал

    • @VyacheArt
      @VyacheArt  Год назад

      Спасибо большое! И рад, что нравится:) на этой неделе ещё про мониторинг выпущу, если что

    • @infinitynoir5441
      @infinitynoir5441 Год назад

      @@VyacheArt Я как раз сейчас этим занимаюсь, будет очень полезно) Спасибо

  • @skiller4000
    @skiller4000 Год назад +1

    круто, спасибо за видео и труды.
    и ты упомянул бомбардир.
    сделай пжл обзор утилит нагрузочного тестирования на Go.

    • @VyacheArt
      @VyacheArt  Год назад +1

      Спасибо за тёплые слова и коммент! По бомбардиру замётано, спасибо за идею!

    • @skiller4000
      @skiller4000 Год назад +1

      @@VyacheArt вот если нужно список пациентов для видео
      1) tsenart/vegeta
      Звезды: 21 тыс.
      Последний коммит: 11 октября 2020 г.
      2) rakyll/hey
      Звезды: 15,2 тыс.
      Последний коммит: 6 августа 2020 г.
      3) fortio/fortio
      Звезды: 2,9 тыс.
      Последний коммит: прошлая неделя
      4) k6io/k6
      Звезды: 19,8 тыс.
      Последний коммит: 2 недели назад
      5) buger/goreplay
      Звезды: 17 тыс.
      Последний коммит: 6 октября 2021 г.
      6) codesenberg/bombardier
      Звезды: 4,1 тыс.
      Последний коммит: 15 октября 2020 г.

    • @VyacheArt
      @VyacheArt  Год назад

      ваааау))) спасибо большое! Такой список однозначно поможет!

  • @iaroslavrul
    @iaroslavrul Год назад +2

    Спасибо! Очень крутое обьяснение🔥

  • @olegshelkoplyasov5843
    @olegshelkoplyasov5843 Год назад +1

    Топ контент, реп+

    • @VyacheArt
      @VyacheArt  Год назад

      от души, спасибо!

  • @НищебродАндрей
    @НищебродАндрей 5 месяцев назад

    Подскажите, что делает квантиль 0.9 в примере с временем выполнения запроса

    • @VyacheArt
      @VyacheArt  5 месяцев назад

      Когда мы ставим 0.9 квантиль, мы хотим видеть график *большинства* запросов (или видеть 90-й перцентиль, если быть точным). То есть такой график покажет, что 90 процентов запросов выполняются *быстрее* , чем значение кривой, а 10 оставшихся процентов - это потенциальные аномалии: сеть затормозила, GC отработал, база перегрузилась, и в итоге запросы обрабатывались дольше, чем то что мы видим на графике. Но *большинство* запросов выполняются нормально.
      Можно ещё сформулировать, как "с вероятностью 90% запрос отработает быстрее X" (где X - то что мы видим на графике).
      И самое интересное тут - это когда мы начинаем сравнивать перцентили: вот половина запросов (quantile=0.5) выполняются очень быстро, затем в диапазоне от 50 до 75% (quantile=0.75) они дольше всего на 100 миллисекунд, и таким образом мы можем регулировать положение "среза", и точно понимать как работает система, не учитывая моментные аномальные всплески.

  • @НикитаДеньгин-й2ь
    @НикитаДеньгин-й2ь 6 месяцев назад

    После того, как создал переменную и получил все instance, как изменить у них название "у Preview of values"? на человеческий язык

  • @YuliiaShkarovetska
    @YuliiaShkarovetska 25 дней назад

    Слава спасибо большое) Прям очень простыми словами обьясняете.
    Подскажите пожалуйста а есть ли у Вас опыт настройки Графаны и Инфлюкс и передачу графиков на исингаВеб? Прям очеееень нужно разобраться, однако толковых видео не особо есть в просторах интернета. Благодарю заранее ;)

  • @gachi_bebra_2
    @gachi_bebra_2 Год назад +1

    Не знаю что это такое но мне это надо

    • @VyacheArt
      @VyacheArt  Год назад

      Это правильно!

  • @JohnDoe-fu3px
    @JohnDoe-fu3px Год назад

    Подскажите, а что за программа используется для управления контейнерами, модификации манифестов (на 1:19)

    • @VyacheArt
      @VyacheArt  Год назад

      Это просто GoLand от JetBrains. Он самими контейнерами не управляет (хотя наверняка есть плагин для этого), но этим занимается docker compose

  • @EGROWORLD
    @EGROWORLD Год назад

    Народ, а существуют ли готовые Alert rules, ну или хотя бы конкретные примеры как их настраивать? Уж больно сложно и непонятно как их создавать.

  • @timefors7634
    @timefors7634 Год назад

    Здравствуйте, подскажите как сделать чтоб прилогалась картинка к alert’ам (виде графика, скрин графика)

    • @VyacheArt
      @VyacheArt  Год назад

      Здравствуйте! Воть grafana.com/docs/grafana/latest/alerting/manage-notifications/images-in-notifications/

    • @vasiliyshafetov2797
      @vasiliyshafetov2797 Год назад

      @@VyacheArt
      На данный момент они отключили эту возможность

  • @mrbungle2553
    @mrbungle2553 Год назад

    Спасибо большое за видео.
    Подскажите, можно ли через графану отправлять алерт в отдельную тему чата телеграма?

  • @andrey_mavrin
    @andrey_mavrin Год назад

    Добрый день. Последние версии Графаны начали развивать историю с локализацией, но правильно ли я понимаю, что создать русифицированную версию сейчас можно только если самому сбилдить из исходников нужную версию? Жаль, что история с добавлением языков в файлах инструмента не дадут эффекта, равно как и подмена других языков. Или все же есть какой-то более менее простой способ русификации?

    • @VyacheArt
      @VyacheArt  Год назад

      Боюсь, я тут даже не знаю как там дела с локализацией, никогда не задавались таким вопросом. Буду рад, если кто-то из подписчиков подскажет, мой беглый ресёрч в репе графаны не привёл ни к какому результату

    • @andrey_mavrin
      @andrey_mavrin Год назад

      @@VyacheArt я увидел репозиторий, где человек сделал локализацию и вроде закомиттил в основную ветку разработчиков, но они похоже не добавили. И на Crowdin полный перевод уже есть и достаточно давно.

  • @KH9IZb
    @KH9IZb Год назад +1

    У нас тут вопрос возник при вытаскивании данных с прометея. Есть метрика из стандартного прометей коллектора http_request_total. Работает она прям огонь, но не понятно, как вывести, когда проходит 1 запрос. Съедается он любой функцией типа rate/increase/change. Может была такая ситуация в практике? А может будет ответ что-то вроде метрика на 1 запрос не нужна? В любом случае, буду рад ответу.

    • @VyacheArt
      @VyacheArt  Год назад +1

      А приходит 1 запрос за какой период? Можно два варианта попробовать:
      1. В значении интервала (то что между [ и ]) поставить период, за который ожидается запрос. То есть если 1 запрос в час (к примеру), то можно поставить 1h. Тогда данные будут усредняться за час, и после запроса кривая не будет сразу уходить в 0. И схлопываться кривая должна перестать
      2. Не совсем решение, но мы использовали irate, когда на малом объёме запросов нужно было детально отследить динамику
      Мне кажется метрика в любом случае лишней не будет, наверняка в последствии запросов будет ожидаемо/неожиданно больше

    • @KH9IZb
      @KH9IZb Год назад

      @@VyacheArt период ставили минуту, ставили час, ставили 24. Только при сутках что-то показывал, но ты же понимаешь, что такое счастье не нужно. Irate тоже не помогала. Есть подозрения, что он пытается сравнить в функции NaN и единицу, в связи с чем возвращает NaN. Напомню, что change тоже отказался работать.
      Спасибо за подтверждение необходимости мелких метрик! Тоже думал в этом ключе, но мнение авторитетных для меня людей крайне важно.

    • @VyacheArt
      @VyacheArt  Год назад +1

      М, тогда получается там правда очень мало запросов. Я тут чуть раскрою своё "метрика лишней не будет" - если каждый запрос не является супер тяжёлым, и нет разницы между одним запросом в секунду и пятью, то я бы метрику оставил, но не стал бы заморачиваться над проблемой "схлопывания" кривой. Я бы поставил алерт на какую-то границу, чтобы после её пересечения быть в курсе, что кол-во запросов увеличилось, и всё.
      Когда запросов перевалит за число, которое уже не будет схлопываться, то и проблема решится, и будут данные, с которыми уже можно работать, и алерт даст об этом знать.

    • @KH9IZb
      @KH9IZb Год назад +1

      @@VyacheArt не будь таким дурачком как я. Метрика из стандартной прометеевской либы для подсчета рейта должна быть request_duration_seconds_count. Потому что в ней: в отличии от request_total нет client_ip (и оно нафиг не нужно в принципе в большинстве своем). Уковырялся вусмерть, а с другой стороны, это кому блин так приспичило назвать метрику? Аррррр!

    • @VyacheArt
      @VyacheArt  Год назад +1

      @KH9IZb ну, зато опыт!)) Спасибо большое, что поделился им)) Видимо там Summary метрика "request_duration_seconds", ну, а в "_count" - количество записей длительностей в неё 🙂

  • @ilayfortress4091
    @ilayfortress4091 Год назад

    Вячеслав, подскажи плиз!
    Производим миграцию с графаны 7 на 9 и сталкиваюсь со следующей проблемой. На графане 7 у нас настроены алерты на дашбордах и в момент срабатывая алерта, появляется анотация на график (где написана ошибка и что алерт сработал). После того как на графану 9 переносим json дашборд из 7, алерты переносятся неполноценно. Про это я читал и понял, что это нормальная ситуация.
    Проблема заключаeтся в следуюещем, на графане 9 я настроил алертинг идентичный тому что был на 7, т.е. пороги и условия одиноковые. Но в момент срабатывания алерта не рисуется вертикальная анотация о том когда он произошел. Т.е. на самом графике не видно ничего. У вас в видео на времени 13:02 появилась анотация (pending). Мне вот нужна такая же только во время срабаотывания алерта. Может что-то сможете подсказать. Я уже все перепробовал и legacy alert включал и обратно возвращал, пока не помогло

    • @VyacheArt
      @VyacheArt  Год назад

      Я, к сожалению, не сталкивался с такой проблемой и не было опыта переезда с 7 на 9, но по логике на отображение аннотаций могут влиять настройки Annotations у дашборда grafana.com/docs/grafana/latest/dashboards/build-dashboards/annotate-visualizations/#querying-other-data-sources . Что у вас находится в этом разделе? Есть ли что-то вообще?

    • @ilayfortress4091
      @ilayfortress4091 Год назад

      @@VyacheArt Да тут даже вопрос не переезда с одной на другую графану. По сути я сейчас поднимаю версии c нуля 9.3.1-9.3.6 и такое поведение у меня на обоих версиях.
      Моя задача сейчас сделать так, чтобы по срабатыванию алерта рисовалась аннотация на самом дашборде (в целом у вас на так и было в видео). Я сейчас пытаюсь это сделать на самом просто примере, беру дефолтный дашборд от прометеуса ( Prometheus 2.0 Stats) ставлю настраиваю алерт и когда он срабатывает, должна как я понимаю ставится вертикальное обозначение алерта на графике, но его нет. Судя по всему я что-то делаю не правильно.
      Возвращаясь к вопросу:
      В вкладке Annotations у меня находится только дефолтная аннотация (Annotations & Alerts)
      Всю уже документацию прочитал, понятия не имею что делать

    • @ilayfortress4091
      @ilayfortress4091 Год назад

      ​@@VyacheArt кстати, подскажите, на какой версии grafana вы делали этот тутор?

    • @VyacheArt
      @VyacheArt  Год назад

      @@ilayfortress4091 в туторе 9.4.3, она на момент записи была самой последней версий. Образ `grafana/grafana-oss:9.4.3`. В ролике дополнительно я ничего не настраивал, если что, то есть отображение аннотации было по умолчанию. Но я помню, что на старых версиях они иногда пропадали из-за слишком большого периода в Time селекторе. Но похоже было именно на баг, чем на задуманное поведение.
      А вы тестируете именно на дефолтном дашборде от прометеуса (=шаблоне), или уже пробовали создавать чистый свой со своими панельками?

    • @IlayPugachev
      @IlayPugachev Год назад

      @@VyacheArt Я иду от сложного к простому, начинал со сложного рабочего дашборда, пришел к элементарному дашборду, чтобы просто проверить функционал алертов. Использую дефолтный дашборд Prometheus 2.0 Stats, метрика scrape_duration_seconds, датасорс prometheus, алерт ставлю на превышение определенного значения. Настроил уведомления в ТГ, они приходят а аннотация не отображается. Сейчас попробую поставить версию как у вас.
      Также, видел выше, что вы хотели снимать отдельное видео про аннотации, думаю оно всем очень нужно. Очень плохо освещенная тема.

  • @АнтонМартынов-щ7ы

    Подскажи, что такое ротатор и где его скачать? Я так понимаю ротатор это эмуляция веб-сервера?

    • @VyacheArt
      @VyacheArt  Год назад

      Ротатор в этом ролике - это просто небольшой живой проект, куда я внедрил метрики. Можно было бы какой-то совсем синтетический пример придумать, но я решил по мотивам вот этого ролика сделать ruclips.net/video/27WPASOQs2w/видео.html
      А фактически это небольшой рекламный сервер на Go, который подбирает рекламу

  • @Ganeles
    @Ganeles 5 месяцев назад

    Не раскрыл главную боль - если на графике есть переменные, алертинг к нему не прикрутить :(
    Но ролик всё равно класс, спасибо!

  • @lisavod94
    @lisavod94 Год назад

    Привет, подскажи можно ли настроить алерты на правила которые графана загружает из prometheus автоматически.
    Или придется на каждое из них делать графики а потом делать алерты?

    • @VyacheArt
      @VyacheArt  Год назад

      Привет! Я такое никогда не делал, но вижу есть вот такой плагин grafana.com/grafana/plugins/camptocamp-prometheus-alertmanager-datasource/ . Панель создать всё равно нужно будет, но единственную, и у неё Data Sourceм будет AlertManager из прометеуса. Вроде похоже на то что тебе нужно

  • @loomst
    @loomst Год назад +2

    Привет!
    Спасибо за видео, очень в тему сейчас.
    Есть несколько вопросов по теме видео:
    1) Можно ли сделать так, что бы при срабатывании алерта и при его решении на график добавлялась аннотация о событии с произвольным сообщением?
    2) Можно ли добавить аннотацию сразу на несколько графиков, например: количество ошибок подскочило, сработал алерт, добавилась аннотация на график ошибок и добавилась аннотация на график количества запросов
    3) Можно ли сделать аннотацию программно, например раскатал новый мастер на проде и на графике количества ошибок сразу появилась аннотация, если вдруг срабатывает алерт я на графике могу увидеть, что количество ошибок выросло после релиза и надо что-то делать

    • @VyacheArt
      @VyacheArt  Год назад +2

      Привет, спасибо!
      1. Да, по сути по умолчанию и добавляется аннотация, и её текст можно даже подредактировать. Вот не уверен, что можно подредактировать сам шаблон аннотации, но в неё включается легенда панели, поэтому можно включить в неё нужное
      2. Я, к сожалению, не знаю способа настроить такую цепочку нативно внутри графаны, когда источник именно алерт, но! У графаны в качестве канала нотификации можно выбрать вебхуку, то есть когда случится какой-то алерт, графана обратится по какому-то URLу и передаст всю инфу. А обработчик на этом урле может уже создать аннотацию по API grafana.com/docs/grafana/latest/developers/http_api/annotations/
      3. О да, конечно, это вообще основной сценарий использования. Вот по ссылке выше как раз API можно найти.
      Более того у аннотаций есть теги, и их можно выводить только на тех дашбордах, на которых это нужно. Например, на бизнесовом дашборде можно вывести только аннотации про деплой, а на техническом ещё и всякие перезагрузки сервисов, запущенные миграции и тд. Для этого у дашборда в настройках есть раздел Annotations как раз, в котором можно указать нужные теги.
      Это сумасшедшая фича графаны, вот тут можно детали почитать grafana.com/docs/grafana/latest/dashboards/build-dashboards/annotate-visualizations/
      Может даже по аннотациям отдельный ролик запишу

    • @loomst
      @loomst Год назад +1

      @@VyacheArt Спасибо большое за ответ и ролик по аннотациям был бы очень интересным

  • @АндрейИльин-д6ж
    @АндрейИльин-д6ж Год назад +12

    я думал тебя нейросеть нарисовала и сделала анимацию

  • @devopsbrain
    @devopsbrain Год назад

    тема алертов вообще не раскрыта

  • @visghost
    @visghost 16 дней назад

    у меня пишет ошибку
    Post "prometheus:9090/api/v1/query": dial tcp 10.0.10.205:9090: connect: connection refused - There was an error returned querying the Prometheus API.
    205 адрес это у меня прокси стоит

  • @vasilypodguzov444
    @vasilypodguzov444 Год назад

    @VyacheArt при попытке получить ID бота выдает {"ok":true,"result":[]}