Надежность Apache Kafka. Урок 3
HTML-код
- Опубликовано: 19 июн 2022
- Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/skypq
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Маштабирование Apache Kafka?
Зачем нужны kafka партиция?
Балансировка нагрузки Apache Kafka
Ребалансировка Apache Kafka
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
Apache Kafka основы УРОК 2 • Apache Kafka основы УР...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
#apachekafka
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavlenkoat
★ Яндекс.Деньги: money.yandex.ru/to/4100124083...
★ www.donationalerts.com/r/pavl...
★ www.tinkoff.ru/rm/pavlenko.an...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit 
Наука
Классно объясняешь. Спасибо !!!
Спасибо! Было полезно.
Продолжай, пожалуйста!
Огромное спасибо вам Антон! Уже применяю ваши знания для технической экспертизы в проде! :)
хочу заметить, что инсталляции кафки тоже довольно сильно отличаются - стейтфул сет от виртуалок довольно ощутимо разнится по сложности менеджмента
Круто! Спасибо!
Спасибо 🙏🙏🙏. Очень полезный материал. Жду продолжения!
Привет! Спасибо за ролики, надеюсь пригодится при сваливании из офисных админов :)
Я сваливаю из офисных бюррократов)
Спасибо за ваш труд! Очень полезно
А какая зависимость фактора репликации на производительность приложения и нагрузки на сам кластер кафки?
Здравствуйте, Антон! Спасибо за видео, полезная инфа.
Можете пожалуйста привести рабочие примеры , хочется понимать, как пользоваться всем этим тем тестировщику, то есть как искать и читать сообщения?
Чистить сообщения консьюмеру и продюсеру нельзя. Искать только последовательно вычитывая сообщения.
На сколько знаю, у нас пользуются кафка тул, в нем прописываются хосты, бутстрапы и т.д, в инете есть пример настроек.
Есть такой опенсорсный проект - KOWL. Он дает возможность просматривать топики на брокерах в приятном UI. Для того чтобы закидывать и вычитывать сообщения, автотестеры могут написать свои продюсера и консьюмера.
Полезный для кого нибудь может совет: для кафки есть консольная тулза которая позволяет подключаться и читать из топика - kafkacat
Каковы могут быть причины rebalance group, только не доступность брокера kafka или существуют ещё причины?
Не обязательно. Я всё сейчас не вспомню надо в документацию читать. Знаю что если присоединится новый член группы тоже происходит ребалансировка
Для меня пока что сложен в понимании момент, как происходит восстановление брокера и как восстановить последовательность сообщений не задублировав или не потеряв их, если лидер партиция и фолловер несогласованы между собой
хотелось бы видео с примерами на каком-то языке программирования. Слишком пресно, когда одна теории. Но, в любом случае, спасибо
Интересно. У Трескунов такого нет ещё, инфраструктура так себе.
3:26 "Пишет кафка в лидера, а читать можно с любой" Разве? Разве консьюмер не только с лидера будет читать?
Если у вас древняя версия, то консьюмер действительно только с лидера читать будет.
С версии 2.4 она действительно позволяет читать с фоловеров, однако если у вас огромный поток данных проходит через партицию то в фоловерах может быть менее актуальная информация т. к. репликация асинхронна
чтение с фолловера зависит вроде как от задержки сети от места где вы читаете до ближайшего фалловера или лидера- если кафка понимает что к лидеру по сетке дешевле пойти, она в реплику ходить не должна
Консьюмер пишет? о_О ruclips.net/video/hY9WfVRVFPE/видео.html
Оговорился