Для меня пока что сложен в понимании момент, как происходит восстановление брокера и как восстановить последовательность сообщений не задублировав или не потеряв их, если лидер партиция и фолловер несогласованы между собой
Здравствуйте, Антон! Спасибо за видео, полезная инфа. Можете пожалуйста привести рабочие примеры , хочется понимать, как пользоваться всем этим тем тестировщику, то есть как искать и читать сообщения?
Есть такой опенсорсный проект - KOWL. Он дает возможность просматривать топики на брокерах в приятном UI. Для того чтобы закидывать и вычитывать сообщения, автотестеры могут написать свои продюсера и консьюмера.
С версии 2.4 она действительно позволяет читать с фоловеров, однако если у вас огромный поток данных проходит через партицию то в фоловерах может быть менее актуальная информация т. к. репликация асинхронна
чтение с фолловера зависит вроде как от задержки сети от места где вы читаете до ближайшего фалловера или лидера- если кафка понимает что к лидеру по сетке дешевле пойти, она в реплику ходить не должна
Классно объясняешь. Спасибо !!!
хочу заметить, что инсталляции кафки тоже довольно сильно отличаются - стейтфул сет от виртуалок довольно ощутимо разнится по сложности менеджмента
Спасибо! Было полезно.
А какая зависимость фактора репликации на производительность приложения и нагрузки на сам кластер кафки?
Продолжай, пожалуйста!
Привет! Спасибо за ролики, надеюсь пригодится при сваливании из офисных админов :)
Я сваливаю из офисных бюррократов)
Для меня пока что сложен в понимании момент, как происходит восстановление брокера и как восстановить последовательность сообщений не задублировав или не потеряв их, если лидер партиция и фолловер несогласованы между собой
Круто! Спасибо!
Полезный для кого нибудь может совет: для кафки есть консольная тулза которая позволяет подключаться и читать из топика - kafkacat
хотелось бы видео с примерами на каком-то языке программирования. Слишком пресно, когда одна теории. Но, в любом случае, спасибо
Каковы могут быть причины rebalance group, только не доступность брокера kafka или существуют ещё причины?
Не обязательно. Я всё сейчас не вспомню надо в документацию читать. Знаю что если присоединится новый член группы тоже происходит ребалансировка
Спасибо 🙏🙏🙏. Очень полезный материал. Жду продолжения!
Здравствуйте, Антон! Спасибо за видео, полезная инфа.
Можете пожалуйста привести рабочие примеры , хочется понимать, как пользоваться всем этим тем тестировщику, то есть как искать и читать сообщения?
Чистить сообщения консьюмеру и продюсеру нельзя. Искать только последовательно вычитывая сообщения.
На сколько знаю, у нас пользуются кафка тул, в нем прописываются хосты, бутстрапы и т.д, в инете есть пример настроек.
Есть такой опенсорсный проект - KOWL. Он дает возможность просматривать топики на брокерах в приятном UI. Для того чтобы закидывать и вычитывать сообщения, автотестеры могут написать свои продюсера и консьюмера.
Огромное спасибо вам Антон! Уже применяю ваши знания для технической экспертизы в проде! :)
Спасибо за ваш труд! Очень полезно
Какой смысл теории без практики?
3:26 "Пишет кафка в лидера, а читать можно с любой" Разве? Разве консьюмер не только с лидера будет читать?
Если у вас древняя версия, то консьюмер действительно только с лидера читать будет.
С версии 2.4 она действительно позволяет читать с фоловеров, однако если у вас огромный поток данных проходит через партицию то в фоловерах может быть менее актуальная информация т. к. репликация асинхронна
чтение с фолловера зависит вроде как от задержки сети от места где вы читаете до ближайшего фалловера или лидера- если кафка понимает что к лидеру по сетке дешевле пойти, она в реплику ходить не должна
Интересно. У Трескунов такого нет ещё, инфраструктура так себе.
Консьюмер пишет? о_О ruclips.net/video/hY9WfVRVFPE/видео.html
Оговорился