Apache Kafka: погружение на 45 минут. Григорий Кошелев, Контур, ведущий разработчик
HTML-код
- Опубликовано: 1 авг 2024
- Уральская конференция веб-разработчиков #UWDC2024
Apache Kafka: погружение на 45 минут.
Григорий Кошелев, Контур, ведущий разработчик
--
Партнеры и спонсоры конференции:
Orion soft - один из лидеров ИТ-индустрии, ведущий производитель платформ виртуализации и инфраструктурных решений
АО «Альфа-Банк» - крупнейший частный банк в России, который уже выбрали 30 миллионов клиентов
Xpage - разработчик высоконагруженных цифровых решений для среднего и крупного бизнеса. Работает и развивается с 2003 года. Входит в число лучших компаний-разработчиков для спортивных и e-commerce-проектов (по результатам Рейтинга Рунета)
Инфиннити - ведущая российская ИТ компания, разрабатывающая медицинские и образовательные информационные системы в государственном секторе
ПАО «Ростелеком» - признанный технологический лидер в инновационных решениях в области цифровых государственных сервисов, кибербезопасности, цифровизации регионов, здравоохранения, биометрии, образования, ЖКХ, а также в сфере облачных вычислений и услуг дата-центров
--
Погружение в Apache Kafka для разработчиков:
1. Внутреннее устройство и принцип работы основных компонентов Apache Kafka.
2. Особенности использования Apache Kafka в различных сценариях.
3. Разбор best practices и мифов. 
Наука
Важные уточнения - компакшен и удаление только на неактивных сегментах. (бывали случаи когда потребители железно хотели подвязаться на время жизни сообщения или что компакшен отработает для ключа, в общем было бы хорошо упомянуть что это чисто механизмы экономии места и логически подвязываться на них не нужно)
Не рассказано про доступность чтения.
Можно так же рассмотреть семантики на доставку и если шире смотреть в семантику обработки можно тогда уже рассматривать от отправки до обработки) если вы при отправке позволяете потерять сообщение то чебы не делали на консюмере эт лист онас вы не сделаете) .
Время сообщения интересно кстати с точки зрения библиотеки не знаю, но вроде это конфигурируется на стороне брокера какое время использовать для kafka timestamp - клиентское или серверное, подозреваю что при втором кейсе - клиентское будет проигнорировано.
В хедерах полезно бывает указывать какие то поля которые могут быть полезны для фильтрации - зачастую в нагруженных системах фильтрация нужных событий может требовать 10% данных, и десериализация какого нить бинарного формата может быть дорогостоящей для фильтрации, ну и всякие моменты что бывает сложно вызвать реконфигурацию на большее количество партиций или заложить их большое количество.
Зачем было говорить о партишинере не сильно понял, было бы хорошо упомянуть тут что линеаризуемость обработки сообщений есть только в рамках бизнес ключа который хотим держать в 1 партици.
В целом доклад понравился, все по фактам, но если честно не понял для кого это было, тех кто не знает о кафке не осилят такую скорость) а о каких то нюансах наверное мало чего было сказано.
2 года не трогал кафку. Самое то, чтоб освежить знания перед собесами. Большое спасибо!
Где же вы были в 2017ом) Спасибо за доклад! А по скорости вообще топ. Я эту информацию выцеплял из 10часового курса)
Хороший доклад, спасибо за информацию
Спасибо
Прекрасный доклад, большое спасибо!
Жаль, что организаторы не публикуют ссылки на предыдущие выступления автора, которые он упоминает в докладе. Может быть, ещё не поздно их опубликовать?
Спасибо! В конце доклада говорится, что нет DLQ, но есть же DLT или это не совсем то?
На следующем выступлении можно попробовать не спешить так, как на этом)
Иначе поток информации слишком большой, через 10 минут начинаешь слушать как радио
нормально, всегда можно затормозить видео