Важные уточнения - компакшен и удаление только на неактивных сегментах. (бывали случаи когда потребители железно хотели подвязаться на время жизни сообщения или что компакшен отработает для ключа, в общем было бы хорошо упомянуть что это чисто механизмы экономии места и логически подвязываться на них не нужно) Не рассказано про доступность чтения. Можно так же рассмотреть семантики на доставку и если шире смотреть в семантику обработки можно тогда уже рассматривать от отправки до обработки) если вы при отправке позволяете потерять сообщение то чебы не делали на консюмере эт лист онас вы не сделаете) . Время сообщения интересно кстати с точки зрения библиотеки не знаю, но вроде это конфигурируется на стороне брокера какое время использовать для kafka timestamp - клиентское или серверное, подозреваю что при втором кейсе - клиентское будет проигнорировано. В хедерах полезно бывает указывать какие то поля которые могут быть полезны для фильтрации - зачастую в нагруженных системах фильтрация нужных событий может требовать 10% данных, и десериализация какого нить бинарного формата может быть дорогостоящей для фильтрации, ну и всякие моменты что бывает сложно вызвать реконфигурацию на большее количество партиций или заложить их большое количество. Зачем было говорить о партишинере не сильно понял, было бы хорошо упомянуть тут что линеаризуемость обработки сообщений есть только в рамках бизнес ключа который хотим держать в 1 партици. В целом доклад понравился, все по фактам, но если честно не понял для кого это было, тех кто не знает о кафке не осилят такую скорость) а о каких то нюансах наверное мало чего было сказано.
Жаль, что организаторы не публикуют ссылки на предыдущие выступления автора, которые он упоминает в докладе. Может быть, ещё не поздно их опубликовать?
На следующем выступлении можно попробовать не спешить так, как на этом) Иначе поток информации слишком большой, через 10 минут начинаешь слушать как радио
Важные уточнения - компакшен и удаление только на неактивных сегментах. (бывали случаи когда потребители железно хотели подвязаться на время жизни сообщения или что компакшен отработает для ключа, в общем было бы хорошо упомянуть что это чисто механизмы экономии места и логически подвязываться на них не нужно)
Не рассказано про доступность чтения.
Можно так же рассмотреть семантики на доставку и если шире смотреть в семантику обработки можно тогда уже рассматривать от отправки до обработки) если вы при отправке позволяете потерять сообщение то чебы не делали на консюмере эт лист онас вы не сделаете) .
Время сообщения интересно кстати с точки зрения библиотеки не знаю, но вроде это конфигурируется на стороне брокера какое время использовать для kafka timestamp - клиентское или серверное, подозреваю что при втором кейсе - клиентское будет проигнорировано.
В хедерах полезно бывает указывать какие то поля которые могут быть полезны для фильтрации - зачастую в нагруженных системах фильтрация нужных событий может требовать 10% данных, и десериализация какого нить бинарного формата может быть дорогостоящей для фильтрации, ну и всякие моменты что бывает сложно вызвать реконфигурацию на большее количество партиций или заложить их большое количество.
Зачем было говорить о партишинере не сильно понял, было бы хорошо упомянуть тут что линеаризуемость обработки сообщений есть только в рамках бизнес ключа который хотим держать в 1 партици.
В целом доклад понравился, все по фактам, но если честно не понял для кого это было, тех кто не знает о кафке не осилят такую скорость) а о каких то нюансах наверное мало чего было сказано.
2 года не трогал кафку. Самое то, чтоб освежить знания перед собесами. Большое спасибо!
Где же вы были в 2017ом) Спасибо за доклад! А по скорости вообще топ. Я эту информацию выцеплял из 10часового курса)
Прекрасный доклад, большое спасибо!
Хороший доклад, спасибо за информацию
Спасибо
Спасибо! В конце доклада говорится, что нет DLQ, но есть же DLT или это не совсем то?
Жаль, что организаторы не публикуют ссылки на предыдущие выступления автора, которые он упоминает в докладе. Может быть, ещё не поздно их опубликовать?
они спокойно ищутся на ютубе, до этого видео я некоторые из них и посмотрел
На следующем выступлении можно попробовать не спешить так, как на этом)
Иначе поток информации слишком большой, через 10 минут начинаешь слушать как радио
нормально, всегда можно затормозить видео
Боже, подарите мне такую футболку