Паттерны проектирования приложений на Apache Kafka / Александр Сибиряков (Scrapinghub)
HTML-код
- Опубликовано: 13 апр 2020
- Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
При поддержке AvitoTech мы впервые публикуем все видео с HighLoad++ 2019 в открытый доступ. Учитесь, вдохновляйтесь и перенимайте лучшие практики у спикеров, не выходя из дома.
--------
Календарь конференций - ontico.ru
--------
Highload++ 2019
Тезисы и презентация:
www.highload.ru/moscow/2019/a...
Я расскажу о том, как проектировать надёжные пайплайны, состоящие из большого числа компонент на основе Apache Kafka. В докладе будут разобраны основные принципы проектирования, а также будут разобраны архитектурные паттерны очередей, обратной связи (back pressure), стыковка с HTTP, потери сообщений, и обработка задач с большим разбросом по времени выполнения.
...
--------
Нашли ошибку в видео? Пишите нам на support@ontico.ru
отличный рассказ про интересные паттерны!
Вместо фрагментации больших сообщений можно ложить их на S3 или MinIO а в Кафку ложить только метаданые с ID. 🙄