Денис Иванов - Apache Kafka и реактивные микросервисы на .NET Core

Ближайшая конференция - DotNext 2024, 10 - 11 сентября, Москва + online
Подробности и билеты: jrg.su/x2GKnA
- -
Apache Kafka - довольно популярная open source платформа для обработки потоков сообщений. Абстракция распределённого лога, лежащая в основе Kafka, даёт возможность использовать её в качестве системы очередей, но при этом даёт некоторые очень полезные преимущества, недоступные даже решениям ESB-уровня.
В этом докладе мы разберём основные принципы, на которых построена Apache Kafka, узнаем, как и в каких случаях её использование позволяет решать задачи просто и эффективно.
Но самое главное, рассмотрим реальное применение Apache Kafka в системе, имеющей микросервисную архитектуру и бэкенды которой реализованы на .NET Core и Scala. Также вспомним про замечательную библиотеку Reactive Extensions и посмотрим, как применение реактивного подхода позволяет сохранить код простым, надёжным и крайне производительным.
Ну и конечно же, не забудем про особенности и нюансы, которых всегда очень много, когда мы делаем микросервисные приложения, да ещё с таким набором технологий. Здесь поговорим о реальном опыте, полученном в большом проекте. Это позволит вам быстро сориентироваться, если потребуется решать похожие задачи.

[@Stack-df9oc]

Отсутствия балансировок можно гораздо проще добиться. Просто не надо отписываться от consumer. Делаем фоновую задача (IHostedService) и в ней создаем Consumer вызываем у него Subscribe и бесконечно читаем. А куда уже прочитанный сообщения кидать зависит от бизнес логики. И расширения никакие не нужны для этого.

[@ImranAliyev]

где сорс код ?

[@gijduvon6379]

Я не понял как лишний слой RX увеличил скорость консьюмера... Звучит странно. И почему нельзя батчить сообщения без RX? Это же вроже не сложно...

[@user-sp3hy7cw9x]

мде)) При чем тут Rx вообще...))

[@AndriiNikolaiev]

5:04 никакого отношения к обьектно ориентироаанному программированию это не имеет. Это строго потоковая модель 40 калетней давности, умело маскируемая под новизну. Так программировали системные программисты в UNIXе, когда Windows не было даже в зародыше. И вот сейчас Microsoft поумнела настолько, что поняла как же люди программировали пока их ещё на свете не было.

[@kostiatretyak]

Вы о чём вообще? Причем тут виндоус?

[@user-ne9ph3nq3g]

За Кафку тоже Микрософт ответит?))) Хотя на 5.04 вообще про кубер)

[@JohnDoe-eo9lc]

Худшее объяснение работы Кафки. Докладчик до конца не понимает как это работает, постоянно закидывает глаз в лекцию. Пытаешься проникнуться деталями, но в единое целое не складывается - жутко раздражает.

[@VanKrock]

Зачем проникаться деталями если рассказывается в общем, я вот понял что это и как работает, хотя раньше вообще не слышал по Кафку

[@gijduvon6379]

А есть примеры хороших докладов/лекций на эту тему?

[@kostiatretyak]

Посмотри эту же лекцию на хайлоаде через год - уже без подсказок рассказывает)