Сергей Петрелевич
Сергей Петрелевич
  • Видео 36
  • Просмотров 149 572
Java ThreadLocal, применение в Webflux MDC
На простом примере посмотрим, что такое ThreadLocal в Java и для чего он нужен. Посмотрим как ThreadLocal применяется в логировании.
Как просто можно использовать MDC в Webflux.
Исходный код
Базовые примеры.
github.com/petrelevich/jvm-digging/tree/master/Mdc
Пример с webflux.
github.com/petrelevich/jvm-digging/tree/master/virtual-thread
Чат в телеге для вопросов и обсуждений:
t.me/jvm_home
Просмотров: 270

Видео

Знакомство с Micronaut
Просмотров 7886 месяцев назад
Пример CRUD приложения на Micronaut. Исходный код: github.com/petrelevich/jvm-digging/tree/master/micronaut-demo Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Java virtual Thread
Просмотров 6256 месяцев назад
Посмотрим, что такое virtual Thread (виртуальные потоки) в Java и для чего они нужны. Исходный код: github.com/petrelevich/jvm-digging/tree/master/virtual-thread Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Знакомство с Armeria
Просмотров 4097 месяцев назад
На примере приложения с TINKOFF INVEST API познакомимся с фреймворком Armeria. Исходный код: github.com/petrelevich/trading-public Чат в телеге для вопросов и обсуждений: t.me/jvm_home
TCP Log-appender на java (NIO)
Просмотров 34811 месяцев назад
В предыдущем видео (ruclips.net/video/Krsx3IhO8nM/видео.html) был разработан TCP Log-сервер. Сейчас для него сделаем appender для отправки логов. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
TCP Log-сервер на java (NIO)
Просмотров 30911 месяцев назад
В предыдущем видео (ruclips.net/video/QZlklg5GzX0/видео.htmlsi=sIX4DnOFL4qoO0_1) был оптимизирован TCP сервер. Сейчас на его основе сделаем сервер для приема логов. Для парсинга потока байт применим конечный автомат. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home Рассказ про конечные автоматы: ruclips.net/video/TwyrwgFVyy0/видео.html...
Оптимизация неблокирующего TCP сервера на java (NIO)
Просмотров 47611 месяцев назад
В предыдущем видео (ruclips.net/video/KhSMQJ3TaGw/видео.htmlsi=c4k2NJzw0KoGXDaU) был разработан TCP сервер. Сейчас проведем нагрузочное тестирование и оптимизируем потребление памяти. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Неблокирующий TCP сервер на java (NIO)
Просмотров 1,2 тыс.Год назад
В предыдущем видео (ruclips.net/video/udFia_0ZB0Q/видео.htmlsi=SOS6R56Bww1gY_Ae) мы посмотрели как можно реализовать блокирующий сервер. Сейчас давайте взглянем на неблокирующий вариант TCP сервера на java. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Блокирующий TCP сервер на java
Просмотров 694Год назад
На простом примере посмотрим как можно реализовать блокирующий TCP сервер на java. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Рассказ про exactly once в kafka
Просмотров 1,8 тыс.Год назад
Транзакции в Kafta предназначены для работы с двумя очередями. А что делать, если надо брать сообщение из очереди и обрабатывать, причем строго один раз. Об этом и поговорим. Исходный код примеров: github.com/petrelevich/jvm-digging/tree/master/kafka Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Конечные автоматы в Java
Просмотров 1,5 тыс.Год назад
Посмотрим, что такое конечные автоматы и как их можно применить в Java Это техническая часть вебинара: ruclips.net/user/live3r8sjj434FU?feature=share Обучаем программированию на Java: otus.ru/lessons/java-professional/ Примеры: github.com/petrelevich/jvm-digging/tree/master/statemachine Пример применения идеи автомата для парсинга потока байт: ruclips.net/video/Krsx3IhO8nM/видео.htmlsi=c6Wz0-hb...
Составной первичный ключ, Spring Data Jdbc
Просмотров 738Год назад
Посмотрим, как в Spring Data Jdbc можно работать с таблицами, у которых составной первичный ключ. Исходный код: github.com/petrelevich/jvm-digging/tree/master/springDataJdbc Чат в телеге для вопросов и обсуждений: t.me/jvm_home
reactor kafka
Просмотров 1 тыс.Год назад
Рассмотрим, что такое Reactor Kafka и узнаем как им пользоваться. Это техническая часть вебинара: ruclips.net/user/liveRjhOkvEqFJA?feature=share Обучаем программированию на Java: otus.ru/lessons/java-professional/ Примеры: github.com/petrelevich/jvm-digging/tree/master/kafka Чат в телеге для вопросов и обсуждений: t.me/jvm_home
kafka в приложениях на SpringBoot
Просмотров 3,6 тыс.Год назад
Рассмотрим, как использовать стартер springBoot для работы с Kafka. Это техническая часть вебинара: ruclips.net/user/live9FikRH8rXas?feature=share ruclips.net/user/liveY-ClxJozvCo?feature=share Обучаем применению Kafka: otus.ru/lessons/kafka/ Примеры: github.com/petrelevich/jvm-digging/tree/master/kafka-spring Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Примеры применения caffeine и ehcache в java
Просмотров 1,2 тыс.Год назад
В этом видео рассмотрим примеры применения популярных кешей caffeine и ehcache в java Примеры: github.com/petrelevich/jvm-digging/tree/master/cacheDemo Чат в телеге для вопросов и обсуждений: t.me/jvm_home
r2dbc. Реактивное подключение к Postgresql в приложениях на Java
Просмотров 1,4 тыс.Год назад
r2dbc. Реактивное подключение к Postgresql в приложениях на Java
Кто такие дженерики?
Просмотров 1,1 тыс.2 года назад
Кто такие дженерики?
Объектно-ориентированное и функциональное программирование
Просмотров 8412 года назад
Объектно-ориентированное и функциональное программирование
gradle plugin на Kotlin для проектов на Java
Просмотров 1,1 тыс.2 года назад
gradle plugin на Kotlin для проектов на Java
Serializer и Deserializer в Kafka
Просмотров 1,3 тыс.2 года назад
Serializer и Deserializer в Kafka
Kafka consumer. Метод poll
Просмотров 4,5 тыс.2 года назад
Kafka consumer. Метод poll
Применение kafka для связи микросервисов на Java Spring Boot
Просмотров 34 тыс.2 года назад
Применение kafka для связи микросервисов на Java Spring Boot
Основы Java collections
Просмотров 2 тыс.2 года назад
Основы Java collections
Пример реактивного приложения на Spring WebFlux
Просмотров 8 тыс.2 года назад
Пример реактивного приложения на Spring WebFlux
Reactor Netty
Просмотров 3 тыс.2 года назад
Reactor Netty
Пример бота Telegram на java
Просмотров 3,9 тыс.3 года назад
Пример бота Telegram на java
Введение в Gradle
Просмотров 14 тыс.3 года назад
Введение в Gradle
Deploy микросервисов на Java Spring Boot в Kubernetes
Просмотров 10 тыс.3 года назад
Deploy микросервисов на Java Spring Boot в Kubernetes
Разработка двух микросервисов на Java Spring Boot
Просмотров 23 тыс.3 года назад
Разработка двух микросервисов на Java Spring Boot
gRPC для микросервисов или не REST-ом единым
Просмотров 4,6 тыс.3 года назад
gRPC для микросервисов или не REST-ом единым

Комментарии

  • @ЛевЧабанов-н7ш
    @ЛевЧабанов-н7ш Месяц назад

    понятно

  • @alexandr6055
    @alexandr6055 2 месяца назад

    Отличная лекция, спасибо. Но мне кажется лучше просто в записи кидать. И было бы не плохо, если б немного больше теории. В частности здесь в целом что такое ThreadLocal, для чего он, а затем уже код.

  • @miraclechina1301
    @miraclechina1301 2 месяца назад

    Одно непонятно что делать если у нас две разные базы данных для финансов и для бд с сохранением состояния Кафки тогда завернуть в транзакцию не получится и нужно будет табличку з записями про обработку данных из портиции тащить в базу з платежами.

    • @petrelevich
      @petrelevich 2 месяца назад

      Т.е. надо консистентно вставить в две базы данных? Для этого надо использовать или распределенные транзакции или сагу.

  • @vrazovsky
    @vrazovsky 2 месяца назад

    как-то все очень душно, я не могу такое смотреть

  • @aleksey2793
    @aleksey2793 3 месяца назад

    А как лучше работать с кешем? Использовать абстракцию в виде аннотаций типа @Cacheble и др? Или работать с помощью методов напрямую, как у вас в примере?

    • @petrelevich
      @petrelevich 3 месяца назад

      Это дело вкуса и принятых на проекте практик. Я больше люблю работать напрямую без лишних посредников.

  • @СергейВячеслаев
    @СергейВячеслаев 3 месяца назад

    Спасибо, как всегда очень доходчиво и наглядно

  • @МаксМакс-ч8к
    @МаксМакс-ч8к 3 месяца назад

    Мне далеко не все уроки Сергея нравятся, но этот прям хорош!!! Спасибо!!!

  • @itlife8792
    @itlife8792 3 месяца назад

    братик, спасибо тебе

  • @RuslanMurzin-uz8fj
    @RuslanMurzin-uz8fj 4 месяца назад

    Спасибо за лекцию. А как Вы запускали docker-compose.yml ? Правильно я понимаю, что мне надо установить docker desktop (под windows) и там уже есть docker compose ? P.S. в указанном чате отсутсnвует данная лекция.

  • @BoringCoder
    @BoringCoder 4 месяца назад

    Что будет, если ожидаемое событие для перехода между состояниями не произойдет? Как обрабатывать такие случаи?

    • @petrelevich
      @petrelevich 4 месяца назад

      Если надо ограничивать время перехода, то стоит добавить таймауты.

  • @luyt2
    @luyt2 4 месяца назад

    Спасибо, доступно. Я бы ещё добавил про особенности пересборки проекта при использовании api/implementation

  • @rainqirimli5457
    @rainqirimli5457 5 месяцев назад

    Так а в чем прикол? Томкат чтобы обработать 200 реквестов запустит 200 трэдов. А нэтти если прилетят 200 риквестов одновременно - что сделает? Эвент лупом примет эти 200 реквествов, а затем запустит 200 трэдов, которые будут обрабатывать их... я не прав?

    • @petrelevich
      @petrelevich 5 месяцев назад

      Netty все эти 200 запросов будет обрабатывать ограниченным числом потоков, в соответствии с конфигурацией. Скорее всего, их будет столько, сколько доступно ядер. Т.е. для обработки 200 запросов, надо будет не 200 потоков, а порядка 5-10. Но эти запросы должны быть неблокирующие.

    • @rainqirimli5457
      @rainqirimli5457 5 месяцев назад

      @@petrelevich спасибо за быстрый ответ. Но немного не ясно. Представим вэб приложение, которое обращается к базе, выполняет сиквел, отдает ответ клиенту. И вот это приложение получило 200 риквестов, и соответственно должно сделать 200 запросов в базу. Т.е. если моё понимание верно, то вот эти обращения к базе будут выполнены не эвент луп трэдом, а другими трэдами, назовём их воркер трэдами. Если предположить что,запросы к базе долго играющие и их одновременно 200, не значит ли это, что система помимо 5-10 эвент луп трэдов запустит ещё 200 трэдов для коммуникации с базой данных? Заранее спасибо

    • @petrelevich
      @petrelevich 4 месяца назад

      @@rainqirimli5457 работа с базой - дело особое. 200 сессий может и не выдержать. Да и connection pool обычно настроен на более скромные лимиты. Далее вопрос: база данных на блокирующем драйвере или реактивном. Если на блокирующем, как пример, jdbc, то все 200 запросов уйдут в очередь, у которой кол-во поток будет равно кол-ву connection-ов в пуле. Если база данных реактивная, то все равно, скорее всего образуется очередь, т.к. все равно будет какой-то connection pool и на нем будет ограничение кол-ва подключений.

  • @artemromanov5346
    @artemromanov5346 5 месяцев назад

    воды много - все умещается в 20м-30м от силы

  • @alex45788
    @alex45788 5 месяцев назад

    Сергей, у Вас нет в планах сделать видео с разбором популярных и нетривиальных операторов Project Reator ? Как бы это было бы круто 🥺

    • @petrelevich
      @petrelevich 5 месяцев назад

      Сейчас готовлю доклад про замену webflux на virtual thread. В нем как раз будут такие операторы. Т.е. про случаи, когда заменить будет трудно.

  • @alex45788
    @alex45788 5 месяцев назад

    Вопрос по коду. Создание KafkaReceiver (класс ReactiveReceiver) KafkaReceiver.create(options) .receiveAutoAck() .concatMap(consumerRecordFlux -> { log.info("consumerRecordFlux done, commit"); return consumerRecordFlux; }) .retryWhen(Retry.backoff(3, Duration.of(10L, ChronoUnit.SECONDS))); 1. Почему выбран метод concatMap? Какая его логика? Мы могли бы использовать например doOnNext для логирования очередного элемента потока. 2. Почему используется backoff в retryWhen, а не fixedDelay например?

    • @petrelevich
      @petrelevich 5 месяцев назад

      1. concatMap преобразует Flux<Flux<ConsumerRecord<K, V>>> receiveAutoAck() в Flux<ConsumerRecord<K, V>>, doOnNext не подойдет 2. backoff реализует exponential backoff strategy, т.е. каждая следующая попытка будет выполняться с большим интервалом, а fixedDelay задает интервал фиксированный.

  • @gderuki
    @gderuki 6 месяцев назад

    +

  • @levaryazan
    @levaryazan 6 месяцев назад

    Отличное объяснение!! Спасибо.

  • @sergglav
    @sergglav 6 месяцев назад

    Спасибо! Стало быть, у Micronaut Reactor под капотом? Или его надо специально подключать?

    • @petrelevich
      @petrelevich 6 месяцев назад

      reactor приезжает транзитивно с другими зависимостями.

  • @mitruslatovous6
    @mitruslatovous6 6 месяцев назад

    Спасибо за просветительскую работу!

  • @exes5282
    @exes5282 6 месяцев назад

    Спасибо!!!!!!

  • @ivanstrelka3448
    @ivanstrelka3448 6 месяцев назад

    Спасибо!

  • @wildjoe6259
    @wildjoe6259 6 месяцев назад

    Спасибо!

  • @mitruslatovous6
    @mitruslatovous6 6 месяцев назад

    Спасибо! Понятное объяснение. Было очень интересно)

  • @sergglav
    @sergglav 6 месяцев назад

    Сергей, огромное спасибо за видео! Как всегда всё познавательно и внятно, как на курсах)

  • @MrRomanvideo
    @MrRomanvideo 6 месяцев назад

    Спасибо, интересно и полезно. Пример со Спринг Бута тоже было бы классно вместе посмотреть)

  • @ЛеонидПескин-з7ы
    @ЛеонидПескин-з7ы 6 месяцев назад

    Сори, не смог до конца досмотреть, такое монотонное объяснение, тяжело очень для восприятия, несколько раз перематывал, так как терял логическую цепочку, что происходит. Ужасное объяснение, хотя структура прекрасная абсолютно

  • @alex45788
    @alex45788 7 месяцев назад

    Жду шестую серию сериала)

  • @АлександрТеплых-э7о
    @АлександрТеплых-э7о 7 месяцев назад

    Я думаю, что стоило хоть разок запустить приложение и показать как оно работает)))

    • @petrelevich
      @petrelevich 7 месяцев назад

      да, это было бы полезно

  • @972gmailcom1
    @972gmailcom1 7 месяцев назад

    Интересно, но к сожалению "плохой звук": через наушники слышно нормально, а вот на средних динамиках не слышно.

  • @konstantinchvilyov9602
    @konstantinchvilyov9602 7 месяцев назад

    Спасибо. Без базы данных нельзя обойтись?.. Это же потеря скорости.

    • @petrelevich
      @petrelevich 7 месяцев назад

      Можно обойтись, если не требуется гарантия exectly-once. Такая гарантия действительно редко нужна.

    • @konstantinchvilyov9602
      @konstantinchvilyov9602 7 месяцев назад

      @@petrelevich Странно, такая гарантия всегда была нужна на моих работах.

    • @petrelevich
      @petrelevich 7 месяцев назад

      @@konstantinchvilyov9602 Например, exectly-once точно не надо в логгировании, телеметрии, социальных сетях и т.е., когда что-то иногда можно потерять. И exectly-once почти всегда обязателен в платежах.

  • @AlexSmile-y2x
    @AlexSmile-y2x 7 месяцев назад

    Классный проект (особенно порадовал production-ready подход к разработке). Очень интересно будет следить за его развитием в полноценную систему. Такие видеосериалы с постепенным построением готовой неучебной платформы, на мой взгляд, как раз лучшие для обучения начинающего: позволяют понять для чего каждый элемент и чем отличаются подходы P.S. кстати, не понял, почему в качестве мапперов для таких объемных дто не использовался mapstruct, он легковесный и одной строкой заменяет все эти полотна кода?

    • @petrelevich
      @petrelevich 7 месяцев назад

      >кстати, не понял, почему в качестве мапперов для таких объемных дто не использовался mapstruct, он легковесный и одной строкой заменяет все эти полотна кода? да, можно его использовать. И это еще один вопрос - а нужно ли тут вообще dto.

    • @AlexSmile-y2x
      @AlexSmile-y2x 7 месяцев назад

      @@petrelevich ну сами по себе иммутабельные ДТО часто бывают полезны (помогают при формализации необходимого контракта для клиента, и полезны для его документирования, помогают при валидации данных, если модель анемична, могут часто помочь при дальнейших доработках, уменьшая связанность между моделью и интерфейсом клиента и т.п.), и при этом они "есть не просят" особо, как говорится, поэтому лично я полагаю, что лучше с ними, чем без них

  • @sequ3nce515
    @sequ3nce515 8 месяцев назад

    Хорошее видео, спасибо :) Нет ли в планах создания полноценного курса по какой-либо из тем? Или если есть может кто-то сказать название и где можно приобрести?

    • @petrelevich
      @petrelevich 8 месяцев назад

      Пока таких планов нет, но все возможно в будущем :)

  • @972gmailcom1
    @972gmailcom1 8 месяцев назад

    Спасибо. Посмотрел позже. Было интересно и полезно.

  • @v.volkau
    @v.volkau 9 месяцев назад

    Отличное видео, пересмотрел второй раз спустя время и всё понял. Замечательный пример про бармена. Пожалуйста, продолжайте использовать такие бытовые примеры для объяснения - очень хорошо запоминается.

  • @v.volkau
    @v.volkau 9 месяцев назад

    Спасибо, отличное видео!

  • @immortal-spirit-13
    @immortal-spirit-13 9 месяцев назад

    Петрелевич очень умный парень, хорошо доносит

  • @markostr
    @markostr 9 месяцев назад

    Очень хорошо объяснили ! Спасибо !

  • @root924
    @root924 9 месяцев назад

    Если guava есть в classpath, то по какой причине libApiUse ее не видит?

    • @petrelevich
      @petrelevich 9 месяцев назад

      не видит, если используется scope - implementation

  • @Сергей-и8ж7в
    @Сергей-и8ж7в 9 месяцев назад

    Из разряда "как нарисовать сову": 1. рисуем три кружка; 2. дорисовываем до совы. Отус такой ценник за свои курсы лупит, а лайф-кодинг поленился сделать даже на вводном уроке. Смотрите - это парсер, ну парсер и парсер, ничего особенного 😅 Спринг так же объясняете?) Это бин, ну бин и бин, ничего особенного, поехали дальше))

    • @petrelevich
      @petrelevich 9 месяцев назад

      Что именно не понятно и требует детального пояснения?

  • @takezo_kyiv
    @takezo_kyiv 10 месяцев назад

    Спасибо большое за видео! Очень познавательно

  • @Евгений-1
    @Евгений-1 11 месяцев назад

    откуда при раскладе 3 сек на источник и 2 сек на обработчик может возникнуть очередь? источник генерит медленнее чем обработчик обрабатывает. 1,2,3 источник 4,5 обработчик 4,5,6 источник 7,8 обработчик 7,8,9 источник

    • @petrelevich
      @petrelevich 11 месяцев назад

      какую очередь имеете в виду?

    • @Евгений-1
      @Евгений-1 11 месяцев назад

      @@petrelevich вот тут: 1 час 20 минут

    • @petrelevich
      @petrelevich 11 месяцев назад

      @@Евгений-1 Пересмотрел, начиная с этого момента ruclips.net/video/UDGZV0tzPQ8/видео.htmlsi=WwyOF8Sv5okuUib_&t=4743 Ничего не услышал про "очередь".

    • @Евгений-1
      @Евгений-1 11 месяцев назад

      ​@@petrelevich там в комментах задан вопрос и вот текстовая расшифровка: 1:20:57 у вас есть некий некая задержка а на 1:21:15 звучит "и в итоге тут должно больше наплодиться.... чем больше работаем тем больше накапливается разница" это где будет накопление? и откуда возьмется накопление учитывая что генерация медленнее чем обработка?

    • @petrelevich
      @petrelevich 11 месяцев назад

      @@Евгений-1 Теперь понятно, в чем вопрос. В классе DataProducerStringReactor данные генерируются без ограничения скорости, но потом добавляется задержка delayElements(Duration.ofSeconds(3)). Чтобы согласовать быстрый источник и медленный обработчик включается механизм backpressure. Это приводит к тому, что данные создаются в генераторе и буферизируются (накапливаются) пока потребитель не сможет их обработать. После обработки создается новая порция данных и они буферизируются, пока не обработаются. Понятно пояснил? Надо, наверное, видос на эту тему записать?

  • @sromankov6102
    @sromankov6102 11 месяцев назад

    спасибо очень информативно, только вот вопрос, как скажем из CI задать выбор энва? Определить две configMap и как-то выбирать между ними или же как-то по другому ?

    • @petrelevich
      @petrelevich 11 месяцев назад

      Второй configMap делать не надо. Лучше применить шаблонизатор типа Helm

  • @wildjoe6259
    @wildjoe6259 11 месяцев назад

    Спасибо!

  • @anjelomanoranjan
    @anjelomanoranjan 11 месяцев назад

    Сергей, спасибо за то, что предоставили исходный код) Это очень важно для новичков)

  • @anjelomanoranjan
    @anjelomanoranjan 11 месяцев назад

    Спасибо огромное) шикарное видео! Честно говоря, не помню чтобы встречал разорванное текстовое сообщение. Насколько знаю, текстовые сообщения передаются по протоколу TCP, а этот протокол должен ГАРАНТИРОВАТЬ целостность отправленных пакетов.

    • @petrelevich
      @petrelevich 11 месяцев назад

      Пакеты придут полностью, но длинные сообщения могут прийти по частям или наоборот вместе. Посмотрите предыдущее видео про нагрузочное тестирование. Там всплывали подобные моменты. И еще момент - в этом видео речь идет уже о "бизнес - логике", тут получение по частям максимально вероятно из-за буферизации на стороне "tcp-сервера".

    • @anjelomanoranjan
      @anjelomanoranjan 11 месяцев назад

      @@petrelevich благодарю за развёрнутый ответ

  • @wildjoe6259
    @wildjoe6259 11 месяцев назад

    Спасибо! Довольно познавательный цикл получился. Не так давно, нечто подобное у себя на проекте реализовывали с командой. За идею с применением концепции конечных автоматов в кейсе с парсингом, прям большой респект!

  • @MaximBodrov
    @MaximBodrov 11 месяцев назад

    Вопрос к Сергею, не первый раз уже слышу его мысль о важности groupID для консьюмера, т.е. если скопировать код из другого проекта и не изменить имя группы, то он (консьюмер) будет "красть" не свои сообщения. И вот тут у меня непонятки: ведь мы при настройке консюмера указываем еще и имя топика, на который он подписан. Я так понимал, для того чтобы он забирал по ошибке сообщения из другого проекта, нужно чтобы и имя группы, и имя топика совпало, а это еще более малый шанс

    • @petrelevich
      @petrelevich 11 месяцев назад

      Да, имя топика должно быть то же. И конечно, тот же инстанс kafka. Вероятность "кражи" зависит от характера приложения. Представьте, что это очередь заказов в магазине и куча систем работают с этой очередью: кто-то аналитику делает, кто-то отправку организует, кто-то уведомления рассылает. Для kafaka типовая ситуация, когда с одним топиком работает много систем.

  • @ekaterinagalkina7303
    @ekaterinagalkina7303 11 месяцев назад

    Смущает фраза из доки "that max.poll.records does not impact the underlying fetching behavior". Т.е. звучит так, что сетевые запросы - это одно, а poll() - другое, и на сетевые запросы к кафке настройка не влияет. Т.е. запрошенный объем данных где-то еще кэшируется, а that max.poll.records - всего лишь размер массива. max.poll.records The maximum number of records returned in a single call to poll(). Note, that max.poll.records does not impact the underlying fetching behavior. The consumer will cache the records from each fetch request and returns them incrementally from each poll. А для fetch другие настройки есть - максимальный размер в байтах и т.д. Но тогда непонятно, как по poll кафка определяет, что консьюмер упал. Правда, есть еще другая настройка heartbeat.interval.ms для пинга от консьюмера.

    • @petrelevich
      @petrelevich 11 месяцев назад

      Параметры запроса к брокеру определяются конфигом: package org.apache.kafka.clients.consumer.internals; public class FetchConfig<K, V> { final int fetchSize; final int maxPollRecords; где this.fetchSize = config.getInt(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG); this.maxPollRecords = config.getInt(ConsumerConfig.MAX_POLL_RECORDS_CONFIG); сам запрос формируется тут: package org.apache.kafka.clients.consumer.internals; public abstract class AbstractFetch<K, V> один из его параметров .setMaxBytes(fetchConfig.maxBytes) а fetchSize используется в вычитывании из внутреннего буфера. Вот с этим буфером еще надо поразбираться.

  • @evgenykuznetsov7490
    @evgenykuznetsov7490 11 месяцев назад

    топ как всегда, крутая тема👍

  • @qreol136
    @qreol136 11 месяцев назад

    Житель из деревни