- Видео 36
- Просмотров 149 572
Сергей Петрелевич
Россия
Добавлен 7 май 2011
Java ThreadLocal, применение в Webflux MDC
На простом примере посмотрим, что такое ThreadLocal в Java и для чего он нужен. Посмотрим как ThreadLocal применяется в логировании.
Как просто можно использовать MDC в Webflux.
Исходный код
Базовые примеры.
github.com/petrelevich/jvm-digging/tree/master/Mdc
Пример с webflux.
github.com/petrelevich/jvm-digging/tree/master/virtual-thread
Чат в телеге для вопросов и обсуждений:
t.me/jvm_home
Как просто можно использовать MDC в Webflux.
Исходный код
Базовые примеры.
github.com/petrelevich/jvm-digging/tree/master/Mdc
Пример с webflux.
github.com/petrelevich/jvm-digging/tree/master/virtual-thread
Чат в телеге для вопросов и обсуждений:
t.me/jvm_home
Просмотров: 270
Видео
Знакомство с Micronaut
Просмотров 7886 месяцев назад
Пример CRUD приложения на Micronaut. Исходный код: github.com/petrelevich/jvm-digging/tree/master/micronaut-demo Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Java virtual Thread
Просмотров 6256 месяцев назад
Посмотрим, что такое virtual Thread (виртуальные потоки) в Java и для чего они нужны. Исходный код: github.com/petrelevich/jvm-digging/tree/master/virtual-thread Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Знакомство с Armeria
Просмотров 4097 месяцев назад
На примере приложения с TINKOFF INVEST API познакомимся с фреймворком Armeria. Исходный код: github.com/petrelevich/trading-public Чат в телеге для вопросов и обсуждений: t.me/jvm_home
TCP Log-appender на java (NIO)
Просмотров 34811 месяцев назад
В предыдущем видео (ruclips.net/video/Krsx3IhO8nM/видео.html) был разработан TCP Log-сервер. Сейчас для него сделаем appender для отправки логов. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
TCP Log-сервер на java (NIO)
Просмотров 30911 месяцев назад
В предыдущем видео (ruclips.net/video/QZlklg5GzX0/видео.htmlsi=sIX4DnOFL4qoO0_1) был оптимизирован TCP сервер. Сейчас на его основе сделаем сервер для приема логов. Для парсинга потока байт применим конечный автомат. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home Рассказ про конечные автоматы: ruclips.net/video/TwyrwgFVyy0/видео.html...
Оптимизация неблокирующего TCP сервера на java (NIO)
Просмотров 47611 месяцев назад
В предыдущем видео (ruclips.net/video/KhSMQJ3TaGw/видео.htmlsi=c4k2NJzw0KoGXDaU) был разработан TCP сервер. Сейчас проведем нагрузочное тестирование и оптимизируем потребление памяти. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Неблокирующий TCP сервер на java (NIO)
Просмотров 1,2 тыс.Год назад
В предыдущем видео (ruclips.net/video/udFia_0ZB0Q/видео.htmlsi=SOS6R56Bww1gY_Ae) мы посмотрели как можно реализовать блокирующий сервер. Сейчас давайте взглянем на неблокирующий вариант TCP сервера на java. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Блокирующий TCP сервер на java
Просмотров 694Год назад
На простом примере посмотрим как можно реализовать блокирующий TCP сервер на java. Исходный код: github.com/petrelevich/tcp-server-client Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Рассказ про exactly once в kafka
Просмотров 1,8 тыс.Год назад
Транзакции в Kafta предназначены для работы с двумя очередями. А что делать, если надо брать сообщение из очереди и обрабатывать, причем строго один раз. Об этом и поговорим. Исходный код примеров: github.com/petrelevich/jvm-digging/tree/master/kafka Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Конечные автоматы в Java
Просмотров 1,5 тыс.Год назад
Посмотрим, что такое конечные автоматы и как их можно применить в Java Это техническая часть вебинара: ruclips.net/user/live3r8sjj434FU?feature=share Обучаем программированию на Java: otus.ru/lessons/java-professional/ Примеры: github.com/petrelevich/jvm-digging/tree/master/statemachine Пример применения идеи автомата для парсинга потока байт: ruclips.net/video/Krsx3IhO8nM/видео.htmlsi=c6Wz0-hb...
Составной первичный ключ, Spring Data Jdbc
Просмотров 738Год назад
Посмотрим, как в Spring Data Jdbc можно работать с таблицами, у которых составной первичный ключ. Исходный код: github.com/petrelevich/jvm-digging/tree/master/springDataJdbc Чат в телеге для вопросов и обсуждений: t.me/jvm_home
reactor kafka
Просмотров 1 тыс.Год назад
Рассмотрим, что такое Reactor Kafka и узнаем как им пользоваться. Это техническая часть вебинара: ruclips.net/user/liveRjhOkvEqFJA?feature=share Обучаем программированию на Java: otus.ru/lessons/java-professional/ Примеры: github.com/petrelevich/jvm-digging/tree/master/kafka Чат в телеге для вопросов и обсуждений: t.me/jvm_home
kafka в приложениях на SpringBoot
Просмотров 3,6 тыс.Год назад
Рассмотрим, как использовать стартер springBoot для работы с Kafka. Это техническая часть вебинара: ruclips.net/user/live9FikRH8rXas?feature=share ruclips.net/user/liveY-ClxJozvCo?feature=share Обучаем применению Kafka: otus.ru/lessons/kafka/ Примеры: github.com/petrelevich/jvm-digging/tree/master/kafka-spring Чат в телеге для вопросов и обсуждений: t.me/jvm_home
Примеры применения caffeine и ehcache в java
Просмотров 1,2 тыс.Год назад
В этом видео рассмотрим примеры применения популярных кешей caffeine и ehcache в java Примеры: github.com/petrelevich/jvm-digging/tree/master/cacheDemo Чат в телеге для вопросов и обсуждений: t.me/jvm_home
r2dbc. Реактивное подключение к Postgresql в приложениях на Java
Просмотров 1,4 тыс.Год назад
r2dbc. Реактивное подключение к Postgresql в приложениях на Java
Объектно-ориентированное и функциональное программирование
Просмотров 8412 года назад
Объектно-ориентированное и функциональное программирование
gradle plugin на Kotlin для проектов на Java
Просмотров 1,1 тыс.2 года назад
gradle plugin на Kotlin для проектов на Java
Применение kafka для связи микросервисов на Java Spring Boot
Просмотров 34 тыс.2 года назад
Применение kafka для связи микросервисов на Java Spring Boot
Пример реактивного приложения на Spring WebFlux
Просмотров 8 тыс.2 года назад
Пример реактивного приложения на Spring WebFlux
Deploy микросервисов на Java Spring Boot в Kubernetes
Просмотров 10 тыс.3 года назад
Deploy микросервисов на Java Spring Boot в Kubernetes
Разработка двух микросервисов на Java Spring Boot
Просмотров 23 тыс.3 года назад
Разработка двух микросервисов на Java Spring Boot
gRPC для микросервисов или не REST-ом единым
Просмотров 4,6 тыс.3 года назад
gRPC для микросервисов или не REST-ом единым
понятно
Отличная лекция, спасибо. Но мне кажется лучше просто в записи кидать. И было бы не плохо, если б немного больше теории. В частности здесь в целом что такое ThreadLocal, для чего он, а затем уже код.
Одно непонятно что делать если у нас две разные базы данных для финансов и для бд с сохранением состояния Кафки тогда завернуть в транзакцию не получится и нужно будет табличку з записями про обработку данных из портиции тащить в базу з платежами.
Т.е. надо консистентно вставить в две базы данных? Для этого надо использовать или распределенные транзакции или сагу.
как-то все очень душно, я не могу такое смотреть
А как лучше работать с кешем? Использовать абстракцию в виде аннотаций типа @Cacheble и др? Или работать с помощью методов напрямую, как у вас в примере?
Это дело вкуса и принятых на проекте практик. Я больше люблю работать напрямую без лишних посредников.
Спасибо, как всегда очень доходчиво и наглядно
Мне далеко не все уроки Сергея нравятся, но этот прям хорош!!! Спасибо!!!
а мне все нравятся
братик, спасибо тебе
Спасибо за лекцию. А как Вы запускали docker-compose.yml ? Правильно я понимаю, что мне надо установить docker desktop (под windows) и там уже есть docker compose ? P.S. в указанном чате отсутсnвует данная лекция.
Что будет, если ожидаемое событие для перехода между состояниями не произойдет? Как обрабатывать такие случаи?
Если надо ограничивать время перехода, то стоит добавить таймауты.
Спасибо, доступно. Я бы ещё добавил про особенности пересборки проекта при использовании api/implementation
Так а в чем прикол? Томкат чтобы обработать 200 реквестов запустит 200 трэдов. А нэтти если прилетят 200 риквестов одновременно - что сделает? Эвент лупом примет эти 200 реквествов, а затем запустит 200 трэдов, которые будут обрабатывать их... я не прав?
Netty все эти 200 запросов будет обрабатывать ограниченным числом потоков, в соответствии с конфигурацией. Скорее всего, их будет столько, сколько доступно ядер. Т.е. для обработки 200 запросов, надо будет не 200 потоков, а порядка 5-10. Но эти запросы должны быть неблокирующие.
@@petrelevich спасибо за быстрый ответ. Но немного не ясно. Представим вэб приложение, которое обращается к базе, выполняет сиквел, отдает ответ клиенту. И вот это приложение получило 200 риквестов, и соответственно должно сделать 200 запросов в базу. Т.е. если моё понимание верно, то вот эти обращения к базе будут выполнены не эвент луп трэдом, а другими трэдами, назовём их воркер трэдами. Если предположить что,запросы к базе долго играющие и их одновременно 200, не значит ли это, что система помимо 5-10 эвент луп трэдов запустит ещё 200 трэдов для коммуникации с базой данных? Заранее спасибо
@@rainqirimli5457 работа с базой - дело особое. 200 сессий может и не выдержать. Да и connection pool обычно настроен на более скромные лимиты. Далее вопрос: база данных на блокирующем драйвере или реактивном. Если на блокирующем, как пример, jdbc, то все 200 запросов уйдут в очередь, у которой кол-во поток будет равно кол-ву connection-ов в пуле. Если база данных реактивная, то все равно, скорее всего образуется очередь, т.к. все равно будет какой-то connection pool и на нем будет ограничение кол-ва подключений.
воды много - все умещается в 20м-30м от силы
Сергей, у Вас нет в планах сделать видео с разбором популярных и нетривиальных операторов Project Reator ? Как бы это было бы круто 🥺
Сейчас готовлю доклад про замену webflux на virtual thread. В нем как раз будут такие операторы. Т.е. про случаи, когда заменить будет трудно.
Вопрос по коду. Создание KafkaReceiver (класс ReactiveReceiver) KafkaReceiver.create(options) .receiveAutoAck() .concatMap(consumerRecordFlux -> { log.info("consumerRecordFlux done, commit"); return consumerRecordFlux; }) .retryWhen(Retry.backoff(3, Duration.of(10L, ChronoUnit.SECONDS))); 1. Почему выбран метод concatMap? Какая его логика? Мы могли бы использовать например doOnNext для логирования очередного элемента потока. 2. Почему используется backoff в retryWhen, а не fixedDelay например?
1. concatMap преобразует Flux<Flux<ConsumerRecord<K, V>>> receiveAutoAck() в Flux<ConsumerRecord<K, V>>, doOnNext не подойдет 2. backoff реализует exponential backoff strategy, т.е. каждая следующая попытка будет выполняться с большим интервалом, а fixedDelay задает интервал фиксированный.
+
Отличное объяснение!! Спасибо.
Спасибо! Стало быть, у Micronaut Reactor под капотом? Или его надо специально подключать?
reactor приезжает транзитивно с другими зависимостями.
Спасибо за просветительскую работу!
Спасибо!!!!!!
Спасибо!
Спасибо!
Спасибо! Понятное объяснение. Было очень интересно)
Сергей, огромное спасибо за видео! Как всегда всё познавательно и внятно, как на курсах)
Спасибо, интересно и полезно. Пример со Спринг Бута тоже было бы классно вместе посмотреть)
Сори, не смог до конца досмотреть, такое монотонное объяснение, тяжело очень для восприятия, несколько раз перематывал, так как терял логическую цепочку, что происходит. Ужасное объяснение, хотя структура прекрасная абсолютно
Жду шестую серию сериала)
Я думаю, что стоило хоть разок запустить приложение и показать как оно работает)))
да, это было бы полезно
Интересно, но к сожалению "плохой звук": через наушники слышно нормально, а вот на средних динамиках не слышно.
Спасибо. Без базы данных нельзя обойтись?.. Это же потеря скорости.
Можно обойтись, если не требуется гарантия exectly-once. Такая гарантия действительно редко нужна.
@@petrelevich Странно, такая гарантия всегда была нужна на моих работах.
@@konstantinchvilyov9602 Например, exectly-once точно не надо в логгировании, телеметрии, социальных сетях и т.е., когда что-то иногда можно потерять. И exectly-once почти всегда обязателен в платежах.
Классный проект (особенно порадовал production-ready подход к разработке). Очень интересно будет следить за его развитием в полноценную систему. Такие видеосериалы с постепенным построением готовой неучебной платформы, на мой взгляд, как раз лучшие для обучения начинающего: позволяют понять для чего каждый элемент и чем отличаются подходы P.S. кстати, не понял, почему в качестве мапперов для таких объемных дто не использовался mapstruct, он легковесный и одной строкой заменяет все эти полотна кода?
>кстати, не понял, почему в качестве мапперов для таких объемных дто не использовался mapstruct, он легковесный и одной строкой заменяет все эти полотна кода? да, можно его использовать. И это еще один вопрос - а нужно ли тут вообще dto.
@@petrelevich ну сами по себе иммутабельные ДТО часто бывают полезны (помогают при формализации необходимого контракта для клиента, и полезны для его документирования, помогают при валидации данных, если модель анемична, могут часто помочь при дальнейших доработках, уменьшая связанность между моделью и интерфейсом клиента и т.п.), и при этом они "есть не просят" особо, как говорится, поэтому лично я полагаю, что лучше с ними, чем без них
Хорошее видео, спасибо :) Нет ли в планах создания полноценного курса по какой-либо из тем? Или если есть может кто-то сказать название и где можно приобрести?
Пока таких планов нет, но все возможно в будущем :)
Спасибо. Посмотрел позже. Было интересно и полезно.
Отличное видео, пересмотрел второй раз спустя время и всё понял. Замечательный пример про бармена. Пожалуйста, продолжайте использовать такие бытовые примеры для объяснения - очень хорошо запоминается.
Спасибо, отличное видео!
Петрелевич очень умный парень, хорошо доносит
Очень хорошо объяснили ! Спасибо !
Если guava есть в classpath, то по какой причине libApiUse ее не видит?
не видит, если используется scope - implementation
Из разряда "как нарисовать сову": 1. рисуем три кружка; 2. дорисовываем до совы. Отус такой ценник за свои курсы лупит, а лайф-кодинг поленился сделать даже на вводном уроке. Смотрите - это парсер, ну парсер и парсер, ничего особенного 😅 Спринг так же объясняете?) Это бин, ну бин и бин, ничего особенного, поехали дальше))
Что именно не понятно и требует детального пояснения?
Спасибо большое за видео! Очень познавательно
откуда при раскладе 3 сек на источник и 2 сек на обработчик может возникнуть очередь? источник генерит медленнее чем обработчик обрабатывает. 1,2,3 источник 4,5 обработчик 4,5,6 источник 7,8 обработчик 7,8,9 источник
какую очередь имеете в виду?
@@petrelevich вот тут: 1 час 20 минут
@@Евгений-1 Пересмотрел, начиная с этого момента ruclips.net/video/UDGZV0tzPQ8/видео.htmlsi=WwyOF8Sv5okuUib_&t=4743 Ничего не услышал про "очередь".
@@petrelevich там в комментах задан вопрос и вот текстовая расшифровка: 1:20:57 у вас есть некий некая задержка а на 1:21:15 звучит "и в итоге тут должно больше наплодиться.... чем больше работаем тем больше накапливается разница" это где будет накопление? и откуда возьмется накопление учитывая что генерация медленнее чем обработка?
@@Евгений-1 Теперь понятно, в чем вопрос. В классе DataProducerStringReactor данные генерируются без ограничения скорости, но потом добавляется задержка delayElements(Duration.ofSeconds(3)). Чтобы согласовать быстрый источник и медленный обработчик включается механизм backpressure. Это приводит к тому, что данные создаются в генераторе и буферизируются (накапливаются) пока потребитель не сможет их обработать. После обработки создается новая порция данных и они буферизируются, пока не обработаются. Понятно пояснил? Надо, наверное, видос на эту тему записать?
спасибо очень информативно, только вот вопрос, как скажем из CI задать выбор энва? Определить две configMap и как-то выбирать между ними или же как-то по другому ?
Второй configMap делать не надо. Лучше применить шаблонизатор типа Helm
Спасибо!
Сергей, спасибо за то, что предоставили исходный код) Это очень важно для новичков)
Спасибо огромное) шикарное видео! Честно говоря, не помню чтобы встречал разорванное текстовое сообщение. Насколько знаю, текстовые сообщения передаются по протоколу TCP, а этот протокол должен ГАРАНТИРОВАТЬ целостность отправленных пакетов.
Пакеты придут полностью, но длинные сообщения могут прийти по частям или наоборот вместе. Посмотрите предыдущее видео про нагрузочное тестирование. Там всплывали подобные моменты. И еще момент - в этом видео речь идет уже о "бизнес - логике", тут получение по частям максимально вероятно из-за буферизации на стороне "tcp-сервера".
@@petrelevich благодарю за развёрнутый ответ
Спасибо! Довольно познавательный цикл получился. Не так давно, нечто подобное у себя на проекте реализовывали с командой. За идею с применением концепции конечных автоматов в кейсе с парсингом, прям большой респект!
Вопрос к Сергею, не первый раз уже слышу его мысль о важности groupID для консьюмера, т.е. если скопировать код из другого проекта и не изменить имя группы, то он (консьюмер) будет "красть" не свои сообщения. И вот тут у меня непонятки: ведь мы при настройке консюмера указываем еще и имя топика, на который он подписан. Я так понимал, для того чтобы он забирал по ошибке сообщения из другого проекта, нужно чтобы и имя группы, и имя топика совпало, а это еще более малый шанс
Да, имя топика должно быть то же. И конечно, тот же инстанс kafka. Вероятность "кражи" зависит от характера приложения. Представьте, что это очередь заказов в магазине и куча систем работают с этой очередью: кто-то аналитику делает, кто-то отправку организует, кто-то уведомления рассылает. Для kafaka типовая ситуация, когда с одним топиком работает много систем.
Смущает фраза из доки "that max.poll.records does not impact the underlying fetching behavior". Т.е. звучит так, что сетевые запросы - это одно, а poll() - другое, и на сетевые запросы к кафке настройка не влияет. Т.е. запрошенный объем данных где-то еще кэшируется, а that max.poll.records - всего лишь размер массива. max.poll.records The maximum number of records returned in a single call to poll(). Note, that max.poll.records does not impact the underlying fetching behavior. The consumer will cache the records from each fetch request and returns them incrementally from each poll. А для fetch другие настройки есть - максимальный размер в байтах и т.д. Но тогда непонятно, как по poll кафка определяет, что консьюмер упал. Правда, есть еще другая настройка heartbeat.interval.ms для пинга от консьюмера.
Параметры запроса к брокеру определяются конфигом: package org.apache.kafka.clients.consumer.internals; public class FetchConfig<K, V> { final int fetchSize; final int maxPollRecords; где this.fetchSize = config.getInt(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG); this.maxPollRecords = config.getInt(ConsumerConfig.MAX_POLL_RECORDS_CONFIG); сам запрос формируется тут: package org.apache.kafka.clients.consumer.internals; public abstract class AbstractFetch<K, V> один из его параметров .setMaxBytes(fetchConfig.maxBytes) а fetchSize используется в вычитывании из внутреннего буфера. Вот с этим буфером еще надо поразбираться.
топ как всегда, крутая тема👍
Житель из деревни