Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.
HTML-код
- Опубликовано: 5 июн 2022
- Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/nzp90
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Что такой kafka?
Что такое kafka topic и зачем этот топик нужен?
Что такое partition topic kafka и сколько партиций тебе нужно?
Что такое consumer и producer. Чем они отличаются и чем схожи?
Верхнеуровнево разберем как отправляется и считываются сообщения в kafka?
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavlenkoat
★ Яндекс.Деньги: money.yandex.ru/to/4100124083...
★ www.donationalerts.com/r/pavl...
★ www.tinkoff.ru/rm/pavlenko.an...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit 
Наука
Вау! Все по полочкам! четко и без воды! Продолжать однозначно.
Спасибо за информативное видео!
Как раз решил почитать про кафку поподробнее и тут выходит видос )
Супер!!! Рад что вы продолжаете видео выкладывать! Развод это не конец, а только начало жизни.
Да я как-то и не парился насчет развода. Ну развелся и развелся. Идем дальше. Если найду женщину с которой мне попути, то сойдемся. Нет. Я и так в жизни реализуюсь. Плюс есть ребенок с которым мы проводим переодически время.
3:50 перепутано понятие партиции и реплики.
Партиции нужны для масштабирования параллельной обработки сообщений консьюмерами. (К одной партиции может подключиться только один консьюмер)
В партициях находятся РАЗНЫЕ сообщения одного топика.
верно, а реплики хранятся в разных брокерах. Еще момент - данные в топиках удаляются, точнее в каждой партиции удаляются сегментами по выставленной настройке (ограничения на макс размер партиции или времени хранения).
К одной партиции может подключиться только один консьюмер с одной и той же группы консьюмеров. Т.е. два консьюмера с разных групп МОГУТ читать одну и ту же партицию
ооо на прошлой работе столкнулся с kafka и тогда понятия не имел об этом, такие видео очень помогают быстро уловить суть
Все точно без лишней инфы. Большое спасибо! Точно продолжайте
Огромное спасибо за твои видео! Максимально короткие и полезные)
Спасибо! Продолжайте, тема полезная!
Огромное спасибо! Не останавливайся, продолжай пилить контент
Спасибо. Как раз появилась необходимость именно структурировать разрозненные данные о Кафке )
Как раз пришел в компанию администрировать кафку) Продолжай!
Спасибо, очень в тему. Ждём продолжения :-)
Тема интересная, а подача очень хорошая. Продолжайте по возможности. Спасибо.
Очень доступно рассказываете, спасибо!
Привет! Снимай ещё! Хорошо получается. Чётко, доступно. Жду продолжения ))
Спасибо за видео ролики. Очень полезно
Очень классное видео, спасибо!
Спасибо огромное за видео. Только теперь я разобралась, что это такое Кафка.
Конечно, продолжай снимать видео !
Спасибо! да было бы здорово увидеть от тебя еще одно видео по кафке(грефневой)
Очень нужно продолжение!
Спасибо большое, Антон, очень понятно объяснили!
Спасибо большое, интересно, доступно, понятно!
Классно. Интересно. Почти понятно. Нужно ещё )
Антон, тема очень интересна. На новой работе Кафка это моя основная задача) Если можешь то выведи на монитор консоль и сделай пару примеров с консьюмер группами
Ждем продолжения!
Спасибо за видео.Коммент в поддержку!
Очень познавательно, спасибо большое 👍🏻
продолжай, тема интересная. Жги!
Тема интересная. Продолжать определенно стоит
Очень нужно. Я как раз столкнулся с этим.
Вот, тут уж смело лайк, уже не поликлиника. Еще бы в следующих выпусках с реальными скринами - и будет вообще огонь.
Спасибо, огромное!! Ты крутой! Очень понятно! Было бы круто ещё видео инструкции посмотреть. На практике.
А я люблю kafky гречневую. Спасибо за ролик, так держать! Хотелось бы увидеть на практике применение.
Антон, огромное спасибо за твои видео! Постигаю DevOps практики, аттестация в УЧ на этой неделе. Невероятные объемы информации поглощены, пол года трудов. В скором времени проходить собесы.
как успехи с трудоустройством?)
Отлично выглядишь, Антон. Здоровье явно пошло на поправку. Молодец.
Спасибо за ролик!
спасибо, очень актуально, буду ждать продолжения
Продолжение есть на канале. Его не смотрели
@@pavlenkoat , уже посмотрела, теперь жду ещё)
Продолжать! В том же духе! Так же бодро, юмористично и доходчиво!👍
А я девочка и я хочу увидеть конфиги! Где они лежат, что из себя представляют. И еще примеры с числами. 🤗
Антон, большое спасибо за видео(очень содержательно за такое время), хотелось при возможности больше подробностей про сообщении, топики, особенно меня интересует тема с доставкой сообщений конкретным пользователям, что лучше использовать? много топиков или ключи в сообщениях? просто не очень до конца понимаю механизм Kafka
Спасибо. Хорошо бы еще наглядности добавить, а то объем новых слов в 8 минутах немного зашкаливает и сложно все сразу уложить в голове.
хахаха про девку топ, командир, а сделай стрим как поднимаешь кафку например или просто видос пожалуйста
Познавательно. Спасибо.
Начало должно начинаться с речи -а сейчас Я вам покажу, откуда Kafka... ну и .т. д. :)
Спасибо огромное! :)
Очень хотелось бы на практике рассмотреть, в вашем исполнении
Давай дальше по кафку, интересно!
Последнее видео не зашло как наберёт. 4000 просмотров продолжу
Отличное видео
Спасибо большое, Антон, и за ролик, и за то, что сдержал обещание из коммента к прошлому видео по Кафке. Я наконец сообразил, как устроена ее архитектура, и теперь буду ждать видеопримеров, так сказать, «на кошках». Надеюсь, у тебя найдётся подходящий стенд для демонстрации.
Стенда к сожалению нет. Небольшую практику опишу в телеграм канале. Как можно потыкать Кафку.
Антон, вы сказали, что сейчас происходит отход от зоокипера - не могли сказать, куда этот отход идет, что сейчас является главной альтернативой? сменится подход coordination service в целом или будет переход на другую библиотеку?
Кайфовый выпуск
Спасибо!
Спасибо за видео Антон!
Если будешь делать следующий урок, расскажи пожалуйста про жизненный цикл сообщений и как влиять на него. Просто ты сказал что они не удаляются, а что с ними происходит и как этим управлять интересно.
Уже даже кусок сценария есть по поводу очистки. Я его вырезал из этого видео.
зашёл просто для лайка
поставил лайк, написал коммент
Интересно!)
Заваривайте вашу любимую кафку. )))
Как раз заварил себе овсянную кафку из пакетика перед видео. Подсел на неё когда начал худеть.
В другом видео видел что консьюмер не читает из слэйва. Пишет в лидера и читает из лидера. А если лидер падает - выбирается кандидат из фоловеров, в который пиcалось синхронно. Хоть вроде и сделано по аналогии с репликацией БД
огонь
было бы ещё интересно сравнить кафку с rmq и прочими
Спасибо
Привег может посоветуешь какой русскоязычный нормальный ресурс для изучения Kafka?
Поправка - сообщения распределяются по партициям, иными словами в партициях одного топика лежат разные сообщения (не одинаковые)
Ой, а можно еще раз про топики, зачем и как они работают.
Когда нам может пригодиться кафка? Для хранения событий и исполнения ряда действий на событие?
События, логов, пересылка сообщений между приложений. В бигдате его используют.
Интересно
Спс. Но как масштабировать кафку, если нужно добавить в кластер из 3х нод еще 2 ноды без перезагрузки (сервиса) конфига. TCP проксированием через nginx или haproxy ?
Кафка самостоятельная системе. Если за неделю наберётся 3000 просмотров расскажу в следующем видео Как происходит балансировка нагрузки и добавления новых нод. Если нет то наверно придётся закруглятся. Так как у меня уже что-то мотивация от количества просмотров пропадает. Но я подожду.
В чем преимущество у Кафки перед rabbitmq?
Круто, готов купить ваш платный курс по кафка
Посмотрел. Понравилось. Продолжать.
А сколько всего уроков запланировано?
Или "как пойдёт"?
Hint: я когда о чем-то планирую рассказать, сначала составляю план уроков, и первый урок - обзор плана.
P.S. стенд, про который народ, справедливо, спрашивает - это хорошо-бы, но ему нужна какая-то практическая задача. Был у меня такой проект и курс NETMandala, мы на столе сеть оператора связи собирали, с нуля. Тут если делать стенд, какая-то подобная идея нужна, которая вытекает из тех реальных задач, где Кафка применяется.. про это, кстати, тоже можно рассказать..
P.P.S. этот комментарий, с размышлениями вслух - для алгоритмов, все вопросы - риторические и не требуют ответа ;)
Как пойдёт. Сейчас основы расскажу потом буду делать отдельные ролики о разных фишках. На ютубе мало смотрят многосерийные выпуски почему-то. Поэтому я и байтю на просмотры.
А разве через admin api не удалить сообщения? deleteBefore например по офсету
Пользователю оно недоступно.
Все же, без теоретической подготовки computer science тяжеловато понять.
Примеры были бы очень кстати
More Kafka
Так, мне задачу делать надо. Где продолжение?)
ruclips.net/video/hY9WfVRVFPE/видео.html
Но увы не зашло видео без напоминания))))
А если они никогда не удаляются, не значит ли это что память просто закончится в один прекрасный момент?
Они не никогда не удаляются скорее их нельзя удалить
Мсьё, Вы извините меня, но в скором времени я Вас затеребонькаю вопросами=)))
И информация вроде как полезная. И вы вроде все хорошо рассказываете, и юмор присутствует в оптимальных объемах.
Но если я не разрабатываю веб-приложения (и вряд ли хочу этим заниматься) и не пытаюсь организовать обмен данными между ними, то выходит что мне это не нужно.
Я не знаю что делать. Смотрю канал давно и бросать не хочется. Привык уже)
В то же время забивать голову ненужной фигней тоже не хотелось бы.
Такие дела...
Канал это по сути мой профессиональный дневник. Я сейчас работаю над кафкой. Поэтому делюсь с людьми этими знаниями.
фигасе у вас аллегории.
В этом видео мы подключаемся к очереди, а не к потоку)
Ну да ты прав
+
Очень много инфы расходится
Снимай дальше! На безрыбье и рак - рыба.