Apache Kafka урок 1. Зачем нужна, что это? RabbitMQ vs Kafka vs БД

Поделиться
HTML-код
  • Опубликовано: 6 фев 2025
  • Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/...
    Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka: что это и зачем она нужна? Расскажу эволюцию от запроса, базы данных, сервера очередей к Apache Kafka.
    REST API • Что такое REST API про...
    Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
    Модули в Gitlab CI • GITLAB CI CD сокращаем...
    ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
    ★ Станьте спонсором канала / @pavlenkoat
    ★ Boosty (подписка донаты) boosty.to/pavl...
    ★ Яндекс.Деньги: money.yandex.r...
    ★ www.donational...
    ★ www.tinkoff.ru...
    КОНТАКТЫ:
    ✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
    ✦ DevOps/SRE чат t.me/devopssre
    ✦ Чат для Сисадминов и эникеев t.me/sys_hell
    ✦ Linux чат в TELEGRAM: t.me/linux_wit

Комментарии • 159

  • @kprohorow
    @kprohorow 2 года назад +34

    Проснувшись однажды утром от беспокойного сна Грегор Замза обнаружил себя превратившимся в докер-контейнер)
    Спасибо за видео!

  • @yuri.drozdov
    @yuri.drozdov 2 года назад +13

    У меня в проде и RabbitMQ, и даже Gearman. Но душа моя всегда мечтала о чем-то большем. Спасибо за видео. Жду продолжения.

  • @mironovnikolay
    @mironovnikolay 2 года назад +33

    Спасибо за ролик, Антон. Пожалуйста, в следующем видео приведи предметные примеры, как она работает. Я столько лет слышу про Кафку, про очереди, про сообщения… и никак до меня не доходит, какие сообщения из каких приложений куда передаются. Именно предметно, например: вот приложение-продюсер, вот его очередь сообщений, вот конфиги Кафки, вот приложение-консьюмер, вот переданные Кафкой сообщения. Памятник тебе поставлю! : )

    • @pavlenkoat
      @pavlenkoat  2 года назад +12

      Практика будет но не в следующем видео. Сейчас стенда нет хорошего. Но я доберусь до него. А в теории расскажу.

    • @mironovnikolay
      @mironovnikolay 2 года назад +2

      @@pavlenkoat буду ждать с нетерпением.

    • @dhrunssofast
      @dhrunssofast 2 года назад

      @@pavlenkoat ждем видео, Антон, спасибо вам

    • @pavlenkoat
      @pavlenkoat  2 года назад +2

      @@dhrunssofast к сожалению последнее видео про Кафку за неделю не собрало 3000 просмотров.

  • @BroAGame
    @BroAGame 2 месяца назад

    Спасибо за понятное обньяснение, примеры супер!)

  • @nikryptor
    @nikryptor 2 года назад +8

    Пример великолепный! Спасибо за труд :)

  • @ЕвгенийВовк-ы7ь
    @ЕвгенийВовк-ы7ь 5 месяцев назад

    Антон, спасибо тебе!
    И особенно за примеры из реально-бытовой жизни, для гуманитария самое то😅👍

  • @zoomermer
    @zoomermer Год назад

    Спасибо Антоха - быстро, лаконично и понятно, буду смотреть тебя!

  • @elibogomolnyi9238
    @elibogomolnyi9238 2 года назад +4

    Эта тема очень интересна, пожалуйста, продолжай!

  • @Hadagan_man
    @Hadagan_man 2 года назад +1

    Вы так топите за firstvds, что я начинаю и правда задумываться о нём )) лайк за видео

    • @alekseev74
      @alekseev74 2 года назад +1

      Я 3 севера держу у них, мне нравится. Цены адекватные, а что более важно - тех.поддержка быстро и хорошо работает.

    • @Tavda
      @Tavda 2 года назад +1

      Если нужно что-то за копейки и чтобы работало, хороший выбор. У меня аккаунту уже лет 12. Но я уходил на зарубежный хостинг до начала всем известных событий. Обычно никогда не подводил, но после блокировки телеграма пришлось отказаться, потому что у меня сайт был связан с телеграм ботом. Сейчас вернулся. Да... сервер скромнее, настраивать изначально дольше. Но работает. И стоит дешевле.

  • @unicoxr5tj417
    @unicoxr5tj417 Год назад

    хорошо, что я на канал.) Лайк заслуженно

  • @Romanp4
    @Romanp4 2 года назад +1

    Интересно, жду продолжение! Только просьба звук погромче записать. Выкрутил громкость в наушниках на максимум и к сожалению в транспорте не все слова отчётливо слышны

    • @pavlenkoat
      @pavlenkoat  2 года назад

      Хорошо. Спасибо

  • @Leon__ID
    @Leon__ID 2 года назад +4

    Привет! Да, очень интересная тема, замечательный материал! Ждём продолжения лекций!

  • @webdev2030
    @webdev2030 2 года назад +1

    Всё понятно, про кафку интересно. Лайк влепил)

  • @АйханВалиев-р8ф
    @АйханВалиев-р8ф Год назад +1

    Спасибо за видео!)

  • @shaman7vet
    @shaman7vet 2 года назад +1

    Интересно! Ждём продолжения!)

  • @maxbarannyk9487
    @maxbarannyk9487 2 года назад +5

    Спасибо за наглядность примеров, речь плюс картинка-схема это сразу бонус левел к пониманию услышанного

    • @pavlenkoat
      @pavlenkoat  2 года назад +8

      Создание подобного маленького видео я трачу больше 50 часов. Выматывает) но я стараюсь

    • @АндрейШатунов-я2п
      @АндрейШатунов-я2п 9 месяцев назад

      @@pavlenkoat 50??? Может, пяти-десяти? (голосовой набор подвел?)

  • @gichinfunakoshispb
    @gichinfunakoshispb 2 года назад +2

    Очень доступно и интересно!
    Так держать!)

  • @bennails3447
    @bennails3447 2 года назад

    Супер, ждём-ждём Кафку :)

  • @saimon4947
    @saimon4947 2 года назад

    Ждём продолжения, спасибо!)

  • @dimak6643
    @dimak6643 2 года назад

    Спасибо. Жду продолжений

  • @MrKryuk
    @MrKryuk 2 года назад

    Спасибо за видео! Ждем продолжение

  • @powpowpow666
    @powpowpow666 2 года назад

    крутяк, спасибо! жду следующую часть 👍

  • @dramaturgpodolsk
    @dramaturgpodolsk Год назад +2

    Студенты, вы любите Кафку?
    Ага, особенно грефневую!

    • @bocik2854
      @bocik2854 Год назад +2

      Чето заржал с этого)))

    • @click00013
      @click00013 Год назад +1

      😂

  • @yusufnasirov4513
    @yusufnasirov4513 2 года назад

    Круто, ждем следующее видео

  • @Sergey-vh3vj
    @Sergey-vh3vj Год назад

    спасибо) доходчиво и актуально)

  • @lycan9590
    @lycan9590 Год назад

    Бодренький типок, с щепоткой юморка 😂 Легко впитываеются элементарные основы, на первый взгляд, нудятины. Браво, Автор, это ЛАЙК!

  • @user-zx8pk4qm3k
    @user-zx8pk4qm3k 2 года назад

    Крутое видео!
    Хотим видео про Kafka

  • @Eustrop
    @Eustrop 2 года назад +5

    В качестве тизера - нормально. Но разница между RabbitMQ и Kafka из сказанного не улавливается вообще, даже то, что это разные, конкурирующие продукты про плюс-минус одно и то-же (тут уместно было-бы аналогию с разными стеками сетевых протоколов, например IP и IPX, или ipv4 и ipv6, или IP и OSI)
    Но самое главное - концептуальная разница между СУБД и службами очередей теряется, кажется, что это одно и тоже.
    Это мое субъективное ощущение.

    • @pavlenkoat
      @pavlenkoat  2 года назад +1

      Хм. Основное отличие это то что очередь в кролике опустошается а кафка всё оставляет хранить. За счёт этого разные потребители могут читать сообщения. Как это достигается в следующих видео расскажу

    • @pavlenkoat
      @pavlenkoat  2 года назад +1

      Видимо я слишком всё объединил

    • @Eustrop
      @Eustrop 2 года назад

      @@pavlenkoat Главное - не переживай! Раскроешь тему в следующих роликах. Тема интересная, можешь ещё IBM MQ упомянуть в ряду других MQ. на Kafka внимательно смотрят те, кому нужна замена IBM MQ, а это проекты на года и десятилетия.

  • @cvadrinares
    @cvadrinares 2 года назад +4

    А сине желтый кусочек чего-то типа шарфа в верхнем левом углу это случайность или солидарность? :)

    • @DeeNiskas
      @DeeNiskas 3 месяца назад

      Это ФК Ростов

  • @ОлегСелин-ш9ы
    @ОлегСелин-ш9ы 2 года назад

    Спасибо! Очень интересно продолжение

  • @dmitrytcaregorodtcev8678
    @dmitrytcaregorodtcev8678 2 года назад

    Все круто, продолжай развивать эту тему

  • @abs1music
    @abs1music 2 года назад

    Жду продолжение!)

  • @ВалерийУсов-щ8е
    @ВалерийУсов-щ8е 2 года назад +1

    Антон, спасибо !!!
    Максимально понятно и наглядно для меня !

  • @stasostrin47
    @stasostrin47 2 года назад +3

    Как всегда на самом интересном месте, ждём)

    • @pavlenkoat
      @pavlenkoat  2 года назад +3

      В лучших традициях жанра. Честно хотелось продолжить. Но решили погулять с дочкой. Надо всём внимания уделять

  • @tatarwaruz
    @tatarwaruz 10 месяцев назад

    Спасибо за труд !

  • @coffeepanda722
    @coffeepanda722 2 года назад +1

    Спасибо за видео! Супер полезно! Жаль на нынешнем месте не пригодится, но в будущем может быть мжет быть =)

    • @SergeyRazuev
      @SergeyRazuev 2 года назад

      Абсолютно бесполезное видео. Какое поведение очереди какую из систем симвозилирует решительно не понятно. Подробностей никаких. Отказать.

  • @alexeystaroverov4804
    @alexeystaroverov4804 Год назад +1

    1) консюмер не удаляет сообщения и не возвращает их
    2) так чем в итоге рэббит от кафки отличается можно подытожить? ( кафка распр, отказуст, - да) но в двух словах?

  • @РусланУразбахтин-д2в
    @РусланУразбахтин-д2в 2 года назад +1

    можете тогда ещё про 'тарантул' рассказать?

  • @MargaritaBurenina
    @MargaritaBurenina Год назад +1

    Спасибо за такое изложение материала

  • @ИвановИван-ж7з
    @ИвановИван-ж7з 2 года назад +1

    Норм тема, актуальная!

  • @alex-ma-boy
    @alex-ma-boy 2 года назад

    хорошо рассказываешь! продолжай в том же духе!!

  • @mew6085
    @mew6085 2 года назад +1

    Понятно и интересно спасибо!

  • @everlastingfantasy5461
    @everlastingfantasy5461 2 года назад

    Интересно узнать подробнее про Apache Kafka

  • @timka3464
    @timka3464 2 года назад

    ждем продолжения

  • @ГОРЕБЛОГЕР-х5к
    @ГОРЕБЛОГЕР-х5к 2 года назад

    Почему этот человек не преподавал в моем ВУЗе? Спасибо!!!

    • @pavlenkoat
      @pavlenkoat  2 года назад

      Потому что я айтишник, а не препод

    • @ArchDevWorkshop
      @ArchDevWorkshop 2 года назад +1

      А пора айтишникам преподавать, особенно практикам у которых большой опыт именно практического использования

  • @JustWarriorOfFreedom
    @JustWarriorOfFreedom Год назад

    Очень полезный канал и плейлист, наконец-то стало понятнее как работает этот чудо брокер. Спасибо Антон, ты лучший, пожалуйста не останавливайся и неси проф знания в массы!!!!

  • @frolovskii_v
    @frolovskii_v 2 года назад

    ой вот это полезно. есть один сервак с кафкой, который я должен админить, а что такое кафка - это брокер сообщений)...

  • @ВалерияПирог-е1и
    @ВалерияПирог-е1и 2 года назад

    Интересно, да, спасибо

  • @observer777777
    @observer777777 9 месяцев назад +1

    Это сообщение было отправлено через kafka?

  • @tigergenom
    @tigergenom 2 года назад

    Спасибо за ролик

  • @ripnunyi7435
    @ripnunyi7435 2 года назад

    Привет! А в верхнем левом углу экрана это твоя поддержка? Автор думаю понял о чем я…

  • @lehaufa
    @lehaufa 2 года назад

    Очень интересно!

  • @TheNinesku
    @TheNinesku 11 месяцев назад

    Привет Аквамэн!

  • @ASkl-w6j
    @ASkl-w6j 6 месяцев назад

    Вері найсʼ)

  • @ПавелПетрович-х6н
    @ПавелПетрович-х6н 2 года назад

    Эта тема интересная. Сейчас на многих проектах используется событийная интеграция.

  • @Lifetimenq
    @Lifetimenq 2 года назад

    А вот такой вопрос по кафке. Если она используется как лог, то не будет ли падать скорость работы если число записей лога будет быстро расти, ну например по 10 миллионов записей ежемесячно?

  • @anatolys9203
    @anatolys9203 10 месяцев назад

    спасибо, класс

  • @annachurkina2588
    @annachurkina2588 2 года назад

    Антон, спасибо за ролик! Хотелось бы узнать как producer и consumer узнают в какой топик писать/читать

    • @pavlenkoat
      @pavlenkoat  2 года назад

      Это задаётся в конфиге.

  • @АндрейЩербаков-ц4ь
    @АндрейЩербаков-ц4ь 2 года назад +1

    Привет, интересная штуковина. Так как я не настолько широкий ИТ специадист мне было и будет интересно понять про kafka логгированте (ели написал не правильно не судите смотрю и пишу с телефона в промежутках между работой.)

  • @barma1309
    @barma1309 2 года назад

    Ооо.. супер. Давно пора

  • @ПараличСонный
    @ПараличСонный 2 года назад

    Продолжение уже есть?)

  • @smokzpolski
    @smokzpolski 2 года назад +2

    Не совсем понял, зачем это нужно. И хотелось бы больше в стиле АДВ-ИТ: ты лучше покажи простой пример с кодом и как работает, чем теория про поликлиники. Я вот посмотрел и не понял, чем это лучше SNQ/SQS или Kinesis от AWS

    • @pavlenkoat
      @pavlenkoat  2 года назад

      Зачем касплеить АДВ-ИТ ? Смотри его.

    • @smokzpolski
      @smokzpolski 2 года назад

      @@pavlenkoat Антон, ты правда не понял, о чем я? Говорю еще раз - мало конкретики, много поликлиник. Попробуй пространные рассуждения иллюстрировать показом кода и решений, а не только себя.

    • @pavlenkoat
      @pavlenkoat  2 года назад +1

      @@smokzpolski Ты видимо тоже меня не понял. У меня стиль такой повествования. Если тебе нравится стиль АДВ-ИТ. Смотри его. Этим и хорош ютуб можно подобрать спикера по своему вкусу. И какой код показывать когда я рассказываю людям как можно рассуждать при выборе того или иного инструмента на примере Kafka? Плюс показал зачем нужна Кафка. Я учу людей думать.

    • @millkiway3682
      @millkiway3682 6 месяцев назад +1

      Так а зачем Кафка то если есть раббитмкю ?

  • @Multium
    @Multium 2 года назад

    Продолжай. Больше инфы.

  • @kirtan_berdsk
    @kirtan_berdsk 2 года назад

    Запишите видео, как с кафкой в php работать

  • @fedorovnikolay8033
    @fedorovnikolay8033 2 года назад

    А где следующая часть?

  • @George-tt4pt
    @George-tt4pt 2 года назад

    спасибо

  • @andrey.nekrasov
    @andrey.nekrasov Год назад

    У вас вся команда занимается подержкой ТОЛЬКО одного продукта/программы? Нет 20 переключений в день на что то другое?

  • @proletarian
    @proletarian 2 года назад

    Назвал в честь одноименного писателя потому что процесс настройки данного инструмента становится Кафкианским?

  • @tswtcjahhgg
    @tswtcjahhgg 2 года назад

    Интересно

  • @ДмитрийАверьянов-щ4г

    Тема интересная и в тоже время на Ютубе нет про неё особо информации. Только в общих чертах. А хотелось бы такого материала, ознакомившись с которым, можно было этот скил себе в резюме писать))

    • @pavlenkoat
      @pavlenkoat  2 года назад +1

      Ну в резюме писать посмотрел видео Антона Павленко такое себе. Так как ценится практическое применение в боевых условиях теоритические знания

    • @ДмитрийАверьянов-щ4г
      @ДмитрийАверьянов-щ4г 2 года назад

      @@pavlenkoat так и я о том. Что материал по Kafka в интернете такой, что больше чем "посмотрел видео по этой теме" сказать ничего не можешь. Было бы здорово, если материал был такого качества, что после просмотра серий видео, я спокойно мог использовать Kafka в pet project например

    • @pavlenkoat
      @pavlenkoat  2 года назад

      @@ДмитрийАверьянов-щ4г Сколько будет этих роликов зависит от интереса зрителей и найду ли я спонсоров. Знаешь я учился по материалам из интернета. Все лежит на поверхности. Только надо постараться поискать.

    • @ДмитрийАверьянов-щ4г
      @ДмитрийАверьянов-щ4г 2 года назад

      @@pavlenkoat Ну ок, тогда видео по Kafka не нужны, всё есть в интернете))

  • @romuelson
    @romuelson 2 года назад

    Круто

  • @EXANIX
    @EXANIX 2 года назад

    Можно продолжить по кафке чутка. А то только индусов смотреть на Udemy )))

  • @Айтишниковскиебудни
    @Айтишниковскиебудни 2 года назад +2

    привет. полезно. Антон, слева кусочек укр флага это слишком толсто))))

    • @pavlenkoat
      @pavlenkoat  2 года назад +5

      Это шарф ФК Ростов

  • @lego927
    @lego927 Год назад +1

    Аквамен уже не тот😀

  • @MIS0LATE
    @MIS0LATE 11 месяцев назад +1

    Те самые 80к смотрящих которые хотели найти аниме девочку и игры, и перешли на Линукс

  • @АлександрЗахаров-ф8э

    очень жду инфы про kafka

  • @someelse989
    @someelse989 2 года назад

    Интересно, продолжай

  • @nocomment8446
    @nocomment8446 2 года назад

    а чем сообщение отличается от пакета?

    • @pavlenkoat
      @pavlenkoat  2 года назад

      Пакет это более низкоуровневое.

  • @IgorYegorkin
    @IgorYegorkin 4 месяца назад

    Беспринципно принципиальные бабки 😂

  • @SystemEducation
    @SystemEducation Год назад

    Спасибо за наглядный пример. Мы разбирались с Rabbit MQ с точки зрения аналитика, вот ruclips.net/video/64v2tP3JVRU/видео.html

  • @sergeygorbulko7737
    @sergeygorbulko7737 8 месяцев назад

    Kakafka 😂

  • @ihor8139
    @ihor8139 7 месяцев назад

    Какая ЗП ДеввОПССС в раше ? Обои СССР или норм, все так живут как бомжи ?

  • @21JackHammer
    @21JackHammer 2 года назад

    приятная жидкость - тупо бутылка воды разливной!

  • @КритикЛатунский-х1т
    @КритикЛатунский-х1т 11 месяцев назад

    Ненавижу отвечать за прод!!!

  • @abiteev_alihan
    @abiteev_alihan 2 года назад

    Найс

  • @ViacheslavHudzovskyi
    @ViacheslavHudzovskyi 2 года назад

    теме ап!

  • @oeaoo
    @oeaoo 2 года назад +1

    Кафку зовут не Франк, дядя.

    • @ArchDevWorkshop
      @ArchDevWorkshop 2 года назад

      Ошибся автор, Франц Кафка. Но думаю это не критично

  • @SergeyRazuev
    @SergeyRazuev 2 года назад

    Франц Кафка, а не Франк.

  • @evgeny7625
    @evgeny7625 2 года назад

    За флаг на стенке -- сразу лайк

  • @sergeivaluev5676
    @sergeivaluev5676 2 года назад +2

    Ну не знаю. По-моему, все эти далёкие от практики примеры только отвлекают, раздувают таймлайн и одна тема оказывается порванной на два видео.

    • @pavlenkoat
      @pavlenkoat  2 года назад

      Почему далёкие от практики? Я показываю как можно рассуждать при выборе того или иного инструмента для проектирования приложения. Ведь любая информационная система должна автоматизировать что-то из реальной жизни.
      А брать kafka чтобы внедрить kafka. Это такое себе.

  • @alexovsianycoff6556
    @alexovsianycoff6556 2 года назад +38

    Респект за невзначай флаг Украины в углу на заднем плане

    • @alias_5800
      @alias_5800 Год назад

      😂😂😂

    • @GreenDimka1
      @GreenDimka1 Год назад

      Ох ты ж. Везде кажется.

    • @АлексейНемо-ц3й
      @АлексейНемо-ц3й Год назад +12

      Потому и скипнул это видео с этим позором

    • @palach_666
      @palach_666 Год назад +5

      Зашел в комменты только что бы почитать это

    • @йцукен-з7м
      @йцукен-з7м Год назад +9

      Слава урне, когда пиримога? 😂😂

  • @АлександрБешенцев-ы3п

    Мне интересно сколько человек понимает о чем он говорит?

  • @ЕгорЦипровский-в3м
    @ЕгорЦипровский-в3м 2 года назад

    +++++++++++++

  • @lekseiagrafenin2497
    @lekseiagrafenin2497 2 года назад +2

    О, это же флаг Украины слева :)

  • @СергейМишанов-щ6м
    @СергейМишанов-щ6м 2 года назад +2

    опечален увидев украинский флаг в углу экрана

    • @lekseiagrafenin2497
      @lekseiagrafenin2497 2 года назад +4

      А я наоборот обрадовался, но это шарф) Сочетание двух цветов, а людей трегерит

    • @haraldka3171
      @haraldka3171 2 года назад

      попутного вітру тобі в пекло

    • @evgeny7625
      @evgeny7625 2 года назад +4

      Не нужно печалиться. Лучше беги скорее записываться добровольцем! Там Химарсы подъехали.

  • @joelsilver2030
    @joelsilver2030 2 года назад

    пишу сообщение

  • @АндрейСуходеев-у2р
    @АндрейСуходеев-у2р 2 года назад +1

    Украинский флаг в кадре )

    • @pavlenkoat
      @pavlenkoat  2 года назад +4

      Это шарф ФК Ростов

  • @zoongnguyen9377
    @zoongnguyen9377 Год назад

    Ведьмак в айти)

  • @ekaterinaAuslender
    @ekaterinaAuslender 10 месяцев назад

    Антон, огромное спасибо за понятное объяснение! Наконец-то

  • @heavyrain1830
    @heavyrain1830 4 месяца назад

    Спасибо