49:20 Ожидаемое поведение консьюмеров. После закрытия окна консьюмер продолжает работать в контейнере и читать сообщения. Если явно завершить работу консьюмера через ctrl+c, то ожидаемая перебалансировка произойдет.
Подскажите, пожалуйста, а есть ли такая настройка, при которой consumer на которого не достается партиции, читает какую либо партицию? Например: в топике 3 партиции, а консьюмеров 4
такого нет и об этом было в видео, он будет либо ничего не делать либо подколючится к работе когда отвалится один из работающих консюмеров. для увеличения параллелизма нужно увеличить количество партиций.
Работает, надо запускать через консоль на своей машине. Докер, грубо говоря, запускает на твоём компе контейнер и в нём уже работает сама кафка до которой нужно будет достукиваться из вне.
Чем брокер отличается от топика? В Apache Kafka термины "брокер" и "топик" представляют собой два ключевых компонента архитектуры, выполняющих различные функции: 1. **Брокер (Broker):** - **Определение:** Брокер в Kafka представляет собой сервер, который участвует в хранении и передаче данных. Он является основным компонентом, обеспечивающим распределение сообщений между производителями и потребителями. - **Функции:** Брокер отвечает за управление топиками, хранение сообщений в журнале (логе), а также передачу сообщений от производителей к потребителям. Кластер Kafka может состоять из нескольких брокеров, и они работают совместно для обеспечения отказоустойчивости и масштабируемости. 2. **Топик (Topic):** - **Определение:** Топик в Kafka - это категория или канал, который используется для классификации сообщений. Производители отправляют сообщения в определенный топик, а потребители читают сообщения из топика. - **Функции:** Топик определяет, как сообщения организованы и каким образом они могут быть распределены по разным частям кластера брокеров. Он также является механизмом для масштабирования и обеспечивает возможность увеличения пропускной способности и хранения данных в системе. Таким образом, брокер представляет собой физический узел или сервер, который управляет хранением и передачей данных, в то время как топик - это логическое понятие, определяющее категорию сообщений. Каждый топик может быть разделен на несколько партиций для обеспечения распределенного хранения данных и параллельной обработки.
![Использование Kafka в ваших python-приложениях [ru] / Александр Тарасенко](/img/1.gif)
Отличное объяснение и наглядный пример! Спасибо!
Самое лучшее видео по kafka👍разложили прям все по полочкам
Подача супер, особенно спасибо за список ссылок.
крутой мужик, доступно рассказал
Спасибо за ваш труд и воможность его увидеть =)
The best of best video about Kafka. Thanks!
49:20
Ожидаемое поведение консьюмеров. После закрытия окна консьюмер продолжает работать в контейнере и читать сообщения. Если явно завершить работу консьюмера через ctrl+c, то ожидаемая перебалансировка произойдет.
Всё классно объяснил. Спасибо!
думаю стоило упомянуть, что выход из kafka console producer осуществляется командой
ctrl + c
Спасибо! Отличная лекция!
У меня только один консьюмер из группы считавет сообщения(
Подскажите, пожалуйста, а есть ли такая настройка, при которой consumer на которого не достается партиции, читает какую либо партицию? Например: в топике 3 партиции, а консьюмеров 4
такого нет и об этом было в видео, он будет либо ничего не делать либо подколючится к работе когда отвалится один из работающих консюмеров. для увеличения параллелизма нужно увеличить количество партиций.
спасибо интересно было
Ооо, хоть где-то я увидел код! а то все только пиздят и пиздят.... СПасибо тебе человек!)
Soft skills
Золото!!!!!!
А какие размеры сообщений в кафке могут быть?
Я так понимаю файлы туда засовывать не очень хорошая идея?
1Мб по умолчанию, большие файлы вроде как оф дока не рекомендует пихать
Спасибо
У кого ошибки кидает зукипер юзайте вместо --zookeeper zookeeper:2181 вот это --bootstrap-server localhost:9092
Чувак, спасибо тебе
скудноватое объяснение если смотреть с нуля.
Чтобы увеличить количество партиций /bin/kafka-topics --bootstrap-server localhost:9092 --alter --topic demo-topic --partitions 3
Где взять код из видео?
Его нет в доступе к сожалению - был доступен только во время "живого" вебинара.
@@InterviewDone А вот и нет. На 51:36 светится гихаб Павла. Проект до сих пор находится там в целости и сохранности)
Теперь я понял смысл слогана "Мы рождены, чтоб Kafka сделать былью".
Болью))
А кафка без докера не пашет?я новичок в этом деле.
Работает, надо запускать через консоль на своей машине. Докер, грубо говоря, запускает на твоём компе контейнер и в нём уже работает сама кафка до которой нужно будет достукиваться из вне.
неплохо
54:44 Producer
че все описание на украинско, а вебинар главное на русском)))) Вот не в падлу же было какому-то огузку все менять на укр.
Epam отнюдь не маленькая компания)
это был сарказм
ЗуКипер Зууууу
мне тоже режет слух "заа кипер"
а че не на мове)
наразі записуємо вже все на мові.. тоді були ще двомовні..
@@InterviewDone вот же можешь на хохляцком
Чем брокер отличается от топика?
В Apache Kafka термины "брокер" и "топик" представляют собой два ключевых компонента архитектуры, выполняющих различные функции:
1. **Брокер (Broker):**
- **Определение:** Брокер в Kafka представляет собой сервер, который участвует в хранении и передаче данных. Он является основным компонентом, обеспечивающим распределение сообщений между производителями и потребителями.
- **Функции:** Брокер отвечает за управление топиками, хранение сообщений в журнале (логе), а также передачу сообщений от производителей к потребителям. Кластер Kafka может состоять из нескольких брокеров, и они работают совместно для обеспечения отказоустойчивости и масштабируемости.
2. **Топик (Topic):**
- **Определение:** Топик в Kafka - это категория или канал, который используется для классификации сообщений. Производители отправляют сообщения в определенный топик, а потребители читают сообщения из топика.
- **Функции:** Топик определяет, как сообщения организованы и каким образом они могут быть распределены по разным частям кластера брокеров. Он также является механизмом для масштабирования и обеспечивает возможность увеличения пропускной способности и хранения данных в системе.
Таким образом, брокер представляет собой физический узел или сервер, который управляет хранением и передачей данных, в то время как топик - это логическое понятие, определяющее категорию сообщений. Каждый топик может быть разделен на несколько партиций для обеспечения распределенного хранения данных и параллельной обработки.