Apache Kafka là gì? ứng dụng như thế nào - Phần 2: Kafka Partition
HTML-код
- Опубликовано: 24 июл 2024
- Phần tiếp theo của Kafka, sorry anh em vì cuối năm hơi bận tí. Với cả mấy khái niệm sau phải chuẩn bị hơi lâu.., ok hông dài dòng nữa, mời kafka part 2.
#Kafka
#Streaming Plattform
#Kafka Partition
#Kafka Offset
▬▬▬▬▬▬ T I M E S T A M P S ⏰ ▬▬▬▬▬▬
0:00 - Intro
03:00 - Kafka Partition?
06:00 - Kafka offset?
08:27 - Kafka Consumer Group
11:00 - Tổng kết
▬▬▬▬▬▬ FREE ONLINE DEVOPS COURSES ▬▬▬▬▬▬
🚀 Containerization - Tổng quan về Docker container và micro services - www.youtube.com/watch?v=Ek3Q7...
🎓 Du học - Chia sẻ kinh nghiệm du học - www.youtube.com/watch?v=gopI2...
▬▬▬▬▬▬ BE MY FRIEND ▬▬▬▬▬▬
💌 Add FB nhé - profile.php?...
🌍 Website / blog - master-engineer.com/
📸 Instagram - / thanhnguyen. .
🐦 Twitter - / t12thanh
▬▬▬▬▬▬ WHO AM I ▬▬▬▬▬▬
💙 Xin chào, Mình là Thành, DevOps Engineer tại General Logistic System-GLS IT Services, Frankfurt, Germany. Mình làm video về DevOps, Machine Learning, chia sẻ kinh nghiệm. Nếu bạn đang tìm kiếm sự trợ giúp để trở thành một Software Engineer hoặc DevOps Engineer, chỉnh sửa CV cho đẹp và cần kinh nghiệm làm việc tại môi trường quốc tế, hãy tham gia với mình tại: ► master-engineer.com/ 
Развлечения
Cái topics nói đúng hơn là nằm trong kafka broker mới đúng . Kafka cluster chỉ chứa zookeper và kafka broker thôi. Kafka cluster bản chất nó sử dụng kĩ thuật replication để tăng tính sẵn sàng cho hệ thống khi mà 1 kafka broker chết thì các bản replication vẫn còn. Topics tương ứng message queue, còn broker tương ứng server. 1 server của kafka(broker) có nhiều topics(message queue).
Hi vọng anh sớm ra phần 3 :3
Kafka có thể ứng dụng cho trường hợp high concurrency ko anh, đặc biệt là task write heavy, em đang gặp 1 vấn đề trong thực tế với app thương mại điện tử, vào thời điểm khuyến mãi thì lượng người dùng tăng cao, và đồng thời đặt hàng, làm Database bị lock luôn ( hiện em đang dùng nodejs express + mongodb), liệu Kafka có ứng dụng để cho task write heavy này ko anh, mong anh giải đáp, và anh thường ứng dụng kafka vào trường hợp nào trong thực tế làm việc ạ
Mình thấy chưa hiểu lắm mục đích cái consumer group này, nếu theo bạn giải thích là nhiều producer thì cần consumer tỉ lệ thuận để có thể tiêu thụ được messege tốt hơn
Vậy thì mình đang chút thắc mắc là cách chia sẽ là phân phối giữa khối lượng topic mà các consumer subcribe để cân đo tỉ lệ phù hợp tránh việc 1 consumer phải nhận quá nhiều messege từ nhiều topic nhỉ
Với cả cái partition này mình đang thắc mắc nữa là nó sẽ lưu các messege để gửi đến các consumer xử lý, vậy xử lý xong messeges có bị xóa đi không hay vẫn lưu trữ trên các partition và chỉ được kiểu đánh cờ là đã được consumer nhận rồi
Chào Nguyễn Minh, câu hỏi hay:
1. Consumer group sử dụng cho mục đích tránh cho 1 consumer nhận quá nhiều message đó bạn. Bạn tưởng tượng là ban đầu consumer group chỉ có 1 consumer thôi mà mình lại có 3 partition, thì 1 mình nó cân 3, chịu hông nổi nó xin trợ giúp thì lần lượt sẽ có consumer 2 consumer 3 giúp nó. Lúc này mỗi anh làm việc vs 1 em partition, là xong(lưu ý là số consumer không nên vượt quá số partition).
2. Không, nó vẫn ở trên kafka partition. Ở Kafka message không bị xóa sau khi tiêu thụ bởi consumer. Message trên Kafka xóa theo cách là khi bạn tạo ra topic bạn viết là sau 1 năm thì xóa topic, thế thì sau 1 năm dù message có được consumer xử lý hay không nó vẫn bị xóa.
em xin slide về kafka được ko ạ
vẫn chưa nói rõ ràng được ý nghĩa của consumer group
Chính xác! cảm ơn Tuấn chỉ ra nhé, phần consumer group và cách các consumer trong 1 group nhận thông tin của partition từ các broker khác nhau vẫn chưa được nói rõ trong video này. Tuấn có thể chia sẻ ý kiến của bạn không?