video rất hay mà khi xem khi xem thì em có thấy anh có nêu nhiều key word hay mà anh nói khá nhanh không biết anh có khi nói anh có thể đính các key word anh nói lên video k ạ
Bạn cho mình hỏi, mình thấy có vài hệ thống dùng kafka stream + spark Thì spark đóng vai trò như tranform data hay dùng để distribute data từ consumer vào DWH ? Thanks bạn nha ❤
Sẽ tùy thuộc vào ứng dụng cụ thể để sử dụng cho phù hợp, ở hệ thống có cả 2 thì Spark ở đây mình đang hiểu bạn đang nói tới là Spark Stream Context, ở đây Spark Stream Job đóng vai trò là buffer và consumer để đưa data vào Lake (theo như thông thường mình hay sử dụng, tuy nhiên một số có realtime parsing data thì có thể đưa vào warehouse). Còn ở một số hệ thống bạn không thấy Spark thì có thể là họ đang process dạng event-driven.
hello anh Long, chúc anh cuối tuần vui vẻ. Tâm sự 1 chút em mới bị đánh rớt 2 job DE intern vì kiến thức về SQL. Anh Long có thể cho em vài lời khuyên cho việc practice với SQL không ạ. Em cám ơn anh nhiều ^^
Kiến thức SQL với anh nó khá là rộng không chỉ đơn thuần là mình viết Code SQL tốt, những cái đó em có thể luyện trên Leetcode rồi. Ngoài ra còn kiến thức về data modeling, structuring data, v.v... Em có thể xem qua video này nhé ruclips.net/video/qPPTVPCzed0/видео.html . Hoặc DM cho anh nếu cần tư vấn gì nhé.
📚 Free Data Engineering Handbook
de-book.longdatadevlog.com/datacamping/week_6_stream_processing/index.html
📜 Free Roadmap
payhip.com/b/0lHY5
🌐 Tech Blogs
longdatadevlog.com/blogs
video rất hay mà khi xem khi xem thì em có thấy anh có nêu nhiều key word hay mà anh nói khá nhanh không biết anh có khi nói anh có thể đính các key word anh nói lên video k ạ
Bạn cho mình hỏi, mình thấy có vài hệ thống dùng kafka stream + spark
Thì spark đóng vai trò như tranform data hay dùng để distribute data từ consumer vào DWH ?
Thanks bạn nha ❤
Sẽ tùy thuộc vào ứng dụng cụ thể để sử dụng cho phù hợp, ở hệ thống có cả 2 thì Spark ở đây mình đang hiểu bạn đang nói tới là Spark Stream Context, ở đây Spark Stream Job đóng vai trò là buffer và consumer để đưa data vào Lake (theo như thông thường mình hay sử dụng, tuy nhiên một số có realtime parsing data thì có thể đưa vào warehouse). Còn ở một số hệ thống bạn không thấy Spark thì có thể là họ đang process dạng event-driven.
hello anh Long, chúc anh cuối tuần vui vẻ. Tâm sự 1 chút em mới bị đánh rớt 2 job DE intern vì kiến thức về SQL. Anh Long có thể cho em vài lời khuyên cho việc practice với SQL không ạ. Em cám ơn anh nhiều ^^
Kiến thức SQL với anh nó khá là rộng không chỉ đơn thuần là mình viết Code SQL tốt, những cái đó em có thể luyện trên Leetcode rồi. Ngoài ra còn kiến thức về data modeling, structuring data, v.v... Em có thể xem qua video này nhé ruclips.net/video/qPPTVPCzed0/видео.html . Hoặc DM cho anh nếu cần tư vấn gì nhé.
Có những chapter bị mờ á anh Long là cái đó mình đang process phải không anh ?
Đúng rồi em, anh hiện tại đang chỉnh sửa các phần đó nhé.
Phần này vẫn chưa có trong handbook hả anh @longdatadevlog
de-book.longdatadevlog.com/changelog.html em check phan Changelog nhe. Anh vua chinh sua va push len.