![Data Guy Story](/img/default-banner.jpg)
- Видео 15
- Просмотров 492 280
Data Guy Story
Вьетнам
Добавлен 25 апр 2016
Chuyện chàng trai biết data
Cấu trúc team Data Engineer? Data Platform Engineer, Data Engineer, Data Analytics Engineer
Hello mọi người,
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các...
Tiếp theo xu hướng hiện nay về Data Engineer cũng như số lượng dữ liệu khổng lồ ở các công ty, Data Engineer cũng chia ra nhiều vị trí nhỏ khác nhau như platform engineer, analytics engineer hay BI Engineer. Ở Video này, mình sẽ nói về những vị trí khác nhau trong team Data Engineer hen.
Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mình.
Fanpage: dataguystory
🐻 a b o u t 🐻
Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình từng làm Data Scientist được khoảng 2.5 năm tại một tập đoàn tự động hóa lớn nhất nhì thế giới. Hiện tại mình đang làm Senior Data Engineer ở Grab Singapore. Hy vọng những video của mình sẽ giúp đỡ các...
Просмотров: 5 391
Видео
Lộ diện Data Lake, Data Warehouse và ví dụ thực tế với Hadoop, Hive, Spark
Просмотров 66 тыс.Год назад
Hello mọi người, bữa nay mình mang tới một siêu phẩm nè. Bữa giờ mình nói về Data Warehouse, Datalake, Spark, Hadoop này nọ quá chừng mà có ai biết nó là cái gì, nhìn nó ra sao đâu. Ở video này mình làm một cái demo nho nhỏ để mọi người hình dung ra được Data Warehouse nó trông như thế nào. Ứng dụng Hadoop để build Data Warehouse, Datalake ra sao nha. Anh chị em xem vui vẻ. Cám ơn đã ủng hộ mìn...
Những gì mình đã trải qua để tạm thành công như bây giờ
Просмотров 16 тыс.2 года назад
💥 HAPPY NEW YEAR💥 Chúc mọi người năm mới bình an và hạnh phúc. Video này mình làm chủ yếu dành cho bản thân, để mình nhìn lại quãng đường mình đã đi qua. Mọi người rảnh cùng xem với mình nha. Đặt câu hỏi cho mình: go.calvinio.com/hoidapvoidataguy Fanpage: dataguystory 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ngành Data Science (Khoa học dữ liệu). Mình t...
Q&A - Hỏi đáp về Data (phần 1)
Просмотров 13 тыс.2 года назад
Hello mọi người, mình nhận được rất nhiều câu hỏi về Data nên hôm nay làm video trả lời những câu hỏi thường gặp. Mình cố gắng duy trì những video này 2 tuần hoặc mỗi tháng 1 lần tùy theo số lượng câu hỏi. Bạn nào muốn đặt câu hỏi thì thông qua link này nha: go.calvinio.com/hoidapvoidataguy Fanpage: dataguystory 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ tại đại học quốc gia Singapore chuyên ...
Chuyện của Đạt, sinh viên năm 3 và offer fresher Data Engineer
Просмотров 16 тыс.3 года назад
Chào các bạn, Đây là video đầu tiên cho chuyên mục "chat with seniors". Ở mục này, tui sẽ mời một số bạn tham gia cùng và chia sẻ câu chuyện của các bạn ấy về quá trình học tập và làm việc. Seniors ở đây không hẳn phải là lớn tuổi, có thể một bạn sinh viên hoặc một bác nào đó 40t, miễn là câu chuyện của họ thú vị và mang đến một bài học gì đó cho mọi người là được. Cho Video đầu tiên, tui mang ...
Tại sao mình nghỉ việc Data Scientist? Lời khuyên cho các bạn muốn làm Data Scientist.
Просмотров 124 тыс.3 года назад
Hi các bạn, mình nhận được nhiều bạn inbox hỏi mình lý do mình không làm data scientist nữa. Sẵn đây mình làm luôn một cái video kể về công việc Data Scientist của mình cũng như lý do mà mình quyết định chuyển sang Data Engineer. Mình cũng có thêm một số lời khuyên dành cho bạn nào muốn theo nghiệp Data Scientist. Chúc các bạn xem video vui vẻ Fanpage: dataguystory 🐻 a b o u t 🐻 Mình tốt...
Chuyện cổ tích, bạn Dê làm Data Engineer
Просмотров 14 тыс.3 года назад
Xin chào mọi người , Có rất nhiều bạn thắc mắc về công việc của Data Engineer. Cụ thể Data Engineer là làm những gì, có giống với mấy khác hay không. Mình làm làm video để giải thích sơ sơ về một quá trình làm việc của Data Engineer từ khi mới ra trường đến trở thành senior nhé. Thuật ngữ được sử dụng - ETL, ELT, Extract Load Transform, Data Lake, Data Warehouse, Ingestion, Pipeline - Data Gove...
How did I build an AI recommendation for Japanese Adult Actresses.
Просмотров 20 тыс.3 года назад
Xin chào mọi người , Vừa rồi thì có một bạn mạnh thường quân đã donate, trả tiền để tui giúp bạn đó xây dựng một hệ thống gợi ý diễn viên Nhật Bản theo đúng gout. Sẵn nó vui vui nên tui quay clip chia sẻ quá trình. Lưu ý: hệ thống xây dựng bởi Senior Data Engineer nhằm mục đích vui vẻ là chính. Không quan trọng và Accuracy, Confusion matrix, f-score gì gì nha. Thuật nữa được sử dụng KMeans, Sil...
Ủa Database, Datalake, Data Warehouse là gì ? Giải thích bởi Senior Data Engineer
Просмотров 50 тыс.3 года назад
Chào các bạn, ở video này mình giải thích cho về các khái niệm siêu cơ bản của Data Engineer: Database - Datalake và Data Warehouse nha. Bonus thêm DataMart và vai trò của Data Engineer, Data Analytics, Data Scientist khi làm việc với hệ thống nữa. Một số thuật ngữ mà mình sử dụng: OLTP, OLAP, Snowflake, Star Schema, Data Modeling Fanpage: dataguystory About me: www.calvinio.com/about/ C...
Giải thích Big Data theo ngôn ngữ loài người bởi Senior Data Engineer
Просмотров 53 тыс.3 года назад
Chào các bạn, có nhiều bạn đang muốn tìm hiểu về Big Data nhưng những tài liệu trên mạng nó nặng về học thuật quá. Mình làm video này giải thích về Big Data theo cách đơn giản nhất để những bạn nào không phải dân IT cũng có thể hiểu được. Fanpage: dataguystory About me: www.calvinio.com/about/ Chúc mọi người xem video vui vẻ. 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ tại đại học quốc gia Sin...
Chuẩn bị phỏng vấn Data Engineer, quy trình tuyển dụng chi tiết.
Просмотров 16 тыс.3 года назад
Chào mọi người, ở video này mình chia sẻ với các bạn về quy trình tuyển dụng chi tiết dành cho Data Engineer. Nếu bạn nào thắc mắc về Data Engineer, đọc thêm ở đây nha: www.dataguystory.com/post/2020-05-27-nghe-data-engineer/ 0:00 Start 0:33 Vòng 1: Hackerrank 0:45 Vòng 2: Whiteboard coding 1:50 Vòng 3: Phỏng vấn với Data Engineer 5:10 Vòng 3: Hiring Manager Fanpage: dataguystory About m...
Tại sao Junior Data không nên lạm dụng Google Cloud ?
Просмотров 17 тыс.3 года назад
Ở video này mình chia sẻ về Google Cloud và tại sao các bạn Junior / Newbie không nên lạm dụng những công cụ có sẵn. Một số từ khóa mà mình đề cập trong video: Big Query, Dataflow, Data Pipeline, Datalake, Data Warehouse, ETL, Spark Job. Facebook: dataguystory About me: www.calvinio.com/about/ Subscribe: ruclips.net/channel/UCYHKeGCNDpgbof7uPXrEWbQ 🐻 a b o u t 🐻 Mình tốt nghiệp thạc sĩ t...
Học Data Engineer bắt đầu như thế nào? Cánh cửa bước vào con đường Data Engineer.
Просмотров 59 тыс.4 года назад
Với video này mình hy vọng các bạn có thể tìm được cánh cửa để bước vào con đường Data Engineer nhé. Nghề Data Engineer: www.dataguystory.com/post/2020-05-27-nghe-data-engineer/ Datalake và Data Warehouse: www.dataguystory.com/post/2020-08-15-sai-lam-pho-bien-khi-hoc-data-database-data-warehouse/ Một số từ khóa mà mình đề cập trong video: Leetcode: leetcode.com/ Datalake, Data Warehouse, Data M...
Kĩ năng lập trình có quan trọng đối với ngành Data?
Просмотров 19 тыс.4 года назад
Bạn xuất thân từ CNTT, Kinh tế, Marketing, Tài Chính......Bạn có muốn bước chân vào Data và tự hỏi liệu ngành Data có đòi hỏi kĩ năng lập trình hay không? Qua video này mình hy vọng các bạn sẽ hiểu thêm được kĩ năng cần thiết cho ngành Data và lựa chọn con đường phù hợp của chính mình :) 0:00 Start 0:32 Level 1 - Data Analyst 1:12 Level 2 - Data Scientist 1:52 Level 3 - Data Engineer Facebook F...
Theo dõi a cũng lâu , mong anh một lần up một video đầy đủ về lộ trình cơ bản đến nâng cao CỦa Nghề DE đươc Không anh .MOng anh rep ạ.
Mình có thắc mắc là Spark cũng có hỗ trợ SQL thì còn cần dùng Hive làm gì nữa nhỉ? Đặc biệt khi chạy câu lệnh bằng Hive cảm giác xử lý chậm hơn hẳn so với Spark
1/8/2024 Em chào anh Anh ơi em nay là svien năm 2 định theo DE nhưng em thấy thị trường k có job cho intern DE thì bh mình nên theo cái gì để có job r dần dần chuyển sang DE ạ. Em thấy mn bảo theo BE trước r chuyển sang DE, mà e hoang mang k rõ BE thì có thuộc DA k nữa, mong anh nếu có thời gian anh làm 1 vd nữa về BE được k ạ
BE là Backend Engineer ấy hả em, nó đâu liên quan gì đến DA đâu
Giờ em mới biết mình thực sự đang làm ở vị trí nào. Công ty em tuyển thì ở vị trí DE nhưng công việc hiện tại đang làm là Data Analytics Engineer.
Thì cũng đc mà ha, sau này mà đi chỗ khác thì apply BI Engineer là ok nè
a hướng dẫn thu thập dữ liệu IoT vào DataLake đi a
hiện tại vẫn còn cơ hội cho DE k a, e định từ software chuyển sang, a cho e xin ý kiến
Anh cho em hỏi DE có cần học ML không ạ ?
anh ơi em thấy việc tìm intern Data engineer cho sinh viên mới ra trường khá khó và hiếm, vậy em có thể tìm theo hướng nào khác để sau phát triển tiếp thành data engineer ạ
anh ơi cái quyển sách về DE anh sắp ra mắt đâu r ạ
anh có ra vid về schema chưa ạ
Rồi sắp có offline chưa anh ơiiii Em muốn gập các tiền bối trong nghề lắm rồi =)))
Offline mấy lần rồi á em =))
@@DataGuyStory :V em không nghe j hết :<
Đọc bình luận thôi cũng thấy 1 đống kiến thức =)))
cảm ơn video của anh đã giúp em hình dung rõ hơn về công việc của một data engineer
Chào a , e muốn hỏi một vấn đề , hiện tại hệ thống đang có đâu đó 1xxx các ETL chạy bằng lambda của aws để insert data vào dwh cũng như các hệ thống khác , thì có cách nào để visualize data flow không ạ
Nếu stack xài aws thì có cái aws quickSight á. Em thử cho read metadata sang quickSight để làm data lineage xem
Không hiểu sao em chạy sbt clean assembly để tạo file jar bị lỗi không fix đc???
Anh ơi cho em hỏi là giữa scala2 và scala3 thì mình thường sẽ sử dụng phiên bản nào tại em thấy giữa 2 phiên bản này về các câu lệnh, cú pháp có vẻ khác nhau và liệu nó có chạy hiệu quả hơn với scala3 không vì tại nó là phiên bản mới. Em cảm vì anh đã ra những video chất lượng về chủ đề Data Engineer này và mong a sớm ra video mới.
cứ học cái mới nhất thôi em. Scala3 mà quất, cơ mà anh thấy cũng không khác nhau mấy
🤯🤯🤯
Hi a , e đang tìm hiểu về big data, e thấy video của a rất hay nhưng do mới tìm hiểu nên ko hiểu tại sao lại code bằng file đuôi jar. E đã biết sẳn ngôn ngữ typescript vậy có thể dùng typescrip ko ạ.
Cảm ơn a, video rất hữu ích ạ❤
A bỏ nhạc đi để nghe giọng a rõ hơn
video dễ hiểu quá, cảm ơn A. Chúc A sức khỏe
Chào a Duy. E hiện tại đang làm trong ngành logistics. Em chưa từng học IT và chưa từng làm qua bất vị trí nào trong ngành IT. Bây giờ e muốn chuyển sang làm data engineer. Với ng tất cả từ con số 0 như em có thể học để trở thành data engineer ko a ? Nếu có thể thì sẽ bắt đầu từ đâu và lộ trình như thế nào ạ. Xin a tư vấn cho em với ạ. Em thật sự muốn trở thành 1 data engineer. Em cảm ơn a.
A Duy ơi. Em hiện tại làm trong ngành logistics. Bây giờ e muốn chuyển sang làm data engineer. Em chưa từng học IT và cũng chưa từng làm việc gì liên quan đến IT. Tất cả kiến thức đều là số 0. Vậy em có thể học để trở thành data engineer không a ? Em nên bắt đầu từ đâu ạ ? Xin a tư vấn cho em lộ trình học từ đầu ạ. Em xin cảm ơn.
Cám ơn anh rất nhiều về những chia sẻ ❤❤
em chào anh ạ, anh ơi em thấy xu hướng hiện tại đẩy mọi thứ lên cloud thì anh có thấy rằng data platform engineer có đang mất dần chỗ đứng không ạ, và mình nên đi theo hướng nào hợp lý ạ
Ủa Data Platform còn cần hơn DE khi chuyển mọi thứ lên cloud mà em. Sao lại mất dần chỗ đứng =))
@@DataGuyStory Ví dụ như Hadoop và spark bây giờ mình không cần lo cài nữa mà cloud có thể lo hết việc đó luôn rồi, đối với thị trường vn là thế nên em thấy hơi lo lắng ạ
a ơi, vậy nếu như mỗi cái nhu cầu báo cáo, phân tích khác nhau thì dữ liệu mình đổ vào data warehouse sẽ khác nhau, vậy thì với một datalake mình sẽ có nhiều data warehouse đúng k ạ
Data Warehouse chỉ có một thôi nhé. Nên người ta mới gọi là Single Source of Truth
Cảm ơn anh, vd rất dễ hiểu ạ
cho em xin in4 đồng hồ anh đeo với a Cảnh
Tudor BB 54 nha
Video của bạn rất hữu ích, cảm ơn bạn❤
Xem ông anh từ hồi mình mới chập chững bước vào data giờ cũng thấp thoáng 2.5 năm rùi cảm thấy xem vẫn có động lực theo đuổi data như hồi mới ngày nào
Này đa phần chắc chỉ có bên cty ở nc ngoài thôi, chứ việt nam thì đa phần doanh nghiệp mún 1 ông data phải biết tuốt từ data science, data analyst, data engineer, kiêm hết 😂
chuẩn rồi, lương 10tr nhiều khi còn phải viết content nữa mà =))
Đúng òi, 1 người phụ trách tất tần tần về data chứ ko có chia role gì hết 😆. Đc cái như vầy thì exp lên nhanh do việc gì cũng đến tay
cảm ơn anh vì những chia sẻ hữu ích, mới những ngày đầu còn nghe anh để đi phỏng vấn thực tập mà bây h đã đi làm tới công ty thứ 3 rồi, mục tiêu vẫn kiên định vì càng học càng thấy mình chẳng biết gì nhiều, tương lai cũng mong trở thành 1 senior về DE ạ, cảm ơn chia sẻ quý báu của anh ạ
Với trend AI như hiện tại, thì việc định hướng học data cơ được ko bạn nhỉ, và chi tiết hơn là nên học chuyên sâu ra sao
Long time no see!
boss, haha
năm ngoái còn nhắn hỏi anh về vụ set up data stack và dc anh giao task build cái app nho nhỏ dùng airflow lấy api từ dummy đầy vào mysql r dùng spark ETL vào hadoop, mà h em đang fresher DE rồi :))) k biết anh có nhớ em không :v
Xịn vậy, rồi cái data stack đó có làm đc ko hay có việc trc khi xong rồi 😂😂
@@DataGuyStory haha, em làm được rùi anh ui, mà anh cho em hỏi với h cty em đang dùng prefect để automate ETL trên google cloud platform, e đang tính triển khai cloud composer thì nó có tối ưu hơn prefect không anh nhỉ
@@NamNguyen-pn1od à, để so sánh thì phải tùy vào công ty thôi. Prefect nó mới hơn nên hỗ trợ từ cộng đồng sẽ ít hơn airflow. Airflow kiểu lão làng nên đa phần các bug/issue/tasks đều sẽ kiếm được solution. Còn về performance hay tối ưu thì tùy thuộc vào người dùng, airflow cũng có cách để tối ưu performance hay workflow tốt hơn. Prefect có thể dễ hơn vì nó mới và hỗ trợ được những cái thiếu sót của airflow. Nếu mà chỉ làm việc đơn thuần với scheduling, workflow này nọ thì prefect với airflow là nhưng nhau thôi. Còn nếu em quyết định làm những task khó hơn đòi hỏi complex workflow and tối ưu thì anh recommend airflow vì support từ cộng đồng tốt hơn.
@@DataGuyStory dạ em cảm ơn anh ạ <3
Làm Data Engineer thì ngôn ngữ R có hữu ích không anh
Chào anh, lâu lắm rồi mới thấy anh lên video, bắt đầu xem anh từ hồi mới chập chững học DE để chuyển ngành, nay em mới được nhận vào vị trí fresher rồi, bữa chuẩn bị phỏng vấn có lục lại video của anh để ôn lại kiến thức, cảm ơn anh nhiều. Chúc anh nhiều sức khoẻ và thành công.
hay quá anh ơi, mong anh tiếp tục ra video kiểu này. Em đang từ BE chuyển sang học DE, video của anh hữu ích quá. Em chúc anh sức khỏe và tiếp tục ra những video như này ạ.
chời ơi lâu lắm r mới thấy a ra video, không biết a còn nhớ không nhma từng có 1 bạn sv năm nhất nhắn hỏi a về lộ trình trở thành một DE và bây giờ bạn đó chuẩn bị nhắn nhờ a review cv thực tập DE nè :333
xịn, quăng cv qua anh xem thử tiến bộ tới đâu rồi :D
Anh ơi em muốn làm DS thì có cần phải học ctdl và gth ko a ?
longtime no see
lâu lắm mới thấy anh lên videos, em theo dõi anh từ hồi năm nhất, qua các kiểu từ research đến applied CV, cuối cùng đang chuẩn bị quay qua làm MLOps thì anh lên video :)) đúng ý trời luôn ạ
hello a, lâu rùi không có video của anh để xem
hay quá a!!!
Chào anh em, cho mình hỏi là không có gốc gác về kinh tế có học được BI hoặc Business Engineer không. Mình là 100% bên kỹ thuật-cntt, đang học về DE và hiện cũng đang kiếm việc làm nhưng mà ít job DE intern/fresher/entry level quá.
được nhé, cứ thử apply thôi sợ gì nè.
@@DataGuyStory Hi anh, dạo này thị trg DE ít job cho newbie quá. Em cũng đã làm vài projects, có tiếng anh, có IBM cert nhưng cũng khó kiếm job quá anh. Hầu hết là min 1.5y- 2y exp :((((
Thật sự nhiều khi cái min experiences nó cũng không quan trọng đâu. Công ty họ tìm người biết làm là chủ yếu, nhiều khi kinh nghiệm 3 năm mà cũng không biết làm ấy chớ. Em ping CV của em sang fanpage anh xem thử thế nào nhé
Hic anh tui anh tui :(
Tâm huyết thế này phải bật $Thank$ đi anh :x
Thôi, ai lại thế =))
Chỗ em có 2 ông làm từ Platform đến Analytics luôn. Có devops support, còn phía analytics có thêm BA support
Lâu lắm r mới thấy a lên video. Video rất hay. Chúc anh nhiều sức khoẻ
A ơi e là sinh viên muốn theo hướng DE thì nên làm đồ án về đề tài gì để có lợi cho sau này ạ
Em thử tìm mấy cái đồ án liên quan tới dwh hoặc etl ấy
Hiện tại tầng trên cùng sẽ tích hợp với domain và người ta hay gọi là DA DS BI 😁😁😁😁😁