영상에서 공유드린 링크 공유드려요! Data Engineer Roadmap github.com/datastacktv/data-engineer-roadmap Awesome Data Engineering github.com/igorbarinov/awesome-data-engineering 빅데이터를 지탱하는 기술 www.yes24.com/Product/Goods/66277191 Data Engineering Cookbook github.com/andkret/Cookbook 기술 블로그 모음 github.com/kilimchoi/engineering-blogs Uber 기술 블로그 eng.uber.com/real-time-exactly-once-ad-event-processing/
안녕하세요. 데이터 엔지니어로 취업하고 싶은 학생입니다. 채용공고와 관련 영상들을 찾아보니 데이터 엔지니어 신입은 취업이 어렵고, 백엔드에서 경력을 쌓고 해당 직무능력을 길러서 데이터 엔지니어로 이직하는 것 같습니다. 데이터 엔지니어 신입으로 취업을 준비하는게 어려울까요?
안녕하세요! 데이터 사이언티스트, 데이터 엔지니어 직무 관련 자료를 찾아보면 사람들이 이런 말들을 하곤 합니다 - 석사를 해야 한다(데사, AI) - 백엔드부터 해야 한다(데엔) 어떤 맥락에서 이렇게 이야기가 나오는지 충분히 이해하나, 그 전에 SS H님께서 진짜 하고 싶은 일이 무엇인지 생각해보시면 좋을 것 같아요. 만약 진짜 하고 싶은 일이 데이터 엔지니어링이라고 하시면 신입으로 데이터 엔지니어 취업을 하려고 하면 어떻게 해야할까?라는 생각을 해보시고 그것을 실행하시면 더 멋진 분이 되실거라 생각해요. 물론 이 과정에서 확률적으로 어려울 수도 있어요. 백엔드가 뽑는 사람들이 많기에 그 길부터 가는 것도 하나의 길이기도 하고, 실제로 경력있는 분들은 그런 케이스가 많습니다. 다만 백엔드로 가서 반드시 데이터로 갈 수 있다는 보장이 100%냐?라고 물어보면 그렇진 않습니다. 취업 후에 꾸준히 데이터에 대한 관심을 가지고, 하나씩 시도해보셔야 될 거에요. 그래서 제가 질문 드린 "진짜 하고 싶은 일이 무엇인가?"에 대해 생각해보시면 좋을 것 같아요. 대부분의 직무가 각광을 막 받는 시기엔 시니어를 요구합니다(당연한 이치지요) 그런 상황엔 신입 채용 공고가 거의 나오진 않지요. 그러다가 몇년이 지나면 시장에 시니어를 뽑고 싶어도 시니어가 없습니다. 그러면 회사에서 선택은 시니어를 계속 채용하는 노력을 하면서 주니어분들을 채용하며 키우는 2가지 전략을 사용하곤 합니다. 제 생각에 데이터 엔지니어 신입 공고가 몇년 전에 비하면 계속 나오고 있긴 합니다(물론 여전히 적다고 생각이 들 수 있지만요) 그래서 저는 신입으로 취업이 불가능하진 않다고 생각합니다 제가 채용했던 분들의 블로그를 참고차 공유드려요. 어떤 노력을 했는지 작성되어 있는데 이 부분을 잘 보시면 좋겠어요. 진정으로 데이터 엔지니어가 하고 싶다면 남들이 일반적으로 하는 것 이상의 프로젝트나 역량을 키우시며 신입으로 가는 방법을 고민해보는 것도 좋을 것 같아요. 유튜브 영상 중에 데이터 분석가 취업 가이드에 대한 영상이 있는데, 데이터 엔지니어도 동일하게 적용될 수 있어서 한번 보시는 것을 추천드려요 :) dailyheumsi.tistory.com/207 tech.socarcorp.kr/data/2021/12/28/data-engineering-team-onboarding.html tansfil.tistory.com/66
카일스쿨님, 저는 데이터엔지니어 신입을 꿈꾸고 있는 대학생입니다. 그러나 신입 채용이 다소 적다는 이야기가 많아 현재 벡엔드 쪽 포트폴리오를 쌓아야할지, 데이터엔지니어 쪽 포트폴리오를 쌓아야할지 고민이 됩니다.. 1.제가 2년 뒤쯤 취업할 예정인데 그때도 지금과 비슷하게 취업이 어려울까요? 2.방학인턴같은걸로 데이터엔지니어 쪽 실무경험을 쌓는것이 가능할까요? 고견 부탁드리겠습니다..
안녕하세요! 1번. 어떤 분에게 물어봐도 이런 질문에 대답을 쉽게 할 수는 없답니다. 코로나가 갑자기 찾아온 것처럼, 그리고 투자 시장이 얼어붙은 것도 갑자기 찾아왔고 아직 어떻게 될지는 정확히 예측이 어려운 것 같아요. 취업이 어려울 상황도 가정하고 준비하는 것이 더 현명할 것 같아요 2. 어떻게 하느냐에 따라 다르지 않을까요? 개인 프로젝트를 하더라도 실무 경험처럼 할 수도 있답니다. 다만 데이터 엔지니어쪽으로 2개월 인턴이 생각보다 없지 않을까 싶어요. 학생 입장에서는 둘 다 준비하다가(물론 해야할 것들이 많아질 수 있지만) 하나로 정하고 가는 것도 있고, 하나를 고정해서 가는 것도 있을 것 같아요. 요즘이 취업이 잘 안되는 어려운 시기라 여러가지를 고려해야 할 것 같은 시기에요 ㅠ_ㅠ
코딩과는 관련없는 재료공학 전공입니다. 데이터 엔지니어 직무에 관심이 생겨 독학을 할까하는데 데이터엔지니어는 신입 채용이 거의 없다고하던데 맞나요? 국비지원 교육을 생각하고 있는데 어디서 경력을 쌓아야 하는지 궁금합니다. 잡코리아에서 서칭을 대충 해봐도 대부분 경력채용인것같아서요.
데이터 엔지니어가 다른 직군 대비 신입 채용이 적었는데, 최근엔 점점 생기고 있어요. 그러나 절대 수로 보면 여전히 적어보일 수는 있을 것 같아요. 그래서 백엔드 엔지니어로 먼저 시작하고 데이터 엔지니어로 전직하는 경우도 봤어요. 국비지원 교육은 제가 들어보지 않아 판단하기 어렵고, 경력 대신 프로젝트를 해보시면 어떨까요? 프로젝트가 곧 경험이고 신입일 때는 어필할 수 있을거에요. 이 분야는 단순히 공부만 한다고 취업이 되는 것은 요즘은 어려울 것 같고, 프로젝트(포트폴리오)가 있으면 더욱 좋을 것 같아요. 독학을 하시거나 학원에 가시거나 교육 과정 외에 데이터 프로젝트를 한번 해보셔요. 생활 속의 데이터를 데이터 엔지니어링해서 데이터 가져오고, 데이터 분석하는 프로젝트가 인상적이였어요. 참고할 수 있는 자료는 아래 자료 추천드려요-! www.slideshare.net/ssuser2fe594/2107-80754131 추후에 어떤 관점으로 프로젝트를 기획하고 해보면 좋을지도 영상 만들어볼게요
안녕하세요! 이해하기 쉬운 영상 올려주셔서 감사합니다. 덕분에 검색해도 정보가 잘 안나와 막막하던 데이터엔지니어에 대해서 좀 안개가 걷힌 기분입니다. 이번 영상에서 처음엔 데이터 엔지니어링 기초지식 쌓고 실제 구현을 많이 하길 추천해주셨는데, 이전 댓글중 멋사 또는 멀티캠퍼스의 국비부트캠프를 추천하지는 않으시는걸 봤습니다. 비전공자에 30대초반이라 기초 지식이 전무한 상태인데요ㅜ 다른직종일을 하다가 바꾸는 과정에서 국비부트캠프 수강하는게 좋을지 아니면 독학을 하는게 좋을지 궁금합니다. 석사를 취득하는걸 추천하실까요? 해외로 워홀을 갈 예정이었으나 이쪽 분야에 관심이 생겨 미루고 공부를 할자 고민중에 있어 문의남깁니다.
다른 댓글에 부트캠프 관련 내용을 달아드렸는데, 데이터 엔지니어 분야가 공부할 부분이 꽤 많긴 해요. 그래서 처음 시작할 때는 오랜 시간 투자할 수 있을지가 고민해보시는게 필요할 것 같아요..! 백엔드 개발자 준비를 하다가 데이터 엔지니어로 가는 분도 계신데, 이런 경우는 데이터 엔지니어 신입 채용이 워낙 좁기에 이런 경로를 택하는 경우도 있어요.
안녕하세요! 데이터 엔지니어 신입 채용이 적어서, 데이터 엔지니어의 채용 공고 관점에선 백엔드가 더 괜찮을 수도 있어요. 다만 데이터 엔지니어 신입을 뽑는 곳이 아직 있기도 합니다. 결국 민규님이 어떤 것을 더 하고 싶으냐에 따라 다를 것 같아요. 어떤 경우엔 백엔드로 가고 데이터로 돌아오지 못하는 경우도 있고, 데이터로 가는 경우도 있거든요. 이것은 어떤 회사에서 어떤 일을 하냐에 따라 달라질 것 같아요. 결국 민규님께서 데이터 엔지니어가 진짜 하고 싶은지, 왜 하고 싶은지가 핵심이라 생각해요. 그 생각을 해보고 이후를 생각해볼 것 같아요. 두가지 방법 뭐가 좋다라고 말하기 어려우며, 상황에 따라 적절히 선택하고 자신의 선택이 원하는 방향과 동일한 방향으로 가도록 노력하는게 핵심인 것 같아요!
데이터엔지니어에 대해 검색해도 잘 안나왔었는데(대충한듯) 진짜 너무 찰떡같이 설명해주셔서 감사합니다ㅠㅠ 공부하면서 일분일초 현타와가지고 그만둬야되나 고민하고 있다가 다시 맘잡고 공부하려고 검색했는데 이런 좋은 영상을 발견했네요!! 백엔드 프로젝트 준비중인데 어떤것을 중점적으로 해야될지 좀 감이 온거같아요! ㅠㅠ 원래 영상볼때 배속해서 보는데 정속으로 보면서 중간중간 필기도 했습니다! 추천해주신 책도 읽어보겠습니다.! 우버 기술블로그는 글 구조가 포트폴리오 작성할때 참고하면 좋겠네요!! 너무 감사합니다!! 유튭 오래해주세여… 그리고 끝에 말씀하신 다음에 올라올 영상 존버하겟습니다..👍🏻
안녕하세요! 가능할 수도 있고, 가능하지 않을 수도 있을 것 같아요. 비전공자이면서 독학으로 취업한 분이 분명히 있을거에요. 다만 그 비율이 얼마나 되냐가 중요할텐데 그건 저희가 알 수는 없지요(전수 조사를 하지 않으니) 데이터가 왜 하고 싶은지를 먼저 고민하시면 좋을 것 같아요. 현재 데이터 분석을 하고 싶은 것인지, 데이터 엔지니어를 하고 싶으신지에 따라 다를 것 같아요!(분석을 공부하신 것 같은데 엔지니어를 왜 하고 싶으신가요?) 참고차 제 자료와 저와 같이 일했던 신입 데이터 엔지니어분들의 글을 공유드려요! github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki tech.socarcorp.kr/data/2021/12/28/data-engineering-team-onboarding.html tech.socarcorp.kr/data/2021/03/24/what-socar-data-engineering-team-does.html dailyheumsi.tistory.com/207 tansfil.tistory.com/66
@@kyleschool 답변 및 자료 감사합니다! 사실 제가 산업공학과 재학중이라 완벽히 비전공자(?)라고 하기에는 뭐하지만 본래 생산 및 품질관리쪽으로 진로를 잡았습니다. 근데 채용공고를 보면 아무래도 대기업들은 규모가 있는 제조업이다 보니 대용량의 데이터를 다뤄본 역량을 우대하더군요,,! 하지만 지금 하고 있는 데이터 분석은 크지 않은 데이터이기도 하고, 약간 마케팅 및 비즈니스(?) 성향이 강한 것 같기도 하더라구요 그래서 여러 자료를 찾아보다가 데이터 엔지니어링이 적합한 것 같아 여기까지 오게되었습니다..! 근데 확실히 데이터 엔지니어링 분야 자료가 많지가 않더라구요,, 인터넷 강의도 그렇고,, 그래서 첫 시작을 어떻게 해야할지 고민이 되어서 이렇게 질문드리게 되었습니다. 아직 2학년이지만 여름방학 지금부터 뭐라도 시작해야 가능성이 있지 않을까 싶어서,,,,ㅎㅎ
SQL로 데이터를 추출하는 역량은 데이터 분석가 관점에서 필수고, DML 쿼리는 데이터 분석가에겐 처음부터 필수는 아닐 것 같아요. 점점 알면 좋겠지만! 데이터 엔지니어라면 DML은 알면 좋은 것 같습니다. 백엔드 개발자와 데이터 엔지니어의 근간은 거의 비슷하다고 보셔도 될 것 같아요-!
Airflow를 이용한 ETL 토이 프로젝트를 진행 중 어떤 방향으로 해야하나 고민이 많았는데 카일님께서 해주신 언어와 플렛폼은 문제 해결에 의한 도구에 불가와 " 프로젝트에 목적, 문제 및 제약 사항으로 인해 프레임워크를 선택" 이 말에 기존에 만든 PPT를 다 부스고? 다시 정리하려 합니다 정말 감사합니다 추후에 데이터 엔지니어 하실때 하셧던 ETL 토이 프로젝트 설명에 관련된 영상이면 너무너무 감사한 마음오로 시청할거 같습니다! 이런 고급 정보를 주셔서 너무 감사합니다!
안녕하세요 :) 최근 강의 런칭, 책 집필 등으로 유튜브 영상을 찍지 못했는데 이제 여유가 생겨서 다시 업로드하려고 하고 있어요! 우선 데이터 분석가 취업 관련 이야기를 먼저 공유할 예정인데 빠르게 만들어볼게요..! 4월중엔 모두 업로드 가능하도록 루틴을 만들어보겠습니다!
답변 감사합니다 >.< 영상 보자마자 빅데이터를 지탱하는 기술 책 주문하여 내일 배송 도착하면 읽어보려합니다 ㅎㅎ 데이터 엔지니어 관련 취업 정보가 분석가에 비해 많은 편이 아니라 찾아 보던 와중에 카일님의 영상은 정말 단비같았습니다!! 다음 영상도 기다리겠습니다! 다시 한 번 좋은 영상 감사합니다👍👍
감사합니다! 적재하다라는 단어가 생소할 수도 있어서 Load 단어에 대해 많이 아는 개념으로 설명했는데, 다음엔 적재하다란 단어에 대해 설명해봐도 좋겠네요! :) 게임에서 Load보면 특정 시점에 저장된 것을 불러와서 가져오는데, 데이터도 특정 시점에 저장된 것을(추출된 것) 테이블화하기에 이런 표현을 사용했었습니다 피드백 감사합니다!
오 좋은 질문 감사합니다! 데이터레이크는 데이터 엔지니어의 요즘에 대한 이야기 때 공유드릴 예정인데, 간단하게 말씀드리면 데이터레이크는 정형, 비정형 데이터 상관없이 Raw Data를 일단 저장하는 형태 활용할 때 어떻게 사용할지 결정합니다. 반면 데이터 웨어하우스는 활용 요구에 맞게 저장하곤 합니다(Tabular 형태로 저장한다거나!)
데이터 엔지니어 쪽으로 전직하려고 하는 금융IT 개발자입니다. 영상 도움이 많이 되네요 다음 영상이 기대됩니다. 근데 프로젝트에 관해서 궁금한게 있는데, 어떤 문제를 해결하려고 어떤 기술을 왜 사용했는지 고민하는 과정이 필요하다고 하셨눈데 개인 플젝에서는 라이브 서비스를 운영하지 않으면 그런 고민을 할 수 있는 여지가 없지 않을까 생각했습니다. 해결해야할 문제를 어떻게 찾고, 프로젝트, 포폴 등은 어떻게 만들어내면 좋을지 궁금합니다.
안녕하세요! 개인 플젝에서 라이브 서비스를 운영해보고 홍보도 하며 피드백을 받는 경험이 인상적인 플젝으로 만드는 마침표라고 생각합니다. 단순히 혼자 해보고 끝났다!라고 하는 것보단 실제로 사람들에게 공유하고 피드백(성능 이슈가 있다 등)을 받고 그걸 개선했다!라는 말을 해주시면 더욱 좋을 것 같습니다 이런 피드백 안에서 해결해야 할 문제를 찾을 수 있을 것 같습니다 아예 최초에 프로젝트를 고민할 때엔 일상에서 내가 겪는 불편함에서 데이터를 활용해 할 수 있는 것이 무엇일까?부터 접근해보시면 좋을 것 같습니다 :)
안녕하세요. 저는 데이터 분석가에서 엔지니어링 영역으로 확장을 꾀하고 있습니다. 12:13 클라우드 활용해서 프로젝트를 진행하라고 하셨는데, 그렇다면 10:50 앞에서 첫 입문으로 추천하신 을 공부한 후에, “클라우드에 대한 공부”도 추가적으로 진행한 후에 “프로젝트를 진행”하는게 순서인가요..? 그렇다면, 클라우드에 대한 공부를 어떻게 해야할 지에 대한 조언을 좀 해주실 수 있을까요..?😭 요즘 aws에서도 데이터 엔지니어링에 관한 도구들이 많다고 하던데, 그러한 도구들을 공부하기 전에 기본적인 빅데이터 처리 기술들에 대해 어느 정도로 선행학습이 되어 있어야 하는지를 모르겠습니다..!😢😭
리쌍님 안녕하세요! 학습에 순서가 따로 있는 것 같진 않아요. 일단 데이터 엔지니어링의 기초는 빅데이터를 지탱하는 기술에서 파악할 수 있으니 해당 내용을 보시고, 프로젝트를 하시면서 그 과정에서 필요한 클라우드를 배우시고 적용하면 어떨까 싶어요-! 클라우드 학습하려면 범위가 너무 넓어서, 끝이 나려면 엄청 오래 걸릴거에요(사실 끝이란 것을 정의할 수 있을지도 모르겠네요..!) 리쌍님이 분석가를 이미 하셨다면, 회사에서 경험한 데이터 인프라와 유사한 형태로 먼저 클라우드를 사용해보는 것도 어떨까 싶네요 리쌍님이 프로젝트를 하려고 하는데, 어떤 것이 필요한지 한번 고민해보시고 필요한 것을 하나씩 추가하면 어떨까 싶네요 a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/ 이 글에 데이터 인프라의 Layer를 잘 작성해주고 있는데, 이런 글을 토대로 리쌍님이 필요한 레이어가 무엇인지 인지하고 => AWS Storage service 이런 형태로 검색하셔서 그 서비스를 사용해보고 그러면 어떨까 싶어요! 클라우드의 데이터 엔지니어링 제품을 먼저 공부하면 단순히 툴 학습이 될테고, 빅데이터를 지탱하는 기술로 기반 기술을 이해하고 그걸 더 쉽게 할 수 있는 클라우드 데이터 엔지니어링 제품을 공부해보시는게 더욱 좋을 것 같아요-! 이 때 핵심은 모든 것을 다 아는게 아니라, 큰 그림을 먼저 이해하시는 것이 좋은 것 같아요(저도 클라우드의 모든 제품을 다 알진 모르고 들어만 본 제품도 몇개 있어요)
![[데이터 분석가] 네카라쿠배 5년차가 알려주는 취업 로드맵 A to ZㅣSQL, 인턴, 자격증, 채용공고](/img/1.gif)
영상에서 공유드린 링크 공유드려요!
Data Engineer Roadmap
github.com/datastacktv/data-engineer-roadmap
Awesome Data Engineering
github.com/igorbarinov/awesome-data-engineering
빅데이터를 지탱하는 기술
www.yes24.com/Product/Goods/66277191
Data Engineering Cookbook
github.com/andkret/Cookbook
기술 블로그 모음
github.com/kilimchoi/engineering-blogs
Uber 기술 블로그
eng.uber.com/real-time-exactly-once-ad-event-processing/
데이터엔지니어 취업도 현실적으로 석박사의 영역일까요?
아니면 학사여도 기존 백엔드 경력자가 데이터 엔지니어로 커리어를 전환 하는게 가능할까요?
안녕하세요! 이 부분은 Case by Case일 것 같아요..! 석사가 꼭 필요하다고 말하는 것은 AI쪽일 것 같고, 현재 데이터 엔지니어를 하는 분들을 잘 보면 처음엔 백엔드를 하시다가 직군을 바꾸신 분도 계셔요 :)
데이터엔지니어로 전향하고픈 잡캐(?) 개발자인데, 많은 도움 되었습니다.
유익한 설명 정말 감사합니다👍
유익한 설명이라고 해주셔서 감사합니다..! 데이터 엔지니어링 추세도 바뀌고 있는데 데엔 관련 내용도 종종 공유드릴게요..!
처음 일할때 엔지니어링의 중요성을 진짜 크게 느꼈는데 개념이 안잡혀있어서 어려웠습니다 ㅠㅠ 깔끔하게 정리해주셔서 감사합니다!
수민님 안녕하세요! :) 엔지니어링이 처음에 어렵죠^_ㅠ 개념을 조금이나마 더 쉽게 이해할 수 있도록 만들어볼게요!
안녕하세요. 데이터 엔지니어로 취업하고 싶은 학생입니다. 채용공고와 관련 영상들을 찾아보니 데이터 엔지니어 신입은 취업이 어렵고, 백엔드에서 경력을 쌓고 해당 직무능력을 길러서 데이터 엔지니어로 이직하는 것 같습니다. 데이터 엔지니어 신입으로 취업을 준비하는게 어려울까요?
안녕하세요!
데이터 사이언티스트, 데이터 엔지니어 직무 관련 자료를 찾아보면 사람들이 이런 말들을 하곤 합니다
- 석사를 해야 한다(데사, AI)
- 백엔드부터 해야 한다(데엔)
어떤 맥락에서 이렇게 이야기가 나오는지 충분히 이해하나, 그 전에 SS H님께서 진짜 하고 싶은 일이 무엇인지 생각해보시면 좋을 것 같아요. 만약 진짜 하고 싶은 일이 데이터 엔지니어링이라고 하시면 신입으로 데이터 엔지니어 취업을 하려고 하면 어떻게 해야할까?라는 생각을 해보시고 그것을 실행하시면 더 멋진 분이 되실거라 생각해요.
물론 이 과정에서 확률적으로 어려울 수도 있어요. 백엔드가 뽑는 사람들이 많기에 그 길부터 가는 것도 하나의 길이기도 하고, 실제로 경력있는 분들은 그런 케이스가 많습니다. 다만 백엔드로 가서 반드시 데이터로 갈 수 있다는 보장이 100%냐?라고 물어보면 그렇진 않습니다. 취업 후에 꾸준히 데이터에 대한 관심을 가지고, 하나씩 시도해보셔야 될 거에요. 그래서 제가 질문 드린 "진짜 하고 싶은 일이 무엇인가?"에 대해 생각해보시면 좋을 것 같아요.
대부분의 직무가 각광을 막 받는 시기엔 시니어를 요구합니다(당연한 이치지요) 그런 상황엔 신입 채용 공고가 거의 나오진 않지요. 그러다가 몇년이 지나면 시장에 시니어를 뽑고 싶어도 시니어가 없습니다. 그러면 회사에서 선택은 시니어를 계속 채용하는 노력을 하면서 주니어분들을 채용하며 키우는 2가지 전략을 사용하곤 합니다. 제 생각에 데이터 엔지니어 신입 공고가 몇년 전에 비하면 계속 나오고 있긴 합니다(물론 여전히 적다고 생각이 들 수 있지만요) 그래서 저는 신입으로 취업이 불가능하진 않다고 생각합니다
제가 채용했던 분들의 블로그를 참고차 공유드려요. 어떤 노력을 했는지 작성되어 있는데 이 부분을 잘 보시면 좋겠어요.
진정으로 데이터 엔지니어가 하고 싶다면 남들이 일반적으로 하는 것 이상의 프로젝트나 역량을 키우시며 신입으로 가는 방법을 고민해보는 것도 좋을 것 같아요. 유튜브 영상 중에 데이터 분석가 취업 가이드에 대한 영상이 있는데, 데이터 엔지니어도 동일하게 적용될 수 있어서 한번 보시는 것을 추천드려요 :)
dailyheumsi.tistory.com/207
tech.socarcorp.kr/data/2021/12/28/data-engineering-team-onboarding.html
tansfil.tistory.com/66
@@kyleschool 양질의 정보와 정성 어린 답글 감사합니다. !!
@@ssh2322-s1y 파이팅이에요! 또 궁금한 내용은 언제든 말씀해주세요 :)
카일스쿨님, 저는 데이터엔지니어 신입을 꿈꾸고 있는 대학생입니다. 그러나 신입 채용이 다소 적다는 이야기가 많아 현재 벡엔드 쪽 포트폴리오를 쌓아야할지, 데이터엔지니어 쪽 포트폴리오를 쌓아야할지 고민이 됩니다..
1.제가 2년 뒤쯤 취업할 예정인데 그때도 지금과 비슷하게 취업이 어려울까요?
2.방학인턴같은걸로 데이터엔지니어 쪽 실무경험을 쌓는것이 가능할까요?
고견 부탁드리겠습니다..
안녕하세요!
1번. 어떤 분에게 물어봐도 이런 질문에 대답을 쉽게 할 수는 없답니다. 코로나가 갑자기 찾아온 것처럼, 그리고 투자 시장이 얼어붙은 것도 갑자기 찾아왔고 아직 어떻게 될지는 정확히 예측이 어려운 것 같아요. 취업이 어려울 상황도 가정하고 준비하는 것이 더 현명할 것 같아요
2. 어떻게 하느냐에 따라 다르지 않을까요? 개인 프로젝트를 하더라도 실무 경험처럼 할 수도 있답니다. 다만 데이터 엔지니어쪽으로 2개월 인턴이 생각보다 없지 않을까 싶어요.
학생 입장에서는 둘 다 준비하다가(물론 해야할 것들이 많아질 수 있지만) 하나로 정하고 가는 것도 있고, 하나를 고정해서 가는 것도 있을 것 같아요. 요즘이 취업이 잘 안되는 어려운 시기라 여러가지를 고려해야 할 것 같은 시기에요 ㅠ_ㅠ
코딩과는 관련없는 재료공학 전공입니다. 데이터 엔지니어 직무에 관심이 생겨 독학을 할까하는데 데이터엔지니어는 신입 채용이 거의 없다고하던데 맞나요? 국비지원 교육을 생각하고 있는데 어디서 경력을 쌓아야 하는지 궁금합니다. 잡코리아에서 서칭을 대충 해봐도 대부분 경력채용인것같아서요.
데이터 엔지니어가 다른 직군 대비 신입 채용이 적었는데, 최근엔 점점 생기고 있어요.
그러나 절대 수로 보면 여전히 적어보일 수는 있을 것 같아요. 그래서 백엔드 엔지니어로 먼저 시작하고 데이터 엔지니어로 전직하는 경우도 봤어요.
국비지원 교육은 제가 들어보지 않아 판단하기 어렵고, 경력 대신 프로젝트를 해보시면 어떨까요? 프로젝트가 곧 경험이고 신입일 때는 어필할 수 있을거에요. 이 분야는 단순히 공부만 한다고 취업이 되는 것은 요즘은 어려울 것 같고, 프로젝트(포트폴리오)가 있으면 더욱 좋을 것 같아요. 독학을 하시거나 학원에 가시거나 교육 과정 외에 데이터 프로젝트를 한번 해보셔요. 생활 속의 데이터를 데이터 엔지니어링해서 데이터 가져오고, 데이터 분석하는 프로젝트가 인상적이였어요. 참고할 수 있는 자료는 아래 자료 추천드려요-!
www.slideshare.net/ssuser2fe594/2107-80754131
추후에 어떤 관점으로 프로젝트를 기획하고 해보면 좋을지도 영상 만들어볼게요
안녕하세요! 이해하기 쉬운 영상 올려주셔서 감사합니다. 덕분에 검색해도 정보가 잘 안나와 막막하던 데이터엔지니어에 대해서 좀 안개가 걷힌 기분입니다.
이번 영상에서 처음엔 데이터 엔지니어링 기초지식 쌓고 실제 구현을 많이 하길 추천해주셨는데,
이전 댓글중 멋사 또는 멀티캠퍼스의 국비부트캠프를 추천하지는 않으시는걸 봤습니다. 비전공자에 30대초반이라 기초 지식이 전무한 상태인데요ㅜ 다른직종일을 하다가 바꾸는 과정에서 국비부트캠프 수강하는게 좋을지 아니면 독학을 하는게 좋을지 궁금합니다. 석사를 취득하는걸 추천하실까요? 해외로 워홀을 갈 예정이었으나 이쪽 분야에 관심이 생겨 미루고 공부를 할자 고민중에 있어 문의남깁니다.
다른 댓글에 부트캠프 관련 내용을 달아드렸는데, 데이터 엔지니어 분야가 공부할 부분이 꽤 많긴 해요. 그래서 처음 시작할 때는 오랜 시간 투자할 수 있을지가 고민해보시는게 필요할 것 같아요..!
백엔드 개발자 준비를 하다가 데이터 엔지니어로 가는 분도 계신데, 이런 경우는 데이터 엔지니어 신입 채용이 워낙 좁기에 이런 경로를 택하는 경우도 있어요.
딥러닝 , 머신러닝쪽을 공부할때는 캐글이나 데이콘같은 온라인 대회가 있어서 쉽게 배운것 공부하고 어떤식으로 진행되는지 알수있었는데요 데이터 엔지니어의 공부방식에도 이렇게 대회같은게 있는지 궁금합니다.
안녕하세요! 데이터 엔지니어는 개발자와 유사해서 대회 같은 형식으로 공부를 하기 어려워요. 조금 더 코드 레벨로 직접 구현해보는 경험이 중요해요-!
영상에서 진심이 느껴집니다..! 프로젝트 실습이랑 기술 블로그 정리가 정말 많이 도움될 것 같습니다. 감사합니다.
진심이 느껴진다니 너무 감동이네요!! 프로젝트나 기술 블로그하는 방법에 대한 영상도 곧 찍어볼게요 :)
지금 부트캠프로 백엔드 개발자 되려고 공부중인데 그럼 백엔드 개발자로 취업하고 나서 데이터 엔지니어로 이직하는 게 좋나요
아니면 그냥 처음부터 데이터 엔지니어가 되기 위해 공부해서 데이터 엔지니어로 취업하는 게 더 좋을까요?
안녕하세요!
데이터 엔지니어 신입 채용이 적어서, 데이터 엔지니어의 채용 공고 관점에선 백엔드가 더 괜찮을 수도 있어요. 다만 데이터 엔지니어 신입을 뽑는 곳이 아직 있기도 합니다. 결국 민규님이 어떤 것을 더 하고 싶으냐에 따라 다를 것 같아요.
어떤 경우엔 백엔드로 가고 데이터로 돌아오지 못하는 경우도 있고, 데이터로 가는 경우도 있거든요. 이것은 어떤 회사에서 어떤 일을 하냐에 따라 달라질 것 같아요.
결국 민규님께서 데이터 엔지니어가 진짜 하고 싶은지, 왜 하고 싶은지가 핵심이라 생각해요. 그 생각을 해보고 이후를 생각해볼 것 같아요.
두가지 방법 뭐가 좋다라고 말하기 어려우며, 상황에 따라 적절히 선택하고 자신의 선택이 원하는 방향과 동일한 방향으로 가도록 노력하는게 핵심인 것 같아요!
데이터엔지니어에 대해 검색해도 잘 안나왔었는데(대충한듯) 진짜 너무 찰떡같이 설명해주셔서 감사합니다ㅠㅠ 공부하면서 일분일초 현타와가지고 그만둬야되나 고민하고 있다가 다시 맘잡고 공부하려고 검색했는데 이런 좋은 영상을 발견했네요!! 백엔드 프로젝트 준비중인데 어떤것을 중점적으로 해야될지 좀 감이 온거같아요! ㅠㅠ 원래 영상볼때 배속해서 보는데 정속으로 보면서 중간중간 필기도 했습니다!
추천해주신 책도 읽어보겠습니다.! 우버 기술블로그는 글 구조가 포트폴리오 작성할때 참고하면 좋겠네요!!
너무 감사합니다!! 유튭 오래해주세여… 그리고 끝에 말씀하신 다음에 올라올 영상 존버하겟습니다..👍🏻
애루미님 안녕하세요! 도움이 되었다니 다행이네요 :) 우버 기술 블로그 정말 알찬 자료 가득하니 참고하시면 좋을 것 같아요-! 다음 영상들 계속 준비하고 있습니다! 곧 업로드해볼게요 :)
댓글 남겨주셔서 감사합니다! 댓글이 제게 큰 힘이 되어요!
비전공잔데 독학으로 가능할까요…?! 넘파이 판다스 아용해서 데이터 분석 찔끔 할 줄 아는 수준입니다.. 굉장히 매력적인 것 같은데 어떻게 준비해야되는지 구체적으로 정보가 안나타나있어서 방향 잡기가 힘드네요 ㅠㅠㅠ
안녕하세요! 가능할 수도 있고, 가능하지 않을 수도 있을 것 같아요. 비전공자이면서 독학으로 취업한 분이 분명히 있을거에요. 다만 그 비율이 얼마나 되냐가 중요할텐데 그건 저희가 알 수는 없지요(전수 조사를 하지 않으니)
데이터가 왜 하고 싶은지를 먼저 고민하시면 좋을 것 같아요. 현재 데이터 분석을 하고 싶은 것인지, 데이터 엔지니어를 하고 싶으신지에 따라 다를 것 같아요!(분석을 공부하신 것 같은데 엔지니어를 왜 하고 싶으신가요?)
참고차 제 자료와 저와 같이 일했던 신입 데이터 엔지니어분들의 글을 공유드려요!
github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki
tech.socarcorp.kr/data/2021/12/28/data-engineering-team-onboarding.html
tech.socarcorp.kr/data/2021/03/24/what-socar-data-engineering-team-does.html
dailyheumsi.tistory.com/207
tansfil.tistory.com/66
@@kyleschool 답변 및 자료 감사합니다!
사실 제가 산업공학과 재학중이라 완벽히 비전공자(?)라고 하기에는 뭐하지만 본래 생산 및 품질관리쪽으로 진로를 잡았습니다. 근데 채용공고를 보면 아무래도 대기업들은 규모가 있는 제조업이다 보니 대용량의 데이터를 다뤄본 역량을 우대하더군요,,! 하지만 지금 하고 있는 데이터 분석은 크지 않은 데이터이기도 하고, 약간 마케팅 및 비즈니스(?) 성향이 강한 것 같기도 하더라구요 그래서 여러 자료를 찾아보다가 데이터 엔지니어링이 적합한 것 같아 여기까지 오게되었습니다..!
근데 확실히 데이터 엔지니어링 분야 자료가 많지가 않더라구요,, 인터넷 강의도 그렇고,, 그래서 첫 시작을 어떻게 해야할지 고민이 되어서 이렇게 질문드리게 되었습니다.
아직 2학년이지만 여름방학 지금부터 뭐라도 시작해야 가능성이 있지 않을까 싶어서,,,,ㅎㅎ
내용이 넘넘 좋아서, 데엔 주니어 스터디에 첫 자료로 공부하려고 합니다! 감사합니다^^
감사합니다! 스터디 첫 자료로 공부하신다니 영광이네요! 더 도움 드릴 수 있도록 준비할게요 :)
데이터엔지니어 신입으로 일하고있는데 전체적인 그림이 많이 정리되는기분이예요~ 나중에 신입분들 교육자료로 사용해도 정말 좋을거같습니다 ㅎㅎ
전체적인 그림이 정리된다니 다행이네요!!! :) 그 이후에도 최근 변화에 대한 내용도 공유드릴게요!
신입분들 교육 자료로 사용해도 좋다니 너무 좋은 말이네요!! 감사합니다 :)
감사합니다 큰 도움이 되었어요 ㅎㅎ 성장해서 1,5,10년 뒤 다시 찾아뵐게요
큰 도움이 되었다니 다행이네요! 성장해서 꼭 다시 뵈어요!
SQL 당연히 있는 테이블 셀렉트 조인하는 것 뿐만 아니라 Create랑 Delete UPDATE하는 법 등도 알아야 겠죠 백엔드 개발자들 처럼? 풀스택으로 CRUD 고객관리 게시판을 이제서야 구현하게된 개발 초보..ㅠㅜ
SQL로 데이터를 추출하는 역량은 데이터 분석가 관점에서 필수고, DML 쿼리는 데이터 분석가에겐 처음부터 필수는 아닐 것 같아요. 점점 알면 좋겠지만! 데이터 엔지니어라면 DML은 알면 좋은 것 같습니다. 백엔드 개발자와 데이터 엔지니어의 근간은 거의 비슷하다고 보셔도 될 것 같아요-!
@@kyleschool 오 답변 감사요
안녕하세요 !
그간 카일스쿨님이 블로그에 올리신 글들을 봐오던 신입 데이터엔지니어입니다 !
구독하고 열심히 영상 볼게요 ㅎㅎㅎㅎㅎㅎㅎ
근데 목소리 되게 좋으시네요.
블로그 잘 봐주셔서 감사합니다!! :) 계속 만들어볼게요..! 목소리 좋다고 해주셔서 너무 감사합니다..!!!
꿀팁들이 가득하네요! 일단 도서관에서 책 훑어봐야겠어요~
감사합니다!!! 책 살펴보시면서 학습해보셔요 :)
러닝 마스터님 :) 데이터엔지니어 관련 영상 잘 보고 갑니다 감사합니다
안녕하세요! :) 영상 봐주셔서 감사합니다!!
우와 너무나 유용한 내용입니다. 감사드리고 많은 영상 많들어주세요~
감사합니다!! 영상 만드는 작업 계속 해볼게요!! :)
Airflow를 이용한 ETL 토이 프로젝트를 진행 중 어떤 방향으로 해야하나 고민이 많았는데
카일님께서 해주신 언어와 플렛폼은 문제 해결에 의한 도구에 불가와
" 프로젝트에 목적, 문제 및 제약 사항으로 인해 프레임워크를 선택" 이 말에 기존에 만든 PPT를 다 부스고? 다시 정리하려 합니다
정말 감사합니다
추후에 데이터 엔지니어 하실때 하셧던 ETL 토이 프로젝트 설명에 관련된 영상이면 너무너무 감사한 마음오로 시청할거 같습니다!
이런 고급 정보를 주셔서 너무 감사합니다!
태경님 안녕하세요! 각 직군별로 제가 인상 깊게 볼 프로젝트에 대한 영상도 곧 찍어볼게요! 댓글을 남겨주셔서 저도 깊은 감동을 받았어요! 감사합니다 :)
안녕하세요:)
영상 12분과 마지막에 언급하신 데이터 엔지니어 프로젝트 관련 영상은 언제 업로드 될지 궁금합니다!
질 좋고 유익한 영상에 매료되어 구독까지 꾹 눌렀습니다 ㅎㅎ
감사합니다!
안녕하세요 :)
최근 강의 런칭, 책 집필 등으로 유튜브 영상을 찍지 못했는데 이제 여유가 생겨서 다시 업로드하려고 하고 있어요! 우선 데이터 분석가 취업 관련 이야기를 먼저 공유할 예정인데 빠르게 만들어볼게요..! 4월중엔 모두 업로드 가능하도록 루틴을 만들어보겠습니다!
답변 감사합니다 >.<
영상 보자마자 빅데이터를 지탱하는 기술 책 주문하여 내일 배송 도착하면 읽어보려합니다 ㅎㅎ
데이터 엔지니어 관련 취업 정보가 분석가에 비해 많은 편이 아니라 찾아 보던 와중에 카일님의 영상은 정말 단비같았습니다!!
다음 영상도 기다리겠습니다! 다시 한 번 좋은 영상 감사합니다👍👍
etl의 load 는 불러오다가 아니라 적재하다의 의미입니다.
감사합니다! 적재하다라는 단어가 생소할 수도 있어서 Load 단어에 대해 많이 아는 개념으로 설명했는데, 다음엔 적재하다란 단어에 대해 설명해봐도 좋겠네요! :) 게임에서 Load보면 특정 시점에 저장된 것을 불러와서 가져오는데, 데이터도 특정 시점에 저장된 것을(추출된 것) 테이블화하기에 이런 표현을 사용했었습니다
피드백 감사합니다!
좋은 영상 감사합니다! 데이터웨어하우스/데이터마트에 대해 설명해주셨는데 데이터레이크랑 어떤 차이가 있나요~??
오 좋은 질문 감사합니다! 데이터레이크는 데이터 엔지니어의 요즘에 대한 이야기 때 공유드릴 예정인데, 간단하게 말씀드리면 데이터레이크는 정형, 비정형 데이터 상관없이 Raw Data를 일단 저장하는 형태 활용할 때 어떻게 사용할지 결정합니다. 반면 데이터 웨어하우스는 활용 요구에 맞게 저장하곤 합니다(Tabular 형태로 저장한다거나!)
이제 학부 3학년 되는데, 블로그도 유튜브도 많이 보고 있습니다!!! 잘보겠습니다:)
블로그, 유튜브 모두 잘 봐주셔서 감사합니다! :) 질문 있으시면 언제든 말씀해주세요~!
데이터 엔지니어 쪽으로 전직하려고 하는 금융IT 개발자입니다. 영상 도움이 많이 되네요 다음 영상이 기대됩니다. 근데 프로젝트에 관해서 궁금한게 있는데, 어떤 문제를 해결하려고 어떤 기술을 왜 사용했는지 고민하는 과정이 필요하다고 하셨눈데 개인 플젝에서는 라이브 서비스를 운영하지 않으면 그런 고민을 할 수 있는 여지가 없지 않을까 생각했습니다. 해결해야할 문제를 어떻게 찾고, 프로젝트, 포폴 등은 어떻게 만들어내면 좋을지 궁금합니다.
안녕하세요! 개인 플젝에서 라이브 서비스를 운영해보고 홍보도 하며 피드백을 받는 경험이 인상적인 플젝으로 만드는 마침표라고 생각합니다. 단순히 혼자 해보고 끝났다!라고 하는 것보단 실제로 사람들에게 공유하고 피드백(성능 이슈가 있다 등)을 받고 그걸 개선했다!라는 말을 해주시면 더욱 좋을 것 같습니다
이런 피드백 안에서 해결해야 할 문제를 찾을 수 있을 것 같습니다
아예 최초에 프로젝트를 고민할 때엔 일상에서 내가 겪는 불편함에서 데이터를 활용해 할 수 있는 것이 무엇일까?부터 접근해보시면 좋을 것 같습니다 :)
@@kyleschool 일단 해결하고 싶은 문제를 먼저 생각해봐야겠습니다 조언 감사합니다!
강의 잘 들었습니다!!
감사합니다! 봐주셔서 감사합니다 :)
도움이 되는 영상 감사합니다 :)
도움이 되는 영상이라고 해주셔서 감사합니다!!! 힘이 되네요 :)
진심으로 감사합니다
댓글 남겨주셔서 감사합니다. 이런 댓글이 제게 원동력이 되어요.
직무 이해하는데 큰 도움이 되네요😊
도움이 되었다니 다행이네요! 감사합니다 :)
많은 도움이 됐습니다!!!!!!!!!!!
데이터 엔지니어 추가 영상은 언제 쯤 볼 수 있을까요????????????????????
안녕하세요 :)
다시 영상을 꾸준히 올리기 위해 자료를 만들고 있답니다!! 곧 다시 시작할게요 :) 이 댓글을 올려주셔서 제가 더 영상을 만들어야겠다고 생각하게 되었어요. 댓글 감사합니다!
@@kyleschool 안녕하세요. 저도 기다릴게요!
안녕하세요. 저는 데이터 분석가에서 엔지니어링 영역으로 확장을 꾀하고 있습니다.
12:13 클라우드 활용해서 프로젝트를 진행하라고 하셨는데,
그렇다면 10:50 앞에서 첫 입문으로 추천하신 을 공부한 후에,
“클라우드에 대한 공부”도 추가적으로 진행한 후에 “프로젝트를 진행”하는게 순서인가요..?
그렇다면, 클라우드에 대한 공부를 어떻게 해야할 지에 대한 조언을 좀 해주실 수 있을까요..?😭
요즘 aws에서도 데이터 엔지니어링에 관한 도구들이 많다고 하던데, 그러한 도구들을 공부하기 전에 기본적인 빅데이터 처리 기술들에 대해 어느 정도로 선행학습이 되어 있어야 하는지를 모르겠습니다..!😢😭
리쌍님 안녕하세요!
학습에 순서가 따로 있는 것 같진 않아요. 일단 데이터 엔지니어링의 기초는 빅데이터를 지탱하는 기술에서 파악할 수 있으니 해당 내용을 보시고, 프로젝트를 하시면서 그 과정에서 필요한 클라우드를 배우시고 적용하면 어떨까 싶어요-! 클라우드 학습하려면 범위가 너무 넓어서, 끝이 나려면 엄청 오래 걸릴거에요(사실 끝이란 것을 정의할 수 있을지도 모르겠네요..!)
리쌍님이 분석가를 이미 하셨다면, 회사에서 경험한 데이터 인프라와 유사한 형태로 먼저 클라우드를 사용해보는 것도 어떨까 싶네요
리쌍님이 프로젝트를 하려고 하는데, 어떤 것이 필요한지 한번 고민해보시고 필요한 것을 하나씩 추가하면 어떨까 싶네요
a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/
이 글에 데이터 인프라의 Layer를 잘 작성해주고 있는데, 이런 글을 토대로 리쌍님이 필요한 레이어가 무엇인지 인지하고 => AWS Storage service 이런 형태로 검색하셔서 그 서비스를 사용해보고 그러면 어떨까 싶어요!
클라우드의 데이터 엔지니어링 제품을 먼저 공부하면 단순히 툴 학습이 될테고, 빅데이터를 지탱하는 기술로 기반 기술을 이해하고 그걸 더 쉽게 할 수 있는 클라우드 데이터 엔지니어링 제품을 공부해보시는게 더욱 좋을 것 같아요-!
이 때 핵심은 모든 것을 다 아는게 아니라, 큰 그림을 먼저 이해하시는 것이 좋은 것 같아요(저도 클라우드의 모든 제품을 다 알진 모르고 들어만 본 제품도 몇개 있어요)
@@kyleschool 와 답변 너무 유익하네요!! 정말 감사합니다. 빅데이터를 지탱하는 기술부터 읽어야겠어요!!!😆
로드맵강사합니다
감사합니다!! 도움이 되었길 바랄게요 :)
너무 유용하네요 감사합니다!
너무 유용하다고 해주셔서 감사합니다!! :) 앞으로도 또 올려드릴게요!
정리 깔끔하고 이해가 잘되네요 감사합니다
깔끔하고 이해가 잘 된다니 뿌듯하네요! 감사합니다 :)