Docs 1: Estrutura de dados Como os pcs e linguagens funcionam internamente. Dica 2: SQL Dica 3: Python, Java ou Scala Dica 4: Linux Conhecimentos específicos: Data Warehouse e Data lake - Snowflake - Amazon Redshift - BigQuery - Azure Synapse analytics - ETL - Extraçao, Transformação e Carga - Apache Spark - Airflow
Parabéns pelo vídeo, sou engenheiro de dados e alguns pontos eu até explicaria um pouco diferente mas vc descreveu muito bem a carreira no geral. Eu adicionaria o conhecimento de um repositório como git e também o NOSQL principalmente com o mongodb orientado a documentos e o aprofundamento em uma das linguagens de programação, pois tenho visto o quanto o conhecimento da linguagem de programação facilita a vida na hora de desenvolver softwares bons. O aprofundamento digo não apenas funções avançadas como também diferentes paradigmas de programação como orientado a objetos, funcional, mapreduce e etc. Parabéns pelo vídeo!
Engenharia de Dados vale a pena mesmo irmão ? Tô fazendo facul de ADS e estou começando a me interessar nessa área de dados. O que me poderia recomendar ?
Opa irmão , firmeza? Não sei se irá ver a mensagem, porém eu gostaria muito de ser engenheiro de dados , preciso de uma ajuda de alguém que realmente chegou lá , não somente vídeos, se alguém que chegou lá quiser me dar uma força eu agradeceria muito! Obrigado! sou apenas um sonhador
Boa Tarde, Tenho 23 Anos Atualmente trabalho como auxiliar no Hospital, e sou estudante de Gestão de TI, Sou Apaixonado por banco de dados, porem tenho conhecimento apenas básicos em python, Assisti seu vídeo e anotei tudo para minha jornada seja finalizada com sucesso. Obrigado!!!
Me identifiquei muito com a área de dados, mais especificamente Engenharia de Dados, onde cheguei através de um bootcamp, mas algo tem me preocupado, que é como está o mercado de oportunidades para quem está iniciando na área, não parece muito aberto a estágio e Junior, geralmente é mais Sênior, poderia fazer um vídeo com análise de vagas e oportunidades no mercado? To com 35 anos, não queria errar a especialização, me dedicar a algo e não me darem oportunidade. Outra coisa é que tenho visto comentários dizendo que eles contratam pra essa área só quem tem formação em exatas, estatisticas, será que não sofreria preconceito tendo formação em Análise e Desenvolvimento de Sistemas?
Ganhou um escrito , sou pintor residência e estou muito afim de entrar na área de dados , você poderia fazer um tutorial na prática de como é o seu trabalho ?
De todos os conteúdos que procurei você foi o mais objetivo, específico e completo que encontrei. Era exatamente o que eu queria. Obrigada pelas dicas. Todas serão muito úteis na minha jornada de aprendizado. 🥰
QUe bom, fico muito feliz em ouvir isso. Estamos preparando uma formação que vai sair no ano que vem, bem focada em ferramentas e teoria para engenharia de dados com mentoria, segue a gente aqui e nas redes sociais para saber mais. Um abraço
Muito bom o conteúdo do vídeo, parabéns. Eu me formei em estatistica e atuando com análise de dados descobri que gosto mais da área de Engenharia de dados. Estou explorando essa área, tem bastante coisa pra estudar.
Show de bola, trabalho a 10 anos na area de BI, sempre fiz etl com ODI, hj estou tentando virar a chave e estou estudando para virar engneheiro de dados e digo, é dificil e cansativo rsrs
Me da uma visão? Tenho 23 anos, trabalho com Azure faz 1 ano e meio e antes disso minha experiencia como Data Engineer foi bem "crua" onde eu como estagiário fazia um script batch que fazia a extração dos dados, salvava em memória pois eram muito pequeno as amostras e escrevia numa tabela "vulgo DW" e mostrava no power bi pro diretor. Era tudo bem cru na época então dava pra fazer tudo de boas. Hoje com azure uso o synapse no meu dia a dia. Não estou cuidando da parte de Extração da source do cliente, mas cuido da parte de adequar os dados pro DS consumir. Faço a etapa de conversar com a area , mapear tabelas, colunas, infos importantes e solicitar pro outro DE que cuida disso puxar do Banco dos cara e mandar pra Bronze, e então eu extraio esses dados da bronze e eu aplico tudo isso no código inclusive regras de negócio e deixo prontinho pro DS do meu squad consumir na gold. (As vezes eu faço uma parte, entrego na Silver, ele cria um NB, cria as regras de negocios mais complexas e aí eu só ajeito o NB pra escrever na gold, crio a pipeline pra rodar os NB's, coloco na rotina e é isso) Uso Pyspark e SQL o dia inteiro nos NB's do azure synapse. É Cansativo de ficar em reuniões e reuniões validando coisas com cliente e do nada ele muda TUDO.. consultoria é foda cara. Se o cliente atrasa ngm liga, mas se voce se atrasou por causa dele A CULPA É SUA. Sinto que to muito preso a isso sabe? Numa entrevista de emprego não sei se vou responder com segurança coisas e etapas diferentes disso sabe? Perguntas referente a arquitetura, porque foi escolhido isso, porque usamos flat table e não star schema... não saberia responder. É normal ter esse sentimento que não sei nada além disso que faço? Até aonde que é a sindrome do impostor falando e até aonde eu me deixei estagnar?
E normal sim. Mas se já teve contato com a azure segue essa linha. Tem a formação de data engineer no site da Microsoft e é de graça. Depois faz a prova de certificação
Tenho 17 anos e estou no último ano do colégio, faco tecnico em desenvolvimento de sistemas e me apaixonei pela materia de banco de dados. Fui procurar saber mais sobre a area e as profissoes, parece ser muito promissora e um bom salario. Tenho um ingles quase que fluente, estou estudando MySql em casa por conta propria, depois estudar phyton e pegar umas dicas de linux com o meu pai kkkk. Ainda estou pensando em qual faculdade fazer dentro da area de tecnologia, qual vc recomendaria(curso e lugar, sou de sp)? Um passo de cada vez.
Eu fiquei 4/5 meses estudando para ser Analista de dados, pois achava q para ser um engenheiro de dados eu deveria ter a experiência como Analista. Se acha q é possível conseguir uma oportunidade como engenheiro de dados sem experiência?
Minha opiniao é que é possível mas tem que ter uns requisitos obrigatórios com conhecimento da linguagem sql, lógica, conheciemnto em alguma nivem (aws, zure e gcp) e um pouco de linguagem python. O resto é possível obter quanto estiver trabalhando
Mestrão, Estou migrando de área, uma migração bem complexa. Já comecei a ver algumas coisas, mas muito fragmentado. Você conhece um curso base para eu estudar e depois, sim, procurar de forma mais fragmentada de acordo com as necessidades de aprendizagem? Abração e obrigado pelo conteúdo.
Tenho uma questão que às vezes me incomoda: Com 48 anos de idade sou analista/desenvolvedor de software há vários anos e antes do mercado falar sobre a carreira de dados fiz bastante trabalhos na área com SQL relativamente complexo e programação para extrair e tratar dados, integrando sistemas etc. com bons resultados. Considerando minha faixa etária, vcs acham que o foco na carreira de Engenheiro/Cientista de dados pode ser mais interessante pra "velhinhos" como eu? Lembre que estou entrando na casa dos 50 e acho que aqui no Brasil pode ser complicado concorrer com devs com a metade da idade. Parece que na área de dados tenho mais chances de continuar por mais anos, pois exige mais responsabilidade, bagagem, multidisciplinaridade e são coisas que tenho no currículo ,mais do que linguagens e padrões modernos de codificação
Se tiver o conhecimento de sql, você já tem, conceito de estruturas de dados acredito que tenha, bancos de dados, acredito que tenha. Só precisa de familiarizar com algumas técnicas de tecnologia na nuvem. EU tenho 44 anos e estou aqui sendo demandado para varios projetos. Para mim TI não tem idade
Boa tarde, sou formado em sistemas de informação e me apaixonei por engenharia de dados.. Já trabalho com API's SQL server e MYSQL já tenho conhecimentos em python, estou focado estudando todos os dias, você acha que vale a pena eu ingressar em uma pós em engenharia de dados ou investir em certificações?
ACredito que se você já tem esses conhecimentos de SQL você poderia pensar em fazer uma mentoria para focar no que as empresas querem, Posso indicar minha mentoria chamada Mentoria Data Pro. segue o link : mentoriadatapro.codifike.com.br/
Sou formado em C.Computação, estou na metade do Curso de Eng. de Computação...conhecimento em SQL, PHP, e atualmente funcionario publico...estou pensando em migrar pra area...
vc sentiu necessidade de fazer engenharia de computação mesmo sendo formado em ciência da computação? o que o curso atual esta agregando de conhecimento pra vc? o que te fez tomar essa decisão? pra qual area vc pretende migrar msm? se por a caso for engenharia de dados e sua intenção é buscar conhecimento por meio de aprendizado acadêmico, pq não fazer pós diretamente pra engenharia de dados?
Tenho uma dúvida! Eu gostaria de saber como posso deixar a barra de favoritos do navegador maior (mais larga). Pois gosto de visualizar os ícones dos sites que eu mais uso, mas são muitos, aí acabam ficando vários ocultos.
Trabalhei com um Engenheiro de Dados e curti muito o que ele fazia. Fiz projetos usando Python e SQL Server porém arrumei outro trampo que fugiu da minha stack, hoje trabalho com Rede de Computadores... não sei o que fazer para voltar para Dados e continuar estudando já que hoje em dia trabalho com outra coisa
Passei no processo seletivo do Santander Coders esse ano e ganhei bolsa na trila de Engenharia de Dados. Dentro da trilha já aprendi bastante coisa em python como: Lógica de Programação II, Orientação a Objeto, Numpy, Pandas, Extração de Dados e ainda falta os módulos de Analytics Engineering e Big Data. Trilha termina em novembro e quero engatar em um tecnólogo EAD em Banco de Dados. Estou na dúvida em qual instituição fazer, até agora cogitei a FAM ou PUCMInas. Você sabe alguma que tenha peso dentro do mercado? E outra, acha um bom caminho seguir nesse tecnólogo? Ou fazer um de Ciência de Dados visto que eu já fiz uma trilha em Engenharia.
@@Codifike Mano, a trilha é muito boa. Todo módulo é dado com foco em um projeto final em grupo. Metodologia deles é bem volta pro dia a dia do mercado, vale muito a pena fazer. Dica que eu posso te dar pro teste.... Estuda lógica propositiva. Pseudocodigo vai cair duas questões só. E na fase da dinâmica em grupo interage, quem fica quieto não passa. Boa sorte no processo!
@@ester_maria_88 Então, você vai aprender muito do dia a dia do mercado com essa bolsa. É bem voltada pra demanda do mercado, mas não posso tr afirmar que somente essa trilha serve. Justamente por isso que buscando o tecnólogo.
Tenho uma dúvida comecei a cursar bacharel em ciências de dados porem tenho ate o final do semestre para mudar o curso para engenharia da computação. Pergunta é manter o curso em ciências de dados ou migrar para Engenharia da computação?
Não pude deixar de perceber essa pergunta, uma vez que sou Eng da computação formado e atualmente curso pos em ciência de dados kkkkk. Qualquer engenharia é focado na industria, vc ira aprender coisas muito além da área da computação ou dados, como circuitos elétricos, eletrônica, partes mais adentro da computação como a criação de uma ling de programação, sim isso é possível, criar uma nova do zero, complexidade de um codigo, noção de vários paradigmas, distribuídos em nuvem, paralelo, procedural, orientado a objeto, a threads , noções da fisica e programação de maquinas CLP e tecnicas mais modernas como maquinas de estado, noções de segurança etc. Enfim, dos 2 cursos com toda certeza eng é mais dificil e mais completo, mas se vc gosta, entende a gama de possibilidades q isso te dá e está proximo de um grande centro , tipo Sao Paulo, diferente de mim, eng. seria uma boa. Ciencia de dados vc nao precisa d um curso tao extenso para chegar lá, digo, pode fazer primeiro e ir estudando essa área mais especialista. Acredito q seja uma vaga ainda em ascensão, com bastante demanda e responsabilidades. As melhores oportunidades aparecem em empresas grandes ou estrangeiras, entao se quiser ganhar bem e qm sabe um trabalho remoto, melhor começar um ingles e focar nas empresas maiores msm, é o q estou tentando nesse momento. Entretanto, de inicio parece ser dificil conseguir uma boa oportunidade, digo por mim e por todos os meus colegas q eu tenho observado, como junior quase nao há vagas, e meio q as empresas nao confiam, mas depois de "velho" kkkk ganha a experiência. Nas duas vc tera q estudar continuamente. Sem querem desanimar, mas na eng. até o 3 periodo, 1ano e meio metade da turma já desistiu, reflexão kkkk
Tenho 16 anos e me interresei pela profissao, nao tenho conhecimento nenhum sobre nada disso, oq vc faria no meu lugar? Qual curso, ou sla como começaria do zero a entender o basico/base de dados
Começa por sql e banco de dados e depois uma linguagem de programaçao pode ser python. tenho curso de SQL aqui na codifike segue o link www.linkedin.com/posts/fabricio-mattos-7238588_aprenda-sql-activity-7095025937376845824-5R1D?
Sou DBA (Database Administrator) e estou pensando seriamente em migrar para área de Engenharia de Dados. Apesar que eu poderia muito bem continuar me aperfeiçoando onde já me encontro. Mas últimamente não tenho tido muitas perspectivas. Acredito que com toda a bagagem que ja tenho, vai ajudar bastante nesse processo. Seria uma boa congitar essa migração e por em prática?
@@Codifike Teria algum bom curso de formação para indicar ? Valeria a pena investir em uma pós, ou focar de fato nos conhecimentos práticos em cursos complementares, visando entrar no mercado de trabalho ?
@@israelibrv VOu lançar um mentoria para quem quer se tornar um engenheiro de dados nas próximas semanas. Acompanhe aqui no canal e no instagram @codifike_oficial para saber quando as inscrições abrirem
Bom dia.. trabal😅 naturalmente bcomo tecnico de informatica.. estou me formando agora em analise e desenvolvimento densistemas.. curti muito a disciplina de banco de dados que abordou projeto de BD, SQL, sql server. Queria fazer uma pos graduação.. mas parece quenpara entrar no mercado de trabalho nessa area de Administração de banco de dados é bem dificil e com poucas vagas .. nesse sentido uma pos em Engenharia de Dados seria o indicado pra mim? Eu curto muito sql e sgbd. Na puc minas tem uma pós que segue essa sua trilha do video.. onque voce indica pra.mim? Grato desde já
É difícil dizer o que seria mais indicado para você, pois só você pode responder essa pergunta. Mas baseado no que descreveu, se gosta de banco de dados e já conhece sql, esse pós me parece um caminho bem interessante.
Bom dia meu amigo, você tem algum curso ou play list, que ensinaria isso na ordem ideal? Entrei em uma pós em uma empresa ai reconhecida na área de investimento, mas a experiência com a parte de ensino deles é péssima com materiais desatualizados, sem ambiente para aplicação das atividades e exercícios sem funcionar, pois muita coisa mudou. Então se é necessário eu pagar as plataformas, mesmo que trial, inserir meus dados de cartão, que seja para usar com um curso atualizado e de qualidade. Caso tenha e possa deixar o link para gente por favor de algum curso seu ou indicação.
Oi Guilherme , Meu curso ainda está na fase de desenvolvimento, mas posso indicar um muito bom , porém em ingles. Inscrevendo-se por esse link ajuda o canal 😁www.udacity.com/course/data-engineer-nanodegree--nd027
Opa, beleza? Quanto tempo em média se leva pra sair do zero e aprender todo esse conteúdo necessário para aplicar para as vagas de Júnior? Abraço e obrigado! Parabéns pelo canal!
Muito difícil dizer u, número exato, depende de pessoa para pessoa. Mas eu diria que no mínimo 1 ano. Estou montando uma mentoria para agilizar esse processo se quiser segue a gente no Instagram @codifike_oficial que estaria divulgando as inscrições por lá.
Essa formação é boa, mas tem coisas ali que eu acho desnecessário e o conteúdo poderia ser um pouco menor e mais focado. Estou em fase de preparação e criação da Formação engenheiro de dados da Codifike que vai ser lançada no início do ano que vem. Bem mais focada e com diversas dicas e mentoria
@@Codifike eita. Havia acabado se adquirir... espero que seja uma experiência. Mas nota-se que temos pouco conteúdo de formação,engenharia de dados. Digo algo mais prático e mão na massa...
Estou me formando em Engenharia elétrica porém tenho paixao por tecnologia nao quero cursar Engenharia de software, talvez um tecnólogo em análise e desenvolvimento de sistemas mas nao é o foco principal. Por onde eu posso cursar para ser um engenheiro de dados ?
Não existe uma graduação para engenheiro de dados, vc pode cursar analise de sistemas, engenharia da computação e depois se especializar na área de dados.
Como vc está se formando, pode fazer uma Pós-graduação (principalmente se já tiver os conhecimentos básicos de TI). Eu vi uma da XP Educação, por exemplo, de Engenharia e Arquitetura de dados com duração de 10 mees.
Na minha humilde opinião, graduação sempre é uma boa ideia. Se quiser entrar na área uma graducao em engenharia da computação ou ciencia da computaçao seria uma boa principalmente para aprender os conceitos e fundamentos básicos.
@@Felipe-gk9mc eu sou suspeito de falar, pois é aininha área , mas vendo o mercado e a falta de profissionais qualificados eu diria q é uma boa escolha. Mas tem q gostar e principalmente se manter atualizado
Eu estudo ciência da informação na UFSC, e temos uma disciplina optativa chamada engenharia de dados, foi minha porta de entrada na área, estou me preparando pra entrevistas, portanto, acredito o ambiente da universidade ajuda no aprendizado mas se você for dedicado e aprender as tecnologias acredito que seja um caminho a seguir também
@@Codifike Meu colega senior era cheff de cozinha, estudou pra krl e virou DBA, ficou uns anos e entrou comigo no time de hoje. O cara ganha 10k+, Sênior NATO, o que o cara evoluiu no ultimo ano foi surreal.. e não tem diploma em area tech. Então sei lá... é bom ter mas não é regra. Depende mais de voce no tempo livre se dedicar do que outra coisa.. na minha humilde visão, é claro.
Amigo, tenho superior em gestão financeira e técnico em desenvolvimento de sistemas, quero fazer uma pós em engenharia de dados, acha que isso já basta ou tem que ser graduação tradicional
Powershell é apenas uma ferramenta de comandos, podendo ser usada no Windows, no Linux etc.. O Linux é o sistema operacional que roda a maioria das aplicações que conhecemos (sobretudo nos ambientes cloud). Hoje quem não sabe pelo menos o essencial do Linux fica limitado . E agora está bem mais fácil instalar Linux dentro do Windows (via WSL) pra aprender e rodar aplicações localmente.
Bom noite, voce considera os conhecimentos de matematica e estáticas quão importante para engenharia de dados, preciso saber até que 'ponto' ??, no momento estou na faculdade de eng.computação e tenho uma boa base de sql, gerenciamento de bancos de dados oracle e alguns conhecimentos em python. Outra pergunta é a respeito de excel e Power bi. Um engenheiro de dados precisa saber bem ou dominar essas ferramentas? A 5 anos atrás tive um bom contato com excel até o nível intermediario mas de lá pra cá nunca mais peguei pra estudar, devo retomar esses estudos ou é melhor focar nos pontos bases da engenharia de dados agora mesmo?? obs: Ainda estou procurando meu primeiro estágio e vagas de ti gerais, já que é bem dificil encontrar algo que foque em engenharia de dados, estão cobrando conhecimento de excel e power bi mas fico na duvida se devo levar isso para meus estudos com tanta coisa pra aprender rumo ao sucesso de engenharia de dados....
saber excel é bom para conhecimento num geral, porém power b.i. não faz sentido a não ser que vc esteja em desvio de função e fazendo trabalho do analista de B.i. O trampo do engenheiro de dados é a pipeline, power b.i. é pra fazer os relatórios e visualização de dados, fora do escopo de serviço de engenheiro de dados.
1. SQL
2. LINUX
3. Datawarehouse - Snowflake
4. Apache Spark
5. Cloud - AWS
6. Apache Airflow
Docs 1: Estrutura de dados
Como os pcs e linguagens funcionam internamente.
Dica 2: SQL
Dica 3: Python, Java ou Scala
Dica 4: Linux
Conhecimentos específicos:
Data Warehouse e Data lake
- Snowflake
- Amazon Redshift
- BigQuery
- Azure Synapse analytics
- ETL - Extraçao, Transformação e Carga
- Apache Spark
- Airflow
Parabéns pelo vídeo, sou engenheiro de dados e alguns pontos eu até explicaria um pouco diferente mas vc descreveu muito bem a carreira no geral. Eu adicionaria o conhecimento de um repositório como git e também o NOSQL principalmente com o mongodb orientado a documentos e o aprofundamento em uma das linguagens de programação, pois tenho visto o quanto o conhecimento da linguagem de programação facilita a vida na hora de desenvolver softwares bons. O aprofundamento digo não apenas funções avançadas como também diferentes paradigmas de programação como orientado a objetos, funcional, mapreduce e etc. Parabéns pelo vídeo!
Obrigado Ramon. Realmente faltou o git, mas tentei focar mais nas ferramentas de dados.
@@Codifike ah beleza, entendi, top!
Engenharia de Dados vale a pena mesmo irmão ? Tô fazendo facul de ADS e estou começando a me interessar nessa área de dados. O que me poderia recomendar ?
Opa irmão , firmeza? Não sei se irá ver a mensagem, porém eu gostaria muito de ser engenheiro de dados , preciso de uma ajuda de alguém que realmente chegou lá , não somente vídeos, se alguém que chegou lá quiser me dar uma força eu agradeceria muito! Obrigado! sou apenas um sonhador
Boa Tarde, Tenho 23 Anos Atualmente trabalho como auxiliar no Hospital, e sou estudante de Gestão de TI, Sou Apaixonado por banco de dados, porem tenho conhecimento apenas básicos em python, Assisti seu vídeo e anotei tudo para minha jornada seja finalizada com sucesso.
Obrigado!!!
Boa sorte e vá atrás do seu objetivo e não deixe ninguém dizer que você não consegue
Me identifiquei muito com a área de dados, mais especificamente Engenharia de Dados, onde cheguei através de um bootcamp, mas algo tem me preocupado, que é como está o mercado de oportunidades para quem está iniciando na área, não parece muito aberto a estágio e Junior, geralmente é mais Sênior, poderia fazer um vídeo com análise de vagas e oportunidades no mercado? To com 35 anos, não queria errar a especialização, me dedicar a algo e não me darem oportunidade.
Outra coisa é que tenho visto comentários dizendo que eles contratam pra essa área só quem tem formação em exatas, estatisticas, será que não sofreria preconceito tendo formação em Análise e Desenvolvimento de Sistemas?
Ganhou um escrito , sou pintor residência e estou muito afim de entrar na área de dados , você poderia fazer um tutorial na prática de como é o seu trabalho ?
Foi muito bom ver esse vídeo, percebi que estou estudando as tecnologias corretas e estou no caminho certo.
Show
De todos os conteúdos que procurei você foi o mais objetivo, específico e completo que encontrei. Era exatamente o que eu queria. Obrigada pelas dicas. Todas serão muito úteis na minha jornada de aprendizado. 🥰
QUe bom, fico muito feliz em ouvir isso. Estamos preparando uma formação que vai sair no ano que vem, bem focada em ferramentas e teoria para engenharia de dados com mentoria, segue a gente aqui e nas redes sociais para saber mais. Um abraço
Muito bom o conteúdo do vídeo, parabéns.
Eu me formei em estatistica e atuando com análise de dados descobri que gosto mais da área de Engenharia de dados. Estou explorando essa área, tem bastante coisa pra estudar.
Situação igualzinha a minha. Na sua opinião, consegue aproveitar os conhecimentos (especialmente de SQL e Python) ou são coisas muito distantes mesmo?
Gostei, quero entrar na área e foi muito orientador e explicativo.
Que isso mas descartou o GCP rsrsrs, Mercado nas Americas esta interessante para tools google. EUA principalmente.
Muito bom !
Descartei não.
Teu canal está muito bacana, continue!!!
Obrigado
Gostei muito do vídeo! Eu mesmo já fiz dois do CS50 e estou lendo sobre estruturas de dados para aprender, ajudou muito.
Show de bola
Show de bola, trabalho a 10 anos na area de BI, sempre fiz etl com ODI, hj estou tentando virar a chave e estou estudando para virar engneheiro de dados e digo, é dificil e cansativo rsrs
Sucesso!
@@i-buy-trade-and-sell Não estou saindo, Eu sempre fui da área de engenharia de dados e BI.
Me da uma visão?
Tenho 23 anos, trabalho com Azure faz 1 ano e meio e antes disso minha experiencia como Data Engineer foi bem "crua" onde eu como estagiário fazia um script batch que fazia a extração dos dados, salvava em memória pois eram muito pequeno as amostras e escrevia numa tabela "vulgo DW" e mostrava no power bi pro diretor. Era tudo bem cru na época então dava pra fazer tudo de boas.
Hoje com azure uso o synapse no meu dia a dia. Não estou cuidando da parte de Extração da source do cliente, mas cuido da parte de adequar os dados pro DS consumir.
Faço a etapa de conversar com a area , mapear tabelas, colunas, infos importantes e solicitar pro outro DE que cuida disso puxar do Banco dos cara e mandar pra Bronze, e então eu extraio esses dados da bronze e eu aplico tudo isso no código inclusive regras de negócio e deixo prontinho pro DS do meu squad consumir na gold. (As vezes eu faço uma parte, entrego na Silver, ele cria um NB, cria as regras de negocios mais complexas e aí eu só ajeito o NB pra escrever na gold, crio a pipeline pra rodar os NB's, coloco na rotina e é isso)
Uso Pyspark e SQL o dia inteiro nos NB's do azure synapse. É Cansativo de ficar em reuniões e reuniões validando coisas com cliente e do nada ele muda TUDO.. consultoria é foda cara. Se o cliente atrasa ngm liga, mas se voce se atrasou por causa dele A CULPA É SUA.
Sinto que to muito preso a isso sabe? Numa entrevista de emprego não sei se vou responder com segurança coisas e etapas diferentes disso sabe? Perguntas referente a arquitetura, porque foi escolhido isso, porque usamos flat table e não star schema... não saberia responder.
É normal ter esse sentimento que não sei nada além disso que faço? Até aonde que é a sindrome do impostor falando e até aonde eu me deixei estagnar?
E normal sim. Mas se já teve contato com a azure segue essa linha. Tem a formação de data engineer no site da Microsoft e é de graça. Depois faz a prova de certificação
Tenho 17 anos e estou no último ano do colégio, faco tecnico em desenvolvimento de sistemas e me apaixonei pela materia de banco de dados. Fui procurar saber mais sobre a area e as profissoes, parece ser muito promissora e um bom salario. Tenho um ingles quase que fluente, estou estudando MySql em casa por conta propria, depois estudar phyton e pegar umas dicas de linux com o meu pai kkkk. Ainda estou pensando em qual faculdade fazer dentro da area de tecnologia, qual vc recomendaria(curso e lugar, sou de sp)? Um passo de cada vez.
Depende, eu sou apaixonado por engenharia, mas todas na área tec são boas. Veja aquilo que mais gosta de fazer.
Muito boa a apresentação, Está de parabéns.
Eu fiquei 4/5 meses estudando para ser Analista de dados, pois achava q para ser um engenheiro de dados eu deveria ter a experiência como Analista. Se acha q é possível conseguir uma oportunidade como engenheiro de dados sem experiência?
Minha opiniao é que é possível mas tem que ter uns requisitos obrigatórios com conhecimento da linguagem sql, lógica, conheciemnto em alguma nivem (aws, zure e gcp) e um pouco de linguagem python. O resto é possível obter quanto estiver trabalhando
Mestrão,
Estou migrando de área, uma migração bem complexa.
Já comecei a ver algumas coisas, mas muito fragmentado.
Você conhece um curso base para eu estudar e depois, sim, procurar de forma mais fragmentada de acordo com as necessidades de aprendizagem?
Abração e obrigado pelo conteúdo.
Tenho uma questão que às vezes me incomoda: Com 48 anos de idade sou analista/desenvolvedor de software há vários anos e antes do mercado falar sobre a carreira de dados fiz bastante trabalhos na área com SQL relativamente complexo e programação para extrair e tratar dados, integrando sistemas etc. com bons resultados.
Considerando minha faixa etária, vcs acham que o foco na carreira de Engenheiro/Cientista de dados pode ser mais interessante pra "velhinhos" como eu? Lembre que estou entrando na casa dos 50 e acho que aqui no Brasil pode ser complicado concorrer com devs com a metade da idade.
Parece que na área de dados tenho mais chances de continuar por mais anos, pois exige mais responsabilidade, bagagem, multidisciplinaridade e são coisas que tenho no currículo ,mais do que linguagens e padrões modernos de codificação
Se tiver o conhecimento de sql, você já tem, conceito de estruturas de dados acredito que tenha, bancos de dados, acredito que tenha. Só precisa de familiarizar com algumas técnicas de tecnologia na nuvem. EU tenho 44 anos e estou aqui sendo demandado para varios projetos. Para mim TI não tem idade
Boa tarde,
sou formado em sistemas de informação e me apaixonei por engenharia de dados..
Já trabalho com API's SQL server e MYSQL já tenho conhecimentos em python, estou focado estudando todos os dias, você acha que vale a pena eu ingressar em uma pós em engenharia de dados ou investir em certificações?
ACredito que se você já tem esses conhecimentos de SQL você poderia pensar em fazer uma mentoria para focar no que as empresas querem, Posso indicar minha mentoria chamada Mentoria Data Pro. segue o link : mentoriadatapro.codifike.com.br/
Sou formado em C.Computação, estou na metade do Curso de Eng. de Computação...conhecimento em SQL, PHP, e atualmente funcionario publico...estou pensando em migrar pra area...
vc sentiu necessidade de fazer engenharia de computação mesmo sendo formado em ciência da computação? o que o curso atual esta agregando de conhecimento pra vc? o que te fez tomar essa decisão? pra qual area vc pretende migrar msm? se por a caso for engenharia de dados e sua intenção é buscar conhecimento por meio de aprendizado acadêmico, pq não fazer pós diretamente pra engenharia de dados?
Tenho uma dúvida! Eu gostaria de saber como posso deixar a barra de favoritos do navegador maior (mais larga). Pois gosto de visualizar os ícones dos sites que eu mais uso, mas são muitos, aí acabam ficando vários ocultos.
Estuda computação básica
Bacaca, muito obrigado pelas dicas, tem algum cupom de desconto do curso?
Olá Acesse nosso zap que podemos verificar chat.sendbot.co/mentoria-codifike
Trabalhei com um Engenheiro de Dados e curti muito o que ele fazia. Fiz projetos usando Python e SQL Server porém arrumei outro trampo que fugiu da minha stack, hoje trabalho com Rede de Computadores... não sei o que fazer para voltar para Dados e continuar estudando já que hoje em dia trabalho com outra coisa
Começa a estudar o que eu falei no vídeo, cria um portfolio e aplica para as vagas de engenharia de dados
Engenharia de dados e bacharel ou pós?
Esse canal é foda.
Obrigado
Passei no processo seletivo do Santander Coders esse ano e ganhei bolsa na trila de Engenharia de Dados. Dentro da trilha já aprendi bastante coisa em python como: Lógica de Programação II, Orientação a Objeto, Numpy, Pandas, Extração de Dados e ainda falta os módulos de Analytics Engineering e Big Data. Trilha termina em novembro e quero engatar em um tecnólogo EAD em Banco de Dados. Estou na dúvida em qual instituição fazer, até agora cogitei a FAM ou PUCMInas. Você sabe alguma que tenha peso dentro do mercado?
E outra, acha um bom caminho seguir nesse tecnólogo? Ou fazer um de Ciência de Dados visto que eu já fiz uma trilha em Engenharia.
Primeiro Parabéns. Eu iria de PUC estudei lá e acho o ensino muito bom.
eu to escrito no santander coders to querendo essa bolsa tu gostou amigo?
Eu vou me escrever exatamente nessa bolsa deles, acha que dar para entrar no mercado de engenharia de dados depois dessa bolsa?
@@Codifike Mano, a trilha é muito boa. Todo módulo é dado com foco em um projeto final em grupo. Metodologia deles é bem volta pro dia a dia do mercado, vale muito a pena fazer. Dica que eu posso te dar pro teste.... Estuda lógica propositiva. Pseudocodigo vai cair duas questões só. E na fase da dinâmica em grupo interage, quem fica quieto não passa. Boa sorte no processo!
@@ester_maria_88 Então, você vai aprender muito do dia a dia do mercado com essa bolsa. É bem voltada pra demanda do mercado, mas não posso tr afirmar que somente essa trilha serve. Justamente por isso que buscando o tecnólogo.
Tenho uma dúvida comecei a cursar bacharel em ciências de dados porem tenho ate o final do semestre para mudar o curso para engenharia da computação. Pergunta é manter o curso em ciências de dados ou migrar para Engenharia da computação?
Não pude deixar de perceber essa pergunta, uma vez que sou Eng da computação formado e atualmente curso pos em ciência de dados kkkkk. Qualquer engenharia é focado na industria, vc ira aprender coisas muito além da área da computação ou dados, como circuitos elétricos, eletrônica, partes mais adentro da computação como a criação de uma ling de programação, sim isso é possível, criar uma nova do zero, complexidade de um codigo, noção de vários paradigmas, distribuídos em nuvem, paralelo, procedural, orientado a objeto, a threads , noções da fisica e programação de maquinas CLP e tecnicas mais modernas como maquinas de estado, noções de segurança etc. Enfim, dos 2 cursos com toda certeza eng é mais dificil e mais completo, mas se vc gosta, entende a gama de possibilidades q isso te dá e está proximo de um grande centro , tipo Sao Paulo, diferente de mim, eng. seria uma boa. Ciencia de dados vc nao precisa d um curso tao extenso para chegar lá, digo, pode fazer primeiro e ir estudando essa área mais especialista. Acredito q seja uma vaga ainda em ascensão, com bastante demanda e responsabilidades. As melhores oportunidades aparecem em empresas grandes ou estrangeiras, entao se quiser ganhar bem e qm sabe um trabalho remoto, melhor começar um ingles e focar nas empresas maiores msm, é o q estou tentando nesse momento. Entretanto, de inicio parece ser dificil conseguir uma boa oportunidade, digo por mim e por todos os meus colegas q eu tenho observado, como junior quase nao há vagas, e meio q as empresas nao confiam, mas depois de "velho" kkkk ganha a experiência. Nas duas vc tera q estudar continuamente.
Sem querem desanimar, mas na eng. até o 3 periodo, 1ano e meio metade da turma já desistiu, reflexão kkkk
Que canal daora
Obrigado
qual a pos graduação vc indicaria para engenharia de dados?
Tenho 16 anos e me interresei pela profissao, nao tenho conhecimento nenhum sobre nada disso, oq vc faria no meu lugar? Qual curso, ou sla como começaria do zero a entender o basico/base de dados
Começa por sql e banco de dados e depois uma linguagem de programaçao pode ser python. tenho curso de SQL aqui na codifike segue o link www.linkedin.com/posts/fabricio-mattos-7238588_aprenda-sql-activity-7095025937376845824-5R1D?
Sou DBA (Database Administrator) e estou pensando seriamente em migrar para área de Engenharia de Dados. Apesar que eu poderia muito bem continuar me aperfeiçoando onde já me encontro. Mas últimamente não tenho tido muitas perspectivas. Acredito que com toda a bagagem que ja tenho, vai ajudar bastante nesse processo. Seria uma boa congitar essa migração e por em prática?
Com certeza
@@Codifike Show de bola. Vou seguir essa jornada. Sei que são carreiras bastante distintas, mas é o que pretendo.
@@Codifike Teria algum bom curso de formação para indicar ? Valeria a pena investir em uma pós, ou focar de fato nos conhecimentos práticos em cursos complementares, visando entrar no mercado de trabalho ?
@@israelibrv VOu lançar um mentoria para quem quer se tornar um engenheiro de dados nas próximas semanas. Acompanhe aqui no canal e no instagram @codifike_oficial para saber quando as inscrições abrirem
Bom dia.. trabal😅 naturalmente bcomo tecnico de informatica.. estou me formando agora em analise e desenvolvimento densistemas.. curti muito a disciplina de banco de dados que abordou projeto de BD, SQL, sql server. Queria fazer uma pos graduação.. mas parece quenpara entrar no mercado de trabalho nessa area de Administração de banco de dados é bem dificil e com poucas vagas .. nesse sentido uma pos em Engenharia de Dados seria o indicado pra mim? Eu curto muito sql e sgbd. Na puc minas tem uma pós que segue essa sua trilha do video.. onque voce indica pra.mim? Grato desde já
É difícil dizer o que seria mais indicado para você, pois só você pode responder essa pergunta. Mas baseado no que descreveu, se gosta de banco de dados e já conhece sql, esse pós me parece um caminho bem interessante.
Bom dia meu amigo, você tem algum curso ou play list, que ensinaria isso na ordem ideal?
Entrei em uma pós em uma empresa ai reconhecida na área de investimento, mas a experiência com a parte de ensino deles é péssima com materiais desatualizados, sem ambiente para aplicação das atividades e exercícios sem funcionar, pois muita coisa mudou.
Então se é necessário eu pagar as plataformas, mesmo que trial, inserir meus dados de cartão, que seja para usar com um curso atualizado e de qualidade.
Caso tenha e possa deixar o link para gente por favor de algum curso seu ou indicação.
Oi Guilherme , Meu curso ainda está na fase de desenvolvimento, mas posso indicar um muito bom , porém em ingles. Inscrevendo-se por esse link ajuda o canal 😁www.udacity.com/course/data-engineer-nanodegree--nd027
Opa, beleza?
Quanto tempo em média se leva pra sair do zero e aprender todo esse conteúdo necessário para aplicar para as vagas de Júnior?
Abraço e obrigado! Parabéns pelo canal!
Muito difícil dizer u, número exato, depende de pessoa para pessoa. Mas eu diria que no mínimo 1 ano. Estou montando uma mentoria para agilizar esse processo se quiser segue a gente no Instagram @codifike_oficial que estaria divulgando as inscrições por lá.
Obrigado pelas dicas. Voce recomendaria a formação Engenheiro de Dados da DATA SCIENCE ACADEMY (DSA)?
Essa formação é boa, mas tem coisas ali que eu acho desnecessário e o conteúdo poderia ser um pouco menor e mais focado. Estou em fase de preparação e criação da Formação engenheiro de dados da Codifike que vai ser lançada no início do ano que vem. Bem mais focada e com diversas dicas e mentoria
@@Codifike eita. Havia acabado se adquirir... espero que seja uma experiência. Mas nota-se que temos pouco conteúdo de formação,engenharia de dados. Digo algo mais prático e mão na massa...
@@CarlosEduardo-eo6lk Sem problema. O nosso será bem prático e focado em ajudar as pessoas a entrar na área de dados
@@Codifike ah legal, acompanharei aqui,o legal é que ambos se complementam.
Boa noite mestre, o que o senhor acha do curso da FIAP em data science, vale a pena, já ouviu falar ?
Não conheço, mas se na ementa tiver alguma ou algumas das tecnologias que falei no vídeo, já acho que vale a pena.
Estou me formando em Engenharia elétrica porém tenho paixao por tecnologia nao quero cursar Engenharia de software, talvez um tecnólogo em análise e desenvolvimento de sistemas mas nao é o foco principal.
Por onde eu posso cursar para ser um engenheiro de dados ?
Não existe uma graduação para engenheiro de dados, vc pode cursar analise de sistemas, engenharia da computação e depois se especializar na área de dados.
Como vc está se formando, pode fazer uma Pós-graduação (principalmente se já tiver os conhecimentos básicos de TI). Eu vi uma da XP Educação, por exemplo, de Engenharia e Arquitetura de dados com duração de 10 mees.
gostaria de ingressar na área, mas ter uma graduação específica é necessária? Como Banco/Ciência de dados? É cobrado no mercado uma graduação
Na minha humilde opinião, graduação sempre é uma boa ideia. Se quiser entrar na área uma graducao em engenharia da computação ou ciencia da computaçao seria uma boa principalmente para aprender os conceitos e fundamentos básicos.
@@Codifike Eu sou graduado em engenharia de produção. Estou migrando pra engenharia de dados. Vale a pena?
@@Felipe-gk9mc eu sou suspeito de falar, pois é aininha área , mas vendo o mercado e a falta de profissionais qualificados eu diria q é uma boa escolha. Mas tem q gostar e principalmente se manter atualizado
Eu estudo ciência da informação na UFSC, e temos uma disciplina optativa chamada engenharia de dados, foi minha porta de entrada na área, estou me preparando pra entrevistas, portanto, acredito o ambiente da universidade ajuda no aprendizado mas se você for dedicado e aprender as tecnologias acredito que seja um caminho a seguir também
@@Codifike Meu colega senior era cheff de cozinha, estudou pra krl e virou DBA, ficou uns anos e entrou comigo no time de hoje. O cara ganha 10k+, Sênior NATO, o que o cara evoluiu no ultimo ano foi surreal.. e não tem diploma em area tech.
Então sei lá... é bom ter mas não é regra. Depende mais de voce no tempo livre se dedicar do que outra coisa.. na minha humilde visão, é claro.
Top
Amigo, tenho superior em gestão financeira e técnico em desenvolvimento de sistemas, quero fazer uma pós em engenharia de dados, acha que isso já basta ou tem que ser graduação tradicional
Se você ja tema a base como estruturas de dados e conhece sql. Acho que a pós seria uma boa opção.
Powershell como alternativa ao Linux o que acha?
Nem se compara. Linux está muito a frente
Powershell é apenas uma ferramenta de comandos, podendo ser usada no Windows, no Linux etc.. O Linux é o sistema operacional que roda a maioria das aplicações que conhecemos (sobretudo nos ambientes cloud). Hoje quem não sabe pelo menos o essencial do Linux fica limitado . E agora está bem mais fácil instalar Linux dentro do Windows (via WSL) pra aprender e rodar aplicações localmente.
Bom noite, voce considera os conhecimentos de matematica e estáticas quão importante para engenharia de dados, preciso saber até que 'ponto' ??, no momento estou na faculdade de eng.computação e tenho uma boa base de sql, gerenciamento de bancos de dados oracle e alguns conhecimentos em python. Outra pergunta é a respeito de excel e Power bi. Um engenheiro de dados precisa saber bem ou dominar essas ferramentas? A 5 anos atrás tive um bom contato com excel até o nível intermediario mas de lá pra cá nunca mais peguei pra estudar, devo retomar esses estudos ou é melhor focar nos pontos bases da engenharia de dados agora mesmo??
obs: Ainda estou procurando meu primeiro estágio e vagas de ti gerais, já que é bem dificil encontrar algo que foque em engenharia de dados, estão cobrando conhecimento de excel e power bi mas fico na duvida se devo levar isso para meus estudos com tanta coisa pra aprender rumo ao sucesso de engenharia de dados....
ta em que período? faço o mesmo curso
saber excel é bom para conhecimento num geral, porém power b.i. não faz sentido a não ser que vc esteja em desvio de função e fazendo trabalho do analista de B.i. O trampo do engenheiro de dados é a pipeline, power b.i. é pra fazer os relatórios e visualização de dados, fora do escopo de serviço de engenheiro de dados.
Vc recomenda aprender Excel? (Para engenharia de dados)
Ajuda, mas para engenharia de dados teria que saber o que falei no vídeo.
Você acha válido investir em uma certificação Linux, LPIC -1 ?
Para engenheiro de dados não, focaria em certificação databricks ,aws e azure
Sou analista de suporte computacional em desktop e cloud, com essa experiência eu consigo chegar mais rápido nesse patamar?
COnhecendo cloud já ajuda, se souber as ferramentas que citei no vídeo já está bem encaminhado.
Obrigado meu jovem.
Eu consigo usar tudo de engenharia de dados com WSL no windows?
Sim
Qual a média salário pra um profissional dessa área?
10mil