Obrigada pela explicação. Se for possível poderia criar um vídeo mostrando via webscraping extrair os dados online e processar via Apache Spark. Digo isso porque no mundo real o site não vai disponibilizar o arquivo json. Obrigada pelo conteúdo me ajudou muito.😄
Consegui replicar o ETL no databricks community. Foi o primeiro conteúdo hands-on que conseguiu me dar uma noção de entendimento muito boa sobre o Databricks, delta lake e scala. Parabéns mesmo. Agora foco nos estudos, adaptações dos cases e outras fontes de dados para praticar.
Nossa, excelente canal! Nem acredito que aprendi mais do que aprendi em semanas na pratica. Pena não poder curtir varias vezes! Obrigada pelo conteúdo!
Amigo tudo bem ? Bom dia. Para efetuar todos os passos do tutorial existe algum nível gratuito de uso nessas plataformas cloud ? Obrigado pelo conteúdo.
Show de bola esse vídeo, você tem algum artigo falando sobre automatização desses notebooks (obtenção de variáveis externas, etc), vou ter que mexer com o Databricks no trabalho novo e estou procurando as melhores práticas pra ele. Pelo que vi até agora ele é um pouco verboso, existe a possibilidade de apenas inserir um jar com todo a aplicação e somente submeter nele?
Olá estou começando estudar engenharia de dados, gosto muito desta area trabalho atualmente com Analytics, consigo criar projetos pro meu github com o Sistema Operacional Linux?
Oi Vitor, parabéns pelos vídeos!!! Estou iniciando nessa área e aprendendo muito com vc! Já virei fã do canal. Aproveitando, qual é esse programa que vc lista as tarefas do projeto?
Boa noite Vitor! Me ajuda por favor Fui seguir o video e vi que o Data Lake Storage Gen 1 foi suspenso e será substituido pelo Gen2. Tem alguma sugestão pra que eu consiga seguir? Obrigado!!
Cara me ajuda kk , toda vez que eu crio um Job , para executar o meu notebook , da erro ao tentar puxar o DF do Azure DataLake , eu to 1 semana pesquisando e nada
Obrigada pela explicação.
Se for possível poderia criar um vídeo mostrando via webscraping extrair os dados online e processar via Apache Spark.
Digo isso porque no mundo real o site não vai disponibilizar o arquivo json.
Obrigada pelo conteúdo me ajudou muito.😄
Excelentes aulas , vou assistir todos os vídeos e já começar a praticar pra realizar meu sonho !
Gratidão ☆☆☆☆☆☆☆
Consegui replicar o ETL no databricks community. Foi o primeiro conteúdo hands-on que conseguiu me dar uma noção de entendimento muito boa sobre o Databricks, delta lake e scala.
Parabéns mesmo. Agora foco nos estudos, adaptações dos cases e outras fontes de dados para praticar.
na primeira vez que vi o vídeo eu desisti pq não estava entendendo NADAA, se passou 1 ano e finalmente tenho bagagem o suficiente pra entender
Boa aula!
Nossa, excelente canal! Nem acredito que aprendi mais do que aprendi em semanas na pratica. Pena não poder curtir varias vezes!
Obrigada pelo conteúdo!
Que vídeo TOP . Parabéns !
Parabéns pelo conteúdo compartilhado.
Muito bacana, Cara! Obrigado!!!
Muito obrigado !
Muito bom! Não costumo comentar, mas queria deixar meus parabéns por que vcs merecem!
Seus vídeos são excelentes!
Pensa em voltar a fazer eles?
Cara, devo dizer que esse vídeo é muito, mas muito bom. Parabéns.
Excelente vídeo!
Poderia ter mais #ETLHandsOn 😉👊🏽
Amigo tudo bem ? Bom dia. Para efetuar todos os passos do tutorial existe algum nível gratuito de uso nessas plataformas cloud ? Obrigado pelo conteúdo.
Muito top!!! Parabéns!!!
show..show...show..obrigado.
Excelente!!!
Vídeo excepcional!!! Obrigado! 👏👏👏👏👏
Explicação excelente!
Vídeo Top, parabéns!
Muito bom! obrigado cara consegui fazer algo que estava a uma semana tentando , obrigado
Show de bola esse vídeo, você tem algum artigo falando sobre automatização desses notebooks (obtenção de variáveis externas, etc), vou ter que mexer com o Databricks no trabalho novo e estou procurando as melhores práticas pra ele. Pelo que vi até agora ele é um pouco verboso, existe a possibilidade de apenas inserir um jar com todo a aplicação e somente submeter nele?
Conseguiu? Explica o caminho que você fez.
Show de bola, Vitor! Cara, estou procurando um notebook com um bom custo beneficio ideal para tarefas de um data engineer. Teria alguma recomendação?
Muito bom ...
Pq vc nao usou Kettle pra fazer tudo isso?
Olá estou começando estudar engenharia de dados, gosto muito desta area trabalho atualmente com Analytics, consigo criar projetos pro meu github com o Sistema Operacional Linux?
Como trabalhar as colunas com dados em formato de arrays? Vlw
Cara como eu faço esse final do video, para um campo que está como Array ? -.- "Can only star expand struct data types. Attribute: `ArrayBuffer"
Oi Vitor, parabéns pelos vídeos!!! Estou iniciando nessa área e aprendendo muito com vc! Já virei fã do canal. Aproveitando, qual é esse programa que vc lista as tarefas do projeto?
Muito obrigado ! Fico muito feliz de poder ajudar! Segue a gente lá no instagram tbm: @bigdatamasters
Sobre a ferramenta de tarefas, uso o notion.so
Boa noite Vitor! Me ajuda por favor
Fui seguir o video e vi que o Data Lake Storage Gen 1 foi suspenso e será substituido pelo Gen2.
Tem alguma sugestão pra que eu consiga seguir?
Obrigado!!
Ok, mas não se pode fazer tudo isso em Sql server + python normalmente?
Cara. Tentei fazer o mesmo como Data Lake Storage Gen 2, mas infelizmente não deu certo a parte da autenticação com App registration no Databricks.
No Gen2 tu faz a autenticação pelo Access Control (AIM) > + Add > Role assigment
Cara me ajuda kk , toda vez que eu crio um Job , para executar o meu notebook , da erro ao tentar puxar o DF do Azure DataLake , eu to 1 semana pesquisando e nada
Olá Lucas, tudo bom? Manda uma mensagem lá no nosso Instagram, @bigdatamasters.
Vai ser um prazer te ajudar!