Big Data Masters
Big Data Masters
  • Видео 13
  • Просмотров 114 162
INTRODUÇÃO à CLOUD COMPUTING para Engenheiro de Dados + Hands On no Microsoft Azure
Fala pessoal! No vídeo hoje eu vou te dar uma INTRODUÇÃO à CLOUD COMPUTING para Engenheiro de Dados + Hands On no Microsoft Azure!! Atualmente com a explosão da engenharia de dados, dominar ou pelo menos conhecer o básico de computação em nuvem (cloud computing) é essencial para garantir seu lugar no mercado à longo prazo.
Não basta apenas te introduzir os conceitos sobre cloud computing, nesse vídeo também irei te mostrar como criar sua conta de GRAÇA e subir uma instância de banco de dados Postgres no Microsoft Azure, uma das maiores provedoras de cloud do MUNDO!
Ta preparado para o melhor? Durante a explicação eu solto diversos insights e exemplos da vida REAL, com foco TOTALMENTE em EN...
Просмотров: 2 934

Видео

O que você PRECISA SABER para ser ENGENHEIRO DE DADOS JR *Na visão dos Especialistas*
Просмотров 20 тыс.3 года назад
O que você PRECISA SABER para ser ENGENHEIRO DE DADOS JR *Na visão dos Especialistas*. Sabemos hoje que existem muito mais vagas de Engenheiro de Dados no mercado do que pessoas realmente qualificadas para tal. Pensando nesse tema, eu perguntei à 7 colegas da minha rede de Networking, os quais estão 100% na linha de frente atuando como Gestores ou Líderes Técnicos nessa área de Engenharia de Da...
Disk Partition | Como Otimizar seu LakeHouse | PySpark + Databricks
Просмотров 3,6 тыс.3 года назад
Disk Partition | Como Otimizar seu LakeHouse | PySpark Databricks Não basta apenas utilizar ferramentas as melhores ferramentas do mercado. É preciso domina-las. Nesse vídeo irei mostrar como otimizar as tabelas em seu LakeHouse na prática usando a estratégia de Particionamento, mais conhecida como Disk Partitioning. E a melhor parte vem agora: Irei te ensinar a fazer isso usando uma das melhor...
Como Ler Arquivos CSV usando Databricks + PySpark - Iniciante
Просмотров 9 тыс.3 года назад
Como ler arquivos CSV usando Databricks Pyspark. Arquivos CSV são largamente utilizados pelas empresas assim como a plataforma Databricks. Nesse vídeo eu vou te contar o que são essas tecnologias, onde são utilizadas nos projetos, porquê você deve domina-las e como fazer tudo isso na PRÁTICA! Gostou do vídeo? Deixa seu like e se inscreva no canal!! Siga-nos nas redes sociais: Instagram: @bigdat...
OS 5 PASSOS PARA ORGANIZAR SEU DATALAKE | Data Engineering
Просмотров 8 тыс.3 года назад
Já imaginou buscar um livro em um biblioteca totalmente desorganizada? Provavelmente você ia gastar mais tempo procurando pelo livro do que realmente lendo. No mundo corporativo, empresas estão cada vez mais criando suas próprias "bibliotecas" de dados e informações, para gerar vantagem competitiva. Os Datalakes, como são chamados, têm se tornado cada vez mais importantes, uma vez que vivemos n...
DO BANCO RELACIONAL AOS DATALAKES | ENTENDA COMO TUDO ISSO ACONTECEU | PARTE 1 | Big Data Masters
Просмотров 1,6 тыс.3 года назад
Que o conceito de Datalake revolucionou a àrea de dados e Big Data isso você já sabe. Mas será que você conhece e entende a história e trajetória por trás dos Lakes? Nesse vídeo nós vamos voltar no tempo e explicar TUDO, desde os bancos de dados relacionais até a criação do Datalake House. Esse vídeo é a parte 1 da história. Deixa seu like e se inscreva pois em breve soltaremos a parte 2. Redes...
EP 001: De Atendente de Telemarketing à Engenheiro de Dados | Big Data Masters Cast
Просмотров 8133 года назад
Nesse episódio eu converso com o Willian Cavalcanti de 24 anos, mais conhecido como Will, ex atendente de telemarketing e hoje mesmo sendo um Júnior, já é um dos principais pilares de Engenharia de Dados e Big Data da consultoria onde trabalha. Link do Podcast: anchor.fm/bigdatamasterscast Link no Spotify: open.spotify.com/episode/5zwRWSnPAxPtOmQsajSZqa Segue a gente nas redes sociais! Instagra...
A MELHOR FERRAMENTA DE ETL PARA ENGENHEIRO DE DADOS | Azure Data Factory
Просмотров 23 тыс.3 года назад
Nesse vídeo irei apresentar uma das melhores ferramentas de ETL do mercado de Big Data | Engenharia de Dados. O Data Factory é um serviço codeless gerenciado pela Microsoft Azure, completo e intuitivo, o qual permite a conexão em de 80 fontes de dados diferentes! Não é preciso programar! Contexto: Uma das principais tarefas de um Engenheiro de Dados é a realização de ETL (Extract Transform and ...
CARREIRA EM ENGENHARIA DE DADOS | TUDO QUE VOCÊ PRECISA SABER
Просмотров 12 тыс.3 года назад
A Engenharia de dados hoje é uma das profissões mais quentes e promissoras do mercado de Tecnologia/Dados. Nesse vídeo eu falo EXATAMENTE o que um INICIANTE precisa saber sobre essa área e o que eu faria se tivesse que começar DO ZERO HOJE. Dentre os temas abordados estão: - Surgimento da Profissão "Engenheiro de Dados" - Funções de um Engenheiro de Dados - A Importância de um Engenheiro de Dad...
ETL com os Dados da ZAP Imóveis utilizando Databricks e Azure DataLake Gen 1 | #ETLHandsOn01
Просмотров 23 тыс.4 года назад
Fala Engenheiro(a)s de Dados! No vídeo de hoje iremos demonstrar as atividades de um Engenheiro de Dados na prática, através de um mini projeto de ETL, realizando as principais etapas como: provisionamento de recursos em nuvem, ingestão de dados, limpeza e disponibilização para consumo. Iremos construir esse projeto utilizando recursos de computação em nuvem, tais como Azure DataLake Gen 1 (Sto...
Azure Cosmos DB - Melhores Práticas | Big Data Masters
Просмотров 2,6 тыс.4 года назад
Fala Engenheiro(a)s de Dados! No vídeo de hoje falaremos mais a respeito do Azure Cosmos DB, uma solução de NoSQL gerenciado pela Microsoft Azure, o qual tem como principal proposta ser Globalmente Distribuído e Multi Modelo, como Chave-Valor (Key-Value), Documentos, Grafos e Família de Colunas (Wide Column). Quer saber como otimizar seu Cosmos DB, atingindo alta performance ao mesmo tempo que ...
TOP 5 LINGUAGENS PARA ENGENHEIROS DE DADOS | Big Data Masters
Просмотров 2 тыс.4 года назад
Quer saber quais são as top 5 linguagens para te ajudar nas tarefas de engenheiro de dados? Não sabe em qual linguagem investir? Nesse vídeo falaremos um pouco mais a respeito de Java, Python, Scala dentre outras linguagens que com certeza farão toda diferença na sua carreira. Aproveita e acompanha a gente nas redes sociais! Instagram: bigdatamasters
Introdução ao Delta Lake + Apache Spark
Просмотров 4,9 тыс.4 года назад
Fala galera! Tudo bom? Hoje nos viemos mostrar para vocês um dos projetos mais promissores atualmente, o Delta Lake. O objetivo desse vídeo é te ensinar e deixar você 100% confortável com todas as features desse projeto. Link do Dataset utilizado : www.kaggle.com/karangadiya/fifa19 Apache Spark: 2.4.4 Delta Lake: 0.4.0 Infelizmente não consegui exportar meu notebook criado no Apache Zeppelin, d...

Комментарии

  • @testemunhos3956
    @testemunhos3956 Месяц назад

    Estou vendo em 2024. Estou querendo migrar de carreira. Estou estudando vários cursos de computação. Voltei estudar inglês. Mas minha dúvida como entro na área.?

  • @eltoncarvalho435
    @eltoncarvalho435 2 месяца назад

    Conteúdo do Resumo ### Pontos Principais - O que você PRECISA SABER para ser um ENGENHEIRO DE DADOS JR. [0][1][2][3] - Soft Skills importantes para engenheiros de dados juniores, como autonomia, trabalho em equipe e comunicação. [1][2] - Habilidades técnicas obrigatórias e desejáveis para engenheiros de dados juniores, como conhecimento em Datalakes, ETL, SQL e computação em nuvem. [2][3]

  • @fernandocfti
    @fernandocfti 3 месяца назад

    Ótimo conteúdo.

  • @RafaelSFTech
    @RafaelSFTech 3 месяца назад

    Tira essa musica de fundo, por favor

  • @aliamirdib7864
    @aliamirdib7864 6 месяцев назад

    Muito bom! Cara, existe um método dentro do databricks para extrair uma base de dados SQL para um arquivo xlsx? seria um vídeo bom de fazer

  • @MarcosAntonio-vz5vv
    @MarcosAntonio-vz5vv 7 месяцев назад

    Importante irmão, é que o engenheiro faz toda a parte da infraestrutura.

  • @frankribeiroandrade4940
    @frankribeiroandrade4940 7 месяцев назад

    Show! Parabéns!

  • @bruhlickd
    @bruhlickd 8 месяцев назад

    Ok, mas não se pode fazer tudo isso em Sql server + python normalmente?

  •  11 месяцев назад

    Muito bom conteúdo, parabéns!

  • @iaradejesus7265
    @iaradejesus7265 11 месяцев назад

    estou ainda aprendendo bi pelo senac .Mais gostei do seu conteúdo, muito obrigada

  • @WillianRafacho
    @WillianRafacho Год назад

    Boa aula!

  •  Год назад

    Quero mais vídeos desse irmão, muito bom, parabéns

  • @MrGhustavo22
    @MrGhustavo22 Год назад

    Resumo do Vídeo: O vídeo é uma introdução ao Delta Lake e ao Apache Spark, abordando suas funcionalidades e como utilizá-los em conjunto para resolver problemas de processamento distribuído de big data. - 00:01 Neste vídeo, o palestrante faz uma introdução ao Delta Lake e ao Apache Spark, explicando como essas tecnologias se complementam. - 05:00 Este vídeo mostra como instalar o Delta Lake com o Apache Spark em seu ambiente e como importar o pacote "delta" para sua aplicação. - 10:02 Delta Lake é um tipo de dado muito utilizado para leitura e escrita, sendo mais rápido e permitindo armazenar dados com esquemas complexos. - 15:01 O Delta Lake possui recursos como verificação de esquema e evolução de esquema para garantir a qualidade e consistência dos dados. - 20:04 O Delta Lake resolve o problema de atributos nulos, permite fazer updates e deletes em nível de linha e é necessário usar o pacote Delta para isso. - 25:04 A atualização de registros na tabela Delta Lake pode ser feita usando o método "merge", e é possível especificar as colunas que serão atualizadas. - 30:05 Delta Lake tem um período de retenção padrão de 30 dias, mas pode ser configurado para períodos maiores ou menores. - 35:06 Este trecho explica como usar o Delta Lake com o Apache Spark e como especificar sua própria lógica para cada micro batch. Gerado por Monica AI. Adquira o seu agora! 👉 monica.im?r=480529

  • @josecarlossantos7673
    @josecarlossantos7673 Год назад

    Excelente conteúdo, mas fiquei com uma duvida. É possível carregar uma arquivo csv num Databrics corporativo que eu tenho acesso, mas que o arquivo esteja visível apenas para mim? como seria isso?

  • @brunobob01
    @brunobob01 Год назад

    Teve a parte 2?

  • @ricardosoares9343
    @ricardosoares9343 Год назад

    Excelente!!!

  • @Gabriel-iq2vf
    @Gabriel-iq2vf Год назад

    O dataset não existe mais... Podia atualizar o link

  • @renatodeassismacedo6000
    @renatodeassismacedo6000 Год назад

    Sou analista de suporte computacional em desktop e cloud, com essa experiência eu consigo chegar mais rápido nesse patamar?

  • @edsonteixeira6057
    @edsonteixeira6057 Год назад

    show..show...show..obrigado.

  • @supernovaloja9005
    @supernovaloja9005 Год назад

    Música muito alta

  • @Rodrigo-zn7vc
    @Rodrigo-zn7vc Год назад

    Precisa ser um genio em matemática ? Ou so precisa saber o mínimo ?

  • @gabrielfigueiredo6037
    @gabrielfigueiredo6037 Год назад

    na primeira vez que vi o vídeo eu desisti pq não estava entendendo NADAA, se passou 1 ano e finalmente tenho bagagem o suficiente pra entender

  • @wesleyrodrigues4835
    @wesleyrodrigues4835 Год назад

    @BigDataMaster teria como apos exportar os dados, deletar os dados da origem?!

  • @marcosmoreira6320
    @marcosmoreira6320 Год назад

    Boas dicas. Tô começando na carreira de dados. Obrigado, Maycon do Corinthians!

  • @aleoliveira2975
    @aleoliveira2975 Год назад

    FIquei com duvida em relação ao pagamento, posso rodar 1000 pipelines gratuitamente ? Tipo posso usar todos os componentes do ADF e um banco de 5gb pelo menos e não serei cobrado por isso? Se puder explicar melhor eu agradeço. Aguardo retorno e obrigado pelo video, conteudo excelente...parabéns.

  • @jeanscheffel
    @jeanscheffel Год назад

    Da Hora!

  • @washingtonholandadeoliveir4784

    Gostaria de dar os parabéns pelo vídeo! Vi que já faz 1 ano desde o último vídeo no canal e queria dizer que seu conteúdo é ótimo e espero que volte a gravar mais vídeos sobre a área. Estou desenvolvendo meu TCC da faculdade na área e esse vídeo foi uma porta de entrada pra eu começar a entender melhor o assunto e me aprofundar mais no meu tema! Muito obrigado pelo vídeo, de coração, tenho ctz que muitos assim como eu compreenderam um pouco melhor o assunto graças aos seus vídeos!

  • @BandaParadaNoturna
    @BandaParadaNoturna Год назад

    muito bom, parabens.

  • @rvian4
    @rvian4 Год назад

    Ótimo vídeo! Seria ótimo um desse para plenos

  • @rvian4
    @rvian4 Год назад

    Seus vídeos são excelentes! Pensa em voltar a fazer eles?

  • @marcossamuel8764
    @marcossamuel8764 Год назад

    Ótimo material! Simples, direto ao ponto e bem completo! Obrigado1

  • @annylima1050
    @annylima1050 Год назад

    Qual link pra baixar?

  • @mayarareg0
    @mayarareg0 2 года назад

    Oie, e a parte 2???

  • @mayarareg0
    @mayarareg0 2 года назад

    Maravilha seus vídeos, sou iniciante no assunto e gosto muito de entender o histórico.

  • @wesleyvalvassori1635
    @wesleyvalvassori1635 2 года назад

    Pq vc nao usou Kettle pra fazer tudo isso?

  • @joaosalero9797
    @joaosalero9797 2 года назад

    Tem o Data Science Academy, que é brasileira e mais "ok" $$$

  • @guilhermearaujo3358
    @guilhermearaujo3358 2 года назад

    Que vídeo TOP . Parabéns !

  • @nilbezerra1303
    @nilbezerra1303 2 года назад

    Muito obrigado pelas dicas! Foram muito importantes para mim. Senti falta do Coursera. Estou estudando por esta plataforma e estou gostando muito.

  • @dtsleite
    @dtsleite 2 года назад

    Mais um inscrito, ajudou muito!

  • @joaovitor12full
    @joaovitor12full 2 года назад

    vídeo necessário. Obrigado!!

  • @philipeharaguti
    @philipeharaguti 2 года назад

    Excelente aula!! Obrigado e sucesso!!

  • @patriciadelima_
    @patriciadelima_ 2 года назад

    Ótima didática!

  • @mauriciomodestotoscanbrand7008
    @mauriciomodestotoscanbrand7008 2 года назад

    Obrigado

  • @mauriciomodestotoscanbrand7008
    @mauriciomodestotoscanbrand7008 2 года назад

    Muito obrigado !

  • @stephanieferreira7037
    @stephanieferreira7037 2 года назад

    Obrigada pelo excelente conteúdo! Não costumo comentar, mas queria deixar meus super obrigada pelo conteudo! Estou na governança de dados e ja estou migrando para engenharia de dados. Tou estudando para as qualificações que vc citou no Must to have. Alguma dica para conseguir fazer a transição internamento na propria empresa sem precisar candidatar p outra empresa na vaga que quero de engenherira?

  • @stephanieferreira7037
    @stephanieferreira7037 2 года назад

    Nossa, excelente canal! Nem acredito que aprendi mais do que aprendi em semanas na pratica. Pena não poder curtir varias vezes! Obrigada pelo conteúdo!

  • @viniciustrampo2439
    @viniciustrampo2439 2 года назад

    Alguém sabe se eu consigo mudar o ID de uma pipeline?

  • @anasaravia9397
    @anasaravia9397 2 года назад

    Parabéns pelo vídeo, mto esclarecedor e didático!

  • @joao.megale
    @joao.megale 2 года назад

    Boa muito rico o vídeo !