Introdução ao Delta Lake + Apache Spark

Поделиться
HTML-код
  • Опубликовано: 11 дек 2024

Комментарии • 12

  • @MrGhustavo22
    @MrGhustavo22 Год назад +2

    Resumo do Vídeo:
    O vídeo é uma introdução ao Delta Lake e ao Apache Spark, abordando suas funcionalidades e como utilizá-los em conjunto para resolver problemas de processamento distribuído de big data.
    - 00:01 Neste vídeo, o palestrante faz uma introdução ao Delta Lake e ao Apache Spark, explicando como essas tecnologias se complementam.
    - 05:00 Este vídeo mostra como instalar o Delta Lake com o Apache Spark em seu ambiente e como importar o pacote "delta" para sua aplicação.
    - 10:02 Delta Lake é um tipo de dado muito utilizado para leitura e escrita, sendo mais rápido e permitindo armazenar dados com esquemas complexos.
    - 15:01 O Delta Lake possui recursos como verificação de esquema e evolução de esquema para garantir a qualidade e consistência dos dados.
    - 20:04 O Delta Lake resolve o problema de atributos nulos, permite fazer updates e deletes em nível de linha e é necessário usar o pacote Delta para isso.
    - 25:04 A atualização de registros na tabela Delta Lake pode ser feita usando o método "merge", e é possível especificar as colunas que serão atualizadas.
    - 30:05 Delta Lake tem um período de retenção padrão de 30 dias, mas pode ser configurado para períodos maiores ou menores.
    - 35:06 Este trecho explica como usar o Delta Lake com o Apache Spark e como especificar sua própria lógica para cada micro batch.
    Gerado por Monica AI. Adquira o seu agora! 👉 monica.im?r=480529

  • @pittixixitosilveira3876
    @pittixixitosilveira3876 2 года назад +2

    Isso n foi uma aula, foi uma surra

  • @fabiobattestin3609
    @fabiobattestin3609 4 года назад +2

    slc pai, maninho é monstrão nessas fita de delta lake chamaaaa

  • @levialberto4379
    @levialberto4379 2 года назад

    Parabéns pelo vídeo. Spark é tão foda cara..amo essa parada.

  • @mateusspagnoldasilveira5639
    @mateusspagnoldasilveira5639 3 года назад +1

    Excelente vídeo, muito bem explicado

    • @bigdatamasters32
      @bigdatamasters32  3 года назад +3

      Muito obrigado Mateus! Em breve irei fazer um vídeos com as novas features do Delta!

  • @denermoreira15
    @denermoreira15 2 года назад

    ótimo conteudo, parabéns !

  • @Gabriel-iq2vf
    @Gabriel-iq2vf Год назад

    O dataset não existe mais... Podia atualizar o link

  • @josepaulo9054
    @josepaulo9054 2 года назад

    Vitor, Boa tarde, voltei a ver ser vídeo e tenho uma duvida que eu gostaria de tirar com você:
    Imaginando um cenário:
    Onde eu tenho um arquivo .csv que tenho as vendas diarias:
    01/07/2022 - 4 vendas para 4 clientes. (Id_Cliente = 1,2,3 e 4)
    02/07/2022 - 10 vendas para 2 clientes. (Id_Cliente = 1 e2)
    03/07/2022 - 14 vendas para 4 clientes. (Id_Cliente = 1 ).
    04/07/2022 - 24 vendas para 3 clientes.. (Id_Cliente = 2)
    Eu processo os arquivos por dia e pensando em Time Travel, caso eu list o arquivo via Dataframe, os rtetornos serão:
    01/07/2022 - 4 registros serão mostrados
    02/07/2022 - 14 registros serão mostrados
    03/07/2022 - 28 registros serão mostrados
    04/07/2022 - 52 registros serão mostrados
    E no final dentro do Delta Lake conterá 52 linhas ?

  • @antialiasing16x
    @antialiasing16x 5 лет назад

    Muito bom!

  • @josepaulo9054
    @josepaulo9054 2 года назад

    Cara, Parabéns pelo video e pela iniciativa, uma duvida que ficou pra mim, eu posso usar o Delta Lake dentro da AWS, onde em vez de eu gerar informações no formato parquet, posso gerar em Delta Lake ?

  • @fabgnr
    @fabgnr 3 года назад

    Muito bom! Parabéns!
    Um dúvida: Pq na hora de visualizar vc passa para Data Frame? Só é possível visualizar se for Data Frame? É necessário passar para Data Frame sempre que for visualizar?