A MELHOR FERRAMENTA DE ETL PARA ENGENHEIRO DE DADOS | Azure Data Factory
HTML-код
- Опубликовано: 18 сен 2024
- Nesse vídeo irei apresentar uma das melhores ferramentas de ETL do mercado de Big Data | Engenharia de Dados. O Data Factory é um serviço codeless gerenciado pela Microsoft Azure, completo e intuitivo, o qual permite a conexão em + de 80 fontes de dados diferentes!
Não é preciso programar!
Contexto:
Uma das principais tarefas de um Engenheiro de Dados é a realização de ETL (Extract Transform and Load) ou ELT (Extract Load and Transform).
Com a evolução da tecnologia na última década, surgiu um novo conceito chamado DataLake, que basicamente descreve um repositório de dados altamente escalável, capaz de armazenar petabytes de dados nos mais variados formatos possíveis.
Atualmente a maioria das organizações utilizam DataLakes como Single Source of Truth (SSOT) ou, Única fonte da Verdade, uma vez que ele serve de repositório central de dados. Porém, para que esses repositórios se mantenham atualizados, é necessário garantir as atualizações dos dados vindos das fontes (banco de dados, arquivos, aplicações etc...).
Geralmente esse processo de extração, transformação e carregamento de dados é chamado de ETL. Hoje em dia, existem diversas empresas que provem ferramentas e soluções de ETL, tanto Open Source, quanto em Nuvem.
===============================================
Siga-me nas redes sociais:
Instagram: @bigdatamasters
LinkedIn: / vitor-henrique97
Suei para achar conteúdo do Data Factory na Internet. Maioria tudo em língua inglesa . Ele é realmente mt bom
Obrigada
Parabéns pelo conteúdo !
Continue postando mais vídeos assim.
Ótimo conteúdo.
Quero mais vídeos desse irmão, muito bom, parabéns
estou ainda aprendendo bi pelo senac .Mais gostei do seu conteúdo, muito obrigada
Excelente explicação. Tava cansado de ficar ouvindo indianos kkkk
Top demais!!! Mandando a engenharia de dados no Brasil!
Simples, objetivo e direto.
Ótimo material! Simples, direto ao ponto e bem completo! Obrigado1
Parabéns pelo Vídeo. Sensacional a explicação!
Meu camarada, que explicação Boa. Ganhou um seguidor.
Conteúdo muito proveitoso parabéns por compartilhar !
Ótimo vídeo, muito obrigado pela explicação ajudou bastante ansioso por próximos vídeos!
Obrigado pelo conteúdo!
=)
Obrigada por dividir seu conhecimento! seu video me ajudou muitoooooo
Parabéns pelo video!
Ótimo conteúdo, parabéns!
muito bom, parabens.
Top demais parabéns! Ótima explicação receba receba o like e mais um escrito!
Da Hora!
Muito bom video! Obrigado
Muito bom, mas poderia explicar melhor sobre o custo da ferramenta
Top!!!
Fala cara, beleza? Ótimo video, obrigado!!
Eu também consigo fazer uma rotina de deletar os dados já presentes na tabela, ou de copiar apenas os dados que não sejam duplicados, antes de importa-los através da pipeline?
FIquei com duvida em relação ao pagamento, posso rodar 1000 pipelines gratuitamente ? Tipo posso usar todos os componentes do ADF e um banco de 5gb pelo menos e não serei cobrado por isso? Se puder explicar melhor eu agradeço.
Aguardo retorno e obrigado pelo video, conteudo excelente...parabéns.
Toppp
Se é loco aprendi demais
@BigDataMaster teria como apos exportar os dados, deletar os dados da origem?!
Não precisa mesmo pagar? Maioria das ferramentas etl tem um custo
Alguém sabe se eu consigo mudar o ID de uma pipeline?
Obrigado pelo vídeo! Isso tuido é gratuito mesmo? A azure não vai cobrar pelo integration runtime?
para estudo é gratuito mesmo.
Qual link pra baixar?