Construindo Pipelines de Dados com Astro Python SDK, dbt & Apache Airflow

Crie pipelines de dados escaláveis com Astro Python SDK, dbt & Apache Airflow!
Nesta sessão, você aprenderá a construir um processo escalável de ELT com o Apache Airflow, utilizando técnicas avançadas de ingestão e processamento de dados.
Abordaremos:
✔ Ingestão de dados: Extraia dados de um Data Lake (S3) para o Data Warehouse com o Astro Python SDK.
✔Data Warehouse: Utilize o Databricks SQL como engine de Data Lakehouse para armazenar e processar seus dados.
✔Modelagem de dados: Crie modelos de dados em SQL com o dbt-Core, organizando seus dados para diferentes tipos de consumidores.
✔Orquestração: Orquestre seu projeto dbt-Core com Astronomer Cosmos e execute pipelines completos com o Apache Airflow.
🧠🚀O que você vai aprender:
Arquitetura de um pipeline de dados: Compreenda os diferentes componentes de um pipeline de dados e como eles se integram.
Ingestão de dados com Astro Python SDK: Aprenda a ingerir dados de diferentes fontes para o Data Warehouse.
Data Lakehouse com Databricks SQL: Explore o poder do Databricks SQL como engine de Data Lakehouse.
Modelagem de dados com dbt-Core: Crie modelos de dados robustos e escaláveis em SQL.
Orquestração com Astronomer Cosmos e Apache Airflow: Aprenda a orquestrar seus projetos dbt-Core e executar pipelines completos com o Apache Airflow.
😎 Ao final desta sessão, você terá:
Compreensão completa sobre como criar e executar pipelines de dados fim a fim com o Apache Airflow.
Habilidades práticas: Aprenda a usar ferramentas como Astro Python SDK, Databricks SQL, dbt-Core, Astronomer Cosmos e Apache Airflow.
Pipeline funcional: Implemente um pipeline de dados real que você pode usar em seus projetos.
Recursos adicionais:
Astro Python SDK: github.com/ast...
dbt-Core: github.com/ast...
Apache Airflow: airflow.apache...
Participe desta Live e aprenda a construir pipelines de dados escaláveis com #ApacheAirflow, #dbt e #Databricks