quero aplicar o air flow em um projeto que to criando, estou arquitetando e criando um data lake onde extraio os dados da API do Spotify e aplicar os conceitos de ETL. quero trabalhar nesse projeto com py spark, sql, air flow, azure e power bi ...
André, muito didáticas suas aulas e claro conhecimento. Tenho pensando muito em usa o airflow aqui na empresa, mas tenho duvidas, principalmente qdo vc diz quando usar e não o airflow. Eu tenho algumas tarefas em python puro (sql) q fazem hoje a inserção de dados de um banco para outro, pensei em usar o airflow para orquestrar essas tarefas, vc acha prudente ou deveria pensar em outra ferramenta como spark ou algo assim ?
Otimo, video gostei muito! Durante o video me surgiu uma duvida: Quando voce diz "Tasks não movem dados de um lado para outro" voce quer dizer que elas não trocam dados entre si, ou não seria correto fazer tasks que movimentem dados? Como criar um script para enviar uma tabela de um banco para outro?
Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Por definição as Tasks não deveriam mover dados de um lado para o outro, mas somente fazer a chamado do Operator que vai executar "alguma coisa". Este Operator é quem movimenta, faz update, insert, delete e outras funções que ele esteja programado. O Airflow teve uma atualização recente em que permite que os dados sejam enviados de uma task para outra, via XCOM. antes ela era pequena, mas na ultima atualização ela ficou grande e agora permite trafegar dados por ela. Só que eu não gosto muito disto, pois os dados ficam disponiveis no ambiente todo e não criptografado e sem compressão, o que pode travar ou deixar o ambiente lento, ou o repositorio um pouco "inchado". A solução ideal para mover dados de um ambiente para outro ou de uma banco para um arquivo, é via Operator próprio para isto. Entendo que as vezes não temos o Operator fazendo o que desejamos, para isto podemos criar o nosso próprio Operator que faz a coleta e salva aonde desejamos, podendo até mesmo fazer transformações e etc. Espero ter ajudado. Forte Abraço
Gosto bastante da sua didatica.
Muito Obrigado!
Obrigado amigo 👍👍👍
Eu que agradeço
Parabens! Sua didatica é sensacional.
Obrigado
Muito boa a aula, simples e direta, parabens
Muito obrigado!
Show mano, que bacana que tem um canal, tá fera. Bom te ver por aqui! Vou divulgar seu canal. abraço
Olá Marcio! Bom te ver por aqui também... obrigado pela força. abraço.
More videos about this tools, please!
Excelente vídeo apresentando o Apache Airflow e seus fundamentos básicos.
Obrigado 👍
Muito bom, muito claro e no ponto
Muito obrigado!
Obrigado pelo vídeo! Ganhou um inscrito
Muito obrigado! é bom saber que estou ajudando.
excelente!
Obrigado
Excelente story telling.
Obrigado!
Excelente.
Obrigado
Parabéns pela aula
Obrigado 😊
quero aplicar o air flow em um projeto que to criando, estou arquitetando e criando um data lake onde extraio os dados da API do Spotify e aplicar os conceitos de ETL.
quero trabalhar nesse projeto com py spark, sql, air flow, azure e power bi ...
passa linkedin ai, ou algum contato vamos fazer um networking.
Ótimo, podia ter mais umas 50 playlists de Airflow
que bom que está gostando. logo teremos mais vídeos. tem algum assunto além do airflow que lhe interessa?
@@andre_ricardo Poxa, seria legal um pipeline de ETL completo que envolva outras tecnologias interagindo com o airflow
@@raphaelbonillo2192 dica anotada! Obrigado
Não precisa do Docker para rodar no computador pessoal.
André, muito didáticas suas aulas e claro conhecimento. Tenho pensando muito em usa o airflow aqui na empresa, mas tenho duvidas, principalmente qdo vc diz quando usar e não o airflow. Eu tenho algumas tarefas em python puro (sql) q fazem hoje a inserção de dados de um banco para outro, pensei em usar o airflow para orquestrar essas tarefas, vc acha prudente ou deveria pensar em outra ferramenta como spark ou algo assim ?
Olá, muito obrigado! Para este cenário o Airflow vai ser excelente! Pode inclusive agendar tarefas em spark.
Otimo, video gostei muito!
Durante o video me surgiu uma duvida: Quando voce diz "Tasks não movem dados de um lado para outro" voce quer dizer que elas não trocam dados entre si, ou não seria correto fazer tasks que movimentem dados? Como criar um script para enviar uma tabela de um banco para outro?
Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando.
Por definição as Tasks não deveriam mover dados de um lado para o outro, mas somente fazer a chamado do Operator que vai executar "alguma coisa".
Este Operator é quem movimenta, faz update, insert, delete e outras funções que ele esteja programado.
O Airflow teve uma atualização recente em que permite que os dados sejam enviados de uma task para outra, via XCOM. antes ela era pequena, mas na ultima atualização ela ficou grande e agora permite trafegar dados por ela.
Só que eu não gosto muito disto, pois os dados ficam disponiveis no ambiente todo e não criptografado e sem compressão, o que pode travar ou deixar o ambiente lento, ou o repositorio um pouco "inchado".
A solução ideal para mover dados de um ambiente para outro ou de uma banco para um arquivo, é via Operator próprio para isto.
Entendo que as vezes não temos o Operator fazendo o que desejamos, para isto podemos criar o nosso próprio Operator que faz a coleta e salva aonde desejamos, podendo até mesmo fazer transformações e etc.
Espero ter ajudado.
Forte Abraço
First