- Видео 22
- Просмотров 40 065
André Ricardo
Бразилия
Добавлен 27 мар 2020
Olá, aqui é o André Ricardo!
Criei este canal para compartilhar um pouco do meu conhecimento com TI, espero que goste!
Criei este canal para compartilhar um pouco do meu conhecimento com TI, espero que goste!
Como os Dados Transformaram a Netflix em um Gigante do Streaming
Você sabia que a Netflix começou como uma locadora de DVDs pelo correio? 🧐 Hoje, é uma das maiores plataformas de streaming do mundo, e o segredo por trás dessa transformação está no uso inteligente de dados! Neste vídeo, contamos a história de como análises avançadas, Big Data e algoritmos de recomendação levaram a Netflix ao topo do entretenimento digital.
Descubra como a série 'House of Cards' foi produzida com base em insights de dados, por que personalização é a chave para o sucesso, e o que podemos aprender dessa jornada como analistas e engenheiros de dados.
🚀 Este vídeo é para você que trabalha com SQL, Python, Data Science, Big Data, ou simplesmente é apaixonado por tecnologia e in...
Descubra como a série 'House of Cards' foi produzida com base em insights de dados, por que personalização é a chave para o sucesso, e o que podemos aprender dessa jornada como analistas e engenheiros de dados.
🚀 Este vídeo é para você que trabalha com SQL, Python, Data Science, Big Data, ou simplesmente é apaixonado por tecnologia e in...
Просмотров: 45
Видео
Tutorial Xcom Apache Airflow
Просмотров 7548 месяцев назад
Neste tutorial, vamos ver como funciona passo a passo o xcom no Apache Airflow. vamos ver como fazer o push e o pull entre as tasks da mesma DAG e entre DAGs diferentes. 00:00 Introdução 00:38 O que é XCOM 01:32 código da Xcom 07:40 Xcom no Airflow 17:35 pull e push entre DAGs Apoio: InspiraTee www.inspiratee.com.br/ inspira_tee_ Documentação: airflow.apache.org/docs/apache-airflo...
Setup Teardown: Transformando Fluxos no Apache Airflow
Просмотров 4079 месяцев назад
Neste vídeo veremos como fazer um fluxo do Airflow executar até o final, mesmo que alguma tarefa tenha apresentado erro. Esta é a mágica do recurso setup teardown. 00:00 Introdução 00:37 O código setup teardown 04:17 DAG teardown no Airflow 06:10 Verificando os logs 08:25 Documentação Apoio: InspiraTee www.inspiratee.com.br/ inspira_tee_ Documentação: airflow.apache.org/docs/apach...
Tutorial Airflow: Como gerenciar ambientes virtuais? (requirements.txt)
Просмотров 49210 месяцев назад
Neste vídeo vamos ver como criar e gerenciar ambientes virtuais no python, criar e usar o requirements.txt e usar este no Airflow com os operadores PythonVirtualenvOperator e ExternalPythonOperator. 00:00 Introdução 00:40 Criando ambiente Virtual no Python 10:06 requirements.txt 15:50 Airflow com constraint 17:33 PythonVirtualenvOperator 32:00 ExternalPythonOperator Apoio: InspiraTee www.inspir...
Como fazer um projeto completo de dados
Просмотров 4,9 тыс.10 месяцев назад
Neste vídeo veremos como fazer um projeto completo de dados utilizando Docker, Kafka, Python e ChatGPT 00:00 Introdução 00:23 Contexto 02:33 Inspiração 03:33 Preparando o ambiente com Docker 04:27 Clone do projeto no GIT 06:02 Subindo o projeto no Docker 08:15 Jupyter Lab Notebooks Python 12:06 Kafka Producer 15:30 Postgres 20:22 Grafana 25:00 Kafka Consumer 27:32 Visualizando o Dashboard 30:03...
Como configurar o Docker antes que ele trave o seu computador
Просмотров 356Год назад
Hoje vamos ver como configurar o Docker antes que ele trave o seu computador. 00:00 Introdução 00:17 O consumo do Docker atual 01:34 Configurando o Docker 03:54 Validando a configuração Dúvidas e sugestões: contato@andrericardo.com.br Site: www.andrericardo.com.br Linked In: www.linkedin.com/in/andre-ricardo-sp/ #docker #memória #performance #wsl
Aonde Salvar as DAGs do Apache Airflow
Просмотров 666Год назад
Neste vídeo vamos ver aonde salvar as DAGs do Apache Airflow. 00:00 Introdução 01:25 Configurando na instalação Standalone 06:03 Configurando na instalação com Docker Como instalar o Airflow com Docker: ruclips.net/video/E0D9IRHITVI/видео.html Como instalar o Airflow sem o Docker: ruclips.net/video/LwX9FFK9ojc/видео.html Domine o LatestOnlyOperator do Airflow e Transforme seu Workflow!: ruclips...
Como Remover as Dags Default do Airflow
Просмотров 640Год назад
Neste vídeo vamos ver o passo a passo de como fazer para desativar as DAGs default do Apache Airflow. Como instalar o Airflow com Docker: ruclips.net/video/E0D9IRHITVI/видео.html Como instalar o Airflow sem o Docker: ruclips.net/video/LwX9FFK9ojc/видео.html Documentação: airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#load-examples 00:00 Introdução 00:57 Direto ao ponto 01...
Ep 5: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Просмотров 182Год назад
Este é o primeiro vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ruclips.net/video/sY6RTaKa8LM/видео.html 2 - ruclips.net/video/OQWx1Mw3sOg/видео.html 3 - ruclips.net/video/oy...
Ep 1: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Просмотров 267Год назад
Este é o primeiro vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ruclips.net/video/sY6RTaKa8LM/видео.html 2 - ruclips.net/video/OQWx1Mw3sOg/видео.html 3 - ruclips.net/video/oy...
Ep 3: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Просмотров 78Год назад
Este é o terceiro vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ruclips.net/video/sY6RTaKa8LM/видео.html 2 - ruclips.net/video/OQWx1Mw3sOg/видео.html 3 - ruclips.net/video/oy...
Ep 4: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Просмотров 99Год назад
Este é o quarto vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ruclips.net/video/sY6RTaKa8LM/видео.html 2 - ruclips.net/video/OQWx1Mw3sOg/видео.html 3 - ruclips.net/video/oy3N...
Ep 2: Quem vai ganhar a copa do mundo de futebol feminino 2023?
Просмотров 97Год назад
Este é o segundo vídeo de uma série em que vamos tentar prever o resultado da copa do mundo de futebol feminino de 2023. Para prever estes resultados vamos utilizar modelos de Machine Learning utilizando python. Arquivo: github.com/andrericsouza/COPA_MUNDO_FEMININA_2023 Episódios: 1 - ruclips.net/video/sY6RTaKa8LM/видео.html 2 - ruclips.net/video/OQWx1Mw3sOg/видео.html 3 - ruclips.net/video/oy3...
Como criar um Operator no Apache Airflow
Просмотров 639Год назад
Neste vídeo eu explico o passo a passo para criar o seu próprio Operator no Apache Airflow. Como instalar o Airflow com Docker: ruclips.net/video/E0D9IRHITVI/видео.html Documentação do CustomOperator: airflow.apache.org/docs/apache-airflow/stable/howto/custom-operator.html 00:00 Introdução 00:15 Ambiente 00:40 Apresentação da Idéia 00:50 Criando o Operator 04:06 Criando a DAG 06:08 Executando o...
Join com Python usando Pandas Passo a Passo: Guia Completo
Просмотров 263Год назад
Neste vídeo veremos todas as opções de Join/Merge no Python utilizando o Pandas. Documentação do Merge no Pandas: pandas.pydata.org/docs/reference/api/pandas.merge.html Código utilizado no vídeo: github.com/andrericsouza/python/blob/main/PYTHON_JOIN.ipynb 00:00 Introdução 00:14 Apresentação 00:34 Instalação do Pandas 01:01 Import do Pandas 01:30 Tabela A 03:18 Tabela B 03:55 Inner Join 05:08 Le...
Domine o LatestOnlyOperator do Airflow e Transforme seu Workflow!
Просмотров 571Год назад
Domine o LatestOnlyOperator do Airflow e Transforme seu Workflow!
Como colocar dependências entre DAGs no Apache Airflow | ExternalTaskSensor
Просмотров 1,5 тыс.Год назад
Como colocar dependências entre DAGs no Apache Airflow | ExternalTaskSensor
Apache Airflow: Como usar o PythonOperator
Просмотров 2 тыс.Год назад
Apache Airflow: Como usar o PythonOperator
Como criar a Primeira DAG no Airflow
Просмотров 4,9 тыс.Год назад
Como criar a Primeira DAG no Airflow
Como Instalar o Airflow sem o Docker
Просмотров 3,2 тыс.Год назад
Como Instalar o Airflow sem o Docker
bom dia andre. qual o caminho completo da pasta dags deste tutorial? pretendo subir algumas, Obrigado
Projeto muito MASSA! Estou estudando análise de dados e começando a me aventurar em engenharia de dados. Suas aulas vão me ajudar muito! Parabéns!
e quando minhas funções python estão em outro arquivo?
André, estou realizando a configuração do airflow local no ubuntu, já segui todos os passos indicado no vídeo, mas mesmo assim ainda vejo no serviço de web os exemplos que vem na configuração. Teria alguma dica para entender qual seria o meu problema? Obrigada!
opa... vamos ver se consigo ajudar... ja passei por uma situação parecida e a solução foi reiniciar o ambiente após alterar o arquivo de configuração. me diga qual a versão do Airflow que está utilizando pra ver se tem alguma dica mais especifica. Abraço.
O melhor tutorial para o airflow que já vi. Muito obrigado, acredito que você ajudou muita gente
Obrigado pelo comentário! Fico muito feliz que está ajudando... Abraço!
Parece a voz do Batman desenho hahahaha Parabéns pelos vídeos!!!
Haha, que bom que está gostando! Abraço!
Gostei muito!! Bem objetivo. Uma sugestão seria incluir: Como organizar as dags, em qual diretório...
Ótimo! Muito obrigado pela dica... Vou pensar em um vídeo para explicar melhor a organização das DAGs. Abraço
Obrigado pelo vídeo! Ganhou um inscrito
Muito obrigado! é bom saber que estou ajudando.
Não precisa do Docker para rodar no computador pessoal.
Muito boa a aula, simples e direta, parabens
Muito obrigado!
Obrigada pela contribuição, muito útil
Que bom saber que estou ajudando... obrigado pelo comentário
Muito bom meu camarada, parabéns pelo conteúdo 😀
Muito obrigado!
SALVOU A MINHA VIDA!!! Muuuito obrigada ❤❤❤❤
Fico feliz em saber que estou ajudando. Abraço
Parabens! Sua didatica é sensacional.
Obrigado
quero aplicar o air flow em um projeto que to criando, estou arquitetando e criando um data lake onde extraio os dados da API do Spotify e aplicar os conceitos de ETL. quero trabalhar nesse projeto com py spark, sql, air flow, azure e power bi ...
passa linkedin ai, ou algum contato vamos fazer um networking.
Olá professor André, tudo bem? eu não estou conseguindo acessar o webserver do airflow. Estou tendo problema tanto com a instalação dele com o docker e sem o docker, e é sempre na consulta pelo webserver a porta 8080 não abre.
Olá, verifique no log do docker se aparece alguma mensagem de erro... já tive este cenário quando executei em um notebook com pouca memória, com isto o serviço web não funcionava.
Vídeo muito explicativo!! parabéns
Muito obrigado!
Bom dia, tudo bem ? Sabe me dizer se o ideal seria criar um usuário airflow para executar todas as ações realizadas no vídeo ?
excelente pergunta... para um ambiente local (seu computador/notebook) não é necessário, mas para um ambiente corporativo é recomendado um usuario para cada aplicação, facilitando a gestão de acesso e outros. Abraço
excelente!
Obrigado
Ganhou um inscrito, pela simplicidade nas explicações, sem enrolação e pelo carisma!!! 👍
Obrigado
Obrigado pelo tutorial, muito bom!
Obrigado
Muito bom o vídeo professor, parabéns!! Consegui replicar, agora o desafio será brincar com outras ferramentas utilizando a base toda dessa joia que o senhor nos passou. Abraço!!
parabens por conseguir replicar e dar continuidade a este estudo. Abraço
Boa noite. Adoro os seus vídeos, parabéns. Mas estou com um problema, eu não consigo colocar as dags para aparecer no airflow. Faço tudo certinho mas não atualizo. Você teria uma dica pra mim?
Olá, obrigado pelo comentario, espero poder estar ajudando... observe que devemos salvar os arquivos no diretorio dags da instalação do airflow. verifique no seu arquivo de configuração da instalação aonde está o caminho da variavel AIRFLOW_HOME. o Airflow demora um tempinho para ler os arquivos do diretorio e renderizar estes, as vezes demora uns 15 minutos... observe se no navegador web aparece alguma mensagem de erro.
Professor, tem alguma aula mostrando execução de arquivos .exe?
fiz tudo como o mostrado, porem na hora de entrar no endereço do link no airflow webserver o a pág dá erro, alguém sabe oque poderia estar acontecendo?
olá, veja no docker se tem alguma mensagem de erro no serviço do webservice. as vezes pode estar faltando memoria para o serviço web funcionar.
ótimo conteudo!
Obrigado
Obrigado pela ajuda
Obrigado
Excelente
Obrigado
More videos about this tools, please!
TOP
Obrigado
Me ajudo de mais, muito obrigado
Fico muito feliz por saber disto. abraço.
Ótimo, podia ter mais umas 50 playlists de Airflow
que bom que está gostando. logo teremos mais vídeos. tem algum assunto além do airflow que lhe interessa?
@@andre_ricardo Poxa, seria legal um pipeline de ETL completo que envolva outras tecnologias interagindo com o airflow
@@raphaelbonillo2192 dica anotada! Obrigado
Parabéns, ótimo videos. Estou seguindo a playlist inteira de airflow aqui. Valeu pela ajuda
muito obrigado. fico feliz em saber que estou conseguindo ajudar.
Cara, não sou de comentar em vídeos mas você tem uma didática impecável!
muito obrigado!
Rapido facil e objetivo
Obrigado! Espero que tenha ajudado. Forte abraço!
André, muito didáticas suas aulas e claro conhecimento. Tenho pensando muito em usa o airflow aqui na empresa, mas tenho duvidas, principalmente qdo vc diz quando usar e não o airflow. Eu tenho algumas tarefas em python puro (sql) q fazem hoje a inserção de dados de um banco para outro, pensei em usar o airflow para orquestrar essas tarefas, vc acha prudente ou deveria pensar em outra ferramenta como spark ou algo assim ?
Olá, muito obrigado! Para este cenário o Airflow vai ser excelente! Pode inclusive agendar tarefas em spark.
Rapaz, mt bom o conteúdo! Já vi curso pago que não entrega 1/3 disso daqui
Olá, muito obrigado!
Meu amigo... Graças a Deus e a vc um vídeo sensato, direto... sem adivinhações dos mestres dos magos
Opa... Muito bom saber que estou conseguindo ajudar... Já sofri muito pra entender os mestres dos magos... por isto que divulgo conteúdos passo a passo. obrigado pelo comentário. Forte abraço.
Projeto lindo, parabéns! agora é estudar cada ferramenta pra entender melhor hehehe
Muito obrigado. Espero ter ajudado... Bons estudos!
@@andre_ricardo rapaz, serviu pra sabser que ainda tenho muita coisa pra aprender... vlw mais uma vez!
Parabéns!!!!!
Obrigado
André, estou com um problema de uma DAG com running simultaneos, mesmo usando o max active runs=1. Pode me ajudar ou fazer um video sobre, por favor?
Olá, obrigado pelo comentário. Vamos ver se consigo ajudar... Você tem uma DAG que precisa de várias execuções, mas as execuções não podem ser simultâneas, precisam ser 1 de cada vez. neste cenário, o parametro correto é este mesmo max_active_runs na cofiguração da DAG. Caso esteja querendo rodar as tasks em paralelo e controlar a quantidade de tarefas simultaneas, o parametro é o max_active_tasks. Outro detalhe, é que uma vez criado a DAG sem estes parametros, vai ser aplicado o default do ambiente e pode dar erro no serviço do scheduler se colocar depois. Para estes casos, recomendo mudar o nome da DAG. ex: DAG_v2. espero ter ajudado.
Sensacional !!!
Obrigado!
Conteudo muito bom!!
Obrigado
Andre, compartilhe esses vídeos conosco, a ideia é muito legal!
Obrigado por assistir!
Parabéns por compartilhar o conhecimento.
Eu quem agradeço… espero estar ajudando.
Obrigado amigo 👍👍👍
Eu que agradeço
Muito bom mano, parabéns! Eu estava com algo parecido em mente, mas pegando os dados do game F1, ele fornece os dados via UDP
Que legal! Espero que consiga!
Excelente vídeo meu caro, parabéns! Uma dúvida, meu objetivo é extrair dados de uma base postgre e salvar um .csv localmente no docker. Inicialmente fiz o código python salvando o .csv em uma pasta local, porém ao rodar no airflow e salvar no docker, recebo o erro de não ter permissão para criar pasta e salvar arquivo no docker. Com qual código altero essa permissão para poder salvar no docker? Erro recebido no Airflow: PermissionError: [Errno 13] Permission denied: '/opt/airflow/dados/DesafioGitHub/output_data/csv
Olá! muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Quando vamos salvar alguns arquivos localmente no docker, o airflow precisa de permissão para fazer isto, e o Airflow, por diversos motivos(e um deles é a segurança) só conhece o diretório das DAGs. Para eu tentar te ajudar, me procura no LinkedIn e encaminha a sua DAG(se puder) Espero ter ajudado. Forte Abraço
@@andre_ricardo entao voce salva os arquivos na propria pasta dags?
@@jhonynorton7243 sim... para casos simples em meu notebook sim, mas em ambientes corporativo é comum ter um storage/datalake apropriado para salvar os arquivos. mas algumas vezes, vejo que tem profissionais que salvam no próprio diretorio das dags do airflow, o que não é recomendado. Abraço
Oi André, tudo bem? Cara, primeiramente parabéns pelo seu trabalho, seu conteúdo é muito bem feito, gostaria de saber se tu tens algum grupo do discord ou whatsapp para os inscritos poderem trocar uma ideia contigo, gostaria de conversar um pouco e ter algumas orientações, obrigado pelos vídeos.
Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Hoje não tenho nenhum canal de comunicação em grupo como discord, slack, whatsapp, telegram... nada disto... mas podemos conversar sim... me procura no LinkedIn que podemos bater um papo. Forte Abraço
Otimo, video gostei muito! Durante o video me surgiu uma duvida: Quando voce diz "Tasks não movem dados de um lado para outro" voce quer dizer que elas não trocam dados entre si, ou não seria correto fazer tasks que movimentem dados? Como criar um script para enviar uma tabela de um banco para outro?
Olá! Muito obrigado por assistir aos vídeos. Fico muito feliz em saber que estou ajudando. Por definição as Tasks não deveriam mover dados de um lado para o outro, mas somente fazer a chamado do Operator que vai executar "alguma coisa". Este Operator é quem movimenta, faz update, insert, delete e outras funções que ele esteja programado. O Airflow teve uma atualização recente em que permite que os dados sejam enviados de uma task para outra, via XCOM. antes ela era pequena, mas na ultima atualização ela ficou grande e agora permite trafegar dados por ela. Só que eu não gosto muito disto, pois os dados ficam disponiveis no ambiente todo e não criptografado e sem compressão, o que pode travar ou deixar o ambiente lento, ou o repositorio um pouco "inchado". A solução ideal para mover dados de um ambiente para outro ou de uma banco para um arquivo, é via Operator próprio para isto. Entendo que as vezes não temos o Operator fazendo o que desejamos, para isto podemos criar o nosso próprio Operator que faz a coleta e salva aonde desejamos, podendo até mesmo fazer transformações e etc. Espero ter ajudado. Forte Abraço