Como configurar o Apache Airflow na AWS (MWAA)

Поделиться
HTML-код
  • Опубликовано: 10 фев 2025
  • Neste vídeo vamos aprender como criar um ambiente #Airflow gerenciado na #AWS também conhecido como #MWAA (Amazon Managed Workflows for Apache Airflow )
    Link Github com o tutorial:
    github.com/dan...
    Redes Sociais:
    www.danilosous...
    Instagram : / dan.asousa
    Linkedin: / danilosousousadba

Комментарии • 15

  • @filiperuda
    @filiperuda 7 месяцев назад +2

    Muito bom! A parte de calculo do preço do air flow foi um Plus muito legal!

    • @dan.asousa
      @dan.asousa  7 месяцев назад

      Que bom que gostou. TMj

  • @marcosgomesclaver2992
    @marcosgomesclaver2992 2 года назад +1

    Muito bom Danilo. Parabéns!!!

  • @renato-coelho
    @renato-coelho 3 года назад +1

    Excelente vídeo, Danilo. Poderia fazer um vídeo sobre como gerenciador parâmetros no Airflow e como são passados e utilizados nas execuções das DAGs. Obrigado.

    • @dan.asousa
      @dan.asousa  3 года назад +1

      Olá Renato, tudo bem ? Obrigado pela interação.
      Posso sim, alias isso já está aqui no backlog de gravação. Acho que em algumas semanas já deve sair !! Caso esteja com alguma dúvida urgente, pode me chamar la no Insta que a gente bate um papo!! Abs

  • @alexandrelima1433
    @alexandrelima1433 2 года назад +1

    Show de bola!
    Tem free tier para esse serviço? Dá pra testar por 12 meses de graça no free tier?

    • @dan.asousa
      @dan.asousa  2 года назад

      Vou verificar e te falo, mas acho que não.

    • @dan.asousa
      @dan.asousa  2 года назад

      Pelo que olhei na documentação eu não encontrei free tier pro MWAA!! Abs

    • @alexandrelima1433
      @alexandrelima1433 2 года назад +1

      @@dan.asousa Obrigado por tentar achar a informação e pela atenção. Eu mandei um email para AWS, ficaram de responder, acredito que nem eles tenham essa informação hehehehehe. Assim que me responderem eu coloco aqui. Valeu!!!

    • @dan.asousa
      @dan.asousa  2 года назад

      Muito bom!! Valeuu

  • @rafainformaticagmail
    @rafainformaticagmail 6 месяцев назад +1

    Procurando boas dias de MWAA... Achei!!! 👏👏👏

    • @dan.asousa
      @dan.asousa  Месяц назад

      Que bom que consegui te ajudar. Obrigado 👊👊

  • @JoaoVictor-xc8mp
    @JoaoVictor-xc8mp Год назад +1

    como é gerenciado pela aws, é cobrado por isso, entao para empresas que estao começando e nao tem tanta demanda de orquestração, fica enviavel, tem outra opção para usarmos o airflow de forma mais barata ?

    • @dan.asousa
      @dan.asousa  Год назад

      Então, depende da importância e de o quando quer ter de disponibilidade nos pipelines. Acho que isso é para qualquer sistema. Mas se o impacto não for tão grande, da pra subir com VMS, ou com Docker / Kubernetes otimizando a infra-estrutura. Agora se realmente houver bastante impacto, uma infra para o Airflow, mesmo sem ser gerenciado, acaba sendo pesada, pois como comentei no vídeo da arquitetura dele, precisa de um banco de dados, webserver, workers, flower, etc. Pra deixar tudo isso em produção com alta disponibilidade vai um investimento razoável.
      Resumindo, se não houver impacto e for só pocs, sobe tudo em VM / Docker / Kubernetes sem redundância que vai sair mais barato. Ou então até usa outra opção ( Como Step Functions )