Airflow e criação de DAGs básico bem feito

 

Introdução ao Apache Airflow e Criação de DAGs

O Apache Airflow é uma ferramenta poderosa de orquestração de workflows que permite automatizar, agendar e monitorar pipelines de dados. Criado originalmente pelo Airbnb e hoje mantido pela Apache Software Foundation, o Airflow se tornou um padrão na engenharia de dados moderna. Neste artigo, irei abordar o básico de forma bem feita: o que é o Airflow, como ele funciona, e como criar sua primeira DAG

 

O que é o Apache Airflow?

Airflow é uma plataforma programável de orquestração de workflows em vez de interfaces visuais ou arquivos de configuraçao declarativos, você define suas DAGs com código Python

Se fosse escalar os principais recursos do para atuar com AirFlow seria:

  • Escrita de workflows com Python;

  • Interface web para execução e monitoramento;

  • Conectores com diversos sistemas: bancos de dados, APIs, nuvens, etc;

  • Modularidade através de operadores reutilizáveis 


 

O que é uma DAG?

DAG é a sigla para Directed Acyclic Graph, ou grafo direcionado acíclico no contexto do Airflow, é uma representação das tarefas e suas dependências

 Para se criar uma DAG é preciso ententer primeiro alguns componentes: 

  • dag_id: Nome identificador da DAG;

  • start_date: Data de início das execuções;

  • schedule_interval: Frequência de execução;

  • catchup: Indica se deve "compensar" execuções passadas;

  • tasks: Tarefas que compõem a DAG;

     

Exemplo básico de DAG


Operadores e XCom

No Airflow, para fazer com que as tarefas sejam executadas precisamos de operadores cada operador tendo uma função especifica para dag.

Os operadores são :

  • BashOperator: Executa comandos de terminal;

  • PythonOperator: Executa funções Python;

  • EmailOperator, S3Operator, PostgresOperator etc;


 

  

Interface Web

A interface web do Airflow é bem completa e te permite visualizar processos de uma Dag de forma bem completa.

  • Visualizar execuções em tempo real;

  • Consultar logs das tarefas;

  • Executar tarefas manualmente;

  • Visualizar dependências em formato de grafo;


 

Boas práticas

Quando estamos atuando com DAGs atem algumas boas práticas a serem seguidas listei aqui as que eu realmente vi importancia que dão uma diferença no resultado final da sua DAG.

  • Use catchup=False para evitar execuções retroativas indesejadas;

  • Sempre defina start_date corretamente;

  • Dê nomes claros para DAGs e task_ids;

  • Configure retries e retry_delay para lidar com falhas transitórias;

  • Evite tarefas muito longas ou pesadas: quebre em steps menores;

 

Conclusão

Apache Airflow é uma ferramenta essencial para pipelines de dados e workflows automatizados. Entender o básico da criação de DAGs já é o suficiente para começar a automatizar processos com qualidade. O conteudo de dags pode estender alem desse contexto inicial como automatizar uma dag para envio de email e consultas sql, deixem feedback de voces oque acham de trazer um conteudo mais complexo sobre DAGs

 

 

 

Gabriel Carrijo

Gabriel Carrijo

Back-end Developer Java | Spring Boot | Quarkus | Microservices | SQL & NOSQL | SOLID | Design Patterns

Comments

Post a Comment

Popular posts from this blog

Spring VS Micronaut VS Quarkus

Image
Spring Boot vs. Quarkus vs. Micronaut: Qual é o framework ideal para o seu projeto? Quando se trata de construir aplicativos web modernos em Java, desenvolvedores têm à disposição uma algumas variedade de frameworks. Entre as opções mais populares do momento estão Spring Boot, Quarkus e Micronaut. Esses três frameworks não apenas suportam a criação de APIs REST, microsserviços e sistemas escaláveis, mas também apresentam filosofias distintas e vantagens exclusivas. Vou passar pra vocês um pouco sobre cada um deles e em que momento seria interessante usa-los.    Spring Boot Spring Boot é o framework mais amplamente usado para construir aplicativos web baseados em Java. Ele simplifica a configuração e o desenvolvimento de aplicativos Spring eliminando a necessidade de configurações XML complexas e oferecendo configurações padrão para configurações comuns. O Spring Boot é bem adequado para construir aplicativos monolíticos e de microsserviços, e faz parte do ecossistema maior do ...
Read more

Spring + Redis: Como melhorar sua aplicação com caching

Image
  Ao tratar de microsserviços é comum que dado uma aplicação de disponibilidade ou desempenho seja necessário mais de uma instância dando vida a um cluster. Junto ao ambiente clusterizado vem problemas na implementação de cache local, já que cada uma das instâncias é um processo independente, e a memória não é compartilhada, ocasionando que o cache fique inconsistente entre uma instância e outra. Neste tipo de situação a estratégia de cache local não é suficiente, pois agora quando um dado é armazenado em cache por uma instância, a outra instância deverá ter acesso em sua próxima consulta. Então se faz necessário a utilização de um provedor de cache distribuído como o nosso querido Redis .   Redis é um banco de dados não relacional que armazena dados em memória, proporcionando acesso muito rapido. Ele é muito usado como cache distribuído, permitindo múltiplas conexões simultâneas. No entanto, integrar Redis diretamente no código pode gerar dependência, tornando a tro...
Read more

Java + Kafka, Como essa parceria fucniona ?

Image
    O que é kafka e como ele funciona ? Para entender a parceria entre Java e Kafka, primeiro precisamos compreender o que é o Apache Kafka e como ele opera, o Kafka é uma plataforma distribuída de streaming de eventos baseada no modelo PUB/SUB , o que significa que ele publica e consome mensagens de forma assíncrona. Seu funcionamento se baseia em tópicos, que atuam como canais de comunicação onde as mensagens são organizadas e distribuídas para os consumidores.   Agora que entendemos oque é o kafka vamos entender o ponto principal os tópicos, cada tópico no Kafka é responsável por armazenar mensagens e distribuí-las para os consumidores que estão interessados nesse conteúdo. Além disso, os tópicos podem ser divididos em partições, permitindo escalabilidade e processamento paralelo isso é o grande diferencial do kafka pros demais serviços de mensageria. Vou exemplificar como os tópicos funcionam: spring-topic-dukes-notification --> Este tópico pode ser utilizado para ...
Read more