Perguntas com a marcação «airflow-scheduler»

9
Como acionar uma tarefa Airflow somente quando novas partições / dados estão disponíveis na tabela AWS athena usando o DAG em python?

Eu tenho um cenário como abaixo: Acione um Task 1e Task 2somente quando novos dados estiverem disponíveis para eles na tabela de origem (Athena). O acionador da Tarefa1 e da Tarefa2 deve ocorrer quando uma nova parição de dados em um dia. Disparar Task 3apenas após a conclusão Task 1eTask...