Problema Existe alguma maneira no Airflow de criar um fluxo de trabalho de forma que o número de tarefas B. * seja desconhecido até a conclusão da Tarefa A? Eu olhei para subdags, mas parece que só pode funcionar com um conjunto estático de tarefas que devem ser determinadas na criação do...
após uma nova instalação usando pip install apache-airflow, qualquer tentativa de executar o fluxo de ar termina com um erro de importação do python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File...
Instalação feita corretamente. O db foi iniciado corretamente e a tentativa de iniciar o servidor da web mostra o seguinte erro. Eu reinstalei tudo, mas ainda não está funcionando. Eu aprecio se alguém me ajudar. Saída do console: $:~/airflow# airflow webserver -p 8080 ____________...
Fechadas. Esta pergunta não é reproduzível ou foi causada por erros de digitação . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico do Stack Overflow. Fechado há 3 meses . Estou...
Estou usando o https://github.com/helm/charts/tree/master/stable/airflow helm chart e construindo a puckle/docker-airflowimagem v1.10.8 com o kubernetes instalado e usando essa imagem no gráfico de helm, mas continuo recebendo File "/usr/local/bin/airflow", line 37, in <module>...
Estou tentando mover arquivos s3 de um bloco "não excluído" (o que significa que não posso excluir os arquivos) para o GCS usando o fluxo de ar. Não posso garantir que novos arquivos estejam lá todos os dias, mas devo verificar se há novos arquivos todos os dias. meu problema é a criação dinâmica...
Eu tenho um cenário como abaixo: Acione um Task 1e Task 2somente quando novos dados estiverem disponíveis para eles na tabela de origem (Athena). O acionador da Tarefa1 e da Tarefa2 deve ocorrer quando uma nova parição de dados em um dia. Disparar Task 3apenas após a conclusão Task 1eTask...