Problem Czy istnieje sposób w Airflow, aby utworzyć przepływ pracy, w którym liczba zadań B. * jest nieznana do zakończenia zadania A? Przyjrzałem się subdagom, ale wygląda na to, że może działać tylko ze statycznym zestawem zadań, które należy określić podczas tworzenia Dag. Czy wyzwalacze...
po nowej instalacji za pomocą pip install apache-airflow, wszelkie próby uruchomienia przepływu powietrza kończą się błędem importu pytona: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File...
Instalacja wykonana poprawnie. db poprawnie zainicjowany i próba uruchomienia serwera pokazuje następujący błąd. Przeinstalowałem wszystko, ale nadal nie działa. Docenię, jeśli ktoś mi pomoże. Dane wyjściowe konsoli: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__(...
Zamknięte. To pytanie nie jest powtarzalne lub zostało spowodowane literówkami . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 3 miesiące temu . Dostaję się powyżej...
Korzystam z https://github.com/helm/charts/tree/master/stable/airflow wykresu steru i buduję puckle/docker-airflowobraz v1.10.8 z zainstalowanymi na nim kubernetes i używam tego obrazu z wykresu sterów, ale ciągle otrzymuję File "/usr/local/bin/airflow", line 37, in <module>...
Próbuję przenieść pliki s3 z „nieusuwalnego” segmentu (co oznacza, że nie mogę usunąć plików) do GCS przy użyciu przepływu powietrza. Nie mogę zagwarantować, że nowe pliki będą tam codziennie, ale muszę codziennie sprawdzać, czy są nowe. moim problemem jest dynamiczne tworzenie subdagów. Jeśli...
Mam scenerię jak poniżej: Naciśnij Task 1iTask 2 tylko wtedy, gdy nowe dane są dla nich dostępne w tabeli źródłowej (Athena). Wyzwalacz dla Zadania 1 i Zadania 2 powinien się zdarzyć, gdy nowa parowanie danych nastąpi w ciągu jednego dnia. Wyzwalacz Task 3 tylko po zakończeniu Task 1iTask...