DAG. A Airflow, un DAG, o a gràfic acíclic dirigit, és una col·lecció de totes les tasques que voleu executar, organitzades de manera que reflecteixin les seves relacions i dependències.
Com es fan DAG a Airflow?
Per crear un DAG a Airflow, sempre heu d'importar la classe DAG Després de la classe DAG, venen les importacions d'operadors. Bàsicament, per a cada Operador que vulguis utilitzar, has de fer la importació corresponent. Per exemple, si voleu executar una funció de Python, heu d'importar el PythonOperator.
On cerca els DAG Airflow?
Airflow busca a el vostre DAGS_FOLDER mòduls que contenen objectes DAG al seu espai de noms global i afegeix els objectes que troba al DagBag.
Com emmagatzema Airflow els DAG?
Base de dades de metadades d'Apache Airflow:
La base de dades de metadades emmagatzema configuracions, com ara variables i connexions També emmagatzema informació, rols i polítiques dels usuaris. Finalment, el programador analitza tots els DAG i emmagatzema metadades rellevants, com ara intervals de programació, estadístiques de cada execució i les seves tasques.
És Airflow una eina ETL?
Airflow no és una eina ETL per se. Però gestiona, estructura i organitza les canonades ETL mitjançant una cosa anomenada gràfics acíclics dirigits (DAG). … La base de dades de metadades emmagatzema fluxos de treball/tasques (DAG).
