L'interface web d'Apache Airflow (disponible par défaut sur le port 8080) est l'un des plus grands atouts de la plateforme. Elle offre aux équipes de Data Engineering et aux analystes un observatoire centralisé pour surveiller les exécutions en direct, diagnostiquer les incidents en consultant les logs, et administrer les accès et variables secrètes.
1. Le menu de navigation principal#
En haut de l'écran, la barre de navigation donne un accès instantané aux cinq grandes sections de la plateforme : DAGs, Datasets, Security, Browse, Admin et Docs.
2. La vue DAGs : Tableau de bord des pipelines#
La page d'accueil liste tous les pipelines enregistrés dans le système.
Sur cette page, vous pouvez :
- Activer ou mettre en pause un DAG via le bouton à bascule (Toggle On/Off).
- Filtrer par tags (ex. : production, sales, daily) pour isoler rapidement vos pipelines par projet.
- Consulter l'historique récent des exécutions : chaque cercle de couleur représente le statut d'un run ou d'une tâche.
- Déclencher manuellement une exécution via le bouton d'action Play situé à droite.
Le code couleur des statuts de tâche#
Pour lire l'interface comme un expert, mémorisez la signification des couleurs de statut : - 🟢 Vert foncé (success) : La tâche a terminé son exécution sans erreur. - 🔴 Rouge vif (failed) : La tâche a levé une exception ou a dépassé son timeout. - 🟢 Vert clair (running) : La tâche est en cours d'exécution sur un worker. - ⚪ Gris (queued) : La tâche attend qu'un worker se libère pour s'exécuter. - 🟡 Jaune / Or (up_for_retry) : La tâche a échoué mais une tentative de réessai automatique est programmée. - 🟣 Rose vif (skipped) : La tâche a été ignorée (suite à un branchement conditionnel). - 🟠 Orange (upstream_failed) : La tâche n'a pas pu démarrer car une tâche parente en amont a échoué.
3. La section Datasets : Ordonnancement orienté données#
Introduite avec Airflow 2.4, la section Datasets permet d'abandonner les planifications rigides basées sur l'horloge au profit d'un ordonnancement réactif piloté par la production effective de données (Data-Aware Scheduling).
4. La section Security : Gouvernance et permissions (RBAC)#
Airflow intègre nativement un modèle de contrôle d'accès basé sur les rôles (RBAC).
flowchart LR
subgraph Roles["Rôles Intégrés"]
A["<b>Admin</b><br>Contrôle total du cluster"]
O["<b>Op</b><br>Gestion des opérations & relance"]
U["<b>User</b><br>Consultation & déclenchement"]
V["<b>Viewer</b><br>Lecture seule sans action"]
end
subgraph Ressources["Ressources Protégées"]
R1["DAGs spécifiques"]
R2["Connexions & Secrets"]
R3["Variables & Configurations"]
end
Roles -->|Permissions granulaires| Ressources
style Roles fill:#f1f5f9,stroke:#64748b
style Ressources fill:#e0f2fe,stroke:#0284c7,stroke-width:2px,color:#0f172a
Users#
Créez et gérez les comptes d'utilisateurs individuels pouvant se connecter à l'interface.
Roles#
Définissez des ensembles de permissions regroupés sous forme de rôles personnalisés.
User Statistics & Audit#
Suivez l'activité des utilisateurs et les temps de connexion sur la plateforme.
Actions, Resources & Permissions#
Ces vues techniques permettent d'inspecter l'ensemble des droits fins appliqués sur chaque ressource d'Airflow.
5. La section Browse : Observabilité et supervision opérationnelle#
C'est l'espace quotidien de diagnostic du Data Engineer lorsqu'un incident de production survient.
DAG Runs & Task Instances#
Consultez l'historique complet de toutes les exécutions de DAGs et de toutes les instances de tâches au fil du temps.
Jobs & Audit Logs#
Surveillez les processus d'arrière-plan du Scheduler et gardez une traçabilité inviolable de chaque modification manuelle (qui a effacé une tâche, qui a modifié une variable).
Task Reschedules, Triggers & SLA Misses#
Suivez les tâches asynchrones en attente dans le Triggerer ainsi que les alertes de dépassement d'accord de niveau de service (SLA Misses).
DAG Dependencies#
Affiche une cartographie visuelle montrant comment les différents DAGs interagissent entre eux via des capteurs ou des datasets partagés.
6. La section Admin : Configurations et secrets#
Cette section regroupe tous les paramètres d'infrastructure nécessaires à l'exécution de vos pipelines sans stocker d'informations confidentielles dans le code source.
Variables#
Stockez des paires clé-valeur globales (ex. : chemins de fichiers, seuils de calcul, flags fonctionnels).
Configurations#
Inspectez l'intégralité des paramètres effectifs résolus depuis airflow.cfg ou les variables d'environnement AIRFLOW__*.
Connections#
Enregistrez de façon chiffrée les identifiants d'accès à vos bases de données relationnelles, clusters Snowflake, compartiments S3 ou APIs REST.
Plugins & Providers#
Inspectez la liste des bibliothèques d'intégration tierces installées dans votre environnement.
Pools de ressources#
Les pools permettent de limiter le nombre de tâches concurrentes sur une ressource saturable (par exemple pour éviter que 50 tâches n'exécutent simultanément des requêtes sur une base de production limitée à 5 connexions).
XComs (Cross-Communications)#
Les XComs permettent aux tâches d'échanger de petits messages textuels ou métadonnées (ex. : un ID de fichier généré, un nombre de lignes chargées).
7. La section Docs : API REST et documentation#
Airflow expose une API REST complète permettant de déclencher des DAGs, lire des statuts ou injecter des variables depuis des applications externes ou des pipelines CI/CD.
L'interface n'a désormais plus de secret pour vous. Dans la leçon suivante, nous allons passer à la pratique en écrivant notre premier pipeline de données complet en Python !
Commentaires