Работа с дагами Airflow

Обновлено 19 февраля 2025

Направленный ацикличный граф DAG (directed acyclic graph) - инструмент работы с данными в Airflow.

Airflow сам подгружает DAGи в систему из каталога. Для их помещения в каталог используется специальный интерфейс.

Просмотреть список заряженных DAGов можно по кнопке DAGs верхнего меню.

Нажав на наименование DAGа, мы попадаем на экран его свойств.

На первой вкладке представлена структура DAGа, узловыми точками которой являются задачи, справа от структуры метрика выполнения всего DAGа и его задач отдельно, сгруппированная по датам. Одна колонка метрики – это один запуск DAGа. Цветовая индикация, согласно легенде верху справа описывает статусы выполнения задач. Наведя курсор на задачу, мы можем увидеть ее свойства, пройдя по ней получим более подробное описание, и набор действий над ней.

На второй вкладке отображается графическое представление DAGа, с возможностью пройти в свойства составляющих его задач.

На вкладке календаря отображается статус выполнения DAGа по дням, с цветовой индикацией, в зависимости от количество успешных выполнений.

Вкладка Task Duration отображает время, потраченное на выполнения составляющих DAG задач, с возможностью отключения метрик сверху справа.

Вкладка Task Tries отображает график провалившихся попыток выполнить задачи.

Вкладка Landing Times отображает время завершения задачи, после ее старта.

Gantt - еще один график, показывающий распределение времени по задачам относительно времени выполнения всего DAGа.

Details - основные параметры DAGа

<\>code - вкладка на которой мы можем посмотреть код DAGа.