Вопросы по Airflow

Из реальных собеседований (Q/A)

1. Какие DAG'и разрабатывали?

• Разрабатывались разные DAG'и, использовались Sensors, Retry, SLA.

2. Использовали ли Sensors?

• Да. Применяются для ожидания события (например, появления файла).

3. Использовали ли Retry?

• Да. Задается количество повторных попыток при падении задачи.

4. Использовали ли SLA?

• Да. SLA фиксирует ожидаемое время выполнения задачи и сигнализирует при превышении.

5. Как реализуете зависимости между задачами?

• Через зависимости в DAG.
• Через XCom.
• Через передачу данных между тасками.

6. Как организован мониторинг pipeline?

• Telegram-бот.
• Email-рассылки.
• Таблица мониторинга в базе данных.
• Логирование через Python.

Базовые вопросы

1. Из каких основных частей состоит AirFlow?
2. Какие операторы вы знаете?
3. Что такое сенсор и для чего он нужен?
4. Таска в AirFlow упала с ошибкой, как сделать так, чтобы несмотря на ошибку, следующая таска запустилась?
5. Как в AirFlow в зависимости от условия продолжить обработку по нужной ветке ДАГа?
6. Что такое XCOM?
7. Какие базы данных используется в Airflow?
8. Чем отличается Celery Executor и local executor?