Что нового в Apache Airflow 3.4?

12+
12+

2 просмотра

день назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 просмотра

день назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 просмотра

день назад

Вышла версия Airflow 3.4, и теперь группы задач могут зацикливаться. В этом видео я покажу вам новые функции с демонстрацией каждой из них: циклы задач, DAG, написанные на YAML и TypeScript, плавная остановка выполнения, новое расписание ресурсов, политики цепочек повторных попыток, вкладка «Версии» для ваших DAG, а также небольшие изменения, о которых стоит знать перед обновлением. Что нового в Airflow 3.4: ✅ Циклы задач: превратите группу задач в цикл одним вызовом .loop(). ✅ DAG за пределами Python: новые импортеры DAG позволяют обработчику DAG читать другие форматы файлов. ✅ Плавная остановка выполнения: приостановка DAG теперь предлагает «Остановить, а затем приостановить». ✅ Планирование ресурсов: AssetAndTimeSchedule запускает DAG по расписанию, но только когда все его ресурсы имеют новые данные. ✅ Политики повторной попытки: объедините несколько политик в одной задаче и используйте новое действие RESCHEDULE, чтобы подождать и запустить задачу снова без затрат времени на повторную попытку. ✅ Версии DAG: новая вкладка «Версии» сравнивает две версии DAG, по одной строке на каждое изменение: старое значение, новое значение и его влияние. При использовании локальной папки Dags незавершенные задачи запуска перемещаются в новую версию при редактировании файла. ✅ Дополнительные функции: панель «Папки» на странице Dags, «Запустить снова с этой конфигурацией» и последние конфигурации в форме запуска, кнопки, добавленные плагинами, строка кода под каждым кадром трассировки стека, execution_timeout, установленный супервизором, асинхронные методы переменных (aget, aset) и примечания к запуску DAG, установленные из задачи. и многое другое! Разделы: 0:00 Введение 0:24 Циклы задач 3:17 Повторный запуск части цикла 4:50 Правила циклов 6:16 DAG в YAML 7:54 DAG в TypeScript 9:05 Go и Java 9:37 Плавное завершение 10:54 AssetAndTimeSchedule 11:50 Один запуск на событие ресурса 12:57 Политики цепочек повторных попыток 14:42 ПЕРЕПЛАНИРОВКА без затрат повторной попытки 15:07 Сравнение версий DAG 15:57 Перенос незавершенных задач в новую версию 16:14 Более мелкие функции: панель папок 16:54 Повторный запуск с той же конфигурацией 17:20 Кнопки плагинов 17:33 Строки исходного кода в трассировках стека 17:44 execution_timeout, обеспечиваемый супервизором 18:14 Асинхронные переменные и заметки о запуске DAG 18:31 Подведение итогов Если это видео вам помогло, подпишитесь, чтобы не пропустить следующий релиз Airflow. #ApacheAirflow #Airflow #DataEngineering

Название:

Что нового в Apache Airflow 3.4?

Категория:

Разное