Таймкоды: 00:00 Интро 00:10 Apache Airflow: обзор 09:25 Сценарии использования 13:55 Загрузка и обогащение данных в Yandex Data Proc 36:05 Обработка данных в хранилище Greenplum® 45:44 Полезные ресурсы и материалы 46:49 Сессия Q&A
Отличный материал и примеры. Очень хочется больше видео на данную тематику, в т.ч. со свежерелизнутым Manage Service for Apache Airflow, а также с будущим Manage Service for Apache Spark
Здравствуйте! Чтобы сделать несколько воркеров, вам необходимо развернуть Airflow в многонодной конфигурации и использовать подходящий Remote Executor. Подробнее об этом вы можете прочитать в документации: clck.ru/35dRpb
Репозиторий с исходниками здесь: github.com/yandex-cloud/yc-architect-solution-library/tree/main/demos/airflow-DataProc%2BETL NB: Сервисный аккаунт (в коде дага это переменная YC_DP_SA_ID) при создании должен иметь роли "editor" и "dataproc.agent". В противном случае, создать-удалить кластер не получится.
![Как мы делаем Yandex Cloud - Data Platform [New]](http://i.ytimg.com/vi/V50LiccJYrs/mqdefault.jpg)
![Как мы делаем Yandex Cloud — Data Platform [New]](/img/tr.png)
Таймкоды:
00:00 Интро
00:10 Apache Airflow: обзор
09:25 Сценарии использования
13:55 Загрузка и обогащение данных в Yandex Data Proc
36:05 Обработка данных в хранилище Greenplum®
45:44 Полезные ресурсы и материалы
46:49 Сессия Q&A
Отличный материал и примеры. Очень хочется больше видео на данную тематику, в т.ч. со свежерелизнутым Manage Service for Apache Airflow, а также с будущим Manage Service for Apache Spark
Здравствуйте, Павел! Спасибо за фидбек. Уже передали все ваши пожелания команде 😇
Как можно создать несколько воркеров airflow?
Здравствуйте! Чтобы сделать несколько воркеров, вам необходимо развернуть Airflow в многонодной конфигурации и использовать подходящий Remote Executor. Подробнее об этом вы можете прочитать в документации: clck.ru/35dRpb
Репозиторий с исходниками здесь: github.com/yandex-cloud/yc-architect-solution-library/tree/main/demos/airflow-DataProc%2BETL
NB:
Сервисный аккаунт (в коде дага это переменная YC_DP_SA_ID) при создании должен иметь роли "editor" и "dataproc.agent". В противном случае, создать-удалить кластер не получится.