Андрей Кузнецов - Пишем гибкие пайплайны для дата-платформ с Dagster
HTML-код
- Опубликовано: 16 фев 2021
- Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
На сегодняшний день не так часто говорят про унификацию построения дата-пайплайнов - особенно в ситуации, когда приходится вырываться из Java/Scala-мира и строить цепочки из компонентов со смешанными языками и технологиями.
Как подружить Spark + Scala-джобы и Python-приложения? Dagster дает удобные компоненты для написания и отладки таких пайплайнов, при этом имеет большое число интеграций с де-факто стандартами систем оркестрации, вычисления и так далее.
В докладе Андрей расскажет, зачем это нужно и как писать на Dagster пайплайны с переиспользуемыми блоками и гибкой архитектурой.
Отличный доклад!
Научите пацаненка говорить по-русски! ШедЮлер, Экзекютор, сущность, таска, экзэкьютинг- ужОс говорить на таком суржике
@@DAJakaRedAries после видимо стоит ставить запятую.
Отличный доклад!
Отличный доклад!