Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое. Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer. RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео. И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.
@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.
Спасибо за видео! Как лучше всего начать свой путь в мир data engineering?
korsak0v.notion.site/Data-Engineer-185c62fdf79345eb9da9928356884ea0
Круто
Расскажи пж по подробнее про команды ядра
что такое ядро? может быть row слой? почему его вдруг должна собирать какая то отдельная команда а не airflow airbyte kafka dagster и т. д.?
Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое.
Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer.
RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео.
И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.
@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.
привет) будут ещё видосы?
Будут. Монтируется новый выпуск