Николай Голов - Этапы построения платформы аналитических данных в облаках

Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Представьте, что компании нужно выстроить аналитическую платформу, включающую сбор данных с сервисов, доставку до слоев хранения (Data Lake, детализированные данные, витрины), выполнение расчетов (batching, streaming) и интеграцию с BI-инструментами (отчетность, ML).
За полтора года ManyChat решил эту задачу полностью в облаках (AWS), выбирая новейшие инструменты исходя из максимального удобства и минимизации стоимости владения. Победившая конфигурация основана на новейшей бессерверной базе Snowflake, а также ElastiCashe Redis, RDS PostgreSQL, Tableau, интегрированных посредством Python.
В этом докладе Николай планирует описать процесс выбора на каждом этапе построения платформы, возможные риски и итоговый опыт использования. Итоговая платформа содержит более 100 Тб данных, регулярно получает данные из десятков сервисов и поддерживает работу сотни пользователей аналитики.
Скачать презентацию: assets.ctfasse...