Павел Сивохин, Никита Зеленский, Константин Малыхин - Переезд с PostgreSQL на Data Lake в AWS

Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Скачать презентацию с сайта SmartData - jrg.su/wfeYIY
В Whoosh работают на стеке AWS - PostgreSQL, S3, Redshift, а все модели данных строят в dbt и немного Python. Этот год для команды инженеров данных можно назвать годом переезда. У них была глобальная идея переехать с одного хранилища (PostgreSQL) - а это включает в себя всю отчетность для бизнеса и модели dbt - на рельсы Data Lake. Цель - оптимизация расходов, потому что Аврора (PostgreSQL) записывает в расход каждый запрос, тогда как Redshift - это MPP колоночная БД, расходы которой постоянны - n$/час (и работает она быстрее, да). Однако вследствие переезда выяснилось, что для геозадач это решение не совсем подходит: Redshift строится на базе 8-й версии Postgres (внезапно!), которая недостаточно хорошо поддерживает работу с геометрией, обрезает значения в ячейке больше определенной длины и совсем не дружит с JSON-ключами.
В процессе дополнительно вы услышите про то, как они настроили свою работу и как планируют развиваться дальше.