Денис Шелемех - Перевод отчетов международной компании с Oracle на современный Big Data стек

Ближайшая конференция - PiterPy 2024, 18 сентября (online), 26-27 сентября (offline, Санкт-Петербург).
Подробности и билеты: jrg.su/QZ6wK1
- Ближайшая конференция:
PiterPy 2023 - 6-7 ноября (Online), 13-14 ноября (Санкт-Петербург, Offline)
Подробности: cutt.ly/7wrLeRCf
- -
Спикер расскажет, как с командой делал Proof of Concept стримингового ELT-пайплайна для крупной международной страховой компании. Использовались следующие основные компоненты.
- Сервер Oracle.
- Debezium-коннектор для загрузки CDC лога в Kafka.
- Kafka.
- Spark Structural Streaming.
- Delta Lake.
- AWS S3 в качестве облачного хранилища.