Денис Шелемех - Перевод отчетов международной компании с Oracle на современный Big Data стек
HTML-код
- Опубликовано: 17 окт 2024
- Подробнее о конференции PiterPy: jrg.su/QZ6wK1
- Ближайшая конференция:
PiterPy 2023 - 6-7 ноября (Online), 13-14 ноября (Санкт-Петербург, Offline)
Подробности: cutt.ly/7wrLeRCf
- -
Спикер расскажет, как с командой делал Proof of Concept стримингового ELT-пайплайна для крупной международной страховой компании. Использовались следующие основные компоненты.
- Сервер Oracle.
- Debezium-коннектор для загрузки CDC лога в Kafka.
- Kafka.
- Spark Structural Streaming.
- Delta Lake.
- AWS S3 в качестве облачного хранилища.