【DeNA TechCon 2025】Redshift Serverlessとdbtを用いたデータ品質テストの高速化

本イベントのアンケートのご協力よろしくお願いします：questant.jp/q/...
（締切： 2025/2/19 23:59 ）
スライド資料はこちら：
www.docswell.c...
データ品質テスト（QC）は、データが期待通りであることを確認するプロセスです。誤ったデータは誤った判断や意思決定を引き起こすため、データ品質を担保する上で QC は非常に重要です。しかし、大規模なデータに対して QC を厳密に行う場合、多くの時間、コスト、および運用工数がかかる課題があります。これらは一般的にデータ量の増加と共に増大します。そこで、QC をスケーラブルにするため、システムのリプレイスを行いました。新システムでは、Amazon Redshift Serverless と dbt を主要な技術スタックとして採用しました。また、QC の結果を運用作業者に分かりやすく通知するため、dbt パイプラインの監視ツール「Elementary」を導入しました。本発表では、リプレイスの背景や技術選定の理由、そしてその結果として得られた成果について紹介します。
◆ チャンネル登録はこちら↓
www.youtube.co...
◆ X(旧Twitter)
x.com/denaxtech
◆ DeNA Engineering
engineering.de...
◆ DeNA Engineer Blog
engineering.de...
◆ DeNA × AI Day ‖ DeNA TechCon 2025 公式サイト
techcon2025.de...