Что делать с данными, пришедшими из внешних источников? Встреча 1/2

Первая из двух встреч на тему «Что делать с данными, пришедшими из внешних источников?». В ходе двух встреч:
🔘 обсудим разные уровни хранения данных (от исходных документов до витрин);
🔘 спроектируем модели баз данных для исходных документов и извлечённой из них прикладной информации (для примера разберём сложный JSON-документ с разными каверзами);
🔘 поговорим про контроль дублей, нормализацию данных, поддержку целостности и другие задачи, сопутствующие процессу обработки данных, полученных из внешних источников.
На первой встрече сделаем упор на подходы к хранению исходных документов, на второй (ориентировочно через неделю) - на нормализованные структуры для хранения полученных прикладных данных.
***
Можно предварительно ознакомиться:
🔘 API, часть 1: документация, клиентские приложения ruclips.net/user/live1IUYGe6Ck8c
🔘 API, часть 2: веб-сервер, СУБД ruclips.net/user/livecQe5M_61J8Q
🔘 Формат JSON. Откуда взялся, где используется, как устроен ruclips.net/user/liveYBOVdob4e0c
***
Наш telegram-канал: t.me/sys_analyst_club
Telegram-чат: t.me/sys_analyst_chat
Цели, задачи клуба, планы на будущее: • Встреча № 1. Клуб (вне...