Что делать с данными, пришедшими из внешних источников? Встреча 1/2
HTML-код
- Опубликовано: 7 сен 2024
- Первая из двух встреч на тему «Что делать с данными, пришедшими из внешних источников?». В ходе двух встреч:
🔘 обсудим разные уровни хранения данных (от исходных документов до витрин);
🔘 спроектируем модели баз данных для исходных документов и извлечённой из них прикладной информации (для примера разберём сложный JSON-документ с разными каверзами);
🔘 поговорим про контроль дублей, нормализацию данных, поддержку целостности и другие задачи, сопутствующие процессу обработки данных, полученных из внешних источников.
На первой встрече сделаем упор на подходы к хранению исходных документов, на второй (ориентировочно через неделю) - на нормализованные структуры для хранения полученных прикладных данных.
***
Можно предварительно ознакомиться:
🔘 API, часть 1: документация, клиентские приложения ruclips.net/user/li...
🔘 API, часть 2: веб-сервер, СУБД ruclips.net/user/li...
🔘 Формат JSON. Откуда взялся, где используется, как устроен ruclips.net/user/li...
***
Наш telegram-канал: t.me/sys_analy...
Telegram-чат: t.me/sys_analy...
Цели, задачи клуба, планы на будущее: • Встреча № 1. Клуб (вне...