Переезжаем на ClickHouse: 3 года спустя / Александр Зайцев (Altinity)

Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
При поддержке AvitoTech мы впервые публикуем все видео с HighLoad++ 2019 в открытый доступ. Учитесь, вдохновляйтесь и перенимайте лучшие практики у спикеров, не выходя из дома.
--------
Календарь конференций - ontico.ru
--------
HighLoad++ 2019
Тезисы и презентация:
www.highload.r...
3 года назад я рассказывал на HighLoad++, как мы перевели мульти-петабайтовую аналитическую систему на ClickHouse. Это была увлекательная "дорога из желтого кирпича", полная неведомых опасностей. ClickHouse тогда напоминал минное поле, найти безопасный путь в котором было непросто.
Прошло три года, что изменилось?
...
--------
Нашли ошибку в видео? Пишите нам на [e-mail]

[@aSfuLk]

Спасибо! ASOF LEFT JOIN есть в Vertica в виде условия INTERPOLATE PREVIOUS VALUE в условии джойна (и в pandas тоже, но это не БД, оттуда видимо название позаимствовали). Насчет описанных переездов: (1) с OLTP баз (mysql, postgres) переезжать немного странно, зачем они изначально использовались для OLAP, непонятно, (2) greenplum, citus и vertica нужны под другие требования, группировать и джойнить высококардинальные сущности в КХ будет непросто (надо сказать, уровень популярности и успешности этих проектов очень разный), а 2 аналитические функции через костыли в КХ это хорошо, но если вам нужны развязанные руки у аналитиков, то могло бы быть лучше, (3) hadoop, мода прошла - съехали, выдохнули, тоже совсем другие требования, (4) у Druid интерфейс совсем плох, этого одного достаточно для переезда, это единственный пример переезда на аналогичную систему хранения данных.
Думаю связь математики и физики не будет выглядеть так странно, если послушать хотя бы одним ухом историю математики. "Абсолютная абстракция, не связанная с реальным миром" это очень наивная точка зрения. То есть никто не мешает так делать, но вряд ли получится совершенно абстрагироваться от всей остальной математики с ее вполне конкретной историей.

[@dmitrynovosyolov1222]

спасибо за доклад!
услышал то, что нам надо.

[@zhukov1337]

Спасибо, отличный доклад, спасибо! Почерпнул для себя необходимую информацию!

[@alekskopysov7357]

Доклад замечательный единственное хотелось бы услышать что делать если требуется частая вставка по одному элементу

[@adamkostya]

буфферить через таблицу типа Buffer которая будет сбрасывать после опредененного количества записей в с овновную, или буфферить пачки на уровне приложения

[@AB-ej6fr]

Стриминг через очереди (у CH есть интеграционные движки Kafka и RabbitMQ).

[@user-nf6rx9yg2t]

Перед любой лабораторной работой всегда пишется матмодель описываемого процесса.....или вы граждане откуда?