Екатерина Колпакова - Сказ про то, как мы DWH строим: От реплик MySQL до Exasol + ClickHouse

Поделиться
HTML-код
  • Опубликовано: 24 янв 2025

Комментарии • 16

  • @СергейФилькин-я4н
    @СергейФилькин-я4н 8 месяцев назад +1

    Классный доклад, с множеством технических деталей и честностью/откровенностью!

  • @АлексейКирьянов-я9ь
    @АлексейКирьянов-я9ь 4 месяца назад +2

    Было бы крайне интересно послушать про нынешнюю ситуацию с DWH. Как сложилась все таки ситуация с Exasol, ведь, наверняка, компания Exasol в РФ не предоставляет свои продукты.

  • @АлексейРоссихин
    @АлексейРоссихин 2 года назад +4

    Сказ - огонь. Екатерина оч крутая пипл :)!!!

  • @glebbondarenko67
    @glebbondarenko67 8 месяцев назад +2

    я не понял причину следственную связь: нет транзакций == теряются данные
    я представляю что транзакции нужны если ты записываешь несколько связанных сущностей одной операцией. Я так понимаю это не тот случай
    тогда остается вариант что может репликация там несинхронная
    Поясните пожалуйста что имело ввиду.

  • @andreymustdie
    @andreymustdie 2 года назад +1

    Спасибо за рассказ и за честность!

  • @MikhailKhludnev
    @MikhailKhludnev 2 года назад +2

    Екатерина крутая!

    • @arbeks_42
      @arbeks_42 2 года назад

      Спасибо :)

  • @rockefe11er21
    @rockefe11er21 Год назад +1

    Здравствуйте, когда будет видео про exasol вместо clickhouse? Уже 2023год. Хотелось бы узнать что получилось и решились ли проблемы?

    • @arbeks_42
      @arbeks_42 Год назад +1

      Привет! Увы, Ситимобил в прежнем виде прекратил свое существование в феврале 2021. Сейчас в других компаниях, а тут уже во главу угла ставится импортозамещение...

  • @paulfunigga
    @paulfunigga 7 месяцев назад

    Я предпочитаю spark+trino+iceberg для data lakehouse

  • @ЕвгенийБожатов
    @ЕвгенийБожатов Год назад +1

    Интересно, а работает ли Exasol сейчас в России? Как я понимаю, как минимум, платить за Exasol из России весьма не просто. Если свой бизнес строить на платных зарубежных решениях, это в любой момент может сильно ударить по бизнесу. Западные компании на поверку оказались сильно политизированными и совсем не надежными.

    • @paulfunigga
      @paulfunigga 7 месяцев назад

      Опен сорс рулит. Iceberg+Spark+Trino, нафиг все эти гринпламы и прочее г*вно.

  • @nikolaybaranov2213
    @nikolaybaranov2213 2 года назад +3

    Достаточно сумбурно, несистемно, но вполне искренне и интересно. Странно, что докладчик не совсем осознал, зачем именно применяется модель Data Vault - это же не просто для того, чтобы сначала нормализовать, а потом джойнить, а для того, чтобы быть готовым к изменению бизнес-процессов - вот тут как раз линки без сателлитов помогут.
    Ну и, как всегда: «бизнес мог бы быть идеальным, если бы не люди». Это про вражду OLTP’ников и DWH’ников. Еще сильно «доставил» тезис: «достаточно многие управленческие решения проводятся на основании отчетности по DWH». Остальные-то как принимаются - на основании карты звездного неба? Ну т.е. как всегда и везде - выделили нехилый бюджет, набрали людей, они создали продукт и потом, когда его используют для принятия решений, для его создателей это праздник.
    В общем, зашкаливающий уровень энтропии (бардака, ежели, по-русски) в компании. В результате, какой бы не был уровень хард скиллов, софт скиллы и встроенность в систему принятия управленческих решений- залог успеха компании.

    • @ivani3237
      @ivani3237 Год назад

      Велкам ту зе реал ворд, где таки сложные управленчиские решения в большинстве принимаются по карте звездного неба, НО иногда для обоснования этого решения натягиваются данные из BI. И так по всему миру

    • @arbeks_42
      @arbeks_42 Год назад +1

      Вы, кажется, не слушали.
      В том-то и дело, что это все из области влажных фантазий и книжных иллюзий. На практике такая гибкость никому не нужна, или нужна, но далеко не везде. С 2013 года в разных местах использую Data Vault, и везде от использования его в чистом виде больше проблем, чем пользы. Нельзя его применять вот так в лоб. DV - это возможность автоматизировать создание ETL, и не более.