Отличное видео, и это, и другие на канале. Часто подача материала более глубокая, чем в прочих источниках. Можно сказать, что частично благодаря этому каналу залетел недавно в Ozon Tech)
Партиционирование было в базе данных. В ней хранились логи пользовательских запросов, это была отдельная база данных. Партиционирование проходило по дате. Я сейчас изучаю шардирование, об этой теме много видео про теорию, но найти про практику сложно, будет ли практика с созданием горизонтального шардирования?
Никогда не занимался Бэком, но как же приятно вас смотреть, лаконично и хорошо рассказываете, давно смотрю вас, хочется прокачиватся в бэке после таких видосов и писать что-то свое расширяемое и коассное
Половина методов не работает на практике. Шардирование применяется , когда данных очень много, и решардирование проходит не за пару часов ночью, а за пару дней... Когда данных мало, то да, все работает, как говорил автор.
Спасибо за презентацию, уже год с этим работаю и взял интересные моменты. Был вопрос зачем партицирование или шардирование. Когда у тебя 10-12 трбайт в месяц приходит данных и таблицы по 7-10 млрд строк. Тогда без шардирования абсолютно никуда, боюсь представить сколько будет работать запрос, а с шардами до 1 сек.
непонятно объяснение про key based - "прогоняем наши данные через хеш функцию, получаем хэш значение, потом берем остаток от деления на количество шардов". так как в итоге то получить индетификатор шарда? количество шардов на какое число надо делить, чтобы получить остаток и что делаем с хеш значением? очень странное объяснение получилось
Я так понял, можно смотреть на последние N бит (или первые, или какие ещё) хеш-значения, которые задают 2^N номеров шардов, в примере автора 1 бит, два шарда.
![Tee Grizzley - Blow for Blow (feat. J. Cole) [Official Video]](http://i.ytimg.com/vi/wNLN5xsx5dc/mqdefault.jpg)
Присоединяйтесь к моему каналу в Телеграм: t.me/vladimir_balun_programming
Спасибо за отличный обзор!
Отличное видео, и это, и другие на канале. Часто подача материала более глубокая, чем в прочих источниках. Можно сказать, что частично благодаря этому каналу залетел недавно в Ozon Tech)
Супер, поздравляю!
партицированием, а не партиционированием называют
в яндексе другие правила игры
большинство все же говорят "партиционирование")
Apache Hadoop/Spark + Hive в помощь)
Отличное видео. Сразу все стало понятно. Спасибо большое!
Не за что!
Приходилось ли вам в практике когда-нибудь использовать партиционирование или шардирование?
Партиционирование было в базе данных. В ней хранились логи пользовательских запросов, это была отдельная база данных. Партиционирование проходило по дате.
Я сейчас изучаю шардирование, об этой теме много видео про теорию, но найти про практику сложно, будет ли практика с созданием горизонтального шардирования?
партиционирование - мастхэв на больших таблицах, и дело не в ограничениях на размер, а в эффективности работы индексов, в основном
Ещё не смотрел, но дизайн презентации просто 😍
Спасибо!
Шардирование по гео относится скорее Directory based разделению?
Никогда не занимался Бэком, но как же приятно вас смотреть, лаконично и хорошо рассказываете, давно смотрю вас, хочется прокачиватся в бэке после таких видосов и писать что-то свое расширяемое и коассное
Спасибо!
Владимир, бесконечно благодарен вашим видеоурокам, не могли бы вы поделиться презентацией? Клянусь, что не буду использовать в коммерческих целях!
Владимир, очень крутая презентация и доклад. Спасибо за контент, вы молодец!
Спасибо!
палец вверх от СЕООНЛИ!
Благодарю
Половина методов не работает на практике. Шардирование применяется , когда данных очень много, и решардирование проходит не за пару часов ночью, а за пару дней... Когда данных мало, то да, все работает, как говорил автор.
Спасибо за презентацию, уже год с этим работаю и взял интересные моменты. Был вопрос зачем партицирование или шардирование. Когда у тебя 10-12 трбайт в месяц приходит данных и таблицы по 7-10 млрд строк. Тогда без шардирования абсолютно никуда, боюсь представить сколько будет работать запрос, а с шардами до 1 сек.
Очень понятно, спасибо за такую качественно проделанную работу
Подача материала супер. С одной стороны неформальная, с другой достаточно глубокая. Жду ваш курс по System Design с нетерпением.
Спасибо!
непонятно объяснение про key based - "прогоняем наши данные через хеш функцию, получаем хэш значение, потом берем остаток от деления на количество шардов". так как в итоге то получить индетификатор шарда? количество шардов на какое число надо делить, чтобы получить остаток и что делаем с хеш значением? очень странное объяснение получилось
Я так понял, можно смотреть на последние N бит (или первые, или какие ещё) хеш-значения, которые задают 2^N номеров шардов, в примере автора 1 бит, два шарда.
Прямо очень хорошо, лаконичная и приятная подача материала, была бы возможность - поставил бы 2 лайка
@@ya.mehail спасибо!
Крутой видос, спасибо
А можно сразу купить все видео ?
Отличная подача материала
по Golang что посоветуешь.
для новичка понимающим немнога кода на pascalABC и владеет Html, CSS ну и немного dart c flutter em под конец
вобщем как учить :)
@@almaz-c7w садишься и пишешь код, что не понимаешь - гуглишь
Отложу до тех пор пока не доспею
толково