System Design - теория шардирования | Как масштабировать базы данных

Запись открытого урока по теории шардирования!
Курс по System Design: balun.courses/courses/system_...
Присоединиться к моему сообществу: boosty.to/vladimir_balun
Курсы по программированию: balun.courses
Потренироваться проходить собеседования: it-interview.io
Консультации:
getmentor.dev/mentor/vladimir...
solvery.io/ru/mentor/vladimir...
Таймкоды:
00:00 - План открытого урока
00:47 - Партиционирование
02:54 - Вертикальное партиционирование
03:56 - Гоизонтальное партиционирование
04:27 - Шардирование
06:41 - Range based sharding
08:39 - Key based sharding
10:00 - Directory based sharding
14:15 - Использование шардирования
17:11 - Routing
18:16 - Client routing
19:09 - Proxy routing
21:19 - Coordinator routing
26:22 - Перебалансировка или перенос данных
30:18 - Resharding
34:25 - Consistent hashing
40:34 - Rendezvous hashing
46:05 - Virtual buckets
49:18 - Курс по System Design
56:04 - Ответы на вопросы
VK: vladimir_balun_program...
Telegram: t.me/vladimir_balun_programming
Instagram: / vladimir_balun_program...
RUclips: / @vladimir_balun_progra...
YandexZen: zen.yandex.ru/id/623b6c964da9...
RuTube: rutube.ru/channel/25079714/
Шардирование баз данных. Шардирование БД. Партиционирование баз данных. Партиционирование БД. Масштабирование баз данных. Масштабирование ЮД. Распределенные базы данных. Горизонтальное масштабирование.
Нужно ли высшее образование для программиста? Зарплата программиста. Как стать программистом? Как зарабатывать много в программировании? Математика для программиста. Высшее образование для программиста.
#systemdesign #айти #программирование

[@vladimir_balun_programming]

Приходилось ли вам в практике когда-нибудь использовать партиционирование или шардирование?

[@alexandrsergeyevich7076]

Партиционирование было в базе данных. В ней хранились логи пользовательских запросов, это была отдельная база данных. Партиционирование проходило по дате.
Я сейчас изучаю шардирование, об этой теме много видео про теорию, но найти про практику сложно, будет ли практика с созданием горизонтального шардирования?

[@alexgusev8118]

Очень понятно, спасибо за такую качественно проделанную работу

[@mikhailm.887]

Отличное видео, и это, и другие на канале. Часто подача материала более глубокая, чем в прочих источниках. Можно сказать, что частично благодаря этому каналу залетел недавно в Ozon Tech)

[@vladimir_balun_programming]

Супер, поздравляю!

[@andrewkot5212]

Никогда не занимался Бэком, но как же приятно вас смотреть, лаконично и хорошо рассказываете, давно смотрю вас, хочется прокачиватся в бэке после таких видосов и писать что-то свое расширяемое и коассное

[@vladimir_balun_programming]

Спасибо!

[@alexanderpoddubko3313]

Отличное видео. Сразу все стало понятно. Спасибо большое!

[@vladimir_balun_programming]

Не за что!

[@user-zm7bk8ri3y]

Отличная подача материала

[@professional2094]

Подача материала супер. С одной стороны неформальная, с другой достаточно глубокая. Жду ваш курс по System Design с нетерпением.

[@vladimir_balun_programming]

Спасибо!

[@nikitaantonenko8474]

Владимир, очень крутая презентация и доклад. Спасибо за контент, вы молодец!

[@vladimir_balun_programming]

Спасибо!

[@psylo1841]

Ещё не смотрел, но дизайн презентации просто 😍

[@vladimir_balun_programming]

Спасибо!

[@petery6775]

толково

[@psevdonim_youtube147]

непонятно объяснение про key based - "прогоняем наши данные через хеш функцию, получаем хэш значение, потом берем остаток от деления на количество шардов". так как в итоге то получить индетификатор шарда? количество шардов на какое число надо делить, чтобы получить остаток и что делаем с хеш значением? очень странное объяснение получилось

[@banzaika]

Владимир, бесконечно благодарен вашим видеоурокам, не могли бы вы поделиться презентацией? Клянусь, что не буду использовать в коммерческих целях!

[@dannythehumbleguy]

Шардирование по гео относится скорее Directory based разделению?

[@seoonlyRU]

палец вверх от СЕООНЛИ!

[@vladimir_balun_programming]

Благодарю

[@eugene5845]

Спасибо за презентацию, уже год с этим работаю и взял интересные моменты. Был вопрос зачем партицирование или шардирование. Когда у тебя 10-12 трбайт в месяц приходит данных и таблицы по 7-10 млрд строк. Тогда без шардирования абсолютно никуда, боюсь представить сколько будет работать запрос, а с шардами до 1 сек.

[@aleksey6811]

А можно сразу купить все видео ?

[@user-fv3su8mx9w]

по Golang что посоветуешь.
для новичка понимающим немнога кода на pascalABC и владеет Html, CSS ну и немного dart c flutter em под конец

[@user-fv3su8mx9w]

вобщем как учить :)

[@prostocrazy1105]

Отложу до тех пор пока не доспею

[@alexandrekalendarev5301]

Половина методов не работает на практике. Шардирование применяется , когда данных очень много, и решардирование проходит не за пару часов ночью, а за пару дней... Когда данных мало, то да, все работает, как говорил автор.

[@3a7adka]

партицированием, а не партиционированием называют

[@dieff_automation]

в яндексе другие правила игры