Записи реальных собесов и полезную инфу для подготовки можно найти на бусти boosty.to/vanyaio Тренажер по Go для подготовки к собесу: stepik.org/a/206788 Задачи на горутины и каналы Go для собесов: stepik.org/a/207625
@@kp3292 Тут просто факт неожиданности был смешной. Обычно типо обучающие айти видосы достаточно серьезные, а тут такой простой и примитивный кек закрался. Просто неожидано, а не то что шутка про Лену Головач очень смешная.
Классное видео! Только начал разбираться с индексами и наткнулся на это объяснение. Очень наглядно, твои эксперименты с индексами помогли мне понять материал из статей с теорией. Спасибо! )
Спасибо, хорошее видео, но думаю, нужно больше примеров и обьяснений. Например, когда ты говоришь, что у селери большая разница в кол-ве строк с 995000 и 999900, то можно было бы сделать select с этим условием и показать, думаю станет намного наглядней В остальном видео супер, спасибо
Нужно для чистоты эксперимента чистить буфер-кеш, у тебя и без индекса второй прогон запроса моментально отработает. Что такое bi-index на пальцах: Есть 100 миллионов записей, для наглядности пускай это будет одна колонка, в ней цифры лежат от 1 до 100 млн, ищем мы например запись со значением 45млн, если нет индекса, субд переберёт все строки(все 100 млн) таблицы в поисках нужного значения/значений, если есть индекс, в этом случае би индекс - это считай регулировщик: ты к к нему подходишь, он тя спрашивает - че те надо, ты гришь 45млн найти хочу, он те грит, иди вон туды, там значения от 1 до 50 млн лежат, идешь туды, там еще один регулировщик и он тя отправит в диапазон от 25 до 50млн и тд до финиша. Это очень утрировано, но имхо понятно и наглядно.
информация полезная, спасибо! Не было ничего сказано про сбор статистики, мне кажется после создания индекса лучше это делать принудительно ( ANALYZE employee;). В некоторых случаях планировщик не будет использовать индекс без актуальной статистики. Процесс сбора может и в фоне позже пройти
Я когда индексы объясняю, всегда привожу в аналогию бумажный индекс (который алфавитный указатель у нас называется). Ну, что по сути индекс - это просто те же данные, отсортированные по-другому, и способ быстро прыгать у нужной части. Можно эксельку взять, сортировать по-разному, и показывать. Например селективность - сортируешь по sex, и видишь что у тебя тупо по 100500 девочек и мальчиков, и дальше - перебор. Или что можно отсортировать по salary или по created date - и там будет понятно что в одном случае потом сортировать придется, а во втором - фильтровать по salary, и совместить нельзя. Опять же можно фильтры включить и сказать что можно частичные индексы сделать, скажем включить сразу людей с salary>150 и отсортировать по created_date - и будет сразу результат, но только для этого частного случая.
Однажды подробный разбор блокировок в бд стал для меня "базой", той самой вэХаЭс с главным фильмом, что ставили на полку, а не таскали из проката. Лену головач даже записывали в список присутствующих студенты первых курсов, на первых занятиях, когда преподаватель не вёл перекличку группы, а направлял лист по партам - звучала эта учащаяся в тишине аудитории необычно, серьёзно и глупо одновременно) Автору просьба - не пропадать в вечность, подобные видео или любого кастома очень важны и полезны, это настоящий опыт, а не писанина по примерам в гайде итп
Круто! Лайк и подписка конечно же. Насчет составных индексов- есть тема в оптимизации запросов, где сказано, что лучше делать отдельный по каждому столбцу. Составной индекс работает не всегда..
2 момента: 1. Без explain не ясно работает ли сам индекс. Скорее всего он работает, только на сортировке самое большее время отъедается 2. Какие настройки у бд? Память, веса поиска и тп
Из моего опыта классный повод использовать частичный индекс - это поиск по пользователям с редкой ролью (в моём случае это была dev роль, но бывают ещё всякие админы и суперпользователи).
С набранной статой лучшим вариантом был бы sex, age, created_at Или age, created_at (для уменьшения размера) Ультра быстрым был бы еще Sex, age, created_at include salary Дело в том, что вы сортируете очень много данных, и для этого всего надо очень много оперативной памяти. Последний индекс по по сортировке позволяет бд ничего не сортировать в памяти, тупо можно идти подряд по листьям индекса. Также на практике запросы будут с лимитом скорее всего, и тут бесплатная сортировка вообще топ. Вам надо в своих выводах исходить из внутренней структуры индекса, а не из эфимерных правил, тогда и самому станет понятнее.
Так показываю же бенчмарком, что age,sex,created_at (понятно, что порядок sex и age конкретно здесь не важен) нерабочий вариант. Объяснение почему так в видео есть. Про include не знал, спасибо, почитаю.
@@ivangolangсоздай статистику, сделай измерения. Потом добавь limit 10, сделай измерения. А ещё ты не меняешь пиковое потребление оперативной памяти. А ещё у тебя данные могу не влезть в буфер сортировки.
@@ivangolang include тут поможет тем, что не надо будет в таблицу обращаться для отбора, а можно будет прямо из индекса брать.. Зависит ещё от того, используешь ли * или нет.
29:21 короче фишка в том что создание у тебя произошло в один момент +/- и тоже как будто не сильно работает created_at... типа не размазались данные во времени. на моей практике обычно начинается с временного диапазона и типа это помогает т.к. ты делаешь условно по дням/неделям/месяцам/годам в зависимости о бизнес задачи. Да, в текущем запросе не нужно ограничивать по времени, а только сортировка, но как бестпрактис часто по таймстемпу с created_at / updated_at следует начинать запрос.
@@hakooplayplay3212 как в примере сделали частичный индекс на salary > 999500, так же сделать sex='female' и sex='male', но сомневаюсь что это даст профит, при селективности 50% время на обращение к индексу может не окупить пользу, которую он принесет
Суперматериал!!! Ток вот не понятно в одном месте, Было сказано про влияние индекса на скорость вставки данных в таблицу уже после создания индекса, и типа на нее будем обращать внимание, но в финале не было такого критерия, был критерий время создания индекса, или время создания индекса соответствует времени вставки в БД. Или это совсем другая единица и ее просто не рассмотрели
@@ivangolang понял, спасибо, материал пушка, долго про индексы серфил разную инфу, в основном везде все базовое общее. Да и в целом другие видосы заинтересовали. Хотя если в масштабах канала смотреть, у тебя больше Golang, а я на питонячем стеке, но все равно полезно
Это время прямопрапорционально увеличению объма базы при добавлении индекса. Точные значения могут различаться на порядки в зависимости от сложноотслеживаемых параметров
Возможно в видео следовало добавить пункт про primary key и то, как он взаимодействует с порядком данных в памяти P.S. я же правильно понимаю, что идея делать primary key по GUID чаще всего проигрывает идее primary key по identity (возможно в postgers по другому называется, растущий в одну сторону индекс 1, 2, 3... 700000) по той причине, что в памяти не нужно будет пересортировывать огромную таблицу при добавлении нового значения?
Постре не кэширует план запроса после первого выполнения? Возможно, что частичное ускорение поиска Лены связано еще и с этим, а лишь потом добавляется эффект от индекса.
@@ivangolang энивей я бы в любом случае указывал постгре не использовать кеш, но даже это не помогло бы в полной степени. результаты одного и того же запроса будут разными даже если постгря не будет юзать кеш
Почему не так, допустим есть неравенство допустим > 100, почему не проиндексировать это как 3 единицы условно символов, это уже ведь ускорить проверку, и тоже самое по имени, зачем мне искать по всем ленам, и так далее, если можно было бы создать отдельную как структуру или папку бдшку, где сортировка будет идти по первой букве, внутри этой таблицы первой буквы, уже будут другие таблицы отсортированные по количеству символв в той строке, такая структура разве не улучшит саму бдшку, само собой это идёт какой-то глобальный индекс который уже делает раза в2-4 раза быстре отклик, и потом уже такую сортировку если это не равенство в случае с интом или стрингой с кол-во внутри символом, это ведь тоже ускорит запрос, такое можно делать, посмотрел только до 9:34 Структура которую я имею ввиду: 1) Юзер 1.2)А 1.3)Б 1.2.1) 1 символ и так далее. Есть такие бдшки?
база индексирует в любом случае уникальные значения, допустим ты хочешь сделать индекс по первым 3 символам "Але", смысла в этом в итоге мало, так как если сделать полностью индекс по имени, выйдет 2 уникальных значения "Алена" и "Алексей", в итоге профита мало
Самый надёжный ответ лежит в документации к той СУБД, которая вас интересует, потому что в каждой СУБД свой планировщик запросов, и у него может быть своё мнение о том, что такое оптимальный запрос. Но вообще да, общие принципы вытекают из особенностей той структуры данных, которая используется для хранения индексов. В видео говорится только о B-дереве, деревья - это «основная» структура для индексов, её по умолчанию используют PostgresSQL, MySQL, SQLite и, наверняка, многие другие. В некоторых СУБД есть ещё хэш-мапа, и вот для неё большая часть информации из видео не актуальна.
О, нет, я вообще про такую хитрую фичу не знал. Спасибо. Не уверен правда, что помогло бы - колонки с собой никак не связаны (без этого, если правильно понял, CREATE STATISTICS не имеет смысла), генерилось все простым рандомом.
А если на собесе, вместо конкретного решения, начать в размышление, типо «ну это зависит от того какие данные, надо взять и посмотреть, надо изучить как добавление индекса заафектит другие запросы и тд и тп», а конкретного решения так и не предложить…такое прокатит, как думаешь?
Что такое конкретное решение в задаче, у которой его нет? Именно на задаче из видео в рамках собеса я бы навалил варианты по правилу составления сложных индексов, а дальше бы в сжатой форме объяснил, что надо понимать про данные и другие запросы в системе. Если захотят углубиться - углубился бы.
Само поле sex нужно было делать не текстовым, а числовым типа 0 и 1 + таблица справочник с ключем на эти значения и тогда индекс будет работать лучше по этому полю (память жрать меньше как минимум). Так же ещё можно было упомянуть про частоту запросов пользователей и их тип (select, update и т.д.) к полям таблицы и порядок создания индексов из этого расчета. Сам я давно уже не работаю с базами данных (1,5 года), так что сори, если написал как-то не так.
Спасибо за содержательный коммент:) Про пол согласен. Про частоту тоже, отчасти это было и по ходу дела, и в финальном выводе, что надо понимать какие еще есть запросы/какие у нас на них требования, про частоту явно забыл упомянуть.
@@viacheslav90 как раз с учетом современных реалий его лучше числовым делать чтобы по этому полю быстрее поиск шел. Можно хоть миллиард гендеров записать, главное описание приделать, как чел выше заметил.
И все же не понятно почему count(id) from employee where sex = 'frmale' отработал на 4 секунды дольше после создания индекса по полю sex??? explain показывает seq scan в обоих случаях что без индекса, что с индексом. Но без индекса быстрее. ПОЧЕМУ? ЗЫ: я бы понял если в случае с индексом в explain был бы индекс (а не seq scan), тогда можно было предположить что увеличение по времени произошло из-за неселективной колонки sex. Но даже если бы индекс затормозил поиск из-за неселективности, подсчет бы все равно выполнился по индексу (т.к. он корректный - т.е. указан на верную колонку и не составной) и в explain были бы следы использования индекса. Можно было бы понять если бы индекс был составной с неправильным порядком колонок - тогда поиск по индексу не дал бы результатов и выполнился seq scan по итогу и как следствие увеличение времени из-за неэффективного индекса. НО ПОЧЕМУ ПРАВИЛЬНЫЙ НЕ СОСТАВНОЙ ИНДЕКС (пусть и на неселективной колонке) ТОРМОЗИТ ПРОЦЕСС, А ПОСЛЕ EXPLAIN выдает seq scan ВООБЩЕ НЕ ПОНЯТНО. По итогу метод поиска один и тот же, но индекс дал +4 сек.
Если в индекс не содержит всех полей, которые нужно вывести, то БД придется прочитать индекс и сходить еще раз в БД по этой ссылке. в итоге мы делаем больше действий
Не знаю, как в постгре, но оракл некоторое время хранит результаты выполнения запросов в кеше, и когда ты второй раз запустишь тот же самый запрос, то и без всяких индексов выполнится за гораздо более короткое время, чем первый раз. Ну, и индекс - это не штука и не функционал, а объект базы данных.
Не знаю какие цыгане тебя принесли в нашу семью, но они явно с какими-то умными корнями))) моему мозгу сложно воспринимать все, что после слов собеседование ))))
Привет Спасибо за видос На бусти наверное тоже подпишусь Ток вот вопрос, че делать то в ситуации? 1027 ms это убийственно много, за такое можно по ебалу получить(( Че там с BRIN индексом по sex, age, created_at? Че там по кластеризации таблицы Че там по MATERIALIZED VIEW? Декартово произведение индексов Bitmap Index Scan и BitmapAnd? OZON удовлетворит ответ про индекс который ускоряет все с 12 сек до 1 сек?
Записи реальных собесов и полезную инфу для подготовки можно найти на бусти boosty.to/vanyaio
Тренажер по Go для подготовки к собесу: stepik.org/a/206788
Задачи на горутины и каналы Go для собесов: stepik.org/a/207625
Чет орнул на моменте, когда автор решил найти Лену Головач
ГЫ-ГЫ-ГЫ Лена Головач поняли?
ГОЛОВАЧЛЕНА ХПХПХПХПХ
ОРАЛИ ВСЕЙ ГАЛЕРОЙ
@@kp3292 Тут просто факт неожиданности был смешной. Обычно типо обучающие айти видосы достаточно серьезные, а тут такой простой и примитивный кек закрался. Просто неожидано, а не то что шутка про Лену Головач очень смешная.
еще вопрос откуда взялись2 мужика в бд с таким именем
Уже хз сколько времени все обещал себе поиграться с базой и разобраться в индексах, а тут Ванька все по полочкам разложил. Спасибо, родной!
Классное видео! Только начал разбираться с индексами и наткнулся на это объяснение. Очень наглядно, твои эксперименты с индексами помогли мне понять материал из статей с теорией. Спасибо! )
Спасибо, хорошее видео, но думаю, нужно больше примеров и обьяснений.
Например, когда ты говоришь, что у селери большая разница в кол-ве строк с 995000 и 999900, то можно было бы сделать select с этим условием и показать, думаю станет намного наглядней
В остальном видео супер, спасибо
Нужно для чистоты эксперимента чистить буфер-кеш, у тебя и без индекса второй прогон запроса моментально отработает.
Что такое bi-index на пальцах:
Есть 100 миллионов записей, для наглядности пускай это будет одна колонка, в ней цифры лежат от 1 до 100 млн, ищем мы например запись со значением 45млн, если нет индекса, субд переберёт все строки(все 100 млн) таблицы в поисках нужного значения/значений, если есть индекс, в этом случае би индекс - это считай регулировщик: ты к к нему подходишь, он тя спрашивает - че те надо, ты гришь 45млн найти хочу, он те грит, иди вон туды, там значения от 1 до 50 млн лежат, идешь туды, там еще один регулировщик и он тя отправит в диапазон от 25 до 50млн и тд до финиша. Это очень утрировано, но имхо понятно и наглядно.
во во ! самы правильный коментарий - прогретали БД , хватает ли кэша буферов. Но это уже тема для учеников 2го класса
Это что бинарный поиск ?
@@THE-WELLWiSHERда
@@THE-WELLWiSHER нет.
Подписка за юмор и жизу. Круто, что такие видео попадают в реко.
Пока что лучшее видео про индексы что я видел. Пошёл дальше изучать контент на канале, хоть и пишу на Java, а не Го)
Спасибо большое. Очень вовремя попалось выше видео
информация полезная, спасибо!
Не было ничего сказано про сбор статистики, мне кажется после создания индекса лучше это делать принудительно ( ANALYZE employee;). В некоторых случаях планировщик не будет использовать индекс без актуальной статистики. Процесс сбора может и в фоне позже пройти
Я когда индексы объясняю, всегда привожу в аналогию бумажный индекс (который алфавитный указатель у нас называется). Ну, что по сути индекс - это просто те же данные, отсортированные по-другому, и способ быстро прыгать у нужной части. Можно эксельку взять, сортировать по-разному, и показывать. Например селективность - сортируешь по sex, и видишь что у тебя тупо по 100500 девочек и мальчиков, и дальше - перебор. Или что можно отсортировать по salary или по created date - и там будет понятно что в одном случае потом сортировать придется, а во втором - фильтровать по salary, и совместить нельзя. Опять же можно фильтры включить и сказать что можно частичные индексы сделать, скажем включить сразу людей с salary>150 и отсортировать по created_date - и будет сразу результат, но только для этого частного случая.
Получил оффер на синьора в озоне. Вообще по БД вопросов не было...За видео спасибо, всегда интересно
Можно немного подробнее о том, что было )
по чём нынче сеньёр-помидор?
а что было? рассказал б в двух словах
А это на GO? Или Java
@@neo1647во мне получил
Хороший контент, попался в рекомендациях. Определенно подписка. Так держать!
Однажды подробный разбор блокировок в бд стал для меня "базой", той самой вэХаЭс с главным фильмом, что ставили на полку, а не таскали из проката. Лену головач даже записывали в список присутствующих студенты первых курсов, на первых занятиях, когда преподаватель не вёл перекличку группы, а направлял лист по партам - звучала эта учащаяся в тишине аудитории необычно, серьёзно и глупо одновременно) Автору просьба - не пропадать в вечность, подобные видео или любого кастома очень важны и полезны, это настоящий опыт, а не писанина по примерам в гайде итп
Мне нравится Головач Лена! Я думаю она хороший человек!
Круто! Лайк и подписка конечно же. Насчет составных индексов- есть тема в оптимизации запросов, где сказано, что лучше делать отдельный по каждому столбцу. Составной индекс работает не всегда..
Лучше - это когда не гадаешь, а смотришь, что показал план
Спасибо тебе Ваня! Очень полезно , наглядно, а главное нужно!!!
2 момента:
1. Без explain не ясно работает ли сам индекс. Скорее всего он работает, только на сортировке самое большее время отъедается
2. Какие настройки у бд? Память, веса поиска и тп
Хороший видос, для начинающих самое оно - доступно и с цифрами. Спасибо
В последнем примере скорее подошёл бы индекс
create index on employee (age) where salary > 995000;
Хорошее видео. Лайк в поддержку!
Из моего опыта классный повод использовать частичный индекс - это поиск по пользователям с редкой ролью (в моём случае это была dev роль, но бывают ещё всякие админы и суперпользователи).
спасибо за хорошее видео с примерами, рекомендую к просмотру новичкам в индексировании
Класное видео. Автор все очень хорошо объясняет.
Спасибо, очень классное видео!
Отличное видео, много базы, спасибо
Крутое практичное видео!!👍
Спасибо, очень доступно и понятно
Мы не расмотрели вопрос, если мы создадим два индекса
Вроде коротко, нов сё понятно!!
С набранной статой лучшим вариантом был бы sex, age, created_at
Или age, created_at (для уменьшения размера)
Ультра быстрым был бы еще
Sex, age, created_at include salary
Дело в том, что вы сортируете очень много данных, и для этого всего надо очень много оперативной памяти.
Последний индекс по по сортировке позволяет бд ничего не сортировать в памяти, тупо можно идти подряд по листьям индекса.
Также на практике запросы будут с лимитом скорее всего, и тут бесплатная сортировка вообще топ.
Вам надо в своих выводах исходить из внутренней структуры индекса, а не из эфимерных правил, тогда и самому станет понятнее.
Так показываю же бенчмарком, что age,sex,created_at (понятно, что порядок sex и age конкретно здесь не важен) нерабочий вариант. Объяснение почему так в видео есть.
Про include не знал, спасибо, почитаю.
Про include почитал - спасибо за наводку. Здесь он, конечно, не поможет. По той же самой причине, почему не помогает индекс без инклюда.
@@ivangolangсоздай статистику, сделай измерения. Потом добавь limit 10, сделай измерения.
А ещё ты не меняешь пиковое потребление оперативной памяти. А ещё у тебя данные могу не влезть в буфер сортировки.
*не измеряешь потребление памяти
@@ivangolang include тут поможет тем, что не надо будет в таблицу обращаться для отбора, а можно будет прямо из индекса брать.. Зависит ещё от того, используешь ли * или нет.
29:21 короче фишка в том что создание у тебя произошло в один момент +/- и тоже как будто не сильно работает created_at... типа не размазались данные во времени.
на моей практике обычно начинается с временного диапазона и типа это помогает т.к. ты делаешь условно по дням/неделям/месяцам/годам в зависимости о бизнес задачи. Да, в текущем запросе не нужно ограничивать по времени, а только сортировка, но как бестпрактис часто по таймстемпу с created_at / updated_at следует начинать запрос.
❗ВИДЕО СОДЕРЖИТ ОЧЕНЬ МНОГО СЕКСА❗
* сексов 🥸
Найти богатую мил** )
Хороший материал, красавчик
чел видосы огонь, юмор тоже огонь!
Как проверить сколько памяти потребляет индекс ? Как в эпизоде финального сравнения.
Доклад очень понравился. Скажи, пожалуйста, в чем ты генерировал тонну данных и с чем работал, чтобы можно было тоже поиграться.
есть готовые бд для этого
вобще от души в душу !
учитывая низкую селективность sex и salary в итоге, может тогда просто индекс на age отработает так же хорошо? Без всяких составных индексов
у меня графана парсит бд с алармами по datetime, будет ли буст, если проиндексировать эту колонку?
Еще не смотрел но прям пааахнет годнотой же. гляну обязательно)
Что такое селективность? Это оценка количества дисковых операций ввода-вывода? Или что-то другое?
А ещё раз уж у нас в запросах часто встречается низкоселективная колонка sex можно по всем её возможным значениям построить частичные индексы.
Сможешь поподробнее пояснить идею?
@@hakooplayplay3212 как в примере сделали частичный индекс на salary > 999500, так же сделать sex='female' и sex='male', но сомневаюсь что это даст профит, при селективности 50% время на обращение к индексу может не окупить пользу, которую он принесет
А что это даст? Поиск по более селективному индексу почти всегда будет предпочтительнее, только зря место под индекс потратим.
На какую зарплату в озоне можно рассчитывать?
Достойная работа))
Суперматериал!!! Ток вот не понятно в одном месте, Было сказано про влияние индекса на скорость вставки данных в таблицу уже после создания индекса, и типа на нее будем обращать внимание, но в финале не было такого критерия, был критерий время создания индекса, или время создания индекса соответствует времени вставки в БД. Или это совсем другая единица и ее просто не рассмотрели
Ее хорошо бы рассмотреть отдельно, не хотел просто этим грузить. В первом приближении время создания индекса вроде коррелирует со вставкой/апдейтом.
@@ivangolang понял, спасибо, материал пушка, долго про индексы серфил разную инфу, в основном везде все базовое общее. Да и в целом другие видосы заинтересовали. Хотя если в масштабах канала смотреть, у тебя больше Golang, а я на питонячем стеке, но все равно полезно
Это время прямопрапорционально увеличению объма базы при добавлении индекса. Точные значения могут различаться на порядки в зависимости от сложноотслеживаемых параметров
Спасибо огромное
Возможно в видео следовало добавить пункт про primary key и то, как он взаимодействует с порядком данных в памяти
P.S. я же правильно понимаю, что идея делать primary key по GUID чаще всего проигрывает идее primary key по identity (возможно в postgers по другому называется, растущий в одну сторону индекс 1, 2, 3... 700000) по той причине, что в памяти не нужно будет пересортировывать огромную таблицу при добавлении нового значения?
Постре не кэширует план запроса после первого выполнения? Возможно, что частичное ускорение поиска Лены связано еще и с этим, а лишь потом добавляется эффект от индекса.
так он же с индексом новый план строит и юзает, как ему закэшированнный старый план помогает в этом?
@@ivangolang энивей я бы в любом случае указывал постгре не использовать кеш, но даже это не помогло бы в полной степени. результаты одного и того же запроса будут разными даже если постгря не будет юзать кеш
Капец как подробно)) можно море контента сделать только на тему постгри
Очень полезная инфа, спасибо. хоть я и не разраб, а сис анал, но мне тоже полезно знать
А что по покрывающим индексам?
любая Лена Головач наверное всегда произносит сналала свое имя, а потом уже фамилию 🤣🤣🤣 👍
Почему не так, допустим есть неравенство допустим > 100, почему не проиндексировать это как 3 единицы условно символов, это уже ведь ускорить проверку, и тоже самое по имени, зачем мне искать по всем ленам, и так далее, если можно было бы создать отдельную как структуру или папку бдшку, где сортировка будет идти по первой букве, внутри этой таблицы первой буквы, уже будут другие таблицы отсортированные по количеству символв в той строке, такая структура разве не улучшит саму бдшку, само собой это идёт какой-то глобальный индекс который уже делает раза в2-4 раза быстре отклик, и потом уже такую сортировку если это не равенство в случае с интом или стрингой с кол-во внутри символом, это ведь тоже ускорит запрос, такое можно делать, посмотрел только до 9:34
Структура которую я имею ввиду:
1) Юзер
1.2)А
1.3)Б
1.2.1) 1 символ
и так далее. Есть такие бдшки?
база индексирует в любом случае уникальные значения, допустим ты хочешь сделать индекс по первым 3 символам "Але", смысла в этом в итоге мало, так как если сделать полностью индекс по имени, выйдет 2 уникальных значения "Алена" и "Алексей", в итоге профита мало
@@ahtohpolsky3975 я описал о индексировании, первое по первой букве, а потом по кол-во символов, можно сделать наоборот
Головачлену это гениально 😂
15:46 Ну очень уж задумчивое «эээммм» 😅
После того, как услышал про Елену, сразу понял что эти 30 минут я проведу с гениальным человеком.
Спасибо за урок, с меня продвижение репостиком)
Данные методики создания индексов актуальны и для других СУБД или только для постгреса?,
Самый надёжный ответ лежит в документации к той СУБД, которая вас интересует, потому что в каждой СУБД свой планировщик запросов, и у него может быть своё мнение о том, что такое оптимальный запрос. Но вообще да, общие принципы вытекают из особенностей той структуры данных, которая используется для хранения индексов. В видео говорится только о B-дереве, деревья - это «основная» структура для индексов, её по умолчанию используют PostgresSQL, MySQL, SQLite и, наверняка, многие другие. В некоторых СУБД есть ещё хэш-мапа, и вот для неё большая часть информации из видео не актуальна.
В примере когда при наличии индекса по age, salary и запросе age = 18 постгрес выбрал seq scan не пробовали CREATE STATISTICS сделать?
О, нет, я вообще про такую хитрую фичу не знал. Спасибо. Не уверен правда, что помогло бы - колонки с собой никак не связаны (без этого, если правильно понял, CREATE STATISTICS не имеет смысла), генерилось все простым рандомом.
@@ivangolang Насчёт этого не уверен, но иногда даёт очень приятные результаты.
26:45 я так над камеди клабом не смеялся))
А если на собесе, вместо конкретного решения, начать в размышление, типо «ну это зависит от того какие данные, надо взять и посмотреть, надо изучить как добавление индекса заафектит другие запросы и тд и тп», а конкретного решения так и не предложить…такое прокатит, как думаешь?
Что такое конкретное решение в задаче, у которой его нет?
Именно на задаче из видео в рамках собеса я бы навалил варианты по правилу составления сложных индексов, а дальше бы в сжатой форме объяснил, что надо понимать про данные и другие запросы в системе. Если захотят углубиться - углубился бы.
ну дальше сразу вопрос "так на какие параметры смотреть. и как зависит?" - если ничего внятного - то ответ не засчитывается
@@ivani3237 я не понимаю к чему коммент. Ну да, собесы работают так, что когда ты не можешь ответить внятно на вопрос - ответ не засчитывается.
@@ivangolang ну вот автор вопроса почему-то об этом не знал
это дают написать такой запрос sql или составить индексы? просто не понял в чем сложность запроса
составить индекс на данный запрос
Само поле sex нужно было делать не текстовым, а числовым типа 0 и 1 + таблица справочник с ключем на эти значения и тогда индекс будет работать лучше по этому полю (память жрать меньше как минимум). Так же ещё можно было упомянуть про частоту запросов пользователей и их тип (select, update и т.д.) к полям таблицы и порядок создания индексов из этого расчета.
Сам я давно уже не работаю с базами данных (1,5 года), так что сори, если написал как-то не так.
Спасибо за содержательный коммент:) Про пол согласен. Про частоту тоже, отчасти это было и по ходу дела, и в финальном выводе, что надо понимать какие еще есть запросы/какие у нас на них требования, про частоту явно забыл упомянуть.
Вообще про пол такой момент, что оригинальная задача с собеса была именно так дана. Но лишнем сумничать не было бы в любом случае по этому поводу
Лучше тогда enum. Для пользователя выглядит как строка, а под капотом целое число 4 байта.
В современных реалиях лучше оставить это поле текстовым чтобы можно было записать всё что нужно🤣
@@viacheslav90 как раз с учетом современных реалий его лучше числовым делать чтобы по этому полю быстрее поиск шел. Можно хоть миллиард гендеров записать, главное описание приделать, как чел выше заметил.
И все же не понятно почему count(id) from employee where sex = 'frmale' отработал на 4 секунды дольше после создания индекса по полю sex???
explain показывает seq scan в обоих случаях что без индекса, что с индексом. Но без индекса быстрее. ПОЧЕМУ?
ЗЫ: я бы понял если в случае с индексом в explain был бы индекс (а не seq scan), тогда можно было предположить что увеличение по времени произошло из-за неселективной колонки sex. Но даже если бы индекс затормозил поиск из-за неселективности, подсчет бы все равно выполнился по индексу (т.к. он корректный - т.е. указан на верную колонку и не составной) и в explain были бы следы использования индекса. Можно было бы понять если бы индекс был составной с неправильным порядком колонок - тогда поиск по индексу не дал бы результатов и выполнился seq scan по итогу и как следствие увеличение времени из-за неэффективного индекса. НО ПОЧЕМУ ПРАВИЛЬНЫЙ НЕ СОСТАВНОЙ ИНДЕКС (пусть и на неселективной колонке) ТОРМОЗИТ ПРОЦЕСС, А ПОСЛЕ EXPLAIN выдает seq scan ВООБЩЕ НЕ ПОНЯТНО. По итогу метод поиска один и тот же, но индекс дал +4 сек.
Если в индекс не содержит всех полей, которые нужно вывести, то БД придется прочитать индекс и сходить еще раз в БД по этой ссылке. в итоге мы делаем больше действий
"постгрес на праймари ки всегда создает сам индекс"... Вообще он ключом становится только благодаря уникальному индексу и никак иначе
Привет, а как ты загенерил 70 млн записей, что за инструмент?
Полагаю, что инструментом был цикл for в любом языке программирования)
как ты проверил алокацию памяти при добавлении индексов
В докере смотрел на размер вольюма
где можно скачать тестовый бд?
все узрели лену, ни все узрели "к своим"
Gender бы сделал, просто люди не поймут меня если я включу на громкий
Спасибо
После 15:58 подписался)))
лайк за то, что люблю находить Голова Члену сразу
сторителлинг топ
Не знаю, как в постгре, но оракл некоторое время хранит результаты выполнения запросов в кеше, и когда ты второй раз запустишь тот же самый запрос, то и без всяких индексов выполнится за гораздо более короткое время, чем первый раз. Ну, и индекс - это не штука и не функционал, а объект базы данных.
Ищем всех в возрасте 18ти лет с ЗП 0, чтоб предложить присоединиться к своим и выполнять достойную работу) Ахахаххахахахах))) Нормально рофлишь)
Не знаю какие цыгане тебя принесли в нашу семью, но они явно с какими-то умными корнями))) моему мозгу сложно воспринимать все, что после слов собеседование ))))
дякую
Не за что, хохлик❤
Лена Головач - да автор тот ещё троль )
За Головаааааач!!!😀
Смотря на тенденции этого мира скоро sex будет не низко селективным)))
+rep за мемы в видосе
Лена Головач, Головач Лена...
То что нужно
Чиселка?
Бесит
Я вообще херачу индексы на все уолонки которые используются в поиске, и похер
Привет
Спасибо за видос
На бусти наверное тоже подпишусь
Ток вот вопрос, че делать то в ситуации?
1027 ms это убийственно много, за такое можно по ебалу получить((
Че там с BRIN индексом по sex, age, created_at?
Че там по кластеризации таблицы
Че там по MATERIALIZED VIEW?
Декартово произведение индексов Bitmap Index Scan и BitmapAnd?
OZON удовлетворит ответ про индекс который ускоряет все с 12 сек до 1 сек?
автор вкурсе что такое "Лена Головач"? это типа такой юмор?
В курсе, это имя и фамилия.
охуенное видео, автор молодец
То чувство, когда у тебя есть знакомая по имени "Лена Головач", и ты знаешь, почему у неё всегда имя впереди фамилии 😂
дотер в айти
у Лены Головач Нужно сначала фамилию искать а потом имя такие правила ничего не пделаешь
немного шуток+кринжа в видео про программирование, кайф
Что тут такого, Гена Цидармян?
из трех лен головач двое мужчины)
очень селективное видео
умоляю купи нормальный микрофон 🥺
Лайк коммент
age = 50 это уже совсем не milf (
Ну че ты, не согласился если бы она богатой была?
больше 50 - это уже GILF
слава сво