спасибо за разбор, очень понравилось то, как разбирали структуру.в целом понятно, что этот тип интервью это по сути как решение мат задачи, с точки зрения подачи структуры: чем лучше разберешь что дано и перед собой это запишешь на доске, тем удобнее дальше будет работать с созданием системы.
Валерий, запишите пожалуйста видео о своем распорядке дня. Как вы успевайте работать на нескольких работах, участвовать в соревнованиях и тренироваться.
Отличное живое собеседование! «Живой» собеседуемый)) я почерпнул то, что вначале лучше дать обобщённую схему решения, потом baseline, а потом уже подкручивать baseline. Классная идея не сразу давать ответ на некоторые вопросы, «мы пока собираем»))
Собеседования на сеньора: он никогда не занимался прайсингом и смог назвать две метрики, вау классно хорошо Так же собеседование на джуна: ты не занимался ни чем, но назвал все метрики, решил задачи, посчитал фин эффект, сделал деплой - ну такое, не берём
У синьеров есть свободные тема для обсуждений, где можно за 30-40 минут наговорить на лида в этой области с примерами и деталями. Поэтому ошибки для синьера простительны. академические знания могли подвыветриться.
Попробуйте сами пройти такое собеседование, это правда очень сложно, вам в голове нужно держать кучу всего и при этомне откланяться от некоторой структуры, это сложнее чем зазубрить/выучить 5-10 метрик и столько же алгоритмов.
Несколько мыслей: 1) кажется, стоило бы упомянуть такие сверх-важные факторы в модели, как инфляция (в виде ИПЦ или еще как-то) и цены конкурентов 2) плюс, вероятно, с моделями на деревьях будут проблемы с экстраполяцией (когда мы меняем фактор цены и смотрим как меняется вероятность покупки) 3) если обучаться на истории, то кажется в данных заведомо не будет вариативности (эксплорейшена), вся история изменения цен была из серии себестоимость + N% маржа. в идеале, наверное, для обучения было бы неплохо провести исследовательский эксперимент - в разных регионах/городах менять цену на товар на некоторую дельту, и обучаться потом уже на этих данных.
Спасибо за видео, пишите дальше! Валера в качестве гвоздя программы очень хорош, чувствуется экспертиза. Жду больше видео с Валерой Было интересно наблюдать как инжа пинают аналитическими вопросами. Хотя парень технарь и говорит в рамках тех настроек
Прикольно. Оказывается, можно знать сложные вещи типа товарных эмбеддингов, деплоя в продакшн и мониторинга, но забыть сущность обычной регрессии (продажи~цене), и затем упустить вроде бы очевидный шаг поиска по построенной модельке перебором точки, где оборот максимален, а условие минимальной маржи все еще выполняется...
Первая мысль (до конца не посмотрел): Можно при помощи фич продукта (описания товара, исторических данных) построить кластеры схожих товаров. Внутри кластера изучаем зависимость Цена~Количество продаж. Пытаемся аппроксимировать функцией, по эвристике должна быть кривая 2го порядка, не сложнее. Когда аппроксимация получена, ищем максимум функции Оборот = Цена * Количество продаж с учетом найденной зависимости. Как baseline должно пройти
По второму выпуску на много больший кайф получил, так как тема для меня не знакомая и за 2.5 часа (да, я 2 раза пересмотрел) получаешь опыт 2-3 месяцев работы на подобной позиции. Спасибо за сэкономленное время
@@ValeriiBabushkin в любом случае я наблюдал и другие видео, удается убрать эмоции и оставить холодную голову и очень внимательно следить за своей речью, но что более важно зацепляться за слова собеседника, видеть его просадки. Может быть пару советов кроме очевидного проходить много собесов, конкретно для концентрации и холодной головы
@@ValeriiBabushkin ну, возможно, построение моделей каких-то, coding skills возможно (Я в DS новичок, может на таком уровне такое и не смотрят, конечно)
@@АлексейРаев код спрашивается на секции про код, если снять такое интервью, то скорее всего что-то новое или интересное там показано не будет. Что имеется ввиду под построением моделей?
Множество вариантов - поиск комплиментарных и канибализирующих товаров, затем регрессию через цену на них и коэффициенты в модель - как один из вариантов
А нужно ли иметь X = (пользователь, объект, цена) а Y = (купил/не купил) и потом усреднять всех или можно X= (объект, цена) а Y=ctr и искать сразу матожидание не усредняя по пользователям? С точки зрения пайплайна проще становится, как минимум калибровка уже не нужна, объем train датасета меньше. Вроде теряется надежность с точки зрения того что у нас сильно поменяются пользователи, пропадут какие то кластера и оптимальная цена сместится, но может есть подход в котором мы только наблюдаем за распределением пользователей а оптимизируем непосредственно ctr покупок?
Если не калибровать модель то мы не можем оперировать мат ожиданием. Если мы говорим про прогноз количества продаж при определенной цене, вполне можно искать цену на товар не учитывая контекст пользователей напрямую - возможно это будет менее точно
А можно собственно теперь про ганы и cv подобное? А то про логи, метрики, бустинги и временные ряды постоянно, как будто все в банках да маркетплейсах только работают
Ещё вопрос, думаю есть люди из этой области, как же всё таки exploration на практике делается если всем надо ставить одинаковую цену? Я начинаю понимать как легка жизнь в рекомендашках
Плохо понял изначальную задачу и зачем для неё вообще нужен ML. Если у нас есть цена, ниже которой мы продавать не можем, при этом мы максимизируем оборот товара, то почему для максимизации оборота товара мы не можем продавать его по этой минимальной пороговой цене? Ведь чем ниже цена, тем больше людей купят товар?
Уменьшение цены не всегда ведет к увеличению количества продаж. Существует возможность при цене 50 000 и 51 000 продать одинаковое количество товара. Также существует проблема количества товаров и out of stock. Нет смысла пытаться продать 10 000 единиц товара, если у нас есть всего 1 000. Третий момент - если мы продаем несколько товаров, то можем по одному упасть в марже сильнее и компенсировать это на других товарах
возможно, я что-то еще читал в тот момент, помимо курса выше, но запомнилось, будто было тут. Если нет - то, видимо, было что-то с первой страницы гугла
1 вариант. А почему бы не сделать сплит тестирование цены многократное. И не понять оптимальный уровень цен который максимизирует объем продаж не спускаясь ниже определенного уровня маржи. 2 вариант. Поскольку у нас нет обучающей выборки чтобы относить пользователя к категории делающего дешевые, средние , дорогие и тд. покупки, то мы не можем проводить классификацию поэтому для начала построим модель на основании которой мы могли бы для нашей выборки создать целевую переменную категория покупателя для последующей классификации на основании логов. Для этого можно взять покупателей с их логами и историями покупок можно разбить покупки на категории (по типу возможны различные подходы) далее внутри каждой категории товары можно кластеризировать по цене далее используя взвешенную сумму мы можем получить категорию покупателя(любителя дешевых , дорогих и тд товаров) таким образом задача превращается в задачу классификации. Со временем можно разбить хоть по одному пользователю и перейти к индивидуальному ценообразованию.
(Пишет "Не удалось опубликовать комментарий". Пробую разделить на части). Часть 2. Ответ. [7:12-7:32] Задёргался, занервничал. Что хотел сказать и что сказал? Общий набор слов. Видно, что человек полностью не готов и ищет, как выкручиваться на ходу. Для меня вопрос был только один - остановится и сдастся, запросив информации или будет пытаться выплывать, забалтывая? [7:32-7:58] Вопрос был - как решать задачу. Ответ начался с каких-то нелепых деталей про нефункциональные требования и необходимость оптимизации производительности. Вцепился в то, что сходу вспомнил. Это не ответ Senior. [7:58-8:17] «Лучше больше да лучше». Ну зачем было про эти детали сейчас? Где хоть что-то про решение этой конкретной задачи? [8:17-8:39] Важно, конечно, сказать хоть что-то, относящееся к ML. Метрики. Важно их держать в голове. Заболтал, молодец! Если бы ещё так не нервничал и не дёргался, мог бы и задавить менее опытного собеседника важными словами. Но поведение выдаёт с головой - он потерялся. Полностью. Пора останавливать собеседование. Счёт 10:0, технический нокаут. Рефери должен остановить избиение, чтобы можно ещё было разойтись красиво. [8:39-10:20] Собрался, оправился от первого шока. Вспомнил, что собеседование всё-таки про ML и начал говорить о данных, разметке и других базовых вещах, которые основа любых алгоритмов ML. Ничего про эту задачу - общие слова: данные нужны, они где-то есть. Ответ студента про IT. [10:20-11:06] Ушёл куда-то в своё понимание о том, из чего устроен интернет-магазин. Ничего про эту задачу. Ребята, прошло 11 минут. Ничего. Уже ясно, что это Junior и можно дать ему список литературы и рекомендации и закрыть интервью. Но вот - возвращается к экспертам. Помотрим… [12:14] Надо идти от бизнес-задачи. Надо пользоваться доской. Ребята, у вас собеседование по основам IT или про ML? Прошло 11 минут. Кроме постановки задачи - про ML вообще ничего. Уровня Senior нет даже близко. Потеряно 12 минут. Информации - почти ноль. Поставили в достаточно неловкое положение Александра. Задача про максимизацию GMV с единственным варьируемым параметром цены - плохая для зрителя. Она не требует ML и элементарно решается на кривой спроса-предложения. То есть это опытная оптимизационная задача на поиск экстремума. Зная, как зависит спрос от цены легко выбрать оптимальную точку. Это покрывает 90% потребностей. Дальше, если кто-то упёрся в эти обычно ненужные 10%, то надо смотреть, как изменение продаж меняет насыщение рынка - ещё небольшое изменение той же модели, где может пригодиться ML. Но тогда именно про это и нужно было говорить. Про то, какие данные нужны, какие механизмы и зависимости есть, как это работает, какие ML средства и механизмы использовать. Senior должен был всё это сходу разобрать, рассказать и показать, что задача - простая в большинстве случаев. Ведущие могли завершить собеседование через 10 минут. Дальше подробнее не смотрел - только пролистал. Грустно смотреть, как Александр мучается и как ведущие решают не ту задачу (я про собеседование, а не про GMV). Нет целостности, не интересно, нет информации. Дальше смотреть не стал - пролистал, понял, что ситуация не улучшится, пока выключил. Что можно улучшить: 1. Раз пишем Senior, то собеседуем Senior. То есть человека, который в теме, а не «Я честно скажу, я этого никогда не делал» и может легко отвечать, оппонировать и даже чему-то научить из собственного опыта. Посмотрите сами как идёт собеседование - как вытягивание ответов из студента на экзамене. При том, что студент порой даже подсказки не сразу может понять, что видно по его реакции. Это точно не Senior. 2. Раз пишем ML, то концентрируемся на нём, а не на абстрактных ответах из IT. 3. Раз уж разбираем ответы - давайте покажем, как было правильно. А не «доска же не зря стоит». Если интересно и помогло - можем продолжить. Если вы видите это иначе - укажите основные точки несогласия.
Все так, тоже посмотрел в и полном недоумении: это сениор? Абсолютная неразбериха, похоже на экзамен в вузе , когда препод пытается натянуть на удовл , помогая изо всех сил
Спасибо за разбор, со многим можно согласится, если не обсуждать эпитеты. Одно из отличий ML system design заключается в том что человека могут попросить спроектировать систему, с которой он раньше не работал, тем не менее есть общие лекала По поводу уровня Александра - он работает синьором в области связанной с компьютерном зрением и генеративными сетями, да, вопрос вывел его из зоны комфорта, к тому же камеры, это очень непросто . Что касается утверждения: "Задача про максимизацию GMV с единственным варьируемым параметром цены - плохая для зрителя. Она не требует ML и элементарно решается на кривой спроса-предложения". То с ним мне сложно согласится, спрос на товар формируется от огромного числа показателей, от бренда и цены, до времени года и региона. Модель позволяют учесть и зафиксировать эти параметры, в том числе индивидуальные признаки конкретного человека (при необходимости и их наличии) и играть именно ценой, начиная с конечного пользователя и агрегируя выше. Фраза про ненужные 10% вызывает удивление, в свое время в одной компании с оборотом 2 трлн рублей мы долго не могли поверить в увеличение оборота и маржи на 1% - как эффект от алгоритмического ценообразования 3. Раз уж разбираем ответы - давайте покажем, как было правильно. А не «доска же не зря стоит». - вы же сами сказали что пролистали видео после первых 10-15 минут, может быть там разбираются ошибки и говорится как надо?
@@ValeriiBabushkin Способность спроектировать систему, с которой раньше не работал - job description любого инженера. Ибо большая часть нашей работы такова. Если мы, конечно, не на конвейере. Это не выглядит (для меня, как для зрителя) как выход из зоны комфорта. Это выглядит как Junior. В результате Ваш ответ получается примерно таким: "Он же профессиональный боксёр!". Какая разница, какой у кандидата опыт в другой области, если они мало пересекаются и это видно по результату беседы? Если бы он блистал и Вы бы сказали "конечно, он же эксперт в компьютерном зрении" - было бы ясно. А объяснять провал успехами в другой области - странно. "Ненужные 10%" - это общее утверждение. Конечно, речь не про 10%, а про значительно меньшую величину. В данном случае отсыл к закону Парето - даже с запасом в два раза. Речь была о "значительно меньшей части, разбираться с которой обычно стоит дороже, чем эффект, который она приносит". Но про 1% согласен - везде свои thresholds. Но вот про "сложно согласится" и последующая агрументация - я тут не понял, как это противоречит тому, что я пишу. Но отсыл к модели - справедлив. Я лишь говорю, что такие задачи всегда решались и без ML. Я не говорю, что ML не нужен, я лишь говорю, что это - не самый хороший пример, ибо можно решить проще. Но это уже "на вкус и цвет". Можете указать любую - на Ваш выбор - точку в видео, которую стоит посмотреть как пример, где показывается "как надо"? Я не готов сейчас просмотреть всё видео - очень неудобный для меня формат - как я пишу выше - тяжело смотреть на человека в неловком положении. Если Вы подскажете точку, где посмотреть - начну с неё. Если соглашусь - посмотрю остальное.
24:54 кратко про аб, 36:01 - разные подходы выбора цены, задание приора, канибализация, 55:00 - функции потерь, метрики, 1:09 - общее описание что важно учесть
@@ValeriiBabushkin Я посмотрел видео до конца, тема для меня очень интересная и новая. Из интервью я понял, что Бабушкин реально крут (без всякой иронии - виден уровень), но вот про ценообразование - обрывки, сениор должен быть дать полный ответ , но получились куски, тут одно обсудили, тут другое и тд. Вы с экспертами общаетесь как специалисты в теме (ценообразование), не эксперту будет не ясно... Конечно, тут вопрос метрики успеха видео: мне было интересно узнать как сделать такую систему и как ответить на аналогичный вопрос на интервью. По этой метрике я успеха не добился .. Но, возможно, другие вынесли больше + возможно у вас другая метрика успеха
Какой хороший у Валерия русский язык - приятно слушать. К сожалению, собеседник на его фоне выглядит очень бледно с точки зрения богатсва речи. Коллеги, читайте книги, пработайте над своей речью. Это важно! П.С. "Квадрат от двухста это четыреста тысяч..." 8))
(Пишет "Не удалось опубликовать комментарий". Пробую разделить на части). Часть 1. Ребята, плохо. Как обещал - подробности. С уважением ко всем участникам, особенно к Александру и с единственным желанием - сделать ваши видео лучше. Начнём с главного. Когда делается презентация или ролик первый вопрос, который мы задаём себе - кто наша целевая аудитория? Кто и почему захочет это смотреть и какую информацию он предполагает получить? Раз это собеседование, предполагаю, что смотреть будут в основном (их просто больше) те, кто хочет начать работу в индустрии. Будет интересно и тем, кто проводит собеседование, но их значительно меньше. Итак, я попадаю в первую группу. Клиенты и инвесторы стали интересоваться ML, часто спрашивают, надо посмотреть. Почитал книги - много теории, посмотрел статьи - много частного про то, что у людей болит. Решил посмотреть собеседование в надежде на то, что люди, практически работающие в области, покажут на примере собеседования, что нужно знать, что важно и т.д. То есть моя цель - получить информацию о том, какие задачи сейчас реально решаются в ML и как. Загружаю видео. Один час и 15 минут. Это нормально для собеседования (тем более с комментариями). Готовимся. Интересно было бы узнать «а судьи кто» - не из принципа, а именно для понимания и знакомства. Вместо того, чтобы рассказать, что они сделали опять рассказ о том, где они работают. Видимо в вашей среде вас очень хорошо знают, и вы на хорошем счету. Но я зритель, который видит вас в первый раз. Мне важно понять, кто вы по вашим результатам и их масштабу. А «работаю, занимаюсь» - это, к сожалению, малоинформативно. В любой крупной компании можно найти человека, который «вот уже N лет работает и занимается, но так ничего и не сделал». Ещё раз - я не высказываю сомнений в вашей компетенции. Я говорю о ролике - мы не познакомились. Александр допустил те же типовые ошибки - «я работал, я занимался». Уже с первых секунд просмотра ясно, что это не Senior. По крайней мере, в обсуждаемой области. Да, есть некоторая специфика работы на камеру и всем ещё надо поработать, но у Александра сразу видна неуверенность. Senior отличается тем, что он уверен в своём опыте, знаниях и т.д. Это должна была быть беседа почти на равных, а тут - экзамен в ВУЗе. Причем, впечатление, что по предмету, который Александр слышал лишь теоретически. [2:22] Классическая цепочка: «работал чуть-чуть в крупной компании», потом упомянул про start-up и стушевался «всякими разными», напрягся, покраснел и начал чесать лицо - все признаки проблемы, которую тут я не хочу раскрывать и обсуждать. Если честно, вы не очень хорошо поступили с Александром (хоть он сам и согласился) - у него есть шанс заработать Impostor Syndrome. А основная причина - отсутствие у вас общего базиса: ему очень некомфортно в вашей игре преподавателя ВУЗа «угадай, что я хочу услышать». Постановка задачи [4:54-7:12]. Это вводная для Senior? Это много даже для Middle, может быть имело смысл так подробно рассказывать Junior, но Senior должен был понять всё это с полуслова и рассказать даже больше, чем вы хотите спросить. Ибо вопрос очень типовой. Любой Senior воспринял бы такое разжёвывание как детский сад. Я, как зритель, тоже немного устал.
очень много про пайплайн, общие моменты которые типовые для многих проектов, и очень мало про саму задачу, что решаем, как решаем, почему и т.д. В конце Валера вернулся к этой теме, а так остальной 1час очень скучный и шаблонный, креативности и желания разобраться в проблеме было мало у собеседуемого
Типичное всратое интервью, когда ты приходишь, например, будучи cv инженером, а тебе дают кейс из ценообразования. Чего вы добиваетесь? Что человек изобретет алгоритм, находясь под давлением интервьюеров и 45 минут? Имхо, совсем немногие такое могут и никогда нельзя достоверно узнать, придумал это человек или воспроизвёл из опыта.
Ребята, плохо. Идея полезная, реализация - никуда. Если интересна отрицательная обратная связь - могу написать развёрнуто. Если здесь удаляют отрицательные отзывы, то сэкономим друг другу время.
Давайте собес самого Бабушкина
Мой Собес прошел в феврале прошлого года
@@ValeriiBabushkin пруфы в студию:)
@@1a2w3d4f disk.yandex.ru/d/K5l7MplIKRNkvQ
@@ValeriiBabushkin то что не осталось в ютубе не считается.
+
спасибо за эти прекрасные видео, в которых я пока мало что понимаю
спасибо за разбор, очень понравилось то, как разбирали структуру.в целом понятно, что этот тип интервью это по сути как решение мат задачи, с точки зрения подачи структуры: чем лучше разберешь что дано и перед собой это запишешь на доске, тем удобнее дальше будет работать с созданием системы.
большой респект Александру за смелость
Валерий, запишите пожалуйста видео о своем распорядке дня. Как вы успевайте работать на нескольких работах, участвовать в соревнованиях и тренироваться.
Отличное живое собеседование! «Живой» собеседуемый)) я почерпнул то, что вначале лучше дать обобщённую схему решения, потом baseline, а потом уже подкручивать baseline. Классная идея не сразу давать ответ на некоторые вопросы, «мы пока собираем»))
Собеседования на сеньора: он никогда не занимался прайсингом и смог назвать две метрики, вау классно хорошо
Так же собеседование на джуна: ты не занимался ни чем, но назвал все метрики, решил задачи, посчитал фин эффект, сделал деплой - ну такое, не берём
У синьеров есть свободные тема для обсуждений, где можно за 30-40 минут наговорить на лида в этой области с примерами и деталями. Поэтому ошибки для синьера простительны. академические знания могли подвыветриться.
Попробуйте сами пройти такое собеседование, это правда очень сложно, вам в голове нужно держать кучу всего и при этомне откланяться от некоторой структуры, это сложнее чем зазубрить/выучить 5-10 метрик и столько же алгоритмов.
@@MaruiInfantry а толку от такого синьора без знаний?)
@@Llassloон знает где быстро найти точную инфу, которую можно не запоминать
Несколько мыслей:
1) кажется, стоило бы упомянуть такие сверх-важные факторы в модели, как инфляция (в виде ИПЦ или еще как-то) и цены конкурентов
2) плюс, вероятно, с моделями на деревьях будут проблемы с экстраполяцией (когда мы меняем фактор цены и смотрим как меняется вероятность покупки)
3) если обучаться на истории, то кажется в данных заведомо не будет вариативности (эксплорейшена), вся история изменения цен была из серии себестоимость + N% маржа. в идеале, наверное, для обучения было бы неплохо провести исследовательский эксперимент - в разных регионах/городах менять цену на товар на некоторую дельту, и обучаться потом уже на этих данных.
Прямо Почувствовал себя на его месте, очень круто держался!
Очень интересное интервью! Офигенный полезный контент и с образовательной точки зрения, и с прикладной, хочется однажды пройти такое собеседование)
Бабушкин красавчик, все подробно и благодушно разбирает
Спасибо за видео, пишите дальше! Валера в качестве гвоздя программы очень хорош, чувствуется экспертиза. Жду больше видео с Валерой
Было интересно наблюдать как инжа пинают аналитическими вопросами. Хотя парень технарь и говорит в рамках тех настроек
И снова очень интересно! Не хватало такого контента
Прикольно. Оказывается, можно знать сложные вещи типа товарных эмбеддингов, деплоя в продакшн и мониторинга, но забыть сущность обычной регрессии (продажи~цене), и затем упустить вроде бы очевидный шаг поиска по построенной модельке перебором точки, где оборот максимален, а условие минимальной маржи все еще выполняется...
На мой субъективный взгляд, это было интересно)))
Первая мысль (до конца не посмотрел): Можно при помощи фич продукта (описания товара, исторических данных) построить кластеры схожих товаров. Внутри кластера изучаем зависимость Цена~Количество продаж. Пытаемся аппроксимировать функцией, по эвристике должна быть кривая 2го порядка, не сложнее. Когда аппроксимация получена, ищем максимум функции Оборот = Цена * Количество продаж с учетом найденной зависимости. Как baseline должно пройти
По второму выпуску на много больший кайф получил, так как тема для меня не знакомая и за 2.5 часа (да, я 2 раза пересмотрел) получаешь опыт 2-3 месяцев работы на подобной позиции. Спасибо за сэкономленное время
очень полезно! спасибо!
50:03 так ты автор статьи был.. :D
Валерий как обрести спокойствие которым вы обладаете во время собесов?
что мне переживать - я сижу спокойно - слушаю историю
@@ValeriiBabushkin в любом случае я наблюдал и другие видео, удается убрать эмоции и оставить холодную голову и очень внимательно следить за своей речью, но что более важно зацепляться за слова собеседника, видеть его просадки.
Может быть пару советов кроме очевидного проходить много собесов, конкретно для концентрации и холодной головы
Надо ходить на собесы…
Ура!!! Бабушкин
Валерий, а планируется ли техническая часть какая-то по ML?
Что имеется ввиду пот технической частью?
@@ValeriiBabushkin ну, возможно, построение моделей каких-то, coding skills возможно
(Я в DS новичок, может на таком уровне такое и не смотрят, конечно)
@@АлексейРаев код спрашивается на секции про код, если снять такое интервью, то скорее всего что-то новое или интересное там показано не будет. Что имеется ввиду под построением моделей?
Интересно как это возможно : положительные х>y , но при этом x^2
в чем ошибка? 2 > -3, но при этом. 4
Дилетантский вопрос, но все же:
Как такая архитектура будет учитывать то что цена на продукт А может менять спрос на продукт Б?
Множество вариантов - поиск комплиментарных и канибализирующих товаров, затем регрессию через цену на них и коэффициенты в модель - как один из вариантов
я очень похож на Валерия Бабушкина, ведь у меня в университете тоже было материаловедение
Ответчиков, ты подпишешься под своими словами?
Поржали. Хороший юмор. В целом крутой чел.
Валера постоянно упоминает про 5,6,7 и т.д. уровни. Это что за уровни? кто их выдает ?)
Череповец!
А нужно ли иметь X = (пользователь, объект, цена) а Y = (купил/не купил) и потом усреднять всех или можно X= (объект, цена) а Y=ctr и искать сразу матожидание не усредняя по пользователям? С точки зрения пайплайна проще становится, как минимум калибровка уже не нужна, объем train датасета меньше. Вроде теряется надежность с точки зрения того что у нас сильно поменяются пользователи, пропадут какие то кластера и оптимальная цена сместится, но может есть подход в котором мы только наблюдаем за распределением пользователей а оптимизируем непосредственно ctr покупок?
Для новых товаров, наверно, важно
Если не калибровать модель то мы не можем оперировать мат ожиданием. Если мы говорим про прогноз количества продаж при определенной цене, вполне можно искать цену на товар не учитывая контекст пользователей напрямую - возможно это будет менее точно
@@ValeriiBabushkin Нужно ли калибровать если учить сразу регрессию на ctr?
Чем больше ответов тем больше вопросов, просто вынуждаете идти на hard ml))
@@ИванБрагин-ж2я что значит учить на ctr? учить на клики?
А можно собственно теперь про ганы и cv подобное? А то про логи, метрики, бустинги и временные ряды постоянно, как будто все в банках да маркетплейсах только работают
Как будто все занимаются ганами?
Ещё вопрос, думаю есть люди из этой области, как же всё таки exploration на практике делается если всем надо ставить одинаковую цену?
Я начинаю понимать как легка жизнь в рекомендашках
по географическим регионам можно бить - разная цена в разных регионах это вполне нормально
Плохо понял изначальную задачу и зачем для неё вообще нужен ML. Если у нас есть цена, ниже которой мы продавать не можем, при этом мы максимизируем оборот товара, то почему для максимизации оборота товара мы не можем продавать его по этой минимальной пороговой цене? Ведь чем ниже цена, тем больше людей купят товар?
Уменьшение цены не всегда ведет к увеличению количества продаж. Существует возможность при цене 50 000 и 51 000 продать одинаковое количество товара. Также существует проблема количества товаров и out of stock. Нет смысла пытаться продать 10 000 единиц товара, если у нас есть всего 1 000. Третий момент - если мы продаем несколько товаров, то можем по одному упасть в марже сильнее и компенсировать это на других товарах
🚀
Уважаемые интервьюеры! А поделитесь, пожалуйста, ссылочкой на статью, которую Игорь упоминал на 50 минуте.
educative.io/courses/machine-learning-system-design
возможно, я что-то еще читал в тот момент, помимо курса выше, но запомнилось, будто было тут. Если нет - то, видимо, было что-то с первой страницы гугла
@@stalkermustang, спасибо!
1 вариант. А почему бы не сделать сплит тестирование цены многократное. И не понять оптимальный уровень цен который максимизирует объем продаж не спускаясь ниже определенного уровня маржи. 2 вариант. Поскольку у нас нет обучающей выборки чтобы относить пользователя к категории делающего дешевые, средние , дорогие и тд. покупки, то мы не можем проводить классификацию поэтому для начала построим модель на основании которой мы могли бы для нашей выборки создать целевую переменную категория покупателя для последующей классификации на основании логов. Для этого можно взять покупателей с их логами и историями покупок можно разбить покупки на категории (по типу возможны различные подходы) далее внутри каждой категории товары можно кластеризировать по цене далее используя взвешенную сумму мы можем получить категорию покупателя(любителя дешевых , дорогих и тд товаров) таким образом задача превращается в задачу классификации. Со временем можно разбить хоть по одному пользователю и перейти к индивидуальному ценообразованию.
Сколько мы таким образом вводим моделей и зависимостей в систему?
(Пишет "Не удалось опубликовать комментарий". Пробую разделить на части). Часть 2.
Ответ.
[7:12-7:32] Задёргался, занервничал. Что хотел сказать и что сказал? Общий набор слов. Видно, что человек полностью не готов и ищет, как выкручиваться на ходу. Для меня вопрос был только один - остановится и сдастся, запросив информации или будет пытаться выплывать, забалтывая?
[7:32-7:58] Вопрос был - как решать задачу. Ответ начался с каких-то нелепых деталей про нефункциональные требования и необходимость оптимизации производительности. Вцепился в то, что сходу вспомнил. Это не ответ Senior.
[7:58-8:17] «Лучше больше да лучше». Ну зачем было про эти детали сейчас? Где хоть что-то про решение этой конкретной задачи?
[8:17-8:39] Важно, конечно, сказать хоть что-то, относящееся к ML. Метрики. Важно их держать в голове. Заболтал, молодец! Если бы ещё так не нервничал и не дёргался, мог бы и задавить менее опытного собеседника важными словами. Но поведение выдаёт с головой - он потерялся. Полностью.
Пора останавливать собеседование. Счёт 10:0, технический нокаут. Рефери должен остановить избиение, чтобы можно ещё было разойтись красиво.
[8:39-10:20] Собрался, оправился от первого шока. Вспомнил, что собеседование всё-таки про ML и начал говорить о данных, разметке и других базовых вещах, которые основа любых алгоритмов ML. Ничего про эту задачу - общие слова: данные нужны, они где-то есть. Ответ студента про IT.
[10:20-11:06] Ушёл куда-то в своё понимание о том, из чего устроен интернет-магазин. Ничего про эту задачу.
Ребята, прошло 11 минут. Ничего. Уже ясно, что это Junior и можно дать ему список литературы и рекомендации и закрыть интервью.
Но вот - возвращается к экспертам. Помотрим…
[12:14] Надо идти от бизнес-задачи. Надо пользоваться доской.
Ребята, у вас собеседование по основам IT или про ML? Прошло 11 минут. Кроме постановки задачи - про ML вообще ничего. Уровня Senior нет даже близко.
Потеряно 12 минут. Информации - почти ноль. Поставили в достаточно неловкое положение Александра. Задача про максимизацию GMV с единственным варьируемым параметром цены - плохая для зрителя. Она не требует ML и элементарно решается на кривой спроса-предложения. То есть это опытная оптимизационная задача на поиск экстремума. Зная, как зависит спрос от цены легко выбрать оптимальную точку. Это покрывает 90% потребностей. Дальше, если кто-то упёрся в эти обычно ненужные 10%, то надо смотреть, как изменение продаж меняет насыщение рынка - ещё небольшое изменение той же модели, где может пригодиться ML.
Но тогда именно про это и нужно было говорить. Про то, какие данные нужны, какие механизмы и зависимости есть, как это работает, какие ML средства и механизмы использовать.
Senior должен был всё это сходу разобрать, рассказать и показать, что задача - простая в большинстве случаев.
Ведущие могли завершить собеседование через 10 минут.
Дальше подробнее не смотрел - только пролистал. Грустно смотреть, как Александр мучается и как ведущие решают не ту задачу (я про собеседование, а не про GMV). Нет целостности, не интересно, нет информации. Дальше смотреть не стал - пролистал, понял, что ситуация не улучшится, пока выключил.
Что можно улучшить:
1. Раз пишем Senior, то собеседуем Senior. То есть человека, который в теме, а не «Я честно скажу, я этого никогда не делал» и может легко отвечать, оппонировать и даже чему-то научить из собственного опыта. Посмотрите сами как идёт собеседование - как вытягивание ответов из студента на экзамене. При том, что студент порой даже подсказки не сразу может понять, что видно по его реакции. Это точно не Senior.
2. Раз пишем ML, то концентрируемся на нём, а не на абстрактных ответах из IT.
3. Раз уж разбираем ответы - давайте покажем, как было правильно. А не «доска же не зря стоит».
Если интересно и помогло - можем продолжить. Если вы видите это иначе - укажите основные точки несогласия.
Все так, тоже посмотрел в и полном недоумении: это сениор? Абсолютная неразбериха, похоже на экзамен в вузе , когда препод пытается натянуть на удовл , помогая изо всех сил
Спасибо за разбор, со многим можно согласится, если не обсуждать эпитеты.
Одно из отличий ML system design заключается в том что человека могут попросить спроектировать систему, с которой он раньше не работал, тем не менее есть общие лекала
По поводу уровня Александра - он работает синьором в области связанной с компьютерном зрением и генеративными сетями, да, вопрос вывел его из зоны комфорта, к тому же камеры, это очень непросто .
Что касается утверждения: "Задача про максимизацию GMV с единственным варьируемым параметром цены - плохая для зрителя. Она не требует ML и элементарно решается на кривой спроса-предложения". То с ним мне сложно согласится, спрос на товар формируется от огромного числа показателей, от бренда и цены, до времени года и региона. Модель позволяют учесть и зафиксировать эти параметры, в том числе индивидуальные признаки конкретного человека (при необходимости и их наличии) и играть именно ценой, начиная с конечного пользователя и агрегируя выше.
Фраза про ненужные 10% вызывает удивление, в свое время в одной компании с оборотом 2 трлн рублей мы долго не могли поверить в увеличение оборота и маржи на 1% - как эффект от алгоритмического ценообразования
3. Раз уж разбираем ответы - давайте покажем, как было правильно. А не «доска же не зря стоит». - вы же сами сказали что пролистали видео после первых 10-15 минут, может быть там разбираются ошибки и говорится как надо?
@@ValeriiBabushkin Способность спроектировать систему, с которой раньше не работал - job description любого инженера. Ибо большая часть нашей работы такова. Если мы, конечно, не на конвейере.
Это не выглядит (для меня, как для зрителя) как выход из зоны комфорта. Это выглядит как Junior. В результате Ваш ответ получается примерно таким: "Он же профессиональный боксёр!". Какая разница, какой у кандидата опыт в другой области, если они мало пересекаются и это видно по результату беседы? Если бы он блистал и Вы бы сказали "конечно, он же эксперт в компьютерном зрении" - было бы ясно. А объяснять провал успехами в другой области - странно.
"Ненужные 10%" - это общее утверждение. Конечно, речь не про 10%, а про значительно меньшую величину. В данном случае отсыл к закону Парето - даже с запасом в два раза. Речь была о "значительно меньшей части, разбираться с которой обычно стоит дороже, чем эффект, который она приносит". Но про 1% согласен - везде свои thresholds. Но вот про "сложно согласится" и последующая агрументация - я тут не понял, как это противоречит тому, что я пишу. Но отсыл к модели - справедлив. Я лишь говорю, что такие задачи всегда решались и без ML. Я не говорю, что ML не нужен, я лишь говорю, что это - не самый хороший пример, ибо можно решить проще. Но это уже "на вкус и цвет".
Можете указать любую - на Ваш выбор - точку в видео, которую стоит посмотреть как пример, где показывается "как надо"? Я не готов сейчас просмотреть всё видео - очень неудобный для меня формат - как я пишу выше - тяжело смотреть на человека в неловком положении. Если Вы подскажете точку, где посмотреть - начну с неё. Если соглашусь - посмотрю остальное.
24:54 кратко про аб, 36:01 - разные подходы выбора цены, задание приора, канибализация, 55:00 - функции потерь, метрики, 1:09 - общее описание что важно учесть
@@ValeriiBabushkin Я посмотрел видео до конца, тема для меня очень интересная и новая. Из интервью я понял, что Бабушкин реально крут (без всякой иронии - виден уровень), но вот про ценообразование - обрывки, сениор должен быть дать полный ответ , но получились куски, тут одно обсудили, тут другое и тд. Вы с экспертами общаетесь как специалисты в теме (ценообразование), не эксперту будет не ясно...
Конечно, тут вопрос метрики успеха видео: мне было интересно узнать как сделать такую систему и как ответить на аналогичный вопрос на интервью. По этой метрике я успеха не добился .. Но, возможно, другие вынесли больше + возможно у вас другая метрика успеха
Да кто такой этот ваш матчинг
Круто спасибо.
А позовите Каху на собеседование))))
Up
Сложно смотреть не монологовые выступления Валерия, так как все его собеседники боятся высказывать свое мнение в его присутствии (
Как 90, возведя в квадрат, получили 81000? 😅
900 в квадрат возводили, не 90
@@rontar513 все равно не получится 81000))
В этом интервью слишком много Бабушкина
Какой хороший у Валерия русский язык - приятно слушать. К сожалению, собеседник на его фоне выглядит очень бледно с точки зрения богатсва речи. Коллеги, читайте книги, пработайте над своей речью. Это важно!
П.С. "Квадрат от двухста это четыреста тысяч..." 8))
(Пишет "Не удалось опубликовать комментарий". Пробую разделить на части). Часть 1.
Ребята, плохо. Как обещал - подробности. С уважением ко всем участникам, особенно к Александру и с единственным желанием - сделать ваши видео лучше.
Начнём с главного. Когда делается презентация или ролик первый вопрос, который мы задаём себе - кто наша целевая аудитория? Кто и почему захочет это смотреть и какую информацию он предполагает получить?
Раз это собеседование, предполагаю, что смотреть будут в основном (их просто больше) те, кто хочет начать работу в индустрии. Будет интересно и тем, кто проводит собеседование, но их значительно меньше. Итак, я попадаю в первую группу. Клиенты и инвесторы стали интересоваться ML, часто спрашивают, надо посмотреть. Почитал книги - много теории, посмотрел статьи - много частного про то, что у людей болит. Решил посмотреть собеседование в надежде на то, что люди, практически работающие в области, покажут на примере собеседования, что нужно знать, что важно и т.д. То есть моя цель - получить информацию о том, какие задачи сейчас реально решаются в ML и как.
Загружаю видео. Один час и 15 минут. Это нормально для собеседования (тем более с комментариями). Готовимся.
Интересно было бы узнать «а судьи кто» - не из принципа, а именно для понимания и знакомства. Вместо того, чтобы рассказать, что они сделали опять рассказ о том, где они работают. Видимо в вашей среде вас очень хорошо знают, и вы на хорошем счету. Но я зритель, который видит вас в первый раз. Мне важно понять, кто вы по вашим результатам и их масштабу. А «работаю, занимаюсь» - это, к сожалению, малоинформативно. В любой крупной компании можно найти человека, который «вот уже N лет работает и занимается, но так ничего и не сделал». Ещё раз - я не высказываю сомнений в вашей компетенции. Я говорю о ролике - мы не познакомились.
Александр допустил те же типовые ошибки - «я работал, я занимался». Уже с первых секунд просмотра ясно, что это не Senior. По крайней мере, в обсуждаемой области. Да, есть некоторая специфика работы на камеру и всем ещё надо поработать, но у Александра сразу видна неуверенность. Senior отличается тем, что он уверен в своём опыте, знаниях и т.д. Это должна была быть беседа почти на равных, а тут - экзамен в ВУЗе. Причем, впечатление, что по предмету, который Александр слышал лишь теоретически.
[2:22] Классическая цепочка: «работал чуть-чуть в крупной компании», потом упомянул про start-up и стушевался «всякими разными», напрягся, покраснел и начал чесать лицо - все признаки проблемы, которую тут я не хочу раскрывать и обсуждать. Если честно, вы не очень хорошо поступили с Александром (хоть он сам и согласился) - у него есть шанс заработать Impostor Syndrome. А основная причина - отсутствие у вас общего базиса: ему очень некомфортно в вашей игре преподавателя ВУЗа «угадай, что я хочу услышать».
Постановка задачи [4:54-7:12]. Это вводная для Senior? Это много даже для Middle, может быть имело смысл так подробно рассказывать Junior, но Senior должен был понять всё это с полуслова и рассказать даже больше, чем вы хотите спросить. Ибо вопрос очень типовой. Любой Senior воспринял бы такое разжёвывание как детский сад. Я, как зритель, тоже немного устал.
Так говори клиентам теперь "ВИДЕЛ Я ВАШ МЛ НА ЮТУПЕ, ХЕРОТА ПОЛНАЯ". И не занимайся им.
очень много про пайплайн, общие моменты которые типовые для многих проектов, и очень мало про саму задачу, что решаем, как решаем, почему и т.д. В конце Валера вернулся к этой теме, а так остальной 1час очень скучный и шаблонный, креативности и желания разобраться в проблеме было мало у собеседуемого
Типичное всратое интервью, когда ты приходишь, например, будучи cv инженером, а тебе дают кейс из ценообразования. Чего вы добиваетесь? Что человек изобретет алгоритм, находясь под давлением интервьюеров и 45 минут?
Имхо, совсем немногие такое могут и никогда нельзя достоверно узнать, придумал это человек или воспроизвёл из опыта.
Ребята, плохо. Идея полезная, реализация - никуда. Если интересна отрицательная обратная связь - могу написать развёрнуто. Если здесь удаляют отрицательные отзывы, то сэкономим друг другу время.
мне было бы интересно послушать отрицательную обратную связь
Отрицательные отзывы здесь не удаляют, если в них нет прямых оскорблений. С интересом прочитаю развернутый отзыв
@@stasgafarov Пишет "Не удалось опубликовать комментарий". Попробую разделить на части - если потребуется потом склеим.
@@ValeriiBabushkin Пишет "Не удалось опубликовать комментарий". Попробую разделить на части - если потребуется потом склеим.