Спасибо, очень интересно! Мой любимый тип видео на вашем канале - такие подробные разборы. Что особенно нравится: по мере просмотра когда какой-то вопрос возникает в голове, вы на него сразу отвечаете :)
И неправильного. Точнее такой неполной интерпретации. Есть другие 7 критериев хорошей гипотезы, а такеже точное определение что это. Тут больше отсебятинки было.
Спасибо за видео. По некоторым вопросам опытный HR может приврать, например зачем вы ищите еще сотрудника. Видел компанию, в который был план по найму и план по увольнению.
Достаточно конкретно рассказываешь, и мне это очень нравится. Правда пары моментов не понял: откуда в формуле гипотезы берутся количественные выражения для сроков реализации и увеличения какой-нибудь метрики? Ты эти показатели получаешь в ходе стат. обработки?
Спасибо большое за комментарий! Пока что, все о чем я говорю на канале прямо попадает в сферу моих профессиональных интересов. Я же продуктовый аналитик) Как мне без этих знаний быть?)
@@И.Наказуева Скорее посмотреть. Я всем советую лекции Школы Менеджмента Яндекса. Они есть в открытом доступе. Вот например подробнее про продуктовые исследования - ruclips.net/video/0MRJVoiqpXg/видео.html
Андрей, спасибо за видео! Как всегда интересно. Только немного не поняла - то есть какие-то крупные изменения внедрять не имеет смысла? Какие-то большие обновления, которые, дадут результат только в долгосрочной перспективе.
Хороший вопрос! Имеет конечно! Просто крупные изменения обычно уникальны, сложно их повторить или потом для себя выделить "Что конкретно повлияло на изменение метрик после апдейта?". Если есть возможность, то всегда лучше разбивать 1 крупное изменение на 10 мелких.
Спасибо за комментарий! К сожалению очень обширная тема для ответа, записал себе в контент план для видео. Из простых способов можно покопать в сторону линейной регрессии. Но для АБ зачастую изменение прикидывается на глазок
Остаются только два вопроса, от куда берутся прогнозируемые проценты той же конверсии. И как понять, что именно какое либо изменение повлияло на ту же конверсию, когда на это влияет миллион других переменных)
Спасибо, за видео! Можете уточнить, чем изложенное в этом видео отличается от UX исследований? В чем различия и в чем схожесть? Выносим за скобки исследование интерфейсов и дизайн.
Здравствуйте, спасибо за комментарий! Хороший вопрос. Нет, разработчик зачастую не отвечает за составление продуктовых гипотез (если только он не в одиночку все делает). В первую очередь за продуктовые гипотезы отвечает продакт менеджер, потом продуктовый дизайнер, потом продуктовый аналитик. Разработчик обычно в этом не участвует, у него своей работы много.)
Спасибо за комментарий! Ну, в случае surveymonkey, который я приводил в пример это просто отдельный сайт, где ты находишь аудиторию и там формируешь вопросы. Custdev это качественное интервью в живую. Но есть еще один способ, можно с помощью рекламной сетки давать рекламу (которая ведет на опрос) на пользователей, которые уже пользовались приложением. Для такого есть отдельный термин - ремаркетинг.
Допустим есть гипотеза: перекраска кнопки в зелёный цвет увеличит количество заказов из РФ на 12% в течении недели. 1) Откуда вообще взять количественный прогноз 13%? Из прошлого эмпирического опыта? 2) Провели тест: продажа увеличилась, но на 6%. Как быть дальше? Продолжать менять цвет/форму пока не выжмем 12%? Или идём дальше? 3) допустим продажи из РФ в увеличились на 14%, но продажи из Азии уменьшились на 3%. Нужно ли после раскатки гипотезы на всей выборке тестировать изменение суммарных метрик?
Так, по очереди 1) Да, чисто из опыта, бенчмарков, которые есть на рынке. Тут есть момент, что есть термин Минимальный видимый эффект - это тоже тот, кто проводит тест определяет - какое изменение считать существенным. Что - естественные колебания показателя, а что результат наших действий. Чем больше видимый эффект тем меньше нужна выборка. Например, если мы договорились, что только изменение показателя на 100% является существенным, то нужна гораздо меньшая выборка. Соответственно прогноз по изменению не накладывает ограничения на тест, а минимальный видимый эффект накладывает (это сразу и ко второму вопросу) 3) Конечно нужно смотреть суммарное изменение метрик. Подразумевается, что можно разделить трафик и части пользователей (например из Азии) показывать один вариант, а части (из России) другой - и тестируем изменение и подводим итоги только на той группе, которую мы обозначили. Если сайт/продукт один для всех и изменения касаются сразу всех, то нужно подводить общие итоги и балансировать между увеличением конверсии для одной группы и уменьшении для другой
@@annagorobtsova1636 Мы занимались только количественными исследованиями, к сожалению. Надеюсь в ближайшем будущем удастся получить опыт качественных и побольше про него рассказать.
Всегда интересовал вопрос, откуда берется данные по повышению конверсии? Почему именно 12 процентов а не 7? Это исключительно пальцем в небо или есть все таки какие-то алгоритмы расчета?
Спасибо большое за комментарий! Чтобы генерировать, нужно искать инсайты в данных, смотреть что делают конкуренты, изучать тенденции рынка, общаться с пользователями. Это творческий процесс. Одного решения нет
@@Noukash Смотреть что делают конкуренты это конкурентный анализ. Общаться с пользователями это интервью, тестирования, опросы. Тенденции рынка это в целом в каком направлении двигаются сейчас похожие продукты. А искать инсайты в данных это аналитика данных?
@@Noukash Я работаю продуктовым дизайнером, но я практически ничего не знаю о метриках и как с ними работать. У вас было видео про курс gopractice как вы считаете он мне подойдет?
Первый пример. "Новый экран покупки. Увеличит конверсию в покупку. для пользователей США. на 12%. за 2 недели " ВОПРОС. Почему 12% ? Как рассчитали что это принесёт именно 12% а не скажем 15% или 35% ? типа, на чём основана эта гипотеза? )) )
Андрей, а вам как продуктовому аналитику приходится постоянно формировать и проверять продуктовые гипотезы? Это превращается в рутинный процесс? Ещё заинтересовало два вопроса: как вы считаете точные показатели, которых планируется достичь по метрикам (ну то есть откуда берётся точная цифра n%), и какой в среднем процент гипотез у вас в работе подтверждается?
Спасибо за вопросы! Да, я постоянно работаю над новыми продуктовыми гипотезами. Это не то чтобы рутина, так как все гипотезы разные, скорее то, что приходится делать постоянно. Точные показатели в продуктовых гипотезах это всегда аппроксимация, то есть наверняка что будет никто не знает. Аппроксимация на основе: исторических данных, других прошлых гипотез, средних бенчмарков по рынку. В основном, смотрю на историю показателя и на основе этого даю прогноз. Но это конечно все очень условно, если мы говорим про гипотезы, которые проверяются A/B тестом, то достаточно определить интервал минимально видимого эффекта для показателя и потом на него ориентироваться. Подтверждается около 20% примерно. Но бывают редкие гипотезы, которые выстреливают гораздо лучше, чем мы думали и в них кроется настоящее счастье.
Как спрогнозировать на сколько % увеличится конверсия например при изменении цветовой гаммы на сайте? По каким исследованиям мы можем это предположить?
Спасибо за комментарий, хороший вопрос. Органические пользователи это те, которые пришли не с рекламы. То есть сами нашли продукт (в сторе, если это приложение, или просто в интернете). Те, которые приходят с рекламы называют неорганическими пользователями. На примере моего канала - есть зрители, которым ютуб рекомендует видео и они приходят на канал - это органика. А, если я закуплю рекламу в телеграм канале, то это будет неорганический трафик.
Какие, на Ваш взгляд, гипотезы могут сделать только Продуктовые аналитики и не могут сделать UX исследователи. В чем на Ваш взгляд специфика? Исследование интересов и дизайн не будем учитывать))
Господа, не стесняемся ставить лайки! Алгоритмы ютуба продвигают так видео ГОРАЗДО лучше. Весь мир должен узнать про продуктовые гипотезы!
ставим!
Ну какой же хороший контент! Что новый, что старый - все до сих пор полезно)
Спасибо, очень интересно! Мой любимый тип видео на вашем канале - такие подробные разборы. Что особенно нравится: по мере просмотра когда какой-то вопрос возникает в голове, вы на него сразу отвечаете :)
Спасибо большое за комментарий! Я рад, что вам понравилось видео!
Огонь! Давно ждал этой темы
Спасибо большое за комментарий!
Лайк для +1% позитива к 100%
🤩
Подача супер! Супер флюиды , ловлю ловлю 🤗🤗🤗
Нигде не встречал такого простого и полного объяснения продуктовых гипотез. Огонь!
И неправильного. Точнее такой неполной интерпретации. Есть другие 7 критериев хорошей гипотезы, а такеже точное определение что это. Тут больше отсебятинки было.
Спасибо! Очень емкий разбор без воды, самое то для новичков.
я в продуктовом был только что
Комментарии пёселя жду больше видео. Прости, Андрей.
Все в порядке, я тоже)
хах) я эту гипотезу подтверждаю уже полгода примерно) как посмотрю, так настроение на 32% повышается.
Андрей, запоздалое традиционное спасибо за выпуск, как всегда здорово - интересно и содержательно 👍
Спасибо за видео. По некоторым вопросам опытный HR может приврать, например зачем вы ищите еще сотрудника. Видел компанию, в который был план по найму и план по увольнению.
Вы прекрасно объясняете, спасибо большое! смотрю с удовольствием, каждое утро по одному вашему видео, мотивирую себя на работу
Спасибо, тебе! Первое четкое видео, которое дает понимание, что такое гипотеза)
Очень интересно, спасибо за творчество
Благодарю Вас за видео. Очень конструктивно, полезно, по делу и главное - с примерами.
Мы тут всей палатой смотрим, я пациентам показал. Один парень даже в IT захотел ^____^
Я очень рад) Спасибо за комментарий)
Очень круто и без воды спасибо
Достаточно конкретно рассказываешь, и мне это очень нравится. Правда пары моментов не понял: откуда в формуле гипотезы берутся количественные выражения для сроков реализации и увеличения какой-нибудь метрики? Ты эти показатели получаешь в ходе стат. обработки?
Очень ценная информация!
Так просто и понятно объясняете. Рада что нашла ваш канал.
Андрей, вы, как всегда, на высоте! Столько классного материала. Как вы готовитесь к вашим видео? Кучу всего изучаете?
Спасибо большое за комментарий! Пока что, все о чем я говорю на канале прямо попадает в сферу моих профессиональных интересов. Я же продуктовый аналитик) Как мне без этих знаний быть?)
@@Noukash то есть практика? А есть ли что-то почитать по продуктовым гипотезам? Можете порекомендовать?
@@И.Наказуева Скорее посмотреть. Я всем советую лекции Школы Менеджмента Яндекса. Они есть в открытом доступе. Вот например подробнее про продуктовые исследования - ruclips.net/video/0MRJVoiqpXg/видео.html
Респект. Хорошее познавательно видео для старта продактов.
Андрей, спасибо за видео! Как всегда интересно. Только немного не поняла - то есть какие-то крупные изменения внедрять не имеет смысла? Какие-то большие обновления, которые, дадут результат только в долгосрочной перспективе.
Хороший вопрос! Имеет конечно! Просто крупные изменения обычно уникальны, сложно их повторить или потом для себя выделить "Что конкретно повлияло на изменение метрик после апдейта?". Если есть возможность, то всегда лучше разбивать 1 крупное изменение на 10 мелких.
Нашла ваш канал и залипла!)) очень классный формат и четкая структура!
Вопрос по видео: как прогнозировать на сколько поменяется метрика?
Спасибо за комментарий! К сожалению очень обширная тема для ответа, записал себе в контент план для видео. Из простых способов можно покопать в сторону линейной регрессии. Но для АБ зачастую изменение прикидывается на глазок
Остаются только два вопроса, от куда берутся прогнозируемые проценты той же конверсии. И как понять, что именно какое либо изменение повлияло на ту же конверсию, когда на это влияет миллион других переменных)
Спасибо!
Спасибо, за видео! Можете уточнить, чем изложенное в этом видео отличается от UX исследований? В чем различия и в чем схожесть? Выносим за скобки исследование интерфейсов и дизайн.
Круто, как ты все это структурировал для себя? Спасибо
Вопрос такой возинк: продуктовые гипотезы - это всегда инициатива разработчика или они могут приходить "сверху"?
Здравствуйте, спасибо за комментарий! Хороший вопрос. Нет, разработчик зачастую не отвечает за составление продуктовых гипотез (если только он не в одиночку все делает). В первую очередь за продуктовые гипотезы отвечает продакт менеджер, потом продуктовый дизайнер, потом продуктовый аналитик. Разработчик обычно в этом не участвует, у него своей работы много.)
Как пользователь из приложения попадает в форму опроса? Ему вылезает ссылка какая-то или что происходит?
Спасибо за комментарий! Ну, в случае surveymonkey, который я приводил в пример это просто отдельный сайт, где ты находишь аудиторию и там формируешь вопросы. Custdev это качественное интервью в живую. Но есть еще один способ, можно с помощью рекламной сетки давать рекламу (которая ведет на опрос) на пользователей, которые уже пользовались приложением. Для такого есть отдельный термин - ремаркетинг.
Допустим есть гипотеза: перекраска кнопки в зелёный цвет увеличит количество заказов из РФ на 12% в течении недели.
1) Откуда вообще взять количественный прогноз 13%? Из прошлого эмпирического опыта?
2) Провели тест: продажа увеличилась, но на 6%. Как быть дальше? Продолжать менять цвет/форму пока не выжмем 12%? Или идём дальше?
3) допустим продажи из РФ в увеличились на 14%, но продажи из Азии уменьшились на 3%. Нужно ли после раскатки гипотезы на всей выборке тестировать изменение суммарных метрик?
Так, по очереди
1) Да, чисто из опыта, бенчмарков, которые есть на рынке. Тут есть момент, что есть термин Минимальный видимый эффект - это тоже тот, кто проводит тест определяет - какое изменение считать существенным. Что - естественные колебания показателя, а что результат наших действий. Чем больше видимый эффект тем меньше нужна выборка. Например, если мы договорились, что только изменение показателя на 100% является существенным, то нужна гораздо меньшая выборка. Соответственно прогноз по изменению не накладывает ограничения на тест, а минимальный видимый эффект накладывает (это сразу и ко второму вопросу)
3) Конечно нужно смотреть суммарное изменение метрик. Подразумевается, что можно разделить трафик и части пользователей (например из Азии) показывать один вариант, а части (из России) другой - и тестируем изменение и подводим итоги только на той группе, которую мы обозначили. Если сайт/продукт один для всех и изменения касаются сразу всех, то нужно подводить общие итоги и балансировать между увеличением конверсии для одной группы и уменьшении для другой
Заинтересовали качественные исследования. Ими обычно занимаются продуктовые команды или привлекают со стороны тех, кто занимается подобными опросами?
Спасибо за вопрос! Обычно ими занимается продуктовые команды. Хороший продакт должен уметь хорошо кастдевить.
@@Noukash а вы в компании своей делали такие исследования? Интересуюсь, потому что близка проф.сфера.
@@annagorobtsova1636 Мы занимались только количественными исследованиями, к сожалению. Надеюсь в ближайшем будущем удастся получить опыт качественных и побольше про него рассказать.
А кто обозначает условия продуктовой гипотезы? Увеличиться на 10%, достигнет таких то показателей через 2 месяца????
Всегда интересовал вопрос, откуда берется данные по повышению конверсии? Почему именно 12 процентов а не 7?
Это исключительно пальцем в небо или есть все таки какие-то алгоритмы расчета?
Согласен с вопросом. Хотелось бы разобраться в оценке(предоценке) и как прогнозировать увеличение метрик?
Спасибо за видео кратко, понятно и в то же время очень емко по информации. Хотелось бы узнать как генерировать продуктовые гипотезы?
Спасибо большое за комментарий! Чтобы генерировать, нужно искать инсайты в данных, смотреть что делают конкуренты, изучать тенденции рынка, общаться с пользователями. Это творческий процесс. Одного решения нет
@@Noukash Смотреть что делают конкуренты это конкурентный анализ. Общаться с пользователями это интервью, тестирования, опросы. Тенденции рынка это в целом в каком направлении двигаются сейчас похожие продукты. А искать инсайты в данных это аналитика данных?
@@ilya5293 Да, все верно
@@Noukash Я работаю продуктовым дизайнером, но я практически ничего не знаю о метриках и как с ними работать. У вас было видео про курс gopractice как вы считаете он мне подойдет?
Курс gopractice отлично вам подойдёт. Он как раз рассказывает про метрики, гипотезы, поиск инсайтов из данных и как проводить эксперименты
Первый пример. "Новый экран покупки. Увеличит конверсию в покупку. для пользователей США. на 12%. за 2 недели "
ВОПРОС.
Почему 12% ? Как рассчитали что это принесёт именно 12% а не скажем 15% или 35% ? типа, на чём основана эта гипотеза? )) )
Подскажите форумы по Продуктовой Аналитике?
Так-с О__о Тип вопросик =D Над одной гипотезой работает один человек или команда?
Может быть и один человек, может быть и продуктовая команда. У нас в компании для этого есть целая рабочая группа)
добрый день! а откуда вы берете проценты?
Андрей, а вам как продуктовому аналитику приходится постоянно формировать и проверять продуктовые гипотезы? Это превращается в рутинный процесс? Ещё заинтересовало два вопроса: как вы считаете точные показатели, которых планируется достичь по метрикам (ну то есть откуда берётся точная цифра n%), и какой в среднем процент гипотез у вас в работе подтверждается?
Спасибо за вопросы! Да, я постоянно работаю над новыми продуктовыми гипотезами. Это не то чтобы рутина, так как все гипотезы разные, скорее то, что приходится делать постоянно. Точные показатели в продуктовых гипотезах это всегда аппроксимация, то есть наверняка что будет никто не знает. Аппроксимация на основе: исторических данных, других прошлых гипотез, средних бенчмарков по рынку. В основном, смотрю на историю показателя и на основе этого даю прогноз. Но это конечно все очень условно, если мы говорим про гипотезы, которые проверяются A/B тестом, то достаточно определить интервал минимально видимого эффекта для показателя и потом на него ориентироваться. Подтверждается около 20% примерно. Но бывают редкие гипотезы, которые выстреливают гораздо лучше, чем мы думали и в них кроется настоящее счастье.
@@Noukash Спасибо за ответ, очень любопытно.
Как спрогнозировать на сколько % увеличится конверсия например при изменении цветовой гаммы на сайте? По каким исследованиям мы можем это предположить?
А кто такие органические пользователи?
Спасибо за комментарий, хороший вопрос. Органические пользователи это те, которые пришли не с рекламы. То есть сами нашли продукт (в сторе, если это приложение, или просто в интернете). Те, которые приходят с рекламы называют неорганическими пользователями. На примере моего канала - есть зрители, которым ютуб рекомендует видео и они приходят на канал - это органика. А, если я закуплю рекламу в телеграм канале, то это будет неорганический трафик.
@@Noukash ага, понятно. Ваш канал заслуживает много-много органических пользователей!
@@annagorobtsova1636 Спасибо большое за комментарий! Такие комментарии помогают двигаться дальше!
Шестое, это то, которое пятое по списку, или есть какая-то пасхалка в видео?)
ruclips.net/video/nPgrtmh2yqY/видео.html
Придумают новые слова, зачем? "План развития" не устраивает?
Он оригинальные слова из методики использует
Какие, на Ваш взгляд, гипотезы могут сделать только Продуктовые аналитики и не могут сделать UX исследователи. В чем на Ваш взгляд специфика? Исследование интересов и дизайн не будем учитывать))
Я непонял о каких продуктах реч
Об органических
никаких гипотес