а как это с точки зрения пользователей делается - случайным пользователям одновременно с другими случайными пользователями показываются разные версии продукта? то есть, например, один пользователь с двух устройств может увидеть разные версии?
@@annagorobtsova1636 Да, именно так. Пользователи случайно делятся на 2 группы и им показывается 2 варианта. Потом сравниваются метрики с двух вариантов. Могут делить по пользователям (тогда на всех устройствах будет одно и тоже), а могут просто по устройствам. Так что вполне возможна ситуация, когда на одном телефоне, вы видите одну версию сайта, а на другом - другую.
@@traktin4590 Вот очень удобный калькулятор, которым я пользуюсь. Простая, математически верная тулза. Для расчета выборки Sample Size Calculator, для расчета значимости Chi Squared - www.evanmiller.org/ab-testing/ . Я в работе не полагаюсь на эти инструменты потому что проще самому рассчитывать с собственными настройками и особенностями, но все валидно - пользоваться можно!
Спасибо большое! Сложная достаточно тема, хотелось бы конечно поговорить про нее побольше, но тайминг ограничен. Если будут предложения по темам, формату, буду очень рад!
Хорошее видео. Достаточно понятно и без ухода в глубину про p-value, ошибки первого рода и т.д. Любопытно. Вот проводим мы A/B-тест, хотим понять повлияло ли это изменение на что-то, но часть пользователей попало в обе группы (и A, и B). Допустим около 5%. Нужно ли их исключать из исследования? Мне почему-то хочется их взять и исключить
К слову, вся эта инфа очень и очень поможет не только программистам. Таргетологам, маркетологам и дизайнерам тоже очень полезно. Спасибо, все вполне логично и понятно
Теория понятна. Сложность с практическими рассчетами... Тут маркетологи могут помочь с опредением репрезентативной выборки и статистической значимости.
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Нужно считать, для какой-го теста дня хватит, а для какого-то и месяца мало Все зависит от количества экземпляров в выборки и статистической мощности для получения нужного критерия значимости И так же зная, что мощность должна быть более 80%, то проведя ее анализ поймем какая должна быть выборка, а зная сколько у нас в день наблюдений, можно примерно рассчитать длительность тестирования. Анализ мощности может использоваться для оценки минимального размера выборки, необходимого для эксперимента, с учетом желаемого уровня значимости, размера эффекта и статистической мощности.
На самом деле это жопа, мы как то с сотрудником сидели в разных месиах и по телефону выбирали гостиницу, и вот это "нажми эту кнопку"- ""где??"- "да вот же она!!- да нету у меня! И так полчаса, пока скриншоты не сверили свои.
Андрей, вам очень идет такая прическа! 😻 Видео содержательно классное, но мне аж пришлось его выключить и оставить только звук, чтобы перестать залипать на волосы 🙈
Бро, совет: если ты близко в кадре, то не маши руками так высоко и ярко (лучше вообще так не делать, мешаешь фокусировке и "отгоняешь" нас ими), используй дальний кадр и будет лучше, но частоту и амплитуду жестов уменьши пожалуйста будет лучше смотреться, так как контентная часть огонь, визуальная подача так себе (описал выше)
Используется, но не для выкатки нового функционала/ изменений текущего, для этого нужны аб тесты. Когортный анализ используется для отслеживания поведения разных групп пользователей/пользователей, пришедших из разных рекламных кампаний и тд
Чувак подлечи кожу , не могу смотреть ) ну или пока аллергия снимай голос за кадром ,показывай что то на экране ))) без обид. Сижу ем в китайке и что то решил глянуть и блин ,вроде интересно , но аллергия
@@Noukash Бля, Я думал ты про старый фильм, где испарение воды готовящейся еды азиата в пар, через "эффект бабочки", дошло до проливного дождя в парке в Штатах... а оно вон как все проще было.
Под этим комментарием можно задавать вопросы, если что-то осталось неясным :)
Все разъясню!
а как это с точки зрения пользователей делается - случайным пользователям одновременно с другими случайными пользователями показываются разные версии продукта? то есть, например, один пользователь с двух устройств может увидеть разные версии?
Поделитесь, пожалуйста, хорошими сайтами-калькуляторами!
Сайт калькулятор в студию плиз:)
@@annagorobtsova1636 Да, именно так. Пользователи случайно делятся на 2 группы и им показывается 2 варианта. Потом сравниваются метрики с двух вариантов. Могут делить по пользователям (тогда на всех устройствах будет одно и тоже), а могут просто по устройствам. Так что вполне возможна ситуация, когда на одном телефоне, вы видите одну версию сайта, а на другом - другую.
@@traktin4590 Вот очень удобный калькулятор, которым я пользуюсь. Простая, математически верная тулза. Для расчета выборки Sample Size Calculator, для расчета значимости Chi Squared - www.evanmiller.org/ab-testing/ . Я в работе не полагаюсь на эти инструменты потому что проще самому рассчитывать с собственными настройками и особенностями, но все валидно - пользоваться можно!
Андрей! Хочу сказать спасибо! Ты лучший ❤
Я/МЫ - АБ тестирование:))) 10 баллов:)
Видео - огонь 🔥🔝. И канал классный! Успехов в развитии канала 🚀
Круто, все доступно объяснил. Пока думаю над предложениями по видео, поэтому просто желаю успехов:)
Спасибо большое! Сложная достаточно тема, хотелось бы конечно поговорить про нее побольше, но тайминг ограничен. Если будут предложения по темам, формату, буду очень рад!
Хорошее видео. Достаточно понятно и без ухода в глубину про p-value, ошибки первого рода и т.д.
Любопытно. Вот проводим мы A/B-тест, хотим понять повлияло ли это изменение на что-то, но часть пользователей попало в обе группы (и A, и B). Допустим около 5%. Нужно ли их исключать из исследования? Мне почему-то хочется их взять и исключить
У тебя очень классная подача и хорошая речь! Спасибо за видео)
Спасибо большое за комментарий! Очень приятно :)
Про голодного китайца просто отлично.. эффект бабочки в действии
И в удовольствие посмотреть, и очень полезно! спасибо
К слову, вся эта инфа очень и очень поможет не только программистам. Таргетологам, маркетологам и дизайнерам тоже очень полезно. Спасибо, все вполне логично и понятно
особенно тарологам🤣🤣🤣
@@faizulla5838 Таргетологам. Про тарологию я вроде ничего не написала, таролог занимается в другой сфере деятельности вообще
Очень информативно, спасибо за видео!
Спасибо вам за комментарии!)
Подписка после просмотра второго видео! Подача великолепна, спасибо!
Спасибо Вам большое 🤍
Наконец то до меня дошло=) максимально понятно, спасибо)
очень интересно, о сложных вещах доступным языком.
Теория понятна.
Сложность с практическими рассчетами... Тут маркетологи могут помочь с опредением репрезентативной выборки и статистической значимости.
Спасибо, плнятно объяснено.
посмотрела и вариант B - тоже хорош!
Видео супер, очень понятно объяснено! А вы в работе проводите A/B тестирование?
Конечно! Постоянно! Это один из основных инструментов развития IT продуктов и сфера ответственности продуктового аналитика.
спасибо, каеф)
Качественное исследование в помощь :)
Добавить бы про множественное тестирование, бонферрони и тд...
Конечно же пицца!
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Нужно считать, для какой-го теста дня хватит, а для какого-то и месяца мало
Все зависит от количества экземпляров в выборки и статистической мощности для получения нужного критерия значимости
И так же зная, что мощность должна быть более 80%, то проведя ее анализ поймем какая должна быть выборка, а зная сколько у нас в день наблюдений, можно примерно рассчитать длительность тестирования.
Анализ мощности может использоваться для оценки минимального размера выборки, необходимого для эксперимента, с учетом желаемого уровня значимости, размера эффекта и статистической мощности.
Привет! Поделись ссылками на калькуляторы. Так как формулы очень сложно оседают в голове)
Вот отличный калькулятор выборки и результатов тестов
www.evanmiller.org/ab-testing/
Решил поменять профессию выбрал аналитика пр. Посмотрел это видео не х.ера не понял но очень интересно, правильно ли я выбрал профессию )
Я юрист,учусь сейчас на аналитика
Но видео мне понятно
Я читал, что это очень активно используется на Booking, что постоянно показывают разным пользователям разные варианты сайта
На самом деле это жопа, мы как то с сотрудником сидели в разных месиах и по телефону выбирали гостиницу, и вот это "нажми эту кнопку"- ""где??"- "да вот же она!!- да нету у меня! И так полчаса, пока скриншоты не сверили свои.
Да, так и есть! Это эволюционный процесс может длится бесконечно.
@@traktin4590 Можно бесконечно искать маленькую кнопку на кривом интерфейсе, особенно если ее там нет! :)
вот именно разницы большой нету одновременно тестировать или последовательно
Андрей, вам очень идет такая прическа! 😻 Видео содержательно классное, но мне аж пришлось его выключить и оставить только звук, чтобы перестать залипать на волосы 🙈
Ха! Это забавно потому что я считаю это своей самой неудачной прической. Спасибо за комментарий и комплимент
А можно ссылку на онлайн-калькулятор получить?
А легко! И расчет выборки (Sample Size Calculator), и расчет результатов теста! (Chi-Squared Test)
www.evanmiller.org/ab-testing/
@@Noukash Почему именно хи-квадрат, а не какой-то другой? я джун, если что.
Бро, совет: если ты близко в кадре, то не маши руками так высоко и ярко (лучше вообще так не делать, мешаешь фокусировке и "отгоняешь" нас ими), используй дальний кадр и будет лучше, но частоту и амплитуду жестов уменьши пожалуйста будет лучше смотреться, так как контентная часть огонь, визуальная подача так себе (описал выше)
Как математики от Бога почти сломали Уолл стрит... Крутая книга.
Хватит махать руками у меня перед лицом😅
так кто должен делать этот анализ: дизайнер, разработчик или тестировщик?
Аналитик)
французский фильм Пьер Решар,....Рассеянный фильм (1970)
Если их никто не умеет составлять то ктто же и х исползуетт...?
Учиться, учиться и ещё раз учиться ;)
Про кнопку покупки все понятно, не понятно как они могли делать одновременно А В тест а не последовательно
Всё, конечно, хорошо, но как перестать смеяться после слова "ситвация"?))
Красавчик. Может попробуй подстричься? Возможно это изменит имидж и увеличит отдачу.
Спасибо, я подстригся!
1:43 говоришь нельзя, а это по сути когортный анализ. Продактами еще как используется в ит
Используется, но не для выкатки нового функционала/ изменений текущего, для этого нужны аб тесты. Когортный анализ используется для отслеживания поведения разных групп пользователей/пользователей, пришедших из разных рекламных кампаний и тд
Хм, странное распределение, уж больно оно нормально.
За два года ни одной штуки про два стула?
слишком эмоциональный.
Абсолютно точно подвластно)
Важен, но некритичен
Слишком эмоционирует. Было бы полезно принять перед записью успокоительное.
А просто рассказать как нужно делать можно - без философии?
Чувак подлечи кожу , не могу смотреть ) ну или пока аллергия снимай голос за кадром ,показывай что то на экране ))) без обид. Сижу ем в китайке и что то решил глянуть и блин ,вроде интересно , но аллергия
Чувак, подлечи своё мышление, противно читать, зашоренный взгляд.
Незнайка это ты 😂
не понял про голодного китайца который повлияет на то, пойдём мы гулять в парк или нет..
Одна из теорий возникновения короновируса, что он возник в результате того, что человек съел летучую мышь зараженную вирусом.
@@Noukash Бля, Я думал ты про старый фильм, где испарение воды готовящейся еды азиата в пар, через "эффект бабочки", дошло до проливного дождя в парке в Штатах... а оно вон как все проще было.
@@SilverOrlov Ох как сложно :) Да! все проще
какая хрень.... бла бла .... а тэст как делать???
безумная жестикуляция) ты Дерижёр в душе?)
це якась хуйня - мені це нагадує роботу не тустувальника а БізнесАналітика чи ПроджектМенеджера,,,,,,
Так це і є робота продукт і проджектів. А/Б тестування це вид маркетингового дослідження 😅