а как это с точки зрения пользователей делается - случайным пользователям одновременно с другими случайными пользователями показываются разные версии продукта? то есть, например, один пользователь с двух устройств может увидеть разные версии?
@@annagorobtsova1636 Да, именно так. Пользователи случайно делятся на 2 группы и им показывается 2 варианта. Потом сравниваются метрики с двух вариантов. Могут делить по пользователям (тогда на всех устройствах будет одно и тоже), а могут просто по устройствам. Так что вполне возможна ситуация, когда на одном телефоне, вы видите одну версию сайта, а на другом - другую.
@@traktin4590 Вот очень удобный калькулятор, которым я пользуюсь. Простая, математически верная тулза. Для расчета выборки Sample Size Calculator, для расчета значимости Chi Squared - www.evanmiller.org/ab-testing/ . Я в работе не полагаюсь на эти инструменты потому что проще самому рассчитывать с собственными настройками и особенностями, но все валидно - пользоваться можно!
К слову, вся эта инфа очень и очень поможет не только программистам. Таргетологам, маркетологам и дизайнерам тоже очень полезно. Спасибо, все вполне логично и понятно
Спасибо большое! Сложная достаточно тема, хотелось бы конечно поговорить про нее побольше, но тайминг ограничен. Если будут предложения по темам, формату, буду очень рад!
Хорошее видео. Достаточно понятно и без ухода в глубину про p-value, ошибки первого рода и т.д. Любопытно. Вот проводим мы A/B-тест, хотим понять повлияло ли это изменение на что-то, но часть пользователей попало в обе группы (и A, и B). Допустим около 5%. Нужно ли их исключать из исследования? Мне почему-то хочется их взять и исключить
Теория понятна. Сложность с практическими рассчетами... Тут маркетологи могут помочь с опредением репрезентативной выборки и статистической значимости.
На самом деле это жопа, мы как то с сотрудником сидели в разных месиах и по телефону выбирали гостиницу, и вот это "нажми эту кнопку"- ""где??"- "да вот же она!!- да нету у меня! И так полчаса, пока скриншоты не сверили свои.
Андрей, вам очень идет такая прическа! 😻 Видео содержательно классное, но мне аж пришлось его выключить и оставить только звук, чтобы перестать залипать на волосы 🙈
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Нужно считать, для какой-го теста дня хватит, а для какого-то и месяца мало Все зависит от количества экземпляров в выборки и статистической мощности для получения нужного критерия значимости И так же зная, что мощность должна быть более 80%, то проведя ее анализ поймем какая должна быть выборка, а зная сколько у нас в день наблюдений, можно примерно рассчитать длительность тестирования. Анализ мощности может использоваться для оценки минимального размера выборки, необходимого для эксперимента, с учетом желаемого уровня значимости, размера эффекта и статистической мощности.
Бро, совет: если ты близко в кадре, то не маши руками так высоко и ярко (лучше вообще так не делать, мешаешь фокусировке и "отгоняешь" нас ими), используй дальний кадр и будет лучше, но частоту и амплитуду жестов уменьши пожалуйста будет лучше смотреться, так как контентная часть огонь, визуальная подача так себе (описал выше)
Используется, но не для выкатки нового функционала/ изменений текущего, для этого нужны аб тесты. Когортный анализ используется для отслеживания поведения разных групп пользователей/пользователей, пришедших из разных рекламных кампаний и тд
Чувак подлечи кожу , не могу смотреть ) ну или пока аллергия снимай голос за кадром ,показывай что то на экране ))) без обид. Сижу ем в китайке и что то решил глянуть и блин ,вроде интересно , но аллергия
@@Noukash Бля, Я думал ты про старый фильм, где испарение воды готовящейся еды азиата в пар, через "эффект бабочки", дошло до проливного дождя в парке в Штатах... а оно вон как все проще было.
Под этим комментарием можно задавать вопросы, если что-то осталось неясным :)
Все разъясню!
а как это с точки зрения пользователей делается - случайным пользователям одновременно с другими случайными пользователями показываются разные версии продукта? то есть, например, один пользователь с двух устройств может увидеть разные версии?
Поделитесь, пожалуйста, хорошими сайтами-калькуляторами!
Сайт калькулятор в студию плиз:)
@@annagorobtsova1636 Да, именно так. Пользователи случайно делятся на 2 группы и им показывается 2 варианта. Потом сравниваются метрики с двух вариантов. Могут делить по пользователям (тогда на всех устройствах будет одно и тоже), а могут просто по устройствам. Так что вполне возможна ситуация, когда на одном телефоне, вы видите одну версию сайта, а на другом - другую.
@@traktin4590 Вот очень удобный калькулятор, которым я пользуюсь. Простая, математически верная тулза. Для расчета выборки Sample Size Calculator, для расчета значимости Chi Squared - www.evanmiller.org/ab-testing/ . Я в работе не полагаюсь на эти инструменты потому что проще самому рассчитывать с собственными настройками и особенностями, но все валидно - пользоваться можно!
Я/МЫ - АБ тестирование:))) 10 баллов:)
К слову, вся эта инфа очень и очень поможет не только программистам. Таргетологам, маркетологам и дизайнерам тоже очень полезно. Спасибо, все вполне логично и понятно
особенно тарологам🤣🤣🤣
@@faizulla5838 Таргетологам. Про тарологию я вроде ничего не написала, таролог занимается в другой сфере деятельности вообще
Про голодного китайца просто отлично.. эффект бабочки в действии
У тебя очень классная подача и хорошая речь! Спасибо за видео)
Спасибо большое за комментарий! Очень приятно :)
Андрей! Хочу сказать спасибо! Ты лучший ❤
Круто, все доступно объяснил. Пока думаю над предложениями по видео, поэтому просто желаю успехов:)
Спасибо большое! Сложная достаточно тема, хотелось бы конечно поговорить про нее побольше, но тайминг ограничен. Если будут предложения по темам, формату, буду очень рад!
Хорошее видео. Достаточно понятно и без ухода в глубину про p-value, ошибки первого рода и т.д.
Любопытно. Вот проводим мы A/B-тест, хотим понять повлияло ли это изменение на что-то, но часть пользователей попало в обе группы (и A, и B). Допустим около 5%. Нужно ли их исключать из исследования? Мне почему-то хочется их взять и исключить
И в удовольствие посмотреть, и очень полезно! спасибо
Все которые видел видео классные, но это просто искрометное! :) :)
Наконец то до меня дошло=) максимально понятно, спасибо)
Очень информативно, спасибо за видео!
Спасибо вам за комментарии!)
Теория понятна.
Сложность с практическими рассчетами... Тут маркетологи могут помочь с опредением репрезентативной выборки и статистической значимости.
Видео - огонь 🔥🔝. И канал классный! Успехов в развитии канала 🚀
очень интересно, о сложных вещах доступным языком.
Подписка после просмотра второго видео! Подача великолепна, спасибо!
Спасибо Вам большое 🤍
посмотрела и вариант B - тоже хорош!
Качественное исследование в помощь :)
Спасибо, плнятно объяснено.
Спасибо
Решил поменять профессию выбрал аналитика пр. Посмотрел это видео не х.ера не понял но очень интересно, правильно ли я выбрал профессию )
Я юрист,учусь сейчас на аналитика
Но видео мне понятно
Видео супер, очень понятно объяснено! А вы в работе проводите A/B тестирование?
Конечно! Постоянно! Это один из основных инструментов развития IT продуктов и сфера ответственности продуктового аналитика.
Конечно же пицца!
Я читал, что это очень активно используется на Booking, что постоянно показывают разным пользователям разные варианты сайта
На самом деле это жопа, мы как то с сотрудником сидели в разных месиах и по телефону выбирали гостиницу, и вот это "нажми эту кнопку"- ""где??"- "да вот же она!!- да нету у меня! И так полчаса, пока скриншоты не сверили свои.
Да, так и есть! Это эволюционный процесс может длится бесконечно.
@@traktin4590 Можно бесконечно искать маленькую кнопку на кривом интерфейсе, особенно если ее там нет! :)
Андрей, вам очень идет такая прическа! 😻 Видео содержательно классное, но мне аж пришлось его выключить и оставить только звук, чтобы перестать залипать на волосы 🙈
Ха! Это забавно потому что я считаю это своей самой неудачной прической. Спасибо за комментарий и комплимент
Добавить бы про множественное тестирование, бонферрони и тд...
спасибо, каеф)
Привет! Поделись ссылками на калькуляторы. Так как формулы очень сложно оседают в голове)
Вот отличный калькулятор выборки и результатов тестов
www.evanmiller.org/ab-testing/
Как математики от Бога почти сломали Уолл стрит... Крутая книга.
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Нужно считать, для какой-го теста дня хватит, а для какого-то и месяца мало
Все зависит от количества экземпляров в выборки и статистической мощности для получения нужного критерия значимости
И так же зная, что мощность должна быть более 80%, то проведя ее анализ поймем какая должна быть выборка, а зная сколько у нас в день наблюдений, можно примерно рассчитать длительность тестирования.
Анализ мощности может использоваться для оценки минимального размера выборки, необходимого для эксперимента, с учетом желаемого уровня значимости, размера эффекта и статистической мощности.
вот именно разницы большой нету одновременно тестировать или последовательно
А можно ссылку на онлайн-калькулятор получить?
А легко! И расчет выборки (Sample Size Calculator), и расчет результатов теста! (Chi-Squared Test)
www.evanmiller.org/ab-testing/
@@Noukash Почему именно хи-квадрат, а не какой-то другой? я джун, если что.
французский фильм Пьер Решар,....Рассеянный фильм (1970)
Бро, совет: если ты близко в кадре, то не маши руками так высоко и ярко (лучше вообще так не делать, мешаешь фокусировке и "отгоняешь" нас ими), используй дальний кадр и будет лучше, но частоту и амплитуду жестов уменьши пожалуйста будет лучше смотреться, так как контентная часть огонь, визуальная подача так себе (описал выше)
так кто должен делать этот анализ: дизайнер, разработчик или тестировщик?
Аналитик)
Хватит махать руками у меня перед лицом😅
Всё, конечно, хорошо, но как перестать смеяться после слова "ситвация"?))
Про кнопку покупки все понятно, не понятно как они могли делать одновременно А В тест а не последовательно
1:43 говоришь нельзя, а это по сути когортный анализ. Продактами еще как используется в ит
Используется, но не для выкатки нового функционала/ изменений текущего, для этого нужны аб тесты. Когортный анализ используется для отслеживания поведения разных групп пользователей/пользователей, пришедших из разных рекламных кампаний и тд
Если их никто не умеет составлять то ктто же и х исползуетт...?
Учиться, учиться и ещё раз учиться ;)
Хм, странное распределение, уж больно оно нормально.
Красавчик. Может попробуй подстричься? Возможно это изменит имидж и увеличит отдачу.
Спасибо, я подстригся!
Слишком эмоционирует. Было бы полезно принять перед записью успокоительное.
За два года ни одной штуки про два стула?
Чувак подлечи кожу , не могу смотреть ) ну или пока аллергия снимай голос за кадром ,показывай что то на экране ))) без обид. Сижу ем в китайке и что то решил глянуть и блин ,вроде интересно , но аллергия
Чувак, подлечи своё мышление, противно читать, зашоренный взгляд.
слишком эмоциональный.
Абсолютно точно подвластно)
Важен, но некритичен
А просто рассказать как нужно делать можно - без философии?
Незнайка это ты 😂
не понял про голодного китайца который повлияет на то, пойдём мы гулять в парк или нет..
Одна из теорий возникновения короновируса, что он возник в результате того, что человек съел летучую мышь зараженную вирусом.
@@Noukash Бля, Я думал ты про старый фильм, где испарение воды готовящейся еды азиата в пар, через "эффект бабочки", дошло до проливного дождя в парке в Штатах... а оно вон как все проще было.
@@SilverOrlov Ох как сложно :) Да! все проще
какая хрень.... бла бла .... а тэст как делать???
це якась хуйня - мені це нагадує роботу не тустувальника а БізнесАналітика чи ПроджектМенеджера,,,,,,
Так це і є робота продукт і проджектів. А/Б тестування це вид маркетингового дослідження 😅
безумная жестикуляция) ты Дерижёр в душе?)