Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста
Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе
Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!
Поддержу других комментаторов - огромное спасибо!) Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅 Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤
Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое
Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!
Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!
Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!
Классное видео, спасибо. От себя добавлю: было бы классно, если бы использовалась общепринятая терминология: доп.метрики -- прокси-метрики, контр-метрики -- заграждающие метрики (guardrail metrics)
На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.
Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)
Привет, спасибо за крутой разбор! Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще) Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?)) А порядок и логика в голове сложились такие: 1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна. 2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату. 3. Запускаем тест и даем ему пройти полностью. 4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически. 5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница? 6. Ищем дополнительные инсайты. 7. Принимаем решения об изменениях в продукте.
Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов 1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста 4. Evan miller calculator в помощь также А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны
Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.
Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов
По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤ Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях? В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове
Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно
теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!
Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?
Спасибо, доверительный интервал ценности этого видео 100%! Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)
Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.
Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?
Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?
Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп. По типам характера я делю аналитиков так (все очень условно): продуктовый - холерик с общительностью выше среднего маркетинговый - холерик с общительностью выше среднего бизнес - сангвиник с максимальной общительностью системный - флегматик с нормальной общительностью датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего
Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.
Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)
Добавлю еще, что это может быть нужно для 1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному) 2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее 3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту 4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы. Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.
я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...
что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом. понятно одно - что на нальном этапе все это не имеет смысла
Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)
![Megan Thee Stallion - Roc Steady (feat. Flo Milli) [Official Video]](http://i.ytimg.com/vi/HozPPyqW0dY/mqdefault.jpg)
Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста
С твоего канала начался мой путь в аналитике 1,5 года назад. Хоть я уже и работаю в аналитике но видосы все равно смотрю, они топ. Спасибо за контент)
как успешно?
Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе
Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!
спасибо!!! реально не зря потратила 47 минут) прям более лаконичного и простого объяснения, как это происходит в реальной работе, не встречала)
Супер! Я очень рад, что видео полезно! Чем сложнее топик, тем сложнее объяснить его "просто" и я рад, что у меня получилось!
Поддержу других комментаторов - огромное спасибо!)
Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅
Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤
Спасибо большое за комментарий! Я так рад, что видео полезно и все понятно. Супер!
Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое
Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!
Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!
Спасибо большое за комментарий! Полине передал! Жизнь кипит :)) Работаем! Очень приятная обратная связь - еще раз спасибо
Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор
Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!
Спасибо! Рад что зашло!
Крутая тема, спасибо. Еще не прсмотрел, но начало нравится
Спасибо большое за лекцию! С удовольствие смотрел и конспектировал. Но хочется увидеть применение этих подходов на практике. Так сказать hands on кейс
Про центральную предельную теорему хотелось бы подробнее. Видео супер
Согласен, пример сложен к восприятию
Лайк сразу за тему, посмотрю чуть позже
Поступлю так же
Андрей, спасибо большое за обучающие видосы ❤ такая информация в видео формате на вес золота))
Классное видео, спасибо. От себя добавлю: было бы классно, если бы использовалась общепринятая терминология: доп.метрики -- прокси-метрики, контр-метрики -- заграждающие метрики (guardrail metrics)
Спасибо за такой качественный видос! Только начинаю вкатываться в аб-тестирование, ваш ролик очень помог 🤌
О! Спасибо, Андрей! Это супер полезный гайд!)
Спасибо за видео! Очень внятное и понятное объяснение! Красава!
Большое спасибо!!! Кратко и по делу 👍
Балдеж видос! Скину команде чтобы тоже в теме были))
Супер! Если будут вопросы - пишите!
Спасибо! Стало яснее
Актуальная тема, всегда актуальная
Андрей, спасибо за хорошее видео! Получился идеальный дайджест для погружения в тему 🤝
О, круто. А то я написал в резюме, что уже не только исполнял, но и дизайнил это.😂
невозможно "исполнять" АВ тест без дизайна)
Спасибо большое!
На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.
Да - я говорил про статистическую мощность - бета величина обратная мощности. Очепятка
Жаль не было примеров с каким-то датасетом, чтобы на его примере рассчитать
Интересно ещё про историю с ratio-метриками, как их преобразовывать, может быть, тянет на отдельное видео
Могу ответить одним словом: линеаризация🙃На хабре лежит парочка интересных статей, как с такими метриками работать
Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)
Привет, спасибо за крутой разбор!
Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще)
Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?))
А порядок и логика в голове сложились такие:
1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна.
2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату.
3. Запускаем тест и даем ему пройти полностью.
4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически.
5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница?
6. Ищем дополнительные инсайты.
7. Принимаем решения об изменениях в продукте.
Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов
1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста
4. Evan miller calculator в помощь также
А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны
спасибо!
Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.
Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов
По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤
Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях?
В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове
Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно
теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!
Спасибо, Андрей! А можно разобрать какое-нибудь тестовое задание, которое высылают в ответ на резюме при приёме на работу?
Спс братишка, завтра гляну. Будем внедрять, а то аж стыдно как-то.
Супер супер супер - пиши если будут вопросы. Тема сложная, но базу освоить нетрудно
Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?
Спасибо, доверительный интервал ценности этого видео 100%!
Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)
Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.
Привет, про сэмпл сайз можно пример плз. Обычно бутстрепом на АА размер можно эффективно оценить
Какме курсы можешь посоветовать по AB тесты?
Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?
@@ИЗИ-я прогноз погоды! (Не шутка). Но по-любому придется осваивать фронт и немного бэк, если хочешь упаковать это в виде сайтика
Идея хорошая, но мне лень самому делать примеры для видео - будет побольше времени сделаю!
@@Noukash блинб, лень ужасная штука, у самого такая болезнь (
Почему вы такой грамотный и мотивированный на результат с женой.Я бы первые 40 к долларов заработал и уволился бездельничать.
Очень люблю учится и применять знания :) Ну и сейчас я живу в дорогом месте - тут 40к долларов это не так много
@@Noukash это здорово. Я даже как сис админ, слабо понимаю терминологию в видео. Но пока подписался, мотивируюсь по чуть чуть.
Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?
Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп.
По типам характера я делю аналитиков так (все очень условно):
продуктовый - холерик с общительностью выше среднего
маркетинговый - холерик с общительностью выше среднего
бизнес - сангвиник с максимальной общительностью
системный - флегматик с нормальной общительностью
датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего
@@shutka80 спасибо огромное! Супер-полезный комментарий
Меня часто спрашивают, знаю ли я AB тесты
Как ты провёл свой первый A/B тест?
глулый вопрос: у меня есть группа клиентов, у них конверсия в покупку 6%. как определить дисперсию этой величины?
Загугли про дисперсию распределения Бернулли - p(1-p) = 0.06*0.94
Удивительное рядом, но оно запрещено)))
сложнооооо:(( эти формулы меня пугают
Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.
Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)
Добавлю еще, что это может быть нужно для
1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному)
2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее
3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту
4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику
Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы.
Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.
автор, а это универсально для РФ СНГ и западного ИТ?
Это универсально для любого IT
как успехи с meta ?
Жду последнего этапа!
@@Noukash держим кулачки!
Непонятно про ЦПТ
ты это от себя говоришь? или продюсер))
я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...
Тяжело включать голову - бывает
что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом.
понятно одно - что на нальном этапе все это не имеет смысла
Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)
как успехи с meta ?