Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста
Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе
Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!
Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое
Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!
Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!
Поддержу других комментаторов - огромное спасибо!) Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅 Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤
Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!
Классное видео, спасибо. От себя добавлю: было бы классно, если бы использовалась общепринятая терминология: доп.метрики -- прокси-метрики, контр-метрики -- заграждающие метрики (guardrail metrics)
На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.
Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)
Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.
Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов
По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤ Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях? В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове
Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно
Привет, спасибо за крутой разбор! Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще) Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?)) А порядок и логика в голове сложились такие: 1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна. 2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату. 3. Запускаем тест и даем ему пройти полностью. 4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически. 5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница? 6. Ищем дополнительные инсайты. 7. Принимаем решения об изменениях в продукте.
Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов 1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста 4. Evan miller calculator в помощь также А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны
Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.
Спасибо, доверительный интервал ценности этого видео 100%! Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)
теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!
Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?
Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?
Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп. По типам характера я делю аналитиков так (все очень условно): продуктовый - холерик с общительностью выше среднего маркетинговый - холерик с общительностью выше среднего бизнес - сангвиник с максимальной общительностью системный - флегматик с нормальной общительностью датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего
Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?
Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.
Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)
Добавлю еще, что это может быть нужно для 1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному) 2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее 3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту 4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы. Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.
я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...
что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом. понятно одно - что на нальном этапе все это не имеет смысла
Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)
![ВПН Без Ограничений по Трафику [Ноябрь 2024]](http://i.ytimg.com/vi/aAr31HpmR6c/mqdefault.jpg)
Пожалуйста запиши видео как ты проводишь АБ тест, чтобы было понятнее как применяется формула выборки и вообще весь процесс. Пожалуйста пожалуйста пожалуйста
С твоего канала начался мой путь в аналитике 1,5 года назад. Хоть я уже и работаю в аналитике но видосы все равно смотрю, они топ. Спасибо за контент)
как успешно?
Второй лайк за понятное объяснение формулы расчета размера выборки. Обычно то, что гуглится, в большинстве случаев похоже скорее на формулу вызова дьявола, чем на то, чем будешь пользоваться в работе
Да - при этом гуглятся РАЗНЫЕ формулы - это вообще подстава - если не знаешь что искать то найдешь несколько разных формул)). Я постарался простыми словами объяснить что внутри к чему. Рад, что полезно!
спасибо!!! реально не зря потратила 47 минут) прям более лаконичного и простого объяснения, как это происходит в реальной работе, не встречала)
Супер! Я очень рад, что видео полезно! Чем сложнее топик, тем сложнее объяснить его "просто" и я рад, что у меня получилось!
Круто! Самое понятное и доходчивое объяснение всего процесса, от и до, не перегруженное теорией и формулами, грамотно разбавленное примерами и аналогиями! Спасибо большое
Спасибо большое за комментарий! Я старался сделать понятно, объяснить все простыми словами и одновременно достаточно глубоко чтобы было понимание, что откуда берется. Рад, что получилось!
Спасибо Андрей! Очень подробно и содержательно. Полиночке, особое спасибо за прекрасное оформление видео. Ребята видно, что у Вас жизнь налаживается во всех отношениях, особенно в рабочих моментах. Профи уровень растёт и это здорово. Так держать! Удачи!
Спасибо большое за комментарий! Полине передал! Жизнь кипит :)) Работаем! Очень приятная обратная связь - еще раз спасибо
Крутая тема, спасибо. Еще не прсмотрел, но начало нравится
Поддержу других комментаторов - огромное спасибо!)
Прочитал с десяток статей и посмотрел еще больше видео по аб-тестам, но только тут наконец-то есть простые и короткие формулы с пояснениями, а не выжимки из учебников по матану (а в разных источниках еще и разные формулы 😂), отдельная благодарность за пример про MDE, в последней статье которую читал, рекомендовали Монте-Карло всегда использовать 😅
Лайк поставил, видео в закладки сохранил, чувствую еще не раз буду пересматривать (при очередном запуске аб-теста) ❤
Спасибо большое за комментарий! Я так рад, что видео полезно и все понятно. Супер!
Про центральную предельную теорему хотелось бы подробнее. Видео супер
Согласен, пример сложен к восприятию
Андрей, спасибо большое за обучающие видосы ❤ такая информация в видео формате на вес золота))
Спасибо большое за лекцию! С удовольствие смотрел и конспектировал. Но хочется увидеть применение этих подходов на практике. Так сказать hands on кейс
Спасибо за видео! Очень внятное и понятное объяснение! Красава!
Лайк сразу за тему, посмотрю чуть позже
Поступлю так же
Боже, первый человек, который нормально написал формулу размера выборки и объяснил ее, везде какая-то жесть написана или вообще тупо ссылка на калькулятор
Да и в целом офигенный видос, который объясняет все адекватно по пунктам, спасибо огромное!
Спасибо! Рад что зашло!
О! Спасибо, Андрей! Это супер полезный гайд!)
Спасибо за такой качественный видос! Только начинаю вкатываться в аб-тестирование, ваш ролик очень помог 🤌
Большое спасибо!!! Кратко и по делу 👍
Спасибо! Стало яснее
Балдеж видос! Скину команде чтобы тоже в теме были))
Супер! Если будут вопросы - пишите!
Андрей, спасибо за хорошее видео! Получился идеальный дайджест для погружения в тему 🤝
Классное видео, спасибо. От себя добавлю: было бы классно, если бы использовалась общепринятая терминология: доп.метрики -- прокси-метрики, контр-метрики -- заграждающие метрики (guardrail metrics)
Актуальная тема, всегда актуальная
спасибо!
Спасибо большое!
О, круто. А то я написал в резюме, что уже не только исполнял, но и дизайнил это.😂
невозможно "исполнять" АВ тест без дизайна)
На 19:14 написано b - вероятность обнаружения эффекта если он существует. На самом деле вероятность обнаружения эффекта если он существует - это мощность и она 1-b. b - вероятность ошибки 2 рода, т.е. не увидеть разницы когда она есть.
Да - я говорил про статистическую мощность - бета величина обратная мощности. Очепятка
Интересно ещё про историю с ratio-метриками, как их преобразовывать, может быть, тянет на отдельное видео
Могу ответить одним словом: линеаризация🙃На хабре лежит парочка интересных статей, как с такими метриками работать
Жаль не было примеров с каким-то датасетом, чтобы на его примере рассчитать
Большое спасибо за видео! На русском ютубе на удивление огромная куча воды по Аналитике данных. Возможно, стоит сделать обновленный гайд по всем прикладным штукам и реальным кейсам в работе аналитика (разбора реальных задач почти нет)
Спасибо, Андрей! А можно разобрать какое-нибудь тестовое задание, которое высылают в ответ на резюме при приёме на работу?
Андрей, спасибо за очень крутой гайд! У меня возникли сомнения по поводу формулы расчета выборки. Я сейчас прохожу курс по А/В тестированию, и там дают такую же формулу оценки размера одной группы, но используют не std^2, a 2*std^2, так как мы должны брать в учёт стандартное отклонение обеих групп std_x^2 + std_y^2 = 2*std^2, так как на исторических данных стандартные отклонения контрольной и тестовой групп равны. На синтетических данных А/А и А/В тесты показывают, что с 2*std^2 ошибки первого и второго рода контролируются на заданном уровне.
Я бы сказал зависит от величины и известна ли или нужно аппроксимировать дисперсию. Есть способы вроде CUPED чтобы наоборот снижать размер выборки за счет исторических данных и в т.ч того чтобы убрать шум из результатов и снизить дисперсию результатов
По наполнению видео очень похоже на бесплатный курс по AB-тестам одной небезызвестной компании, но в то же время - это условная шпаргалка. Обязательно буду пересматривать перед собеседованиями. Спасибо большое за такой качественный контент❤
Также у меня есть вопрос: Насколько вообще целесообразно учить формулы матстата, по типу дисперсии, p-value, доверительных интервалов и т.д для различных тестов? Часто ли это спрашивают на собеседованиях?
В моем понимании это не самая полезная вещь, потому что, если ты знаешь, как это работает, тебе не составит труда это загуглить, и получится даже надежнее, чем когда ты держишь все это в голове
Главное понимать смысл формул, почему получается их применять и какие есть ограничения в тестировании. Знать все формулы 1 в 1 не обязательно и невозможно
Привет, спасибо за крутой разбор!
Все понравилось, единственное для меня - сложно было осознать до конца все используемые в видео формулы, как будто стоило им уделить чуууть больше времени и объяснить чуть проще)
Для меня как для практикующего продакта не совсем ясно, как и для чего их использовать. Самые проблемные - формулы расчет выборки и оценка p-value. Такое ощущение, что на практике можно отбросить формулы и пользоваться калькуляторами Evan Miller и Neil Patel, я верно тебя поняла?))
А порядок и логика в голове сложились такие:
1. Формируем гипотезу и готовим варианты. Убеждаемся, что нулевая гипотеза верна.
2. Определяем размер выборки через калькулятор на основе гипотезы и уровня доверия к результату.
3. Запускаем тест и даем ему пройти полностью.
4. Убеждаемся, что p-value нас устраивает (до 3%). Больше всего вопросов тут и совсем не понятно, как его посчитать более автоматически.
5. Рассчитываем доверительный интервал через калькулятор. Есть ли статистически значимая разница?
6. Ищем дополнительные инсайты.
7. Принимаем решения об изменениях в продукте.
Привет! Рад, что видео полезно! Да - я хотел уместить все самое важное в 40 минут поэтому конкретным формулам досталось меньше внимания) В общем и целом можно пользоваться калькуляторами - единственное пара моментов
1. То что нулевая гипотеза верна это наше предположение которое мы можем опровергнуть или не опровергнуть в результате теста
4. Evan miller calculator в помощь также
А в остальном +- по шагам все правильно - обязательно уделить внимания достаточно метрикам - какие метрики будете мерить и какие важны
Привет, про сэмпл сайз можно пример плз. Обычно бутстрепом на АА размер можно эффективно оценить
Спасибо за видео. Я пытаюсь самообучиться аналитике немного и конечно больше половины видео для меня совершенно не понятно. Наверное, оно для тех кто уже в аналитике так или иначе.
Спасибо, доверительный интервал ценности этого видео 100%!
Скажи пожалуйста, чтобы юзать ремоут конфиг его же все равно надо загрузить в новую версию аппы и получается мы все равно выкатываем новую версию перед АВ? Или если не обновляем аппу, то там какие-то ограничения для конфига, типо можно поменять текст и картинку на пейволе, но дизайн пейвола и цены нельзя. Потому что я разрабам говорил что новая версия не нужна, но они говорят что без нее не обойтись)
Спс братишка, завтра гляну. Будем внедрять, а то аж стыдно как-то.
Супер супер супер - пиши если будут вопросы. Тема сложная, но базу освоить нетрудно
Какме курсы можешь посоветовать по AB тесты?
теория - это конечно хорошо, но если бы эти 40 минут ты разбирал и комментировал практический пример - это было бы куда более полезно. в любом случае благодарю!
Как тебе идея для видео про pet-проекты для аналитика, на просторах интернета нет особо информации, а темка то интересная и полезная. Понятное дело для разработчиков, они пишут софт (фронт/бэк). А что в этой теме можно сделать аналитику?
@@ИЗИ-я прогноз погоды! (Не шутка). Но по-любому придется осваивать фронт и немного бэк, если хочешь упаковать это в виде сайтика
Идея хорошая, но мне лень самому делать примеры для видео - будет побольше времени сделаю!
@@Noukash блинб, лень ужасная штука, у самого такая болезнь (
глулый вопрос: у меня есть группа клиентов, у них конверсия в покупку 6%. как определить дисперсию этой величины?
Загугли про дисперсию распределения Бернулли - p(1-p) = 0.06*0.94
Здравствуйте, Андрей! Спасибо за видео. Хочу устроиться в IT, чтобы получить знания и опыт и затем открыть свой бизнес (не обязательно именно в IT сфере). Для этого выбрал профессию аналитика, подумал, что владение данными это основа бизнеса. Но аналитиков много: бизнес-аналитик, системный аналитик, data scientist, продуктовый аналитик, маркетинговый и пр. Вы не подскажете, что актуальнее всего было бы для моей цели?
Выбирайте стезю продуктового аналитика. Это самые близкие к реальному бизнесу ребята. Научитесь считать рентабельность, разные полезные метрики, находить инсайты, точки для роста, слабые места, четко формулировать и ставить цели для своего будущего бизнеса. Если бизнес будет в высоконкурентной сфере, то будет не лишним освоить маркетинговую аналитику - это про эффективное взаимодействие с аудиторией, как на нее влиять (ARPU, ARPPU, CPC...). Бизнес аналитик должен знать BPNM - его основная роль как у компилятора в языке программирования: переводить запрос бизнес заказчика на язык понятный программистам. Бизнес аналитик должен уметь качественно вести диалог как с заказчиком так и с бэкендом. Тут меньше всего требуется непосредственное владение разными техническими инструментами, но необходимо хорошее понимание процессов разработки и владение терминологией. Системный аналитик, напротив, должен хорошо знать железо. Это человек, который оценивает текущую инфраструктуру компании и дает рекомендации с заделом на будущее по ее развитию. Тут надо шарить про инновации в железе и сервисах, разницу между колоночными и строчными БД ну и тд. Дата сайнтист - это про обучение моделей. В реальном бизнесе на себя вряд ли оправдает отношение потраченные ресурсы/выхлоп.
По типам характера я делю аналитиков так (все очень условно):
продуктовый - холерик с общительностью выше среднего
маркетинговый - холерик с общительностью выше среднего
бизнес - сангвиник с максимальной общительностью
системный - флегматик с нормальной общительностью
датасайнтист - флегматик/ меланхолик с УСИДЧИВОСТЬЮ, общитительность ниже среднего
@@shutka80 спасибо огромное! Супер-полезный комментарий
Почему вы такой грамотный и мотивированный на результат с женой.Я бы первые 40 к долларов заработал и уволился бездельничать.
Очень люблю учится и применять знания :) Ну и сейчас я живу в дорогом месте - тут 40к долларов это не так много
@@Noukash это здорово. Я даже как сис админ, слабо понимаю терминологию в видео. Но пока подписался, мотивируюсь по чуть чуть.
Меня часто спрашивают, знаю ли я AB тесты
Какие книги можете посоветовать по аналитике данных, бизнес-аналитике, продуктовой аналитике, статистике, АБ - тестированию, визуализации, метрикам для аналитиков, принимать решение на основе аналитики?
автор, а это универсально для РФ СНГ и западного ИТ?
Это универсально для любого IT
Интересное видео, но возник тупой вопрос: А зачем нужны отдельные инструменты для a\b тестов, когда есть Python и R? Я не аналитик данных, но статистический анализ провожу. Все приведенные тесты я могу проводить в R. Единственная фича отдельных инструментов для a\b тестов, как я понял, в том, что бы результаты тестов сразу подгрузить в продукт.
Нужно технически как то сплитовать пользователей - показывать им разные варианты, удаленно менять параметры, запускать и останавливать тест. Я про это и говорю, что статистический анализ можно сделать ручками, но нужна платформа для управления самим тестом)
Добавлю еще, что это может быть нужно для
1) продакт менеджеров и маркетологов - им тоже может быть нужно тестить несложные гипотезы (условный цвет кнопок) + инструментарий для принятия данных когда не нужно разбираться с формулами или кодом на питоне (это не всегда хорошо, и лучше проводить все с аналитиком, но бывает по разному)
2) Если нужно запускать и проводить много однотипных аб-тестов - это банально быстрее и удобнее
3) Так легче поддерживать консистентность тестов - всегда будет применен один подход к тесту
4) Получение данных для рассвета метрик (на примере вариокуба из Яндекса) - не все данные можно получить в сыром виде, а такое решение может быстро обсчитать нужную метрику
Ну и то, что сказал Андрей - инструмент как сплитовалка, которая будет всегда корректно делить трафик на группы.
Но у них много ограничений, естественно, поэтому большие компании обычно имеют либо свой инструмент, либо самоличные системы.
сложнооооо:(( эти формулы меня пугают
как успехи с meta ?
Жду последнего этапа!
@@Noukash держим кулачки!
Удивительное рядом, но оно запрещено)))
Как ты провёл свой первый A/B тест?
Непонятно про ЦПТ
ты это от себя говоришь? или продюсер))
я через 5 минут уже спать захотел.. Можно сразу по делу, а ползать в каких то частных случаях из ниоткуда в никуда.. ? 5й класс учебника по физике в помощь.. Дано, найти, решение... и не придется по 15 минут языком воду толочь.. А то получается фиг знает что делаем, фиг знает какими методами, и фиг знает что получаем на выходе... человек сидит с этими метриками как дурачок с фантиками играется и сам не знает чего вообще от них хочет...
Тяжело включать голову - бывает
что то на 17 мин. я уже приуныла. как то не очень понятно - чувствуется что на практике не распробовано, просто теория из сети озвученная голосом.
понятно одно - что на нальном этапе все это не имеет смысла
Это все теория наложенная на практический опыт) Я АБ тестов за свою карьеру запускал и оценивал сотни. Если вам непонятно - можно пересмотреть несколько раз или попозже на свежую голову - ну или предметно задать вопрос)
как успехи с meta ?