Как правильно планировать и проводить АВ тесты // Вячеслав Коськин, OZON Tech

О докладе:
Что общего у АВ-тестов и у фиолетового цвета прически? Они не всем подходят. Доклад покажет блокеры, возникающие, когда в процесс поставки новых фич встраивается АВ-тестирование. Срыв сроков проектов. Излишние затраты на нерелевантные исследования. Неверные выводы о новых фичах. Разберем ошибки на кейсах. Вячеслав расскажет, как планировать тест, чтобы не было мучительно больно. Покажет правильный подход к встраиванию АВ-тестов в цикл продуктовой разработки, чтобы минимизировать потенциальные потери ресурсов и времени.
О спикере:
Наши команды обеспечивают работу комбайна для АВ-тестов. Много кроссдоменных проектов и новых фич, так как платформы - это централизованные решения, которые работают на 100+ команд. Выдерживая адские нагрузки нагрузки мы обеспечиваем методологический подход к проведению и анализу АВ-тестов. Комбайн заменяет десятки рук аналитиков и разработчиков и поставляет стабильные данные для продактов всех вертикалей Озона. В мой домен ответственности входит весь процесс АВ-тестирования: контроль выполнения правил регламента АВ-тестов, поддержка аналитиков и продактов в экспертизе проведения экспериментов, арбитраж споров по результатам АВ между командами, ведение команды исследователей методологии АВ-тестирования, ведение команды разработки АВ платформы. Много человекочасов выслушанной боли на тему АВ тестов и продуктовой аналитики. Много крутых архитектурных решений для решения этой боли в двух непростых высоконагруженных технических продуктах. Плотнейший контакт с метриками и методологией оценки эффективности фич и продуктов.
#CrossConf #CrossConf2023 #Head