Очень крутой контент. Спасибо ребята. Было бы ещё интересно послушать как происходит взаимодействие с разработчиками во время A/B тестирования. Понимаю, что канал больше с аналитическим уклоном, но ведь в организации и проведении исследовательской работы участвует много людей и это накладывает дополнительные сложности.
А Если серьезно, то очень круто! Огромное спасибо! Гость шикарен, про Анатолия вообще даже говорить не буду, все супер) Мне как новичку, было достаточно понятно, кроме понятия Bootstrap и еще одной аббревиатуры, которая "глобальный чет там") но как бы никто мне мешает загуглить) подписался и буду смотреть другие видосы.
Не совсем понятно, как бутстрэп поменять на глобальном CR. Если мы сравниваем всего две группы пользователей, то будет два соотношения клики к просмотрам в одной и клики к просмотрам в другой. Что там бутстрэпить?
@@mikhailgerasimov2199 АБ тесты подборка от Никиты Маршалкина 1. Бомбическая книжка: experimentguide.com 2. Кладезь информации про А/Б в индустрии: exp-platform.com 3. Practitioner’s Guide to Statistical Tests: medium.com/@vktech/practition... 4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/ 5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530 6. Заметки с саммита по экспериментам на KDD’19: research.fb.com/publications/... 7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
Как-то много о процессе и очень мало о сути. Видимо поэтому Никита уже не работает в VK :) 1. Не сказано о необходимости измерять прокси метрики - как изменения, внедренные по итогам A/B тестов могут негативно повлиять на метрики других фич. 2. Не сказано о необходимости рассчитывать размер сэмпла и продолжительность теста. 3. Не сказано о необходимости оценки вероятности того, что полученные статистические данные валидны (P-Value, A/A тест и т.п.)
Что значит для t-теста не нужна нормальность данных, а нужна нормальность среднего ? У нас в предпосылках должно выполняться именно нормальность распределения данных. Нормальность среднего - это если мы генерируем много выборок новых и смотрим на то, как оно распределено. Можно пояснить этот момент, пожалуйста
Что мешает проводить тесты независимых гипотез только на двух группах, когда пользователей мало? В перекрытии все равно будет часть таких пользователей. Ну или группы можно случайным образом набирать из одних и тех же людей.
Подскажите пжл: у меня контроль и тест(менеджер - продажи, по 57 менеджеров в каждой выборке), распределенные ненормальное. Правильно ли я понимаю, что у меня 2 пути проверки стат. значимости: 1) Смотреть абсолютные значения продаж и тогда использовать Манна-Уитни 2) Смотреть среднее значение продаж по каждой из групп и тогда можно использовать Т-критерий? Вопрос возникает по второму пути: Т-критерий требует подсчета среднего квадратичного отклонения. Однако, распределение ненормальное. Значит и считать среднее квадратичное отклонение будет не уместно?
Даже если распр ненорм, то применить т-тест можно, просто могут возникнуть нежелательные спецэффекты, но считать при этом нужно все по той же оригинальной формуле без изменений. В вашем случае можно сделать: 1) Понять насколько сильно распределение отклоняется от нормального, если отклонение несильное, то можно спокойно применять т-тест 2) Трансформировать распределение, то есть привести к нормальному и затем применить т-тест + как вариант еще можно использовать бутстрап
@@TheJosebaxter спасибо за ответ! У меня что-то ближе к Пуссоновскому распределению, если на глаз смотреть. Проверял критерий нормальности для выборки - распределение ненормально:( Бутстреп хочу попробовать как раз в ближайшее время.
@@karpovcourses , "подумал ТО, что", "увидел ТО, что", "узнал ТО, что" вместо "подумал, что"; "увидел, что"; "узнал, что".. Непонятно, когда это началось и почему.. невозможно от этого абстрагироваться, смотришь же и вникаешь в смысл, а вот это все время сбивает))) Понятно. что что это мой бзик, но вот так))
Кто из курса основы статистики? 👋
Мне кажется больше половины. У меня с Толиных курсов начался карьерный трек в анализ данных
Я
Огонь интервью - очень интересно и структурированно рассказали! Всё чётко, без воды, и с примерами.
Какие же вы офигенные и ПОНЯТНЫЕ! Обожаю)
Толя, если этот канал не взлетит, я разочаруюсь в аналитиках 😁
Сейчас все будет!)
очень крутое интервью, получила ответы на все свои вопросы относительно того "а как в индустрии" ) спасибо 🙏
Бесподобное интервью! 37 минут бесконечно полезной информации. Подача на высоте - простыми словами о сложном. Спасибо!
хитрый ход по продвижению ролика) размещение ссылки на него на степике)) лайк!
Ну а почему нет? Инфа то полезная и из первых рук по сути
Ребята, классно рассказываете! Спасибо! Очень четко и структурировано !
Очень крутой контент. Спасибо ребята. Было бы ещё интересно послушать как происходит взаимодействие с разработчиками во время A/B тестирования. Понимаю, что канал больше с аналитическим уклоном, но ведь в организации и проведении исследовательской работы участвует много людей и это накладывает дополнительные сложности.
Не знал про пуасонновский бутстрап, клевый трюк, спасибо вам :)
На нашем канале и не такое узнаете! Привет Артем! :)
Анатолий, Никита, спасибо, очень круто! И книжку почитаю, тоже начинаю тонуть в статьях)
Спасибо огромное! Очень интересное интервью!
Спасибо, мега полезно. За линки отдельный респект, ребята.
Очень тонкий момент про подглядывание. Про него точно стоит почитать/поговорить отдельно
Отличное интервью🍄🍒
Спасибо за интересное видео и ценнейшие ссылки! Буду изучать)
так живо и интересно. Спасибо за выпуск!
профессионал поясняет за вещи, кайф
Спасибо за видео!
Зрители дайте книгу на скачивание или на покупку. Зрители пожалуйста 😫🙏🙏💓
Спасибо, было очень интересно послушать.
Интересный материал, спасибо за видео!
сравнение линеечкой - это про Эвклидово расстояние и DTW (в случае временных рядов)?
Спасибо, было интересно!
Полезно, интересно. Большое спасибо)
Проклятый мир который мы сами и создали - специалист по DS изучает что лучше: сердечко или палец вверх.
А разве для t-теста не важна нормальность данных?
Ничего не понятно, но очень интересно)
А Если серьезно, то очень круто! Огромное спасибо! Гость шикарен, про Анатолия вообще даже говорить не буду, все супер) Мне как новичку, было достаточно понятно, кроме понятия Bootstrap и еще одной аббревиатуры, которая "глобальный чет там") но как бы никто мне мешает загуглить) подписался и буду смотреть другие видосы.
глобальный CTR!
@@karpovcourses он самый)
о по вэб-аналитике есть видосы? Или, может быть, будут?..
Будут! Следите за анонсами!
Не совсем понятно, как бутстрэп поменять на глобальном CR. Если мы сравниваем всего две группы пользователей, то будет два соотношения клики к просмотрам в одной и клики к просмотрам в другой. Что там бутстрэпить?
Можно ссылку на статью о методах в А/Б тестах?
Большое спасибо за ролик! Подскажите, пожалуйста, когда будут ссылки на упомянутые в ролике материалы? Заранее благодарю.
@@mikhailgerasimov2199
АБ тесты подборка от Никиты Маршалкина
1. Бомбическая книжка: experimentguide.com
2. Кладезь информации про А/Б в индустрии: exp-platform.com
3. Practitioner’s Guide to Statistical Tests: medium.com/@vktech/practition...
4. Пуассоновский бутстрап и бакетизация: research.google/pubs/pub43157/
5. Эксперименты в соцсетях: arxiv.org/abs/1404.7530
6. Заметки с саммита по экспериментам на KDD’19: research.fb.com/publications/...
7. Туториал по построению оптимизации в b2c продуктах: onlineuserengagement.github.io/
@@karpovcourses ссылка по номеру (3) умерла. Есть ли возможность её оживить?
@@vasiliidovedov3675 вы о Practitioner’s Guide to Statistical Tests?
Проверил, открывается
@@karpovcourses Подскажите пож-та, помимо 1-й книги, Анатолий упомянул, что от этих ребят имеется плейлист с видео, можете поделиться?
Сначала все было понятно, а потом "бутстреп на спарке", и я такая "чтооо" (п.с. я с курса статистики)
Всего 7 мес обучения на курсах и понял, в принципе, всё, о чём они говорят))
Как-то много о процессе и очень мало о сути. Видимо поэтому Никита уже не работает в VK :)
1. Не сказано о необходимости измерять прокси метрики - как изменения, внедренные по итогам A/B тестов могут негативно повлиять на метрики других фич.
2. Не сказано о необходимости рассчитывать размер сэмпла и продолжительность теста.
3. Не сказано о необходимости оценки вероятности того, что полученные статистические данные валидны (P-Value, A/A тест и т.п.)
Посоветуете что-то конкретное и понятное?
бомба
Что значит для t-теста не нужна нормальность данных, а нужна нормальность среднего ? У нас в предпосылках должно выполняться именно нормальность распределения данных. Нормальность среднего - это если мы генерируем много выборок новых и смотрим на то, как оно распределено. Можно пояснить этот момент, пожалуйста
По началу не узнал Анатолия😂😂😂 В видео курса - классический ботан. В ролике ... совсем другой образ...
Что мешает проводить тесты независимых гипотез только на двух группах, когда пользователей мало? В перекрытии все равно будет часть таких пользователей. Ну или группы можно случайным образом набирать из одних и тех же людей.
Подскажите пжл: у меня контроль и тест(менеджер - продажи, по 57 менеджеров в каждой выборке), распределенные ненормальное. Правильно ли я понимаю, что у меня 2 пути проверки стат. значимости:
1) Смотреть абсолютные значения продаж и тогда использовать Манна-Уитни
2) Смотреть среднее значение продаж по каждой из групп и тогда можно использовать Т-критерий?
Вопрос возникает по второму пути: Т-критерий требует подсчета среднего квадратичного отклонения. Однако, распределение ненормальное. Значит и считать среднее квадратичное отклонение будет не уместно?
Даже если распр ненорм, то применить т-тест можно, просто могут возникнуть нежелательные спецэффекты, но считать при этом нужно все по той же оригинальной формуле без изменений.
В вашем случае можно сделать:
1) Понять насколько сильно распределение отклоняется от нормального, если отклонение несильное, то можно спокойно применять т-тест
2) Трансформировать распределение, то есть привести к нормальному и затем применить т-тест
+ как вариант еще можно использовать бутстрап
@@TheJosebaxter спасибо за ответ!
У меня что-то ближе к Пуссоновскому распределению, если на глаз смотреть.
Проверял критерий нормальности для выборки - распределение ненормально:(
Бутстреп хочу попробовать как раз в ближайшее время.
@@andreykozik253 и что вы в итоге сделали?)
@@bokshalex сейчас уже не особо помню, но вроде бы бутстрепом
27:38
А почему не применяются байесовские тесты на практике?
На самом деле применяются. towardsdatascience.com/bayesian-a-b-testing-and-its-benefits-a7bbe5cb5103
Я одно только не пойму, кто все эти люди, которые добавляют друзей ВК))Я уже много лет никого не добавляю, я думала большинство так))
бесит только "то, что", никак не могут привыкнуть, ЧТО молодежь теперь так говорит(((
Что говорит?)
@@karpovcourses , "подумал ТО, что", "увидел ТО, что", "узнал ТО, что" вместо
"подумал, что"; "увидел, что"; "узнал, что".. Непонятно, когда это началось и почему.. невозможно от этого абстрагироваться, смотришь же и вникаешь в смысл, а вот это все время сбивает))) Понятно. что что это мой бзик, но вот так))
@@01sver4OK понятно!
.