Андрей, спасибо большое за такое подробное видео, ещё и короткое. Никак не удавалось понять, что такое p-value и доверительный интервал, не усваивалась информация, а после вашего видео стало наконец понятно. Про прокси-метрики вообще не попадалась информация, очень круто объяснили!
Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше: Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста? Про инструменты, полагаю нужно отдельное видео ))
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так.... Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним bytepawn.com/ab-testing-and-the-ttest.html
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
Привет, Андрей! Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам: 1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям. 2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж) Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ! Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал)) Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
Андрей, спасибо большое за такое подробное видео, ещё и короткое. Никак не удавалось понять, что такое p-value и доверительный интервал, не усваивалась информация, а после вашего видео стало наконец понятно. Про прокси-метрики вообще не попадалась информация, очень круто объяснили!
Классная подача - четко, по делу и с таким позитивом. Спасибо!😊
Уместить столько инфы в 10 минут, круто
Спасибо! Рад, что полезно!
Андрей, спасибо вам! И правда, простое и доступное объяснение (это я вам говорю как махровый гуманитарий, который пересмотрел кучу видео и прочёл несколько статей, но доходчиво объяснили только вы) :) спасибо!
Вот бы мастер-класс по всему процессу)) спасибо.
Очень полезно, информативно, без воды!
Рад, что видео полезно!
Спасибо за полезное видео!
Крутое, доступное и краткое обьяснение
Спасибо!
Спасибо, Андрей!
А вот и новые знания подкатили :)
Пошел за яблочками к видео ^_^
Огромное спасибо зи информацию, понял что допускал ряд ошибок в своей работе, тема АБ тестов заиграла новыми красками))
Супер полезно и коротко о главном :) Спасибо!
Спасибо за такой крутой контен🤘
Андрей, а кто в команде за какие активности отвечает? Например, продакт выдвигает гипотезу и определяет: что будем тестировать, какие метрики используем, что ожидаем и в какие сроки, достаточное количество трафика для проверки и т.д. А вот дальше:
Кто выполняет техническую часть? Используется внешний инструмент или ...? Какая в данном процессе роль аналитика? Какие члены команды участвуют в обсуждении гипотез и конкретно этого теста?
Про инструменты, полагаю нужно отдельное видео ))
Большое спасибо за интересный и содержательный выпуск.👍👍👍
Красавчик! Подписка
Подписался. Офигенно.
И напишу еще 2 слова, чтобы алгоритмы ютуба засчитали этот комментарий.
Видишь Андрея - лайк не глядя
Тот случай, когда кликнул по видео, чтобы узнать значение термина, но что-то пошло не так....
Мое скромное мнение - раз уж видео называется "простыми словами", то в начале неплохо бы дать определение , желательно "на пальцах"
Красава, быстро и понятно
Как насчёт А/А теста ?
И интересны методы по ускорению А/В тестов
Понятно что в 10 минутный формат не укладывается но все же.
Сниму про ускорение обязательно!
Очень полезно!
спасибо! надо бы про АА тест сказать и его необходимость перед АВ
Сколько по времени нужно проводить АBтестирование? Есть ли какие-то стандарты? Например не менее недели. Сколько минимально, если например заменили цвет кнопки.
Все зависит от размера выборки. Нужно проводить пока не наберется достаточная выборка для определения стат значимости
зависит от сезонности бизнеса. зачастую меньше недели смысла проводить нет, т.к. поведение пользователей в разные дни недели может отличаться
А что посоветуете почитать по этой теме, чтобы легко проходить собеседования
топ!!! автор выбрал язык фактов
Как стать респондент а/в тестов? как проходить тесты и зарабатывать ?
Сколько месяцев учиться языкам программирования, нужным для проведения в б теста в профессии аналитика?
Спасибо большое за видео! А как чаще всего проверяется статистическая значимость: T-тест, Z-тест, U-тест?
Это зависит преимущественно от метрики и от сэмпл сайза. У меня в работе в основном я выбираю между двумя вариантами t-test и z-test. Вот неплохое объяснение про разные юз кейсы по ним
bytepawn.com/ab-testing-and-the-ttest.html
4:50 Что-то я здесь эту логику не совсем понял: вот есть покупатели, которые приходят, покупают и на 7-й день возвращается определённый процент. Если мы просто увеличим траффик и будет больше покупателей, то их будет больше и на 7-й день, но в абсолютном значении, а в относительном процент будет примерно тот же, потому что значимых действий (например, какой-то новый сервис) с нашей стороны не было, чтобы люди возвращались чаще.
Нет - я говорил про то, что процент вернувшихся на 7 день кореллирует с процентом вернувшихся через один день и эта метрика больше и на неё проще таргетировать АБ тест
@@Noukash а, тогда недопонял изначально.
Привет, Андрей!
Недавно начал смотреть твой канал, очень интересно и познавательно. У меня вопрос немного не по теме...если ты ведущий аналитик (айтишник), на удалёнке, с хорошей зп, зачем тебе заниматься ютубом? Это же наверняка занимает много времени и сил...сюжет, съемка, монтаж и тд. Это как хобби? Я без претензий, действительно интересно.
Привет! Рад, что канал полезен и добро пожаловать. На самом деле ютуб большая часть жизни. Занимаюсь по двум основным причинам:
1. Мне действительно нравится объяснять и доносить информацию. Я чувствую в этом большую пользу. Так первые пару лет канала на нем почти не было просмотров, но все равно я был рад, если это помогло 30-40 людям.
2. Это хороший дополнительный доход. Во первых за счет рекламы в видео, во вторых за счет интенсива, который я провожу по поиску работы за границей. Часть этого отбивает затраты на производство видео (студия, оператор, монтаж)
Первая причина для меня важнее, чем вторая. То есть я бы не стал делать бесполезные видосы или липовые курсы. Просто люблю рассказывать, то что знаю.
Большое спасибо за такой развернутый ответ!
Впервые общаюсь с автором канала на Ютубе, это здорово! Я никому раньше не писал))
Благодаря тебе и твоему каналу начал изучать SQL (для начала), очень интересно. Продолжай в том же духе!👍
Спасибо! Удачи с обучением!
Спасибо за видео, а почему не проводят A/A/B тесты? Везде слышу, что так не делают, но почему так не делают, никто не говорит)
А зачем A/A/B тесты?) Почему не A/A/A/B?)
Андрей, а почему кольцо на левой руке?😉
он что-то понял.
Подскажите, на каких платформах делать АБ для web и app тестов?
И что в итоге a/b тесты?
Кто-нибудь может разъяснить, что подразумевается в самом конце 4 пункта под небольшой базой в 1000?
Я имел в виду, что разница в конверсии может быть большой но на маленькой выборке она не статистически значима
А что такое то A/B тестирование? И для чего оно нужно? С первых секунд уже ничего не понятно
Есть еще один способ - байесовские тесты. И там проблемы подглядывания, МДЕ - все это идет к черту. Очень советую почитать или поспрашивать чатгпт про это безобразие
А б тестирование простыми словами. Так че это вообще, в видео не говорится
Ваще ниче не поняла хдддд
шо за продукты аналитишь
Не хватило самых простых определений: p-value, etc.