[데이터야놀자 2023] 당신의 A/B Test를 신뢰할 수 없는 이유 - 방태모님

방태모님의 데이터야놀자 2023발표입니다.
-
실험에서 숫자를 얻는 것은 쉽지만, 신뢰할 수 있는 숫자를 얻는 것은 어렵습니다. 신뢰도 높은 실험을 위해 우리가 인식해야 할 것들, 우리가 모르고 지나칠 수 있는 함정을 발견할 수 있는 방법에 대해서 이야기해보고자 합니다.
#A/BTest #A/ATest #Trustworthy

[@AI_Suara]

정말 중요한 내용인것 같습니다. 좋은 발표 감사드립니다!

[@taemobang4489]

안녕하세요. 발표자입니다. 발표 영상 중 20:20 부터 쭉 설명이 나오는 "사용자 단위 지표 외 다른 지표가 필요한 경우 Bias 없이 분산을 추정하는 방법"에 관해 잘못 전달 드린 내용이 있습니다. "사용자 단위 지표를 사용하지 않는 경우, 즉 실험 단위와 분석 단위가 일치하지 않는 경우 Bias 없이 분산을 추정하기 위해서는 Delta method를 사용해야한다." 라는 내용을 전달드렸었는데 이는 잘못된 내용입니다.
Delta method는 A/B Test의 주된 관심인 관심 지표의 Delta%(대조군 대비 실험군의 관심지표 변화율)에 관한 분산 식을 추정할 때 사용하는 수리통계학적 방법론에 해당하며, 사용자 단위 지표를 사용하지 않을 경우 발생하는 분산 편향에 대해서는 2가지 해결책이 있습니다. 첫째, 지표를 사용자 단위로 바꿔서 계산한다, 둘째, 붓스트랩 샘플링을 통해 두 집단의 표본평균의 비(Delta%에 관한 분산은 실험군과 대조군의 표본평균의 비에 관한 분산식으로 정리됩니다)에 관한 통계량의 분포를 경험적으로 추정함으로써, Delta%에 관한 분산을 직접 추정해버린다.
댓글이 길어질 듯 하여 짧게 설명드렸는데, 자세한 내용은 링크드인 포스팅을 참고해주시기 바랍니다: www.linkedin.com/posts/taemo_%EB%8B%B9%EC%8B%A0%EC%9D%98-ab-test%EB%A5%BC-%EC%8B%A0%EB%A2%B0%ED%95%A0-%EC%88%98-%EC%97%86%EB%8A%94-%EC%9D%B4%EC%9C%A0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EC%95%BC%EB%86%80%EC%9E%90-2023-activity-7127650790692835328-kKVg?

[@mytype5045]

좋은 발표 감사합니다!