안녕하세요, 베이지안 공부하면서 기초적인 건데 궁금해서 질문 남깁니다. Frequentist 방법으로는 회귀분석하고 나온 beta hat을 normal 분포 따른다고 구간추정에 사용하잖아요. 그런것 처럼 베이지안에서는 95% credible interval을 구간추정에 사용하는구나 까지는 이해했습니다. 그러나, 거꾸로 베이지안으로 추정해서 얻은 posterior 회귀계수는 특정 통계분포를 가정해서 추론에 사용한건 본적이 없는거 같습니다. 그래서 드리고 싶은 질문은 MCMC로 sampling해서 얻은 회귀계수의 posterior distribution은 정규분포를 따른다고 할수는 없는건가요? 아니면 따른다고 해도 베이지안에서는 추론에 사용하지 않는 이유가 있는 것 인가요? 기초적인 이항분포나 정규분포의 추론에서 conjugate prior 사용하면 posterior도 특정 통계분포를 따르는 걸로 알고 있는데 추론에서는 사용한건 본적이 없는것 같아서 혼동이 되어서 질문이 드립니다.
추론에 posterior 분포를 사용합니다! 다만 질문자께서 헷갈리시는 부분은 1. Frequentist에서 추정량(mle 등)의 분포는 "데이터의 분포"입니다. 똑같은 분포를 따라는 무수히 많인 데이터 각각에서 똑같이 코드짜서 돌리면 어떤 추정값이 나오지?를 말해주는 분포입니다. 2. Bayesian의 posterior분포는 추정량이 추정하고자 하는 모수의 분포입니다. "주어진 데이터 하나만 딱 보고 나서 모수의 분포에 대한 내 믿음이 얼마나 달라졌나?"에 대한 대답입니다. 결국 두 접근의 차이점은 질문의 차이에서 나옵니다. 예를 들어 구간 추정을 한다고 하면, Frequentist 추론이 답하고자 하는 질문은 "어떤 구간을 정하는 알고리즘을 내가 짜봤다. 똑같은 분포를 따르는 데이터 각각에서 이 알고리즘 돌리면 100번 중에 95번은 진짜 모수가 이 안에 있을거다"입니다. Bayesian에서는 "있지도 않은 가상의 데이터같은거 관심없고, 일단 지금 이 데이터 하나만 봤을때, 이 구간 안에 진짜 모수가 있을 확률이 95%가 되도록하는" 구간을 제시합니다. 똑같은 random 구간이지만, 전자에서는 그 랜덤의 출처가 데이터라면, 후자에서는 모수에 대한 무지입니다. 모르니까 일단 확률변수로 보고 생각한다! 얼렁뚱땅 말했는데 대답이 되셨을까요!
@@HunLearning 친절한 답변 정말 감사합니다! 많은 도움이 되었어요^^ 베이지안과 빈도론의 관점 차이를 이해해야하는 군요. 계속 여쭤봐서 죄송하지만 혹시 이어서 질문하나 더 드려도 될까요? 그렇다면 만약에 prior를 정규분포라고 가정했을 때, 나의 자료가 posterior의 분포를 알수없는 형태로 (그러니까 정규분포가 아닌 모양 같이) 바꿔버리는 자료가 있다고 하면, 그렇다면 posterior의 분포는 여전히 정규분포를 따른다고 하는건가요? 아니면 그냥 posterior 분포라고 하는건가요? 전공자가 아니다보니 궁금한 건 많은데 마땅히 여쭤볼만한 곳이 없어서 염치없이 또 질문드려요.
![[간지나는 베이즈] 5주차 02 Bayesian Linear Regression 깁스샘플링을 이용한 모델 선택 알고리즘](http://i.ytimg.com/vi/BExVugy5LOc/mqdefault.jpg)
![[간지나는 베이즈] 5주차 02 Bayesian Linear Regression 깁스샘플링을 이용한 모델 선택 알고리즘](/img/tr.png)
![[Paper Review] Bayesian Inference: An Introduction toPrinciples and Practice in Machine Learning](/img/1.gif)
이분 천재신듯..책상 쾅퇑칠때마다 등골에 소름돋네 간지 ㅈㄴ 진짜 나네요
이게 강의지
안녕하세요, 베이지안 공부하면서 기초적인 건데 궁금해서 질문 남깁니다. Frequentist 방법으로는 회귀분석하고 나온 beta hat을 normal 분포 따른다고 구간추정에 사용하잖아요. 그런것 처럼 베이지안에서는 95% credible interval을 구간추정에 사용하는구나 까지는 이해했습니다. 그러나, 거꾸로 베이지안으로 추정해서 얻은 posterior 회귀계수는 특정 통계분포를 가정해서 추론에 사용한건 본적이 없는거 같습니다. 그래서 드리고 싶은 질문은 MCMC로 sampling해서 얻은 회귀계수의 posterior distribution은 정규분포를 따른다고 할수는 없는건가요? 아니면 따른다고 해도 베이지안에서는 추론에 사용하지 않는 이유가 있는 것 인가요? 기초적인 이항분포나 정규분포의 추론에서 conjugate prior 사용하면 posterior도 특정 통계분포를 따르는 걸로 알고 있는데 추론에서는 사용한건 본적이 없는것 같아서 혼동이 되어서 질문이 드립니다.
추론에 posterior 분포를 사용합니다! 다만 질문자께서 헷갈리시는 부분은
1. Frequentist에서 추정량(mle 등)의 분포는 "데이터의 분포"입니다. 똑같은 분포를 따라는 무수히 많인 데이터 각각에서 똑같이 코드짜서 돌리면 어떤 추정값이 나오지?를 말해주는 분포입니다.
2. Bayesian의 posterior분포는 추정량이 추정하고자 하는 모수의 분포입니다. "주어진 데이터 하나만 딱 보고 나서 모수의 분포에 대한 내 믿음이 얼마나 달라졌나?"에 대한 대답입니다.
결국 두 접근의 차이점은 질문의 차이에서 나옵니다. 예를 들어 구간 추정을 한다고 하면, Frequentist 추론이 답하고자 하는 질문은 "어떤 구간을 정하는 알고리즘을 내가 짜봤다. 똑같은 분포를 따르는 데이터 각각에서 이 알고리즘 돌리면 100번 중에 95번은 진짜 모수가 이 안에 있을거다"입니다. Bayesian에서는 "있지도 않은 가상의 데이터같은거 관심없고, 일단 지금 이 데이터 하나만 봤을때, 이 구간 안에 진짜 모수가 있을 확률이 95%가 되도록하는" 구간을 제시합니다.
똑같은 random 구간이지만, 전자에서는 그 랜덤의 출처가 데이터라면, 후자에서는 모수에 대한 무지입니다. 모르니까 일단 확률변수로 보고 생각한다!
얼렁뚱땅 말했는데 대답이 되셨을까요!
@@HunLearning 친절한 답변 정말 감사합니다! 많은 도움이 되었어요^^
베이지안과 빈도론의 관점 차이를 이해해야하는 군요.
계속 여쭤봐서 죄송하지만 혹시 이어서 질문하나 더 드려도 될까요?
그렇다면 만약에 prior를 정규분포라고 가정했을 때,
나의 자료가 posterior의 분포를 알수없는 형태로 (그러니까 정규분포가 아닌 모양 같이) 바꿔버리는 자료가 있다고 하면,
그렇다면 posterior의 분포는 여전히 정규분포를 따른다고 하는건가요? 아니면 그냥 posterior 분포라고 하는건가요?
전공자가 아니다보니 궁금한 건 많은데 마땅히 여쭤볼만한 곳이 없어서 염치없이 또 질문드려요.