Conjugate Prior (켤레 사전분포) - 양말 한 켤레

바로 전 '베이지안 통계는 가우시안(정규분포)도 쌉가능 - Conjugate?' 편에서 무의식 중에 Prior Conjuate를 이야기 해 버려서, 짧게라도 Conjugate Prior 이야기를 피할 수 없게 되었습니다. 다음 이야기를 이어갈 수 있도록 아~~~주 짧은 이야기를 하려고 합니다. 

자, 짧은 이야기 시~작.

사실상 처음에 Conjugate Prior를 접했을 때에는 의식의 흐름이 

⓵ 태초에 Prior가 있었는데 
⓶ 이 Prior중에는 베이지안 정리를 통과하면 Posterior가 자신과 같은 같은 형태가 되는 Prior가 있다. 
⓷ 그러니까, 현상을 잘 설명하는 Prior를 설정하면 같은 형태의 Posterior를 구할 수 있다. 

였습니다. 머야머야 쉽잖아.라고 마음 놓고 있었는데, 이 관점으로 보면 볼수록 이상하더군요. 그러면 Prior를 적당하게 정하고 나면 관측한 현상에 맞는 Likelihood가 있어야 하겠는데, Likelihood는 실제 데이터를 가지고 결정하게 되니까 Prior보다 훨씬 더 구체적이거든요. 사실상 Prior는 어떤 모형이 어떤 분포를 갖는가에 대한 "적당한 믿음"을 나타내고, Likelihood가 데이터가 주어졌을 때의 구체적인 모형을 설명하기 때문에, - 사실상 두 개를 모두 감안해서 정해야 하겠지만, - 굳이 따지자면, Likelihood를 먼저 정하고, 그에 맞는 Prior를 정하는 것이 조금 더 효율적인 순서더라 하는 이야기입니다. 

요컨대, 데이터의 분포를 잘 설명하는 Likelihood를 결정한 후에, Prior를 결정하는 편이 더 편리한 순서더라입니다. 

또 하나 마음속에 갖고 있어야 하는 것이 뭐냐면, 모델링 측면에서 Likelihood는 데이터를 모델링, Prior는 Parameter를 모델링한다는 점입니다.  

그러니까, Prior를 고를 때에는 Likelihood에서 사용하는 Parameter를 잘 표현하는 확률모형이어야 한다는 뜻이죠. 

 

흠. 그렇군요. 

이런 의미에서 보면, 보통 다음과 같이 관측된 데이터의 특징에 따라 각 Likelihood를 정하고 나면 그에 대하여 적절한 Prior를 사용하면 Posterior가 Prior와 같아지는 Conjugate관계를 만들 수 있어서 편리해집니다. 마치 양말 한 켤레처럼 생각하면 딱 적당합니다. 어떤 것들이 있는지 보면요. 이런 식입니다.

 

표에서 예를 들면 바로 전 '베이지안 통계는 가우시안(정규분포)도 쌉가능 - Conjugate?' 편에서 본 것과 같이 가우시안을 Likelihood로 관측 데이터를 모델링했으니까, Prior는 가우시안으로 모델링하면  엄청 좋다. 뭐 그런 겁니다. 이렇게 Prior를 정하게 되면 Posterior가 Prior와 같은 분포를 갖게 되니 이 또한 얼마나 좋습니꺄. 이렇게 하면 무한히 순환 관측할 때마다 모수의 분포를 순환해서 업데이트할 수 있다는 의미입니다. 

보통 Prior는 Likelihood를 모델링한 후에, Exponential family (Gaussian, Gamma, Beta 등)에서 선택하는 경우가 많은데 말이죠, 그게 대부분의 데이터들이 Positive Skewed 한 모양을 띄고 있기 때문이고요, 더 정확하게 이야기하면 likelihood가 Exponential family로 모델링할 수 있을 때, prior를 적절한 Exponential family로 선택하게 되면 posterior와 prior가 같은 family에 속하게 된다는 뜻입니다. 이렇게 Prior와 Posterior가 같은 분포를 같게 되는 걸 Conjugate관계라고 합니다.라는 걸 마음속에 잘 간직해 두면 베이지안 통계를 다룰 때 매우 편리합니다. 

켤레사전분포를 공액사전분포라고 부르기도 합니다. 그것 참. 여전히 한국어는 어렵습니다. 공액이라니... 양말 한 "켤레"는 꽤나 위트 있는 네이밍이긴 합니다.