큰 수의 법칙에 대한 수긍과 베이지안풍의 접근

교훈적인 이야기를 매우 좋아하는 인간으로서, 이번에는 큰 수에 법칙에 대한 교훈적인 이야기를 하려고 합니다. 중심극한정리를 얘기했으니까, 큰 수의 법칙에 대해 한번 쫌은 짚고 넘어가는 것도 매우 좋은 시도일 것 습니다. 

보통 큰 수의 법칙의 느낌은 엄청나게 많이 시도하면 확률대로 될 거다. 뭐 그런 느낌입니다. 예를 들면, 독립시행 (Bernoulli Trial)인 Fair 한 동전 던지기를 생각할 때, 1억 번쯤 동전을 던진다고 했을 때, 앞면 5천만 번, 뒷면 5천만 번쯤 나올 것 같다. 뭐 그런 느낌입니다. 

아래의 사연을 읽어보면 조금 다르게 느껴질 텐데, 흥미로운 사연을 보시죠. 

안녕하세요 오늘 친구와 논쟁을 하게 되었는데요. 그 논쟁 좀 읽어봐 주세요. 어떤 거냐면 동전을  던졌는데 모두 앞면이 나왔어요. 그렇다면 다음번의 동전이 뒷면이 나올 확률은 무엇일까요? 동전을 몇 번을 던지던 독립시행이기 때문에 ½이라고 제 친구가 말을 했지만 저는 $½+\lim\limits_{\epsilon→0^+}\epsilon$라고 생각했거든요. 왜냐면 큰 수의 법칙으로 시행을 많이 할수록 수학적 확률과 통계적 확률 간의 차이가 점점 줄어드는 것 든다고 생각했는데요. 그렇다면 동전을 매우 많이 던졌을 때 수학적 확률과 통계적 확률 간의 차이를 줄이기 위하여 뒷면이 나올 확률이 더 커져야 되는 거 아닌가요? 하지만 큰 수의 법칙을 적용하려면 시행을 무한으로 극한을 취해야 되기 때문에 유한한 시행은 영향을 거의 끼치지 않을 것 같습니다. 그래도 잘은 모르겠지만, 왠지 매우 아주 작은 양수 즉, 무한소($\epsilon$)가 ½뒤에 더 붙을 거 같은 생각이 들었습니다. 제 말이 틀린 건가요? 증명도 못 하고 추상적으로 생각해봤기 때문에 말도 안 되는 소리 같다고도 생각되지만, 왠지 확률½에 아주아주아주아주아주 작은 양수가 더해질 것 같습니다. 하지만 그 차이가 없는것이나 다름없기 때문에 ½이라고 해도 무방한 거 같다는 생각도 듭니다.

어.. 제 느낌으로도 어? 그런 느낌일 수도 있겠는데? 음음 하면서 읽었지만, 정확하게 얘기하자면 Fair한 동전 던지기는 이전 발생한 사항과 전혀 상관이 없습니다. 독립 시행이기 때문에 앞면과 뒷면이 나올 확률은 ½로 같습니다. (단호박)  

하지만, 이렇게 말해 버리면 뭔가 그래도.. 하는 생각이 드는데, 큰 수의 법칙은 평균에 관한 얘기이기 때문에 시행 횟수가 늘어나면 "평균"인  ½로 평균이 수렴한다는 뜻이지, 확률이 변한다는 뜻이 아니라는 사실입니다. 

확률이 변하지 않는다는 것을 잘 나타낸 말이 있는데, 확률은 과거를 보상하지 않는다. 그런 말이 있습니다. 과거에 이렇게 나왔기 때문에 평균을 맞추기 위해 과거의 데이터와 반대 방향으로 편향되어서 나오지 않는다는 그런 의미입니다. 

쉬워보이면서도 꽤나 흥미로운 이야기가 되어 버렸습니다. 다시 한번 정리하면 확률은 변하지 않고, 엄청 많이 시행하면 평균이 ½에 가까워진다는 의미입니다. 

사실 이런 식의 접근을 빈도 주의적 접근이라고 하는데, 이런 접근이 무한 반복이 불가능하고, 그러니까 빈도 계산이 어렵고, 인식론적으로 불가능하기 때문에 베이지안 관점의 확률이 출현하였습니다. 확률을 믿음의 정도로 나타낸 후, 관측함에 따라 이 믿음의 정도(확률)를 갱신하게 되는데, 엇, 완전 다른 방식의 접근입니다. 사실 지금 얘기하기에는 조금 이르긴 한데, 그냥 재미로 베이지안 관점으로 동전 던지기를 본다면 이렇게 바라볼 수 있겠습니다. 

베이즈룰은 다음과 같습니다.

$$ \cfrac{P(H)\cdot P(Data|H)}{P(Data)} = P(H|Data)$$

여기에서 H는 Hypothesis인데, $P(H)$는 우리가 궁금해하는 Hypothesis가 참일 확률이고, 우리의 믿음의 강도를 나타냅니다. (정말 믿음의 강도입니다. 주관적인, 처음에는 이거 이래도 되나 했는데, 진짜 친구가 나에게 "이번에 연봉이 오를 것 같아?", "음.. 한 90%?" 라고 답하는 것과 같이 진짜 주관적입니다. )

자, 동전 던지기를 할 때, 맨날 앞면이 계속 나오는 것 같습니다. 그래서 나는 동전이 Unfair 하다고 생각합니다. 느낌에 한 100번 하면 60번쯤은 앞면이 나오더란 말이죠.  그러면 동전이 Unfair할 확률은 0.6정도 되지 않을까? 하고 $P(H) = P(Unfair) = 0.6$이라고 하고요. 그러면 $P(Fair) = 0.4$이겠군요. 자, 진짜 내 믿음이 맞는지, 2번 정도 동전을 던져보고 생각해 보기로 했다고 하시죠.

일단 동전이 Fair하면 앞면 뒷면이 나올 확률이 ½로 같다고 하고,  Unfair할 경우 이제까지의 경험을 비추어 보아 앞면이 나올 확률 0.6이라고 합시다. 두 번 시도해 보았더니 어, 두 번 모두 앞면이 나왔다고 한다면. 어랏. 진짜 Unfair한 것 아닌가?라고 중얼 댈 수 있겠습니다. 

동전이 Unfair하다는 믿음이 어떻게 변하는지 (갱신되는지)본다면요, 

그러면 Data를 관측했을 때, 갱신되는 확률은

$\left. \cfrac{P(Unfair)\cdot P(Data|Unfair)}{P(Data)}  \right\rvert_{\substack{\begin{align*} P(Unfair)&=0.6 \\P(Data|Unfair)&=(0.6\times0.6) \\P(Data)&=0.4\times(0.5\times0.5)+0.6\times(0.6\times0.6)\end{align*}}} = 0.6835 = P(Unfair|Data)$

결국 원래 Unfair할 확률을 0.6정도로 믿고 있었는데, 막상 던져보니 그 믿음이 0.6835로 더 강해졌습니다. 어, 이거 결과를 보고 났더니, 동전이 진짜 Fair하지 않을 수도 있겠는걸? 하는 결론이 되는 것입니다. 

갑자기 큰 수의 법칙을 하다가 뜬금없이 베이지안 확률 이야기를 꺼내서 미안합니다만, 어쨌든 이런 식으로 많은 시도를 하기 어려우니까, 데이터를 관측하면서 확률을 갱신하는 방법이 베이지안 주의자들이 주장한다는 점을 미리 얘기하고 싶어서였지만, 지금은 그다지 도움이 되지 않을 수 있으니, 다음번에 더 자세히 보는 것으로 하는 것도 좋을 것 같습니다. 괜한 이야기를 그것도 길게 꺼내서 미안합니다.