p value를 직접 계산해 보는 숙연함.

p value 유의확률은 귀무가설이 맞다는 가정 아래, 우리가 표본을 통해 관측한 통계 값 또는 관심 있는 통계 값을 포함해서 더 극단적인 값을 관측할 확률을 말합니다. 가설검정에서 Significance Probability라고하고 유의확률이라는 표현을 씁니다. 

이전에도 강조했지만 여기에서 진짜 진짜 중요한 얘기는 귀무가설이 맞다는 가정 아래라는 말이 정말 정말 중요합니다.

그렇긴 한데, 이렇게 얘기해 봐야 감이 잘 안올테니까, 실제로 p value가 어떻게 계산하는지 한번 보시죠. 여기에서는 p value의 정의와 p value를 어떻게 계산하는지에만 신경 쓰도록 합시다. 의미까지 생각하면 매우 복잡해 지니까, 조금 익숙해진 후에 살펴보도록 하기로 하고요. 

"그래도 궁금하긴 한데.."
"조금만 참아"

예를 들어, 우리 회사의 동료중 1명이 너무나 지각을 많이 해서 조금은 주의를 주고 싶었는데, 막상 조사해 보니, 지각하는 시간이 평균 20분이었습니다. 사장님에게 고소하게도 혼쭐이 났습니다. 그래서 이 동료가 억울한 나머지, 아무리 생각해도 20분보다는 일찍 오고 있다고 주장하고, 임의의 10일간의 지각 시간을 평균을 내보니 15분을 지각했으니 20분 지각은 아닙니다라고 주장하고 있습니다. - 어차피 지각인데, 15분과 20분이 무슨 의미가 있겠습니까만.. - 

아래의 데이터는 사장님이 몰래 회사 동료가 입사한 이래 임의의 10일간의 평균 지각 시간들을 40개의 데이터로 모아 둔 것입니다. (히스토그램-표본 분포입니다.)

자, 분포가 준비되었고요. 이때 15분 이하일 때의 p value를 계산해 봅시다. 

참고로, 
귀무가설 Null Hypothesis는  $\mu \geq 20$
대립가설 Alternative Hypothesis는 $\mu \lt 20$ 
입니다. 귀무가설과 대립가설 설정이 이제는 헷갈리지 않을 거라 생각합니다. - 여기에서 우리가 분포를 그렇다 치고~라고 가정할 수 있는 경우는 지각이 평균 20분이라는 주장입니다. 대립가설은 귀무가설이 기각되었을 때 자연스럽게 채택되는 가설이므로 20분보다는 작다로 설정해야겠군요. -  (이런 걸 단측 검정이라고 합니다.)

그러면 관측된 15분 이하인 경우를 따져보면 전체 40개 중에 15분 4개, 13분 1개 해서 5개가 15분을 포함하면서 더 극단적인 값을 의미합니다. 

그러니까, $\frac{4+1}{40} = 0.125$가 되므로, 이때의 p value는 0.125입니다. 다시 말해 12.5% 정도가 관측한 15분 이하의 값이라고 보면 되겠습니다. 

p value를 계산하는 방법이 굉장히 단순하죠? 모든 p value는 이런 식으로 계산합니다. 

한 가지 더 위의 예를 이용해서 살펴본다면, 
귀무가설은 $\mu = 20$이고, 
대립가설이 $\mu \neq 20$이라면 어떻게 p value를 구할까요? (이런 걸 양측 검정이라고 합니다.)

이때는 양쪽으로 같은 정도의 관측치와 더 극단적인 값으로 보면 됩니다. 
그러니까, 왼쪽으로는 15 이하이고, 오른쪽으로는 25 이상을 보면 됩니다. 
그러면 전체 40중에 5+3 이니까, p value는 0.2입니다. 

아쉬우니까 한 가지 예를 더 들어봅시다. 
언제나 빠질 수 없는 동전의 예인데요, 귀무가설, 대립가설까지 설정하는 것을 한번 해 보는 것도 도움이 되겠습니다.  

동전을 던졌을 때, 2번 모두 앞면이 나왔다가 치자고요. 우리의 귀무가설은 동전은 fair 하니까 앞면, 뒷면이 나올 확률이 모두 $\frac{1}{2}$로 같다고 할 수 있습니다. 사실 이 표현도 좀 애매한데 앞면이 나올 확률 $P(H) = \frac{1}{2}$를 귀무가설이라고 해야겠네요. 그러면 일반적인 상황에서 분포를 가정할 수 있으니까요. $P(H) \neq \frac{1}{2}$가 대립가설이 됩니다. 그러면 귀무가설이 참이라고 가정하고, 동전을 2번 던졌더니 두 번 모두 앞면이 나온 것을 관측했습니다. 귀무가설이 참이라는 가정아래, 2번 모두 앞면이 나올 확률을 구해보면 $\frac{1}{2}\times \frac{1}{2} = 0.25$ 입니다.  p value를 구하기 위해서는 같거나, 더 극단적인 경우를 구해야 하니까, 같은 정도의 경우는 두번 모두 뒷면이 나오는 경우, 0.25입니다.  - 더 극단치가 나오는 경우는 이 경우에는 없으니까, 0 입니다. -

그러니까, p value = 앞면이 두번 나올 확률 + 같은 정도의 극단치 (뒷면이 두번 나올 확률) + 앞의 두 값보다 더 극단치가 나올 확률 = 0.25 + 0.25 + 0 = 0.5입니다. 

p value를 이용하여 해석하는 것은 곧 이어서 다음 이야기에 해 볼 요량입니다. 

이렇게 말하긴 했지만 간단한 듯하면서 어렵죠. 왜 더 극단적인 값을 관측할 확률이 p value에 포함되어야 하는가 하는 것은 곧바로 다시 다뤄보기로 하고, 간단하게 이야기하자면, 유의수준과 비교하기 위해서 더 극단적인 값을 포함해야만 그 확률을 비교할 수 있기 때문입니다. 

참고로, 지각의 예에서 사실 0.125이라는 값이 유의수준을 5%로 보았을 때, 0.05보다 크기 때문에 평균이 20분이라는 귀무가설을 기각할 수 없다고 할 수 있으므로 평균 15분 지각이 관측되었더라도 평균 지각 시간은 20분이다라는 p value의 해석이 덧붙여졌다면 좋았겠지만, 지금은 p value 자체를 계산하는 것에 포커스를 맞추고 있으니까. 그런대로 넘어가 주세요.

동전의 예에서도 p value만 계산해 보려고 했지만, 기왕 p value 검정의 결론까지 살짝 본다면, 0.5는 이런 경우가 생길 확률이 대단히 큰 경우로서, 귀무가설이 참인 경우에 흔히 생길 수 있는 일이므로 동전이 fair하지 않다고 말하기 어렵다는 결론에 이르릅니다.