가설검정의 정체를 간단하게 한번 쓱 둘러보는 느긋함

검정이라는 것이 뭔가 대단한 것을 할 수 있을 거라 기대했다면 미안할 일은 아니지만 그래도 기대했을 테니까 조금은 미안합니다. 

가설검정은 가설을 세우고, 그것이 올바른 가설인지 '확률'로 판단하는 것을 말하는데. 말이 좀 애매 합니다. 그렇다면 더 자세하게  "관측된 표본으로부터 무엇인가를 판단할 때, 이 판단에 오류가 있을 수 있는지에 대해서 오류의 가능성을 미리 정해진 수준에서 관리하고자 하는 것."을 가설 검정이라고 합니다. 이 말도 역시 조금 아리송하긴 한데, 귀무가설/대립가설, 그리고 p value를 알게 되면 조금 더 확실하게 와닿게 됩니다.라고 해봤자, 한가한 소리 같겠지만 조금만 기다려주세요. 

어떤 식이냐면,
⓵ 어떤 질문이 있다고 한다면. 
⓶ 어떤 아이디어를 이용해서 증명해 보자. 가설도 세워보자. 
⓷ 어떤 검정통계량으로 증명을 하면 좋을까?
⓸ 그 검정통계량이 따르는 분포는 무엇일까?
⓹ 왜 그 검정통계량이 그것을 따르는지? 정도는 알아야겠죠.
⓺ 결과는 어떻게 해석?해야 하는가라면 여기에서 p value가 튀어나옵니다. p value를 이용해서 확률적인 해석을 하거든요.

일단 마음이 급할 대로 급하니까, 가설 검정의 메커니즘을 한번 살펴보는 것이 어떨까 합니다. 사실 방금 이야기했던 6단계에서 나중에 자세히 살펴보면 귀무가설, 대립가설, 유의수준, p value등의 아직 이야기하지 못한 용어들이 나오는데, 그것은 차차 살펴볼 것이니, 일단 그렇고 그런 이야기라는 것만 먼저 알고 시작하면 해 보는 것으로 감을 잡아볼까 합니다. 

아주 간단하고, 단순하게 어거지 가설검정을 한번 해 보는 것으로 감을 잡아볼까 합니다. 간단한 예시를 하기 전에 검정을 하기 위한 최소한의 용어를 한번 짚고 넘어간다면 신뢰수준과 유의수준을 알고 가면 좋겠는데, 신뢰수준(구간)은 이제까지 추정에서 계속 보았던 것이고, 유의수준은 그 신뢰수준(구간)을 제외한 나머지 Extreme 영역을 말합니다. 보통은 유의수준은 α로 표기하고 %로 표현을 많이 하는데, 신뢰수준이 95%라면, 유의수준은 자동으로 5%로 생각하면 쉽습니다. 그래서 추정에서는 신뢰수준이 계속 나왔다면, 검정에서부터는 유의수준 (Significant Level)이라는 것이 판을 치게 되는데 말이죠. - 양쪽 구간으로 따질 때는 주어진 유의수준을 둘로 나눠 쪼개서 봐야 하고(양측 검정), 한쪽만 따질 때는 유의수준을 쪼개서 보지 않습니다(단측검정). 뭐, 그건 어찌 보면 당연한 이야기겠네요. 사실 이 이야기는 지금 꺼내서는 안 된다는 강력한 경고가 머리가 들어오지만, 그래도 일단 꺼내 봅니다. -

그러면, 예를 쉽게 들기 위해서 단측검정일 때 p value에 대해서 이야기하자면, p value는 관측한 데이터를 확률로 표현하는 방법인데, 관측한 데이터를 포함하면서 더 극단치의 값을 포함한 확률입니다. 

이런 것들을 마음에 잘 간직하고, 하기로 했던 간단한 어거지 예시를 든다면, 대한민국에서 공부를 열심히 공부하는 대학생의 비율이 10% 정도인 것 같습니다. 실제로 대학생 100명을 관찰하는 것을 1000번 반복적으로 관찰하고, 100명씩 1000번 관찰한 결과로 열심히 공부하는 대학생의 비율을 다음의 표와 같이 집계한 데이터 분포가 있습니다. 진짜 그런지 확인하기 위해서 우리 학교에서 100명의 표본을 조사하였더니 14%가 열심히 공부한 것으로 나타났습니다. 과연 열심히 공부하는 대학생의 비율은 10%일까요? 유의수준은 10%입니다. 

이제부터 해야 하는 일의 순서는, 일단, Null Hypothesis와 Alternative Hypothesis를 설정하고요, 관찰한 검정통계량을 포함하면서 더 극단적인 확률을 모두 합한 것이 p value이니까요, 이 p value를 유의수준과 비교해서 가설을 채택할 것인지, 기각할 것인지를 판단합니다.  

"그렇군요."

먼저, 귀무가설(Null Hypothesis)은 $H_0 : p \leq 10\% $ 이고, 
대립가설(Alternative Hypothesis)은 $H_1 : p > 10\% $ 입니다.(이렇게 한쪽만을 따지니까, 단측 검정입니다!)

이건 혹시나 궁금할까 봐 써 놓는데, - 궁금하지 않았다고 해도 혹시나 도움이 되지 않을까 생각합니다. -
귀무가설(Null Hypothesis)은 $H_0 : p = 10\% $ 이고, 
대립가설(Alternative Hypothesis)은 $H_1 : p \neq 10\% $ 입니다.  
라면 양측 검정이 됩니다. 

지금은 왜 이것이 귀무가설이고, 왜 저것이 대립가설인지는 그냥 잊어버리고 따라와 주세요. (귀무가설, 대립가설의 설정은 유별난 이야기이기 때문에 바로 이어서 꽤 정성 들여서 느긋하게 이야기해 볼까 합니다.)

1000번 중에 14%가 나온 횟수는 8회입니다. 그러니까, 14%가 나올 확률은 8/1000=0.008입니다. 검정할 가설을 바탕으로 관찰한 결과의 확률이 0.1 이하일 때 귀무가설을 기각한다고 한다면, 0.008은 0.1보다 매우 작고 매우 희귀한 결과입니다. 그러므로, 10%가 사실이라는 가정 아래 14%가 우연히 나올 확률은 매우 작기 때문에 유의하다고 주장하고, 이것은 10%라는 가정(귀무가설)을 기각하는 근거가 됩니다. 

자, 여기에서 여러 가지 용어를 이용해서 설명해 보면, α(유의수준)는 0.1, p value는 0.008입니다. 결론은 α > p value 인 경우이므로, 매우 희귀한 일이 벌어졌으니, 귀무가설을 기각하자! 하는 결론이 이르게 됩니다. 

이걸 그림으로 보면 아래와 같은 형태로 볼 수 있습니다. 

전체적인 가설검정의 스토리가 이제 마음에 와닿을 것이라고 강려크하게 희망합니다. 만 이제 그저 이 논리의 흐름과 친해지길 바라는 마음입니다.     사실 알고 보니, 이런 거라면 만만하잖아? 하는 생각이 들 것이라고 생각합니다. 

도대체 검정, 검증이라는 말이 섞여 쓰이는 것 같은데 무엇이 맞는 말인지 헷갈릴 때는 둘 다 맞는 말이라고 생각하면 마음이 조금은 편해집니다. 검정은 통계 쪽에서, 검증은 사회과학 쪽에서 쓰는 용어라서 그렇습니다. 

가설검정은 p value로 뭔가를 판단하긴 하는데, 정말 중요한 사실이 있습니다. "귀무가설"이 맞다는 조건에서 실행하는 것이기 때문에, p value는 그 조건에서만 의미가 있고, 실험 결과가 맞을 확률이라던가, 틀릴 확률로 오해하기 쉬운데, 꼭 그렇지만은 않다는 것입니다. 게다가 p value가 더 작다고 해서 더 유의미하다고 느끼기도 하는데, 전혀 그렇지 않다는 점 미리 얘기해 두어야 할 것 같습니다.