가설 검정(Hypothesis Testing)

가설 검정

어떤 추측이나 가설에 대해 타당성을 조사하는 것이다. 

통계학에서 가설 검정은 표본통계량으로 모수를 추정할 때 추정한 모수값 또는 확률 분포 등이 얼마나 타당한지 평가하는 통계적 추론이다. 쉽게 설명하자면 증명된 바 없는 주장이나 가설을 표본통계량에 입각하여 주장이나 가설의 진위 여부를 판단, 증명, 검정하는 통계적 추론이다. 

 

 

가설 검정 단계

가설 수립

가설 검정의 첫 번째 단계인 가설 수립 단계에서는 귀무가설과 대립 가설을 수립해야 한다. 

• 귀무가설(null hypothesis)
  직접 검정 대상이 되는 가설이다.
  표본을 관찰하고 '이 자료들은 이러할 것이다'라고 세운 가설을 말한다.
  귀무가설은 증명된 바 없는 주장이나 가설이지만 일단 옳다는 가정하에 시작한다. 이것을 반대로 생각하면, 진실일 가능성이 적어 처음부터 버릴 것이 예상되는 가설인 것이다. 그래서 귀무가설은 기각(reject)이 목표다.
  귀무가설을 수식으로 표현할 때는 H₀으로 표현한다. 
  
  
• 대립 가설(alternative hypothesis)
  귀무가설에 반대되는 가설이다.
  귀무가설이 기각될 때 받아들여지는 가설로 새로운 주장 또는 실제로 입증하고 싶은 가설이다. 그래서 대립 가설은 채택(accept)이 목표다.
  대립 가설을 수식으로 표현할 때는 H₁으로 표현한다. 

 

유의 수준 결정

수립된 귀무가설과 대립 가설 중 어떤 가설을 채택할 것인지 판단하는 유의 수준을 결정한다. 

 

유의 수준은 조사에서 인정되는 오차의 수준을 뜻하며, 보통 5%(α = 0.05) 또는 1%(α = 0.01)로 설정한다. 

귀무가설을 기각하게 되는 최소의 유의 수준을 유의 확률이라고 하며, 이는 확률로 표현되기 때문에 약자를 사용해 P값(P-value)이라고도 부른다. 

• P값
  • P값의 설명은 다양하지만 P값이 유의 수준보다 작으면 귀무가설을 기각하고 대립 가설을 채택한다는 기본 개념은 변하지 않는다. 
• P값을 설명하는 다양한 시각
  • 조사에서 인정되는 최소한 오차의 수준
  • 가설 검정에서 검정 통계량이 귀무가설을 기각하도록 나타날 확률
  • 검정 통계량이 귀무 가설을 지지하는 정도
    (지지하는 정도가 허용 가능한 오차의 유의수준보다 작으면 지지하는 정도가 충분하지 않으므로 귀무 가설을 기각한다.)
  • 제 1종 오류를 범할 확률
  • 어느 정도의 정확도로 귀무 가설을 기각할 것인지에 대한 지표
  • 귀무 가설이 참인데도 불구하고, 대립 가설을 채택하게 될 확률
  • 대립 가설을 채택했는데 그것이 틀릴 확률

 

기각역 설정

조사의 성격에 따라 양측 검정을 할 것인지, 단측 검정을 할 것인지 정하고 이를 통해 기각역을 설정한다. 

 

• 양측 검정
  조사하고자 하는 대립 가설을 검정하여 귀무 가설을 기각하고 대립 가설을 채택하고자 하는 것이다. 
  설정한 유의 수준을 기준으로 기각역과 채택역이 나눠지고, 양측 검정에서는 기각역이 양쪽으로 나타나게 된다. 
  

  

• 단측 검정
  조사의 목적에 따라 음의 방향과 양의 방향 중 한쪽 방향만 살펴보는 검정을 의미한다. 
  대립 가설은 기준보다 많거나 적은 한 가지 측면으로만 검정하게 된다. 

  

 

검정 통계량 산출

통계에서는 표본을 뽑아서 '표본 통계량'으로 부르는데 '가설 검정'에서 사용하는 통계량이기에 '검정 통계량'이라고 부른다. 그래서 표본 통계량과 검정 통계량은 동일하게 생각해도 된다. 

 

확률 분포에 따라 Z통계량, t통계량, F통계량, X²통계량으로 세분화할 수 있다.

 

그런데 한 가지 주의할 점은 검정통계량으로 확률을 구하는 것이 아니라, 확률 분포 그래프의 x축 좌표를 구한다는 점이다. 

 

 

검정 통계량은 수집된 표본을 대상으로 조사에 필요한 통계량을 계산한 후 기각역과 비교한다. 

 

기각/채택 판단

기각역을 비교한 후 귀무가설과 대립 가설 중 어떤 가설을 채택할 것인지 결정한다. 

계산한 p값 ≤ α 이면 귀무가설을 기각하고, p값 > α 이면 귀무 가설을 채택한다. 

 

 

1종 오류와 2종 오류

통계적 가설 검정 과정에서 발생할 수 있는 오류의 두 가지 유형이다. 이 오류들은 귀무가설과 대립 가설을 검증할 때 발생할 수 있다. 

 

1종 오류

귀무가설이 참인데 기각한 경우를 말한다. 이는 실제로는 차이가 없는데 차이가 있다고 판단하는 것으로 제1종 오류의 확률은 α로 표현된다. 

 

2종 오류

귀무 가설이 거짓인데 참으로 판단한 경우를 말한다. 이는 실제로는 차이가 있는데 차이가 없다고 판단하는 것으로 제2종 오류의 확률은 β로 표현된다. 

 

1종 오류와 2종 오류의 관계

1종 오류와 2종 오류는 서로 상반된 관계에 있다. 즉, 1종 오류를 줄이려면 2종 오류의 가능성이 증가하고, 2종 오류를 줄이려면 1종 오류의 가능성이 증가한다. 이러한 관계를 이해하고 적절한 균형을 찾는 것이 중요하다. 

 

중요성

1종 오류는 실제로 차이가 없는데 차이가 있다고 판단하는 것으로, 이를 줄이기 위해 보다 엄격한 검증 기준을 적용해야 한다. 

2종 오류는 실제로 차이가 있는데 차이가 없다고 판단하는 것으로, 이를 줄이기 위해 보다 완화된 검증 기준을 적용해야 한다. 

 

두 종류의 오류는 통계적 검증 과정에서 불가피하게 발생할 수 있다. 그러나 이들 오류를 최소화하는 것이 중요한다 이를 위해 아래와 같은 방법들을 고려할 수 있다. 

• 적절한 표본 크기를 선택하여 검증의 정확성을 높인다.
• 검증 기준을 잘 설정하여 1종 오류와 2종 오류의 균형을 맞춘다.
• 여러 가지 검증 방법을 동시에 사용하여 오류의 가능성을 줄인다. 

 

가설 검정 코드 공부

< 추후 추가 예정 >

 

 

 

 

 

 

 

참고 자료

• https://roytravel.tistory.com/352
• https://blog.naver.com/mykepzzang/220884858347
• https://gslow.tistory.com/1334
• https://dlearner.tistory.com/36
• https://drhongdatanote.tistory.com/80
• https://math100.tistory.com/74
• https://speedspeed.tistory.com/76