31. 통계적 추론의 개요

(1) 통계적 추론

• 통계학이란 ?

• 통계학을 잘 이해하려면 모집단과 표본에 대해 이해를 잘해야 한다.
• 위 두 개의 모집단 중 모집단I 은 관심을 가지는 모집단이라고 할 때, 여기서 표본을 뽑을 때의 표본의 성질이 무엇인지를 알아보는 것이 확률과 확률분포라고 할 수 있다.
• 통계적 추론은 이 표본을 가지고 모집단이 무엇인지를 추론하는 것이라 할 수 있다. 이 때의 모집단II는 이 표본에 의해서 만들어진 가상의 모집단이라 할 수 있다.
• 즉, 통계적 추론은 모집단II를 모집단I 과 같게 만드는 과정이라 할 수 있다.

 

▶ 통계적 추론의 종류

• 모집단에 대한 분포 가정 여부에 따른 통계적 추론의 분류
• 모수처리 방식에 따른 통계적 추론의 분류
• 추론 목적에 따른 통계적 추론의 분류

 

(2)  모집단에 대한 분포 가정 여부에 따른 통계적 추론의 분류

 

통계적 추론은 분포 가정 여부에 따라 모수적 추론과 비모수적 추론으로 나뉜다.

▶ 모수적 추론

• 모집단의 분포를 특정한 확률분포로 가정하고, 이 분포의 모수(parameter)를 추정하고 검정하는 추론 방법이다.
• 모집단의 분포에 대한 가정이 필요하며, 분포의 형태가 정확하게 알려져 있을 때 적용 가능하다.
• 모수적 추론은 정규분포, t-분포, F-분포, 카이제곱 분포 등을 이용하여 분석한다.
• 대표적으로 평균 검정, 분산 검정, 상관관계 검정 등이 있다.

   ◈ 예시 : 정규분포 ⇒ 2개의 모수 : 평균 , 분산

•  모집단에 대한 가정이 얼마나 적절한 지에 따라 최종 결론의 타당성에 영향을 준다.

           ⇒ 가정의 적절성을 평가하는 부분이 포함되어 있다.

 

▶ 비모수적 추론

• 모집단의 분포를 가정하지 않고, 분포의 형태와 모수를 추정하지 않고 직접 표본 데이터를 이용하여 추론하는 방법이다.
• 모집단의 분포에 대한 가정이 필요하지 않으며, 모집단이 어떤 분포를 따르는지 모르는 경우에 적용 가능하다.
• 비모수적 추론은 순위검정, 부호검정, 분위수검정 등을 이용하여 분석한다.
• 대표적으로 윌콕슨 부호순위검정, 크러스칼-왈리스 검정, 맨-위트니 검정 등이 있다.
• 모집단에 대해 특정 분포 가정을 하지 않는다. ⇒ 주로 이상점이 있는 경우
• 모집단의 특성을 몇 개의 모수로 결정하기 어렵다. ⇒ 수많은 모수가 필요할 수 있음.
• 다양한 형태의 통계량들을 고려할 수 있고 이들 통계량의 성질을 유도하고 이를 기반으로 통계적 추론을 실시한다.   ⇒ 유도 과정이 어려운 경우가 많음.

※  따라서, 모집단의 분포가 정규분포 등으로 알려져 있는 경우에는 모수적 추론을 사용하는 것이 더 적절하며, 모집단의 분포를 알 수 없거나 비대칭적인 경우에는 비모수적 추론을 사용하는 것이 더 적절하다. 또한, 적용하고자 하는 문제와 데이터에 따라 적절한 추론 방법을 선택하여 사용해야 한다.

 

(3) 모수처리 방식에 따른 통계적 추론의 분류

 

통계적 추론은 관측된 데이터로부터 모집단의 특성을 파악하고 결론을 도출하는 방법으로, 모수적 방법과 비모수적 방법으로 나눌 수 있다.

모수적 방법은 빈도론자(frequentist inference)와 베이지안 추론(Bayesian inference)로 나눌 수 있다.

▶ 빈도론자(frequentist inference)

• 관심 있는 모집단 특성에 대한 가설을 세우고, 해당 가설이 옳은지 여부를 추론하는 방법이다.
• 모수적 방법 중 가장 흔하게 사용되는 방법이다.
• 표본의 분포에 대한 가정이 필요하다.
• 추론 결과가 유의확률 등의 확률 개념을 이용하여 표현되며, 이에 따라 가설이 기각될지를 결정한다.
• 모수는 상수 (constant, fixed value)
• "무한히 반복하면 수렴한다" 가 전제조건

 

▶ 베이지안 추론(Bayesian inference)

• 관심 있는 모집단 특성에 대한 사전 분포를 정의하고, 이를 갱신하여 사후 분포를 추론하는 방법이다.
• 사전 분포를 잘못 정의하면 추론 결과가 왜곡될 수 있다. 
• 추론 결과가 확률로 표현되며, 이는 사전 분포와 데이터의 결합 확률 및 정규화 상수를 이용하여 계산된다.
• 베이지안 추론에서 미지의 값은 확률변수 (미지의 값이란 모수, 결측값(missing value), 미래값 )이다.
• 따라서, 확률 변수의 확률분포에 대해 관심 ( 상수가 아니므로 분포에 관심 )이 있다.

• 표본을 얻는 과정

• 베이즈 정리

 

(4) 추론 목적에 따른 통계적 추론의 분류

 

통계적 추론은 데이터로부터 모집단에 대한 정보를 얻기 위한 방법으로, 추론 목적에 따라 크게 추정과 가설검정으로 나눌 수 있다.

▶ 추정 (Estimation)

추정은 모집단의 모수에 대한 값을 알아내기 위한 방법이다. 추정은 점추정과 구간추정으로 나눌 수 있다.

• 점추정 (Point estimation): 추정하고자 하는 모수를 하나의 값으로 추정하는 방법이다. 예를 들어, 모평균의 추정치로 표본평균을 사용하는 것이다.
• 구간추정 (Interval estimation): 추정하고자 하는 모수가 포함될 가능성이 높은 구간을 추정하는 방법입니다. 예를 들어, 모평균의 구간추정을 하면서 신뢰구간을 계산하는 것이다.

▶ 가설검정 (Hypothesis testing)

가설검정은 모집단에 대한 가설을 세우고, 이를 데이터로부터 검증하는 방법이다. 가설검정은 귀무가설과 대립가설을 설정하고, 귀무가설이 기각되면 대립가설을 채택한다.

• 귀무가설 (Null hypothesis): 검증하고자 하는 가설로, 보통은 모집단에 대한 기존의 믿음이나 주장을 담고 있다.
• 대립가설 (Alternative hypothesis): 귀무가설을 기각하게 되면 채택할 가설이다. 대립가설은 귀무가설과 모순되는 내용을 담고 있다.

가설검정에서는 유의수준과 검정통계량 등의 개념이 사용된다. 검정통계량은 표본에서 계산된 값으로, 귀무가설이 참인 경우에 따른 분포를 이용하여 p-value를 계산한다. p-value가 유의수준보다 작으면 귀무가설을 기각하고, 그렇지 않으면 귀무가설을 채택한다.

※  따라서, 추정은 모수의 값을 추정하고, 가설검정은 모수에 대한 가설을 검증한다.