[Machine Learning] 제임스-스타인 추정량(James-Stein Estimator)

 

※ 가우시안 분포(Gaussian Distribution)의 모수(Parameter) 추정량 공부하기

평균 추정량(Mean Estimator):
$$\hat {\mu} = \frac {1}{N} \sum^{N}_{i = 1} X_i$$
평균 추정량의 편향(Bias):
$$Bias(\hat {\mu}) = 0$$
평균 추정량의 일반화 오차(MSE):
$$MSE(\hat {\mu}) = Bias(\hat {\mu}) + Var(\hat {\mu}) = 0 + Var(\hat {\mu}) = \frac {\sigma^2}{N}$$

---

• 제임스-스타인 추정량: $$\hat {\mu}_{JS} = \hat {\mu} - \frac {(n - 2) \sigma^2}{\hat {\mu}^2} \hat {\mu}$$
• 제임스-스타인 추정량의 편향: 참값과 차이가 있다. $$Bias (\hat {\mu}_{JS}) > 0$$
• 제임스-스타인 추정량의 일반화 오차: 일반적인 평균 추정량의 일반화 오차보다 작다. $$MSE (\hat {\mu}_{JS}) < MSE (\hat {\mu})$$

일반적인 평균 추정량과 제임스-스타인 추정량의 비교

일반적으로 불편 추정량(Unbiased Estimator)를 목표로 모델을 학습시켰다. 제임스-스타인 추정량에 의하면 편향을 $0$보다 약간 큰 값으로 설정하고 분산(Variance)를 줄여, 결론적으로 더 참값에 가까운 추정량을 계산한다.

---

1. Richard O. Duda, Peter E. Hart, and David G. Stork. 2000. Pattern Classification (2nd Edition). Wiley-Interscience, USA.

2. Müller, K.R., Montavon, G. (2021). Lecture on Machine Learning 1-X. Technische Universität Berlin, Berlin, Germany.