[Machine Learning] 제임스-스타인 추정량(James-Stein Estimator)

 

※ 가우시안 분포(Gaussian Distribution)의 모수(Parameter) 추정량 공부하기

평균 추정량(Mean Estimator):
$$\hat{\mu }=\frac{1}{N}\sum _{i=1}^N{X}_i$$
평균 추정량의 편향(Bias):
$$Bias(\hat{\mu })=0$$
평균 추정량의 일반화 오차(MSE):
$$MSE(\hat{\mu })=Bias(\hat{\mu })+Var(\hat{\mu })=0+Var(\hat{\mu })=\frac{{\sigma }^2}{N}$$

---

• 제임스-스타인 추정량: $${\hat{\mu }}_{JS}=\hat{\mu }-\frac{(n-2){\sigma }^2}{{\hat{\mu }}^2}\hat{\mu }$$
• 제임스-스타인 추정량의 편향: 참값과 차이가 있다. $$Bias({\hat{\mu }}_{JS})>0$$
• 제임스-스타인 추정량의 일반화 오차: 일반적인 평균 추정량의 일반화 오차보다 작다. $$MSE({\hat{\mu }}_{JS})<MSE(\hat{\mu })$$

일반적인 평균 추정량과 제임스-스타인 추정량의 비교

일반적으로 불편 추정량(Unbiased Estimator)를 목표로 모델을 학습시켰다. 제임스-스타인 추정량에 의하면 편향을 $0$보다 약간 큰 값으로 설정하고 분산(Variance)를 줄여, 결론적으로 더 참값에 가까운 추정량을 계산한다.

---

1. Richard O. Duda, Peter E. Hart, and David G. Stork. 2000. Pattern Classification (2nd Edition). Wiley-Interscience, USA.

2. Müller, K.R., Montavon, G. (2021). Lecture on Machine Learning 1-X. Technische Universität Berlin, Berlin, Germany.