[Machine Learning] 커널 능형 회귀(Kernel Ridge Regression)

※ [Machine Learning] 회귀(Regression)

[Machine Learning] 회귀(Regression)

※ [Machine Learning] 언더 피팅과 오버 피팅(Underfitting and Overfitting)

[Machine Learning] 언더 피팅과 오버 피팅(Underfitting and Overfitting)

---

능형 회귀(Ridge Regression)

SRM(Structural Risk Minimization) 원리로 클래스 함수(Class Function)를 제한하는 모델을 선택한다. 따라서 능형 회귀의 최적화 문제는 다음과 같다.

$$\underset{\mathbf{w}}{min}\mathcal{E}(\mathbf{w})\text{ s.t. }||\mathbf{w}|{|}^2\le C$$

라그랑주 승수법(Lagrage Multiplier)으로 최적 $\mathbf{w}$를 구한다.

$${\mathrm{\nabla }}_{\mathbf{w}}L(\mathbf{w},\lambda )={\mathrm{\nabla }}_{\mathbf{w}}(\frac{1}{N}{\mathbf{w}}^{\mathrm{\top }}{\mathbf{XX}}^{\mathrm{\top }}\mathbf{w}-\frac{2}{N}\mathbf{w}\mathbf{X}\mathbf{t}+\lambda \cdot (||\mathbf{w}|{|}^2-C))=0$$

$$\therefore \mathbf{w}=({\mathbf{XX}}^{\mathrm{\top }}+\underset{\lambda }{\underbrace{N\lambda }}\mathbf{I}{)}^{-1}\mathbf{Xt}$$

최소 제곱 오차(Least Square Error):
$\mathbf{X}=({\mathbf{x}}_1|\cdots |{\mathbf{x}}_N),\mathbf{t}=(t_1,\cdots ,t_N)$
$$\begin{array}{rl}\mathcal{E}(\mathbf{w})& =\frac{1}{N}\sum _{k=1}^N({\mathbf{w}}^{\mathrm{\top }}{\mathbf{x}}_k-t_k{)}^2\\ & =\frac{1}{N}\sum _{k=1}^N{\mathbf{w}}^{\mathrm{\top }}{\mathbf{x}}_k{\mathbf{x}}_k^{\mathrm{\top }}\mathbf{w}-2{\mathbf{w}}^{\mathrm{\top }}{\mathbf{x}}_k{t}_k+\text{cst.}\\ & =\frac{1}{N}{\mathbf{w}}^{\mathrm{\top }}{\mathbf{XX}}^{\mathrm{\top }}\mathbf{w}-\frac{2}{N}{\mathbf{w}}^{\mathrm{\top }}\mathbf{X}\mathbf{t}+\text{cst.}\end{array}$$
최소 제곱 오차의 최적 $\mathbf{w}$:
$$\mathbf{w}=({\mathbf{XX}}^{\mathrm{\top }}{)}^{-1}\mathbf{Xt}$$

$\lambda$는 교차 검증(Cross Validation)으로 최적값을 찾을 수 있다. $\lambda$의 값이 클 수록 함수의 모양이 더 납작하다. 따라서, 노이즈(Noise)가 많은 고차원 데이터에 큰 $\lambda$값을 설정하면 도움이 된다.

---

※ [Machine Learning] 단순 선형 회귀(Simple Linear Regression)

[Machine Learning] 단순 선형 회귀(Simple Linear Regression)

※ [Machine Learning] 다중 선형 회귀(Multiple Linear Regression)

[Machine Learning] 다중 선형 회귀(Multiple Linear Regression)

---

항상 선형적인 모델 ${\mathbb{R}}^d\to \mathbb{R}$로 회귀가 가능한 건 아니다. 비선형적인 모양을 따르는 데이터를 처리할 때, 데이터들을 특성 함수로 매핑하여 특성 공간 내에서 선형 분류를 하도록 한다.

$$\mathrm{\Phi }:{\mathbb{R}}^d\to {\mathbb{R}}^h$$

---

※ [Machine Learning] 커널 기법(Kernel Method): 커널 트릭(Kernel Trick), 서포트 벡터 머신(Support Vector Machine)

[Machine Learning] 커널 기법(Kernel Method): 커널 트릭(Kernel Trick), 서포트 벡터 머신(Support Vector Machine)

---

커널 능형 회귀(Kernel Ridge Regression)

모델을 재정의 하여, $y={\mathbf{w}}^{\mathrm{\top }}\mathrm{\Phi }(\mathbf{x})$, 오차 함수(Error Function)을 최소화한다. ($\mathbf{w}\in {\mathbb{R}}^h$)

$$\mathcal{E}(\mathbf{w})=\frac{1}{N}\sum _{k=1}^N({\mathbf{w}}^{\mathrm{\top }}\mathrm{\Phi }({\mathbf{x}}_k)-t_k{)}^2\text{ s.t. }||\mathbf{w}|{|}^2\le C$$

$$\begin{array}{r}\therefore \mathbf{w}=(\mathrm{\Phi }(\mathbf{X})\mathrm{\Phi }(\mathbf{X}{)}^{\mathrm{\top }}+\lambda \mathbf{I}{)}^{-1}\mathrm{\Phi }(\mathbf{X})\mathbf{t}//\text{where }\mathrm{\Phi }(\mathbf{X})=(\mathrm{\Phi }({\mathbf{x}}_1)|\cdots |\mathrm{\Phi }({\mathbf{x}}_N)),\text{ and for an appropriate choice of parameter }\lambda .\end{array}$$

새로운 데이터는 다음과 같이 회귀한다.

$$\begin{array}{rl}y& ={\mathbf{w}}^{\mathrm{\top }}\mathrm{\Phi }(\mathbf{x})\\ & =\mathrm{\Phi }(\mathbf{x}{)}^{\mathrm{\top }}\mathbf{w}\\ & =\mathrm{\Phi }(\mathbf{x}{)}^{\mathrm{\top }}(\mathrm{\Phi }(\mathbf{X})\mathrm{\Phi }(\mathbf{X}{)}^{\mathrm{\top }}+\lambda \mathbf{I}{)}^{-1}\mathrm{\Phi }(\mathbf{X})\mathbf{t}\end{array}$$

커널 기법(Kernel Method)에서 배웠듯이 $<\mathrm{\Phi }(\mathbf{x})\cdot \mathrm{\Phi }(\mathbf{x})>=\mathrm{\Phi }(\mathbf{x}{)}^{\mathrm{\top }}\mathrm{\Phi }(\mathbf{x})$을 커널 $K$로 치환하여 커널 트릭(Kernel Trick)을 적용하였다. 하지만, 여기서 문제는 위의 식에서 $\mathrm{\Phi }(\mathbf{x})\mathrm{\Phi }(\mathbf{x}{)}^{\mathrm{\top }}$와 $\mathrm{\Phi }(\mathbf{x}{)}^{\mathrm{\top }}\mathrm{\Phi }(\mathbf{x})$는 엄연히 다르다. 따라서 커널 트릭을 적용할 수 있는 형태로 재정리해야 한다.

커널 트릭을 적용할 수 있도록 재정리

$$\begin{array}{rl}\therefore y(\mathbf{x})& =k(\mathbf{x},\mathbf{X})(K+\lambda \mathbf{I}{)}^{-1}\mathbf{t}\\ & =\sum _{i=1}^{N}k(\mathbf{x},{\mathbf{x}}_i)\cdot {\alpha }_i\end{array},\text{ where }\alpha =(K+\lambda \mathbf{I}{)}^{-1}\mathbf{t}$$

커널 함수가 함수 $y$의 모양에 상당히 큰 영향을 끼친다.

---

1. Richard O. Duda, Peter E. Hart, and David G. Stork. 2000. Pattern Classification (2nd Edition). Wiley-Interscience, USA.

2. Müller, K.R., Montavon, G. (2021). Lecture on Machine Learning 1-X. Technische Universität Berlin, Berlin, Germany.