[Machine Learning] 퍼셉트론 인공신경망(Perceptron Artificial Neural Network)

※ [Machine Learning] 선형 분류(Linear Classification)

[Machine Learning] 선형 분류(Linear Classification)

※ [Machine Learning] NCC(Nearest Centroid Classifier)

[Machine Learning] NCC(Nearest Centroid Classifier)

---

프랑크 로젠블라트(Frank Rosenblatt)가 패턴 인식(Pattern Recognition)을 위한 인공신경망(Artifical Neural Network)인 퍼셉트론(Perceptron)을 고안하였다. [Rosenblatt, 1958]

---

퍼셉트론 학습 알고리즘(Perceptron Learning Algorithm)

목표

다변량 데이터(Multivariate Data) $\mathbf{x}\in {\mathbb{R}}^D$를 이진 분류하여라.

입력

학습률(Learning Rate) $\eta$ and $N$ 튜플(Tuple) $({\mathbf{x}}_n,y_m)$

• $D$ 차원의 데이터 ${\mathbf{x}}_n\in {\mathbb{R}}^D$
• 각 데이터에 대한 레이블 $y_n\in \{-1,+1\}$

출력

가중치 벡터(Weight Vector) $\mathbf{w}\in {\mathbb{R}}^D$

$${\mathbf{w}}^{\mathrm{\top }}{\mathbf{x}}_n-\beta =\{\begin{array}{ll}\ge 0& \text{if }{y}_n=+1\\ <0& \text{if }{y}_n=-1\end{array}$$

※ 오프셋 및 편향(Offset or Bias)을 고려한 가중치는 $\tilde{\mathbf{w}}=(-\beta ,\mathbf{w})$ $y$ 절편을 고려한 판별 함수를 간단하게 표현한다. 데이터 벡터도 마찬가지로 편향을 고려한 1을 덧 붙인 $\tilde{\mathbf{x}}=(1,\mathbf{x})$를 사용한다. 이렇게 하면 ${\mathbf{w}}^{\mathrm{\top }}\mathbf{x}-\beta$ 대신 ${\tilde{\mathbf{w}}}^{\mathrm{\top }}\tilde{\mathbf{x}}$를 사용한다.

$${\tilde{\mathbf{w}}}^{\mathrm{\top }}\tilde{\mathbf{x}}=\{\begin{array}{ll}\ge 0& \text{if }{y}_n=+1\\ <0& \text{if }{y}_n=-1\end{array}$$

오차 함수(Error Function)는 올바르지 않게 분류되었을 때, 페널티를 부과하는 방식으로 다음과 같이 사용한다.

$$\mathcal{E}(\tilde{\mathbf{w}})=-\sum _{m\in \mathcal{M}}{\tilde{\mathbf{w}}}^{\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m$$

예를 들어, ${\tilde{\mathbf{w}}}^{\mathrm{\top }}\tilde{\mathbf{x}}$의 결과가 $2$이고, $y_m$의 결과도 $1$일 때, 데이터가 클래스 $\circ$으로 올바르게 분류되었다. 두 결괏값의 곱은 $2\times 1=2$이고 오차 함수에 의해 음수를 취하면 $-2$로 페널티가 부과되지 않는다. 반대로 ${\tilde{\mathbf{w}}}^{\mathrm{\top }}\tilde{\mathbf{x}}$의 결과가 $2$이고, $y_m$의 결과는 $-1$일 때, 클래스 $\mathrm{△}$로 분류되었어야 할 데이터가 클래스 $\circ$로 잘못 분류되었다. 이때는 $-(2\times -1)=2$로 패널티가 부과된다. 즉, 데이터가 잘못 분류되었을 때 ${\tilde{\mathbf{w}}}^{\mathrm{\top }}\tilde{\mathbf{x}}{y}_m$의 값은 음수이며, $\sum$ 앞에 있는 -에 의해 양수 값의 페널티가 부과된다.

퍼셉트론의 오차 함수는 확률적 경사 하강법(Stochastic Gradient Descent)으로 반복을 통해 최소화할 수 있다.

경사 하강법

1. 처음에 사용할 ${\tilde{\mathbf{w}}}^{old}$를 초기화한다. 예로, $\frac{1}{n}$으로 할당할 수 있다.
2. 모든 데이터가 정확히 레이블링될 때까지, 다음 절차를 반복한다.
   1. 임의의 잘못 분류된 데이터 ${\tilde{\mathbf{x}}}_m$를 선택한다.
   2. 데이터 ${\tilde{\mathbf{x}}}_m$에서 기울기 방향으로 하강한다.
      $$\begin{array}{rl}{\mathcal{E}}_m(\tilde{\mathbf{w}})& =-{\tilde{\mathbf{w}}}^{\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m\\ \mathrm{\nabla }{\mathcal{E}}_m(\tilde{\mathbf{w}})& =-{\tilde{\mathbf{x}}}_m{y}_m\\ {\tilde{\mathbf{w}}}^{new}& \leftarrow {\tilde{\mathbf{w}}}^{old}-\eta \mathrm{\nabla }{\mathcal{E}}_m({\tilde{\mathbf{w}}}^{old})\\ \therefore {\tilde{\mathbf{w}}}^{new}& \leftarrow {\tilde{\mathbf{w}}}^{old}+\eta {\tilde{\mathbf{x}}}_m{y}_m\end{array}$$

첫 번째 업데이트 후 임의로 선택했던 잘못 분류된 데이터 ${\tilde{\mathbf{x}}}_m$의 오차는 다음과 같다.

$$\begin{array}{rl}-{\tilde{\mathbf{w}}}^{(new)\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m& =-{\tilde{\mathbf{w}}}^{(old)\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m-\eta ({\tilde{\mathbf{x}}}_m{y}_m{)}^{\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m\\ & <-{\tilde{\mathbf{w}}}^{(old)\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m\end{array}$$

$$\because ({\tilde{\mathbf{x}}}_m{y}_m{)}^{\mathrm{\top }}{\tilde{\mathbf{x}}}_m{y}_m>0$$

Q. 어떤 경우에 퍼셉트론의 경사 하강법이 빨리 수렴되는가?
A. 두 클래스의 데이터들이 밀접하게 위치하고 있을 때, 더 정밀한 하이퍼플레인(Hyperplance)을 요구한다. 따라서 수렴하는데 더 많은 시간이 필요하다. 반대로, 두 클래스의 데이터들의 거리가 넓을 때, 더 빨리 수렴한다. 수학적으로 표현시, $||{\tilde{\mathbf{w}}}^{\mathrm{\top }}\tilde{\mathbf{x}}-\beta ||>0$일 때, 더 빨리 수렴한다.

---

퍼셉트론의 한계

항상 퍼셉트론으로 데이터를 이진 분류가 가능한 것은 아니다. 아래의 그림은 퍼셉트론의 경사 하강법이 수렴되지 않는 반례를 보여준다.

하나의 선형 모델로 분류될 수 없는 경우, 혹은 데이터가 서로 연관되어 있을 때, 퍼셉트론을 적용할 수 없다. 전자의 경우, 비선형 모델(Non-linear Model)을 사용하거나, 다중 퍼셉트론 모델(Multiple Perceptrons)으로 해결하고, 후자의 경우, 피셔의 선형 판별 분석(Fisher's Linear Discriminant Analysis)을 사용한다.

---

1. Richard O. Duda, Peter E. Hart, and David G. Stork. 2000. Pattern Classification (2nd Edition). Wiley-Interscience, USA.

2. Müller, K.R., Montavon, G. (2021). Lecture on Machine Learning 1-X. Technische Universität Berlin, Berlin, Germany.