[Machine Learning] 경사 하강법(Gradient Descent)

 

경사 하강법의 기본 개념은 함수의 기울기 혹은 경사를 구하고 경사의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시키는 1차 근삿값 발견용 최적화 알고리즘이다. [wikipedia]

---

경사 하강법의 절차

① 임의의 시작점 $\mathbf {w} = (w_0, ..., w_N)$ 설정한다.

② 다음 방식으로 $\mathbf {w}$를 종료 시까지 반복하여 업데이트한다. $$w_j \leftarrow w_j - \eta \frac {\partial}{\partial w_j} J(\mathbf {w}) \text { for all } j$$

$\mathbf {w} = (w_0, w_1)$일 때의 경사 하강법

---

학습률(Learning Rate) $\eta$

일반적인 경사 하강법 공식:
$$w_j \leftarrow w_j - \eta \frac {\partial}{\partial w_j} J(w) \text { for all } j$$

여기서 $\eta$는 학습률에 해당하며 얼마나 빨리 학습할 것인가를 의미한다. 학습률이 너무 크면 최적 값을 찾기 어려울 수 있고, 반면 학습률이 너무 작으면 학습 속도가 느릴 수가 있다. 따라서 너무 크지도 작지도 않은 적절한 값으로 학습률을 설정하는 것이 중요하며 이의 값은 학습하려는 모델에 따라 달라진다.