Informatik
-
[Machine Learning] 모델 평가와 선택(Model Assessment and Selection)Informatik 2022. 2. 14. 20:31
※ 모델 선택에 있어서 중요한 개념: [Machine Learning] 오버 피팅(Overfitting) [Machine Learning] 오버 피팅(Overfitting) 일반적으로 학습 데이터는 실제 데이터의 부분 집합이므로 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서 오차가 증가하는데, 이 현상을 오버 피팅이라고 부른다. [wikipedia] $m$ minicokr.com 오차의 종류들(Types of Errors) 모델 평가(Model Assessment)란 주어진 가설(Hypothesis) $h \in$ F에 대해서 모델의 성능을 평가하는 것이다. 성능을 측정하는 데에는 크게 세 가지 요소가 있다. 학습 오차(Training Error): 학습 세트 $D_{train} = (x_..
-
[Machine Learning] 언더 피팅과 오버 피팅(Underfitting and Overfitting)Informatik 2022. 2. 12. 05:21
일반적으로 학습 데이터는 실제 데이터의 부분 집합이므로 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서 오차가 증가하는데, 이 현상을 오버 피팅이라고 부른다. [wikipedia] $m$개의 학습 데이터(Training Data) 세트가 주어졌을 때, 미지수의 매핑 함수(Mapping Function) $f: \mathbb {R}^n \rightarrow \mathbb {R}$를 가장 알맞게 예측해보자. 가설 공간(Hypothesis Space) $\mathcal {H}$을 정한다. 경험적 위험도(Empirical Risk) $E_m [h]$를 최소화한다. (※ ERM 자료) ERM으로 미지수 함수 $f$를 예측한다. 이제 F를 함수 $h: \mathbb {R}^n \rightarrow \m..
-
[Machine Learning] 다중 선형 회귀(Multiple Linear Regression)Informatik 2022. 2. 12. 02:26
※ [Machine Learning] 회귀(Regression) 공부하기 [Machine Learning] 회귀(Regression) 통계학에서 회귀 분석이란 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다. [wikipedia] 분류(Classification) vs. 회귀(Regression) 분류는 $\mathbb {R}^d$상. minicokr.com 저번 포스팅에서 한 개의 독립 변수(Independent Variable)에 기반한 회귀 분석 기법인 SLR를 배웠다. MLR은 이와 비슷한 회귀 분석 기법으로 둘 이상의 독립 변수에 기반한 선형 회귀를 지칭한다. ※ 참고 $n$ 특성의 개수(Number of features) $w_0$ 편향(Bias..
-
[Machine Learning] 경사 하강법(Gradient Descent)Informatik 2022. 2. 9. 21:53
경사 하강법의 기본 개념은 함수의 기울기 혹은 경사를 구하고 경사의 절댓값이 낮은 쪽으로 계속 이동시켜 극값에 이를 때까지 반복시키는 1차 근삿값 발견용 최적화 알고리즘이다. [wikipedia] 경사 하강법의 절차 ① 임의의 시작점 $\mathbf {w} = (w_0, ..., w_N)$ 설정한다. ② 다음 방식으로 $\mathbf {w}$를 종료 시까지 반복하여 업데이트한다. $$w_j \leftarrow w_j - \eta \frac {\partial}{\partial w_j} J(\mathbf {w}) \text { for all } j$$ 학습률(Learning Rate) $\eta$ 일반적인 경사 하강법 공식: $$w_j \leftarrow w_j - \eta \frac {\partial}{\..
-
[Machine Learning] 최대우도법(Maximum Likelihood Estimation)Informatik 2022. 2. 9. 21:13
최대우도법은 어떤 확률 변수(Random Variable)에서 표집한 값들을 토대로 그 확률 변수의 모수(Parameter)를 구하는 방법이다. 어떤 모수가 주어졌을 때, 원하는 값들이 나올 우도(Likelihood)를 최대로 만드는 모수를 선택한다. [wikipedia] 평균(Mean)이나 공분산(Covariance)으로 이루어진 모수 벡터(Parameter Vector) $\theta$와 데이터에 대한 확률 밀도 함수(Probability Density Function) $p(\mathbf {x} | \theta)$를 가정할 때, 데이터를 가장 잘 모델링할 수 있는, 즉, 최대 우도를 갖는 모수 $\theta$들을 찾고자 한다. 데이터 세트(Dataset) $\mathcal {D} = (\mathbf..
-
[Machine Learning] PCA(Principal Component Analysis)Informatik 2022. 2. 9. 06:12
PCA는 고차원의 데이터를 저차원의 데이터로 환원시키는 기법을 말한다. [wikipedia] 머신러닝에 있어서 대부분의 데이터는 매우 고차원이며 데이터 양은 광대하다. 그렇기에 초고차원 데이터에 표준 회귀(Regression)나 분류(Classification) 기법을 적용하기에는 부적절하다. 베이즈 결정 이론에서의 MLE (데이터가 평균값이 다르고, 공분산이 같은 다변량 정규분포를 따를 때): $$arg \max_i P(w_i | \mathbf {x}) = arg\max_i \left [\mathbf {x}^{\top} \Sigma^{-1} \mu_i - \frac {1}{2} \mu_i^{\top} \Sigma^{-1} \mu_i + \log P(w_i) \right ]$$ 이전에 배웠던 베이즈 결정..
-
[Machine Learning] 최대우도법 vs. 베이즈 추정법(Maximum Likelihood Estimation vs. Bayesian Estimation)Informatik 2022. 1. 31. 18:56
지난 포스팅에서 MLE 기법을 다뤘고 알려지지 않은 분포에 대해 모수 추정(Parameter Estimation)을 하는 예시를 배웠다. [Machine Learning] 선형 분류(Linear Classifier) 선형 분류는 일차원 혹은 다차원 데이터들을 선형 모델(Linear Model)을 이용하여 클래스들로 분류(Classification)하는 머신러닝(Machine Learning) 기법이다. 아래 예시는 2차원 데이터를 어떤 선형 모델로 minicokr.com 이번 포스팅은 MLE와 베이즈 추정법을 비교하여 두 기법의 차이점과 결론을 공부한다. 지난 포스팅과 같이 알려지지 않은 어떤 기하 분포(Giometric Distribution)를 따르는 데이터에 대한 모수 추정을 해보자. 지난 포스팅에..
-
[Machine Learning] 단순 선형 회귀(Simple Linear Regression)Informatik 2022. 1. 28. 19:11
※ [Machine Learning] 회귀(Regression) [Machine Learning] 회귀(Regression) 통계학에서 회귀 분석이란 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다. [wikipedia] 분류(Classification) vs. 회귀(Regression) 분류는 $\mathbb {R}^d$상. minicokr.com 통계학에서 선형 회귀는 종속 변수 $y$와 한 개 이상의 독립 변수 $X$와의 선형 상관관계를 모델링하는 회귀분석 기법이다. [wikipedia] 선형 회귀의 가정과 목표 ※ 참고 $m$ 학습 세트의 개수(Number of training examples) $n$ 특성의 개수(Number of features)..