분류 전체보기
-
[Machine Learning] 공분산 행렬(Covariance Matrix)Informatik 2022. 2. 16. 20:11
교차 공분산 행렬(Cross Covariance Matrix) 확률 변수(Random Variable) $X, Y$의 평균이 각각 $\mu_X, \mu_Y$일 때, 교차 공분산 행렬 $\Sigma$은 다음과 같이 정의된다. $$Cov (X, Y) = \mathbb {E} [(X- \mu_X)(Y - \mu_Y)^{\top}]$$ 공분산 행렬(Covariance Matrix) 일반적인 공분산 행렬 확률 변수(Random Variable) $X$의 평균이 $\mu$일 때, 공분산 행렬은 다음과 같이 정의된다. $$Var (X) = Cov (X) = \mathbb {E} [(X- \mu)(X - \mu)^{\top}]$$ 정렬된 데이터의 공분산 행렬 $T$개의 데이터 $\mathbf {x} \in \mathb..
-
[Machine Learning] 상관계수(Correlation Coefficient)Informatik 2022. 2. 16. 19:48
상관계수는 두 변수 사이의 통계적 관계를 표현하기 위해 특정한 상관관계의 정도를 수치적으로 나타낸 계수이다. [wikipedia] $\mathbf {x}_t \in \mathbb {R}^{T \times 1}$과 $\mathbf {y} \in \mathbb {R}^{T \times 1}$가 주어졌을 때, $\mathbf {x}$과 $\mathbf {y}$의 상관계수의 경험적 추정치는 다음과 같다. $$ \begin {align*} Corr(\mathbf {x}, \mathbf {y}) &= \sum_t \frac {x_t y_t}{\sqrt {x^2_t y^2_t}} \\ &= \frac {\mathbf {x}^{\top} \mathbf {y}}{\sqrt {\mathbf {x}^{\top} \mathb..
-
[Machine Learning] 퍼셉트론 인공신경망(Perceptron Artificial Neural Network)Informatik 2022. 2. 16. 19:28
※ [Machine Learning] 선형 분류(Linear Classification) [Machine Learning] 선형 분류(Linear Classification) 선형 분류는 일차원 혹은 다차원 데이터들을 선형 모델(Linear Model)을 이용하여 클래스들로 분류(Classification)하는 머신러닝(Machine Learning) 기법이다. 아래 예시는 2차원 데이터를 어떤 선형 모델로 minicokr.com ※ [Machine Learning] NCC(Nearest Centroid Classifier) [Machine Learning] NCC(Nearest Centroid Classifier) ※ [Machine Learning] 선형 분류(Linear Classifier) [Ma..
-
[Machine Learning] NCC(Nearest Centroid Classifier)Informatik 2022. 2. 16. 17:55
※ [Machine Learning] 선형 분류(Linear Classifier) [Machine Learning] 선형 분류(Linear Classifier) 선형 분류는 일차원 혹은 다차원 데이터들을 선형 모델(Linear Model)을 이용하여 클래스들로 분류(Classification)하는 머신러닝(Machine Learning) 기법이다. 아래 예시는 2차원 데이터를 어떤 선형 모델로 minicokr.com 머신러닝에서 NCC는 분류하고자 하는 데이터에서 가장 가까이 위치하고 있는 레이블링 된 데이터의 집합의 중심을 기준으로 분류하는 모델 중 하나다. [wikipedia] 두 개의 중심 $\mu_1, \mu_2$과 각 레이블에 속하는 데이터들이 주어졌다고 가정하자. 새로운 데이터에서 두 개의 중..
-
[Machine Learning] 편향-분산 분해(Bias-Variance Decomposition)Informatik 2022. 2. 15. 01:50
편향-분산 분해는 지도 학습(Supervised Learning) 알고리즘의 오버 피팅(Overfitting)을 예방하기 위해 기대 오차(Expected Error)를 분석하는 방법이다. 오차를 편향, 분산 그리고 데이터 자체에 내재하고 있어 어떤 모델링으로 줄일 수 없는 오류의 합으로 본다. [wikipedia] 모수의 통계(Statistics of Parameter) 머신러닝은 미지수의 모수(Unknown Parameter) $\theta$에 생성되는 데이터 $\mathcal {D}$를 관찰 및 가정하여 모델을 학습하고 추정한 모수 $\hat {\theta}$에 대하여 관찰되지 않은 데이터들까지 가정에 들이 맞는지 모델을 평가하고 알맞은 모델을 선택한다. 좋은 머신러닝 모델이란, 미지수 모수 $\th..
-
[Machine Learning] 제임스-스타인 추정량(James-Stein Estimator)Informatik 2022. 2. 15. 00:19
※ 가우시안 분포(Gaussian Distribution)의 모수(Parameter) 추정량 공부하기 평균 추정량(Mean Estimator): $$\hat {\mu} = \frac {1}{N} \sum^{N}_{i = 1} X_i$$ 평균 추정량의 편향(Bias): $$Bias(\hat {\mu}) = 0$$ 평균 추정량의 일반화 오차(MSE): $$MSE(\hat {\mu}) = Bias(\hat {\mu}) + Var(\hat {\mu}) = 0 + Var(\hat {\mu}) = \frac {\sigma^2}{N}$$ 제임스-스타인 추정량: $$\hat {\mu}_{JS} = \hat {\mu} - \frac {(n - 2) \sigma^2}{\hat {\mu}^2} \hat {\mu}$$ 제임스..
-
[Machine Learning] 모델 평가와 선택(Model Assessment and Selection)Informatik 2022. 2. 14. 20:31
※ 모델 선택에 있어서 중요한 개념: [Machine Learning] 오버 피팅(Overfitting) [Machine Learning] 오버 피팅(Overfitting) 일반적으로 학습 데이터는 실제 데이터의 부분 집합이므로 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서 오차가 증가하는데, 이 현상을 오버 피팅이라고 부른다. [wikipedia] $m$ minicokr.com 오차의 종류들(Types of Errors) 모델 평가(Model Assessment)란 주어진 가설(Hypothesis) $h \in$ F에 대해서 모델의 성능을 평가하는 것이다. 성능을 측정하는 데에는 크게 세 가지 요소가 있다. 학습 오차(Training Error): 학습 세트 $D_{train} = (x_..
-
[Machine Learning] 언더 피팅과 오버 피팅(Underfitting and Overfitting)Informatik 2022. 2. 12. 05:21
일반적으로 학습 데이터는 실제 데이터의 부분 집합이므로 학습 데이터에 대해서 오차가 감소하지만 실제 데이터에 대해서 오차가 증가하는데, 이 현상을 오버 피팅이라고 부른다. [wikipedia] $m$개의 학습 데이터(Training Data) 세트가 주어졌을 때, 미지수의 매핑 함수(Mapping Function) $f: \mathbb {R}^n \rightarrow \mathbb {R}$를 가장 알맞게 예측해보자. 가설 공간(Hypothesis Space) $\mathcal {H}$을 정한다. 경험적 위험도(Empirical Risk) $E_m [h]$를 최소화한다. (※ ERM 자료) ERM으로 미지수 함수 $f$를 예측한다. 이제 F를 함수 $h: \mathbb {R}^n \rightarrow \m..