[Machine Learning] 공분산 행렬(Covariance Matrix)

교차 공분산 행렬(Cross Covariance Matrix)

확률 변수(Random Variable) $X,Y$의 평균이 각각 ${\mu }_X,{\mu }_Y$일 때, 교차 공분산 행렬 $\mathrm{\Sigma }$은 다음과 같이 정의된다.

$$Cov(X,Y)=\mathbb{E}[(X-{\mu }_X)(Y-{\mu }_Y{)}^{\mathrm{\top }}]$$

---

공분산 행렬(Covariance Matrix)

일반적인 공분산 행렬

확률 변수(Random Variable) $X$의 평균이 $\mu$일 때, 공분산 행렬은 다음과 같이 정의된다.

$$Var(X)=Cov(X)=\mathbb{E}[(X-\mu )(X-\mu {)}^{\mathrm{\top }}]$$

정렬된 데이터의 공분산 행렬

$T$개의 데이터 $\mathbf{x}\in {\mathbb{R}}^D$로 구성된 행렬 $\mathbf{X}\in {\mathbb{R}}^{D\times T}$가 주어졌을 때, 공분산 행렬의 경험적 추정치는 다음과 같이 정의된다.

$$\frac{1}{T}\mathbf{X}{\mathbf{X}}^{\mathrm{\top }},\text{ where we assume centered data, i.e. }\sum _{t=1}^T{x}_t=0$$