[Machine Learning] 공분산 행렬(Covariance Matrix)

교차 공분산 행렬(Cross Covariance Matrix)

확률 변수(Random Variable) $X, Y$의 평균이 각각 $\mu_X, \mu_Y$일 때, 교차 공분산 행렬 $\Sigma$은 다음과 같이 정의된다.

$$Cov (X, Y) = \mathbb {E} [(X- \mu_X)(Y - \mu_Y)^{\top}]$$

---

공분산 행렬(Covariance Matrix)

일반적인 공분산 행렬

확률 변수(Random Variable) $X$의 평균이 $\mu$일 때, 공분산 행렬은 다음과 같이 정의된다.

$$Var (X) = Cov (X) = \mathbb {E} [(X- \mu)(X - \mu)^{\top}]$$

정렬된 데이터의 공분산 행렬

$T$개의 데이터 $\mathbf {x} \in \mathbb {R}^D$로 구성된 행렬 $\mathbf {X} \in \mathbb {R}^{D \times T}$가 주어졌을 때, 공분산 행렬의 경험적 추정치는 다음과 같이 정의된다.

$$\frac {1}{T} \mathbf {X} \mathbf {X}^{\top}, \text { where we assume centered data, i.e. } \sum^T_{t = 1} x_t = 0$$