[Machine Learning] 회귀(Regression)

통계학에서 회귀 분석이란 관찰된 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤
적합도를 측정해 내는 분석 방법이다. [wikipedia]

분류(Classification) vs. 회귀(Regression)

분류는 $\mathbb {R}^d$상에 있는 데이터들을 한정된 클래스의 개수에 알맞게 할당하는 반면 회귀는 $\mathbb {R}^d$상에 있는 데이터들을 $\mathbb {R}$상의 실수 값으로 매핑(Mapping)한다. 지난 포스팅 [Machine Learning] 베이즈 결정 이론(Bayesian Decision Theory)에서 보았듯이 분류의 예시로는 스팸 메일 분류, 가짜 뉴스 판별 등이 있었다. 회귀로는 고차원에서 일차원으로 대응된 실수 데이터들, 예를 들어 화학 반응(고차원)에서의 에너지 양(일차원 실수 값)의 예측하는 데 사용된다.

[Machine Learning] 단순 선형 회귀(Simple Linear Regression)

[Machine Learning] PCA(Principal Component Analysis)

[Machine Learning] 다중 선형 회귀(Multiple Linear Regression)

[Machine Learning] 커널 능형 회귀(Kernel Ridge Regression)