01. 선형 회귀란?

지도 학습의 유형: 1) 분류 2) 회귀

선형 회귀란 지도 학습의 대표적인 예시로 데이터를 가장 잘 설명하는 최적의 회귀식을 찾는 것을 의미한다. 이때 회귀는 여러 개의 독립 변수$(x)$와 한 개의 종속 변수$(y)$의 상관 관계를 모델링하는 기법을 통칭한다. / “데이터를 가장 잘 설명하는” = “실제값과 예측차이가 작은”

$w_0, w_1, w_2 ...$ 를 회귀 계수(regression coefficients)라고 하며, 회귀 예측의 핵심은 주어진 fitter(x, input, 독립 변수)와 결정값(y, output, 종속 변수)을 기반으로 학습을 통해 최적의 회귀 계수를 찾아내는 것이다.

02. 단순 선형 회귀

독립변수 1개, 종속변수 1개로 구성된 선형회귀

단순 선형 회귀의 회귀 계수: 기울기 $w_1$, 절편(intercept) $w_0$

• 수학에서의 표현: $y=ax+b$
• 머신러닝에서의 표현: $H(x)=Wx+b$, $f(x)=w_0+w_1*x$

즉, 최적의 회귀 모델을 만든다

= 전체 데이터의 잔차(오류값) 합이 최소가 되는 모델을 만든다

03. 잔차의 합을 구하는 방법

1. MSE(Mean Squared Error), RSS(Residual Sum of Square)

   $MSE = cost(w)= \frac{1}{m} \sum _{i=1} ^{m} (H(x _{i} )-y) ^{2}$

2. RMSE(Root Mean Square Error)