Linear Regression

Linear Regression

선형성1이라는 기본 가정이 충족된 상태에서 독립변수와 종속변수의 관계를 설명하거나 예측하는 통계 방법.
여기서 내가 간단하게 내린 결론은, 어떠한 $X$ vector가 주어지고, 그 $X$에 대한 결과 $Y$ vector가 주어졌을 때, 그 둘의 관계를 linear function으로 설명하고, $Y$를 모르는 또 다른 $X$가 주어졌을 때, $Y$ 값을 예측한다는 것이다.

독립변수 $x_i$, 상수항 $b$와 종속변수($y$) 사이의 관계를 모델화 하는 것

아래와 같이 표현될 수 있다.

$$\text{(1) }Y = a + bX \\ Y\text{와 } X\text{는 vector라고 봐야한다.}$$

아래 그림과 같이 빨간 점들을 데이터라고 하면, 각 데이터의 관계에 대해 표현하면 아래와 같은 선이 나온다.

이 때, 수식 (1)에서 $b=1$, $a=0$이 된다.
$$Y = X$$

그러면 (1)의 수식에서 $a$와 $b$는 어떻게 구할것인가?

변수 $X$와 $Y$의 관계를 가장 잘 나타낸다는 의미는, 좌표로 나타낸 점들에서 가장 가까이 있는 직선을 찾는다라는 의미다.

그러면 결론적으로 $Y = a + bX$의 선과 모든 점들 사이의 거리가 최소가 되는 직선을 찾으면 될 것이다.

$$e_i = |Y_i - \hat{Y_i}| = |Y_i - a - bX_i| \\ \text{Sum of Squared Errors} = \sum_{i=1}^ne_i^2$$

위의 수식에서 SSE(Sum of Squared Errors) 값을 최소화할 수 있는 $a$와 $b$를 계산하게 되면, $X$와 $Y$ 변수 사이의 관계를 가장 잘 나타내는 직선, 선형 회귀식이 나오게 된다.

이 SSE를 최소화 하는 방법에는 최소 제곱법(Least Squared Method)가 있다.

East Squared Method는 다른 글에서 설명하겠다.

---

1. Linearity, 일반적으로 1차함수와 같은 특성을 가지면 선형성이 있다고 한다. 1. $f(x+y) = f(x) + f(y)$ 2. $f(kx) = kf(x)$ 조건을 만족하는 것을 말한다. ↩