간단한 Logistic Regression

Logistic Regression

Logistic Regression은 확률 모델 중 하나로써, 독립변수의 선형 결합을 이용해 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다. Linear Regression 분석 방법과 유사하나 Linear Regression의 경우 연속된 값을 예측할 때 쓰이고, Logistic Regression의 경우 0 혹은 1로 표현되는 discrete한 값을 예측할 때 쓰인다. 일반적으로 이러한 문제는 Classification이라 할 수 있다.

Linear Regression에서 $x^{(i)}$의 $i$ 번째 $y^{(i)}$ 값을 예측한다고 할 때, $y=h_\theta(x) = \theta^\top x$ 함수를 이용하게된다. 하지만 이런 함수는 binary-valued labels($y^{(i)} \in \{0, 1\}$)과 같은 값을 예측하는 문제에서는 유용하지 않다. 그래서 Logistic Regression에서는 아래와 같은 0과 1을 class로 갖는 다른 함수를 사용해야 한다.

$$P(y = 1|x) = h_\theta(x) = \frac{1}{1 + \exp(-\theta^\top x)} \equiv \sigma(\theta^\top x), \\ P(y = 0|x) = 1 - P(y = 1|x) = 1 = 1 - h_\theta(x)$$

일반적으로 $\sigma(z) \equiv \frac{1}{1+e^{-z}}$이고, sigmoid 혹은 logistic 함수라고 한다. 이를 따르면 위의 함수에서 $\theta^\top x$ 값을 sigmoid 함수를 이용해 [0, 1] 사이의 값으로 밀어넣게된다(squashes). 그러므로 sigmoid 함수를 거친 $h_\theta(x)$의 값은 확률(probability)이라 할 수 있다.

---

Deep Learning의 관점에서…

위의 Logistic Regression 문제를 Deep Learning 관점에서 보자면, binary로 label된 학습 데이터가 있다고 하면 아래의 cost function은 logistic regression의 결과물인 $h_\theta$가 얼마나 정확한지 계산할 때 쓰인다.

$$J(\theta) = -\Sigma_i\left(y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))\right)$$

위의 함수를 조금 풀어 설명하면, $y^{(i)}$가 1일 때 cost function을 minimizing하는 것은 $h_\theta(x^{(i)})$ 값을 크게한다는 의미이다. 반대로 $y^{(i)}$가 0일 때는 $1-h_\theta$ 값을 크게 하고자 한다는 의미이다.

Cost 함수를 hypothesis $h_\theta$를 이용해 정의 했으니, 이제 이 $J(\theta)$를 minimizing함으로써 data를 분류할 수 있게 되었고, 충분히 cost 값을 줄인 후 데이터를 넣고 $P(y=1|x) \gt P(y=0|x)$일 때는 “1” 반대면 “0”을 labeling하면 된다.

cost 값을 minimizing 하기 위해서는 Gradient Descent 방법을 이용하면 된다.