간단한 Softmax Regression

Softmax Regression

Softmax Regression(multinomial logistic regression)은 “0” 또는 “1”만 다루는 것이 아닌 multiple classes를 다루기 위해 logistic regression을 일반화한 기법이다. 손글시 분류인 MNIST example에선 0~9라는 10 class를 사용했다.

$$y^{(i)} \in \{1, 2, \dots, K\}$$

Input으로 $x$가 주어졋을 때, hypothesis $h_\theta$는 각 $k=1, \dots, K$에 대한 확률 $P(y=k|x)$를 계산해야한다. 이렇게 계산하고 나면 hypothesis의 결과 값은 $K$-dimensional vector(다 더하면 1이되는)다 된다.

$$h_\theta(x) = \left[\begin{matrix}P(y=1|x;\theta)\\P(y=2|x;\theta)\\\vdots\\O(y=K|x;\theta)\end{matrix}\right] = \frac{1}{\Sigma_{j=1}^Ke^{(\theta^{(j)\top}x)}} \left[\begin{matrix}e^{\theta^{(1)\top}x}\\e^{\theta^{(2)\top}x}\\\vdots\\e^{\theta^{(K)\top}x}\end{matrix}\right]$$

음.. 이 외에 딱히 적어야 할 말은 없을 것 같다. 정말로 logistic 에서 0, 1과 같은 binary class가 아닌 multi class를 다루기 위한 내용이라서…