Yumere

간단한 Logistic Regression 본문

Paper Review

간단한 Logistic Regression

Yumere 2017.04.17 16:04

Logistic Regression

Logistic Regression은 확률 모델 중 하나로써, 독립변수의 선형 결합을 이용해 사건의 발생 가능성을 예측하는데 사용되는 통계 기법이다. Linear Regression 분석 방법과 유사하나 Linear Regression의 경우 연속된 값을 예측할 때 쓰이고, Logistic Regression의 경우 0 혹은 1로 표현되는 discrete한 값을 예측할 때 쓰인다. 일반적으로 이러한 문제는 Classification이라 할 수 있다.

Linear Regression에서 번째 값을 예측한다고 할 때, 함수를 이용하게된다. 하지만 이런 함수는 binary-valued labels()과 같은 값을 예측하는 문제에서는 유용하지 않다. 그래서 Logistic Regression에서는 아래와 같은 0과 1을 class로 갖는 다른 함수를 사용해야 한다.

일반적으로 이고, sigmoid 혹은 logistic 함수라고 한다. 이를 따르면 위의 함수에서 값을 sigmoid 함수를 이용해 [0, 1] 사이의 값으로 밀어넣게된다(squashes). 그러므로 sigmoid 함수를 거친 의 값은 확률(probability)이라 할 수 있다.

https://ko.wikipedia.org/wiki/%EB%A1%9C%EC%A7%80%EC%8A%A4%ED%8B%B1_%ED%9A%8C%EA%B7%80


Deep Learning의 관점에서…

위의 Logistic Regression 문제를 Deep Learning 관점에서 보자면, binary로 label된 학습 데이터가 있다고 하면 아래의 cost function은 logistic regression의 결과물인 가 얼마나 정확한지 계산할 때 쓰인다.

위의 함수를 조금 풀어 설명하면, 가 1일 때 cost function을 minimizing하는 것은 값을 크게한다는 의미이다. 반대로 가 0일 때는 값을 크게 하고자 한다는 의미이다.

Cost 함수를 hypothesis 를 이용해 정의 했으니, 이제 이 를 minimizing함으로써 data를 분류할 수 있게 되었고, 충분히 cost 값을 줄인 후 데이터를 넣고 일 때는 “1” 반대면 “0”을 labeling하면 된다.

cost 값을 minimizing 하기 위해서는 Gradient Descent 방법을 이용하면 된다.

저작자 표시
신고

'Paper Review' 카테고리의 다른 글

Joint Many-Task(JMT) Model 관련 paper 리뷰  (0) 2017.09.07
간단한 Softmax Regression  (0) 2017.04.17
간단한 Logistic Regression  (0) 2017.04.17
Linear Regression  (0) 2017.04.17
간단한 Vector Space Model 설명  (0) 2017.04.13
Information Retrieval and Web Search  (0) 2015.08.07
0 Comments
댓글쓰기 폼