[ML] 로지스틱 회귀

* 참고자료

ratsgo.github.io/machine%20learning/2017/04/02/logistic/

로지스틱 회귀 · ratsgo's blog

hleecaster.com/ml-logistic-regression-concept/

로지스틱회귀(Logistic Regression) 쉽게 이해하기 - 아무튼 워라밸

 

 

로지스틱 회귀는 데이터가 어떤 범주(0, 1)에 속할 확률을 0과 1사이의 값으로 예측하고,

예측된 확률 값과 설정한 threshold값을 이용하여 분류를 진행하는 supervised learning이다.

 

선형 회귀와 로지스틱 회귀의 차이점은 선형 회귀는 연결 함수(link function)로 항등 연결(identity link)를 사용하지만,

로지스틱 회귀는 로짓 연결(logit link)를 사용한다는 것이다.

그렇다면 왜 로지스틱 회귀는 로짓 연결을 사용하였는가?

이것을 이해하기 위해 binary classification 문제에서 선형 회귀를 사용했을 때 발생하는 문제점에 대해 기술하겠다.

 

반응변수가 이진 범주형 변수인 경우 각각의 범주를 0 또는 1이라고 하자.

이러한 자료에 선형회귀를 적용하게 되면 Y의 예측 값이 0과 1을 벗어난 범위의 값이 나온다.

이렇게 되면 선형회귀를 통해 나온 값을 Y=1이라는 범주에 속할 확률로 해석할 수 없게 된다.

(확률 axiom에 따르면 모든 확률은 0과 1 사이의 값을 지니기 때문이다.)

따라서 logit연결을 사용하여 예측된 값이 0과 1 사이로 나올 수 있도록 만들어주는 것이다. 이렇게 해서 나온 것이 로지스틱 회귀이다.

 

그렇다면 여기서 로짓 연결이란 무엇인가?

로그-오즈를 취해주는 것이다.

먼저 오즈는p/(1-p) 으로, 실패 확률 대비 성공 확률이다.

예를 들어 오즈가 0.8/0.2=4라면 실패한 경우 대비 성공할 경우가 4배 많다고 해석된다.

이렇게 구한 오즈에 로그(ln)를 취해준 것이 로그-오즈이다.

 

이렇게 해서 logit(π)= α+β1x1+β2x2+β3x3+…+βnxn  계산을 통해 Y=1 범주에 속할 확률, 즉 π 를 구했다.

그 다음 이 확률(π) 을 이용하여 최종 예측 label을 결정해야 한다.

확률이 threshold값 이상이면 1로, 미만이면 0으로 최종 예측하는데, 이 때 대부분의 경우에는 threshold로 0.5를 사용한다.

하지만 경우에 따라 threshold값을 성공확률 값으로 설정하는 등 다양한 조절이 가능하다.

 

 

그렇다면 logit(π)= α+β1x1+β2x2+β3x3+…+βnxn  에서 βi  등의 계수는 어떻게 추정하는가?

MLE 방법을 사용한다.

MLE는 maximum likelihood estimation의 약자로, 우도 함수를 최대화하는 값으로 모수를 추정한다는 뜻이다.

우도(likelihood)는 어떠한 분포를 가정했을 때 데이터가 나올 정도로, 로지스틱 회귀는 베르누이 분포를 가정하고 우도를 구한다.

베르누이 확률 변수에 대한 우도 함수는

인데, 계산의 편의성을 위해 log likelihood 함수를 사용한다.

(log 함수는 단조 증가 함수이므로, likelihood 를 maximize하는 것과 log likelihood를 maximize하는 것은 동일한 문제이다.)

베르누이 확률 변수에 대한 로그 우도 함수는

 이다.

이 함수를 최대화하는 parameter를 찾는데, 이 경우 로그 우도 함수가 parameter에 대해 비선형이기 때문에

선형 회귀와 같이 명시적인 해가 존재하지 않는다.

따라서 gradient descent 방법과 같이 반복적이고 점진적인 방법으로 해를 구하게 된다.

 

 

추가적으로 로지스틱 회귀와 neural network를 연결해보도록 하겠다.

위에서

라는 식을 적었었는데, 이 pi값은 α+β1x1+β2x2+β3 x3+…+βnxn 에 시그모이드 함수를 적용한 값과 동일하다.

시그모이드 함수는 f(x)=1/(1+e^(-x))  꼴의 함수이다.

즉, fully connected layer를 통과한 값에 활성함수로 시그모이드 함수를 쓰면 로지스틱 회귀와 동일한 결과인 것이다.