[ML] SVM

bskyvision.com/163

서포트 벡터 머신(SVM)의 사용자로서 꼭 알아야할 것들 - 매개변수 C와 gamma

* 위 블로그의 내용을 정리한 내용입니다

 

 

SVM

 

SVM은 데이터를 선형으로 분리하는 최적의 선형 결정 경계를 찾는 알고리즘으로, 클래스가 다른 데이터를 가장 큰 margin으로 분리할 수 있는 선 또는 면, hyperplane을 찾는 것이 목적이다. 이 때 분리할 수 있는 선, 면, hyperplane을 결정 경계(decision boundary)라고 한다. 여기서 가장 큰 margin으로 분리한다고 하였는데, 마진(margin)이란 다른 클래스에 속한 데이터와 결정 경계(decision boundary)가 떨어져 있는 정도를 의미한다. 이렇게 margin을 최대화하는 결정 경계를 찾는 이유는 새로운 데이터가 추가되어도 비교적 robust하게 label을 예측할 수 있기 때문이다.

 

여기까지 SVM의 간단한 알고리즘에 대한 설명이었다. 이제 SVM의 이름에 대한 설명을 진행하겠다. SVM는 support vector machine의 축약인데, 그렇다면 support vector란 무엇인가? support vector는 두 클래스 사이의 경계에 위치한 데이터이다. 이 support vector는 결정 경계(decision boundary)를 결정하는 데 영향을 준다.

 

즉, 다시 SVM에 대해 요약하자면 support vector를 찾아 margin을 최대화하는 decision boundary를 찾는 알고리즘이다.

 

하지만 모든 데이터를 항상 선형적으로 완벽하게 분리할 수 있는 것은 아니다. 이러한 경우를 해결하기 위해서 약간의 오류를 허용하기 위한 hyper-parameter C가 생겨났다. C는 얼마나 다른 클래스로 예측되는 것을 허용할 지를 결정한다. C는 오류에 대한 penalty라고 이해하면 된다. C가 작을수록 오류를 많이 허용하고, 클수록 오류를 적게 허용한다. 즉, C가 작을수록 일반적인 결정 경계를 찾고, C가 클수록 지역적인 결정 경계를 찾는다. 여기서 C를 설정하는 것은 매우 중요하다. 왜냐하면 C가 작을수록 underfitting될 가능성이 높아지고, C가 크면 overfitting될 가능성이 높아지기 때문이다. 추가적으로 오류 허용 여부에 따라 hard-margin SVM과 soft-margin SVM으로 나뉜다.

 

하지만 선형 SVM으로는 데이터를 제대로 분리할 수 없는 상황이 많다. 이러한 경우에도 예측을 진행할 수 있도록 만들어진 알고리즘이 RBF(radial basis function) kernel SVM이다. 이 kernel이라는 것은 주어진 데이터를 고차원 특징 공간으로 사상해주는 역할을 수행한다. 본래 데이터를 고차원 공간에 사상하면 본래 공간에서는 찾을 수 없었던 선형 분류 결정 경계가 보이게 된다. polynomial kernel, sigmoid kernel, RBF kernel 등 다양한 kernel 함수가 존재하는데, 이 중 가장 많이 사용되는 kernel function은 RBF kernel이다. RBF kernel의 경우 gamma와 C라는 hyper-parameter를 지니는데, gamma는 하나의 데이터 샘플이 영향력을 행사하는 거리를 결정한다. gamma는 가우시안 함수의 표준편차와 연관되어 있는데, gamma가 클수록 작은 표준편차를 갖는다. 즉, gamma가 클수록 작은 표준편차를 갖고, 데이터가 영향력을 행사할 수 있는 거리는 작아진다. 반대로 gamma가 작을수록 큰 표준편차를 갖고, 데이터가 영향력을 행사할 수 있는 거리는 커진다. C는 위에서 언급한 것과 동일하게 오분류 허용 정도를 의미한다. (C가 작을수록 오분류를 더 허용하고, C가 클수록 오분류를 덜 허용한다.)

위의 사진을 보면, C가 커질수록 오분류에 대한 페널티가 커지기 때문에 지역적인 패턴을 더 잘 반영하는 것을 볼 수 있다. 반대로 C가 작을수록 일반화된 결정 경계를 찾아낸다.

 

gamma의 경우 gamma가 커질수록 결정 경계가 더 구불구불해지는 것을 볼 수 있다. gamma가 커질수록 표준편차는 작아지고, 데이터가 영향력을 행사할 수 있는 거리 또한 작아지기 때문에 결정 경계가 구불구불해지는 것이다.

이처럼 RBF kernel SVM의 경우 C와 gamma를 어떻게 설정하느냐에 따라 성능이 달라지기 때문에 search를 통해 적합한 C와 gamma를 찾아내는 것이 중요하다.