인공 신경망(artificial neural network)에서 선형분리가능(linearly separable)의 의미

Tom M. Mitchell의 머신 러닝에 관한 명품 책 Machine Learning을 읽다보면 인공 신경망은 학습 데이터(training exmaples)가 선형 분리 가능(linearly separable)하면 퍼셉트론의 가중치(weight vector)를 잘 찾는다고 돼있습다.

Machine Learning (Paperback) 외국도서 저자 : Tom M. Mitchell 출판 : McGraw-Hill 1997.03.01 상세보기

(인공 신경망 뿐 아니라 의사 결정 나무(decision tree), 베이지안 방법(Bayesian learning), 유전 알고리즘(genetic algorithm)도 다루고 있습니다. 전부 제가 좋아하는 내용ㅎㅎ)

어제 책 내용을 정리해가며 읽다가 무슨 말인지 몰라서 그냥 쭉쭉 넘어갔는데요.

오늘 구글에 검색해보니 스택 오버 플로우에 이런 식으로 설명이 돼 있네요.

원문: http://stackoverflow.com/questions/13976565/neural-networks-what-does-linearly-separable-mean

       ^
        |  N S   N
       s|  S X    N
       i|  N     N S
       z|  S  N  S  N
       e|  N S  S N
        +----------->
          price


        ^
        |  S S   N
       s|  X S    N
       i|  S     N N
       z|  S  N  N  N
       e|    N N N
        +----------->
          price

스택 오버 플로우의 설명을 그대로 따왔는데요.

가로 축이 가격, 세로 축이 옷의 크기를 나타낸다고 보시면, 위쪽 그래프는 두 요인의 클래스들(N, X, S으로 구분)이 여기 저기 섞여 있습니다. 아래쪽 그래프는 두 요인의 클래스들이 가격과 사이즈에 따라 질서 정연하게 나뉘어 있죠.

아래 그래프에 선을 그으면 클래스들을 분리 가능합니다(linearly separable).

우리가 학습 시킬 데이터가 저런 규칙에 따라 클래스가 나뉜다면 인공 신경망으로 학습시키기 쉽다는 겁니다(weight vector will be converged).