6.1 예제: XOR 의 학습

exclusive or 함수는 두 이진수에 대한 연산이다. 두 이진수 중 하나가 1과 같으면 1을 반환, 그렇지 않으면 0을 반환한다.

이 XOR 함수가 이 예제에서 학습할 목표 함수 y = f*(x) 에 해당한다. 이 예제의 모형은 함수 y=f(x;a) 를 제공하며, 학습 알고리즘은 f 가 f* 와 최대한 비슷해지도록 매개변수 a 를 적합시킨다.

한 가지 방법은 이 문제를 하나의 회귀 문제로 간주해서 MSE 를 손실 함수로 사용하는 것, 

다음으로 모형 f(x;a) 의 구체적인 형식을 선택해야 한다. 이 예제에서느 모형이 선형이고 a 가 w 와 b 로 구성된다고 한다. 즉 모형은 다음과 같이 정의된다.

이렇게 하면 J(a) 를 정규방정식을 이용해서 닫힌 형식으로 최소화할 수 있다.

하지만 이 경우 w = 0, b = 1/2 가 나온다. 이는 모든 점에서 0.5를 출력, XOR 함수를 표현할 수 없다. 이를 해결하기 위해 선형 모형이 해법을 표현할 수 있는 특징 공간을 배우는 모형을 사용하는 것이다.

은닉층 하나가 있는 간단한 순방향 신경망으로 이를 해결할 수 있다. 

은닉층은 은닉 단위들을 담은 벡터 h 로 구성된다. 신경망의 제 1층인 은닉층은 함수 f^(1)(x;W,c) 를 계산하며, 그 출력이 전달된다. 출력층은 이전처럼 하나의 선형 회귀 모형인데 x 가 아닌 h 에 대해 작용한다. 

f^(1) 이 선형이면 순방향 신경망 전체가 주어진 입력의 선형 함수가 된다. 

 

따라서 특징들을 비선형 함수를 이용해서 서술해야 마땅하다. 대부분의 신경망은 학습된 매개변수들로 제어되는 아핀 변환 다음에 고정된 비선형 함수를 적용해서 특징들을 서술한다.  후자의 비선형 ㅎ마수를 활성화 함수라고 ㅎ부른다.