5.3 오차 역전파

정보가 네트워크 상에서 앞/뒤로 전달되는 지역적인 메시지 전달 방법인 오차 역전파 error backpropagation 을 이용해서 이를 달성할 수 있다. 

 

대부분의 훈련 알고리즘들을 오류 함수의 값을 줄이는 반복적인 과정을 내포하고 있다. 이때 각 과정에서 순차적으로 가중치에 대한 조정, 

 

두 개의 더 작은 단계로 나눌 수 있다. 오류 함수를 가중치에 대해서 비문, 

미분값을 사용하여 가중치를 조정

 

5.3.1 오류 함수 미분의 계산 (생략)

5.3.2 간단한 예시 (생략)

 

5.3.3 역전파의 효율성

미분값의 비교로 올바르게 구현되었는지 확인, 역전파가 가장 좋은 정확도와 수치적 효율성을 얻을 수 있다.

 

5.3.4 야코비안 행렬

역전파 테크닉은 다른 종류의 미분값을 구하는 데도 사용 가능

 

야코비안 Jacobian 행렬의 각 원소는 네트워크 상의 출력값을 입력값으로 미분한 값으로 주어진다.