지역적 이차 근사 ( 기울기의 지역적 근사치, 이는 기울기가 현재 지점 근처에서 어떻게 변화하는지 )

오류 함수 E(w) 의 지역적 이차 근사 local quadratic approximation 

 

오류 함수의 지역적 이차 근사 정리

 

1. 목적

최적화 문제에서 오류 함수 E(w) 를 최적점 w* 근처에서 곡률 정보를 반영한 이차 함수로 근사하여 다음을 얻기 위함

• 빠르고 정밀한 최적화 방법
• 함수의 기하학적 구조 파악
• 불확실성 추정 및 확률적 근사

 

2. 2차 테일러 전개

어떤 기준점 w^ 주변에서 E(w) 를 2차 태일러 전개하면

b = delta E(w^) : 기울기

H = delta^2 E(w^) : 헤시안

 

3. 최소점 w* 에서의 특수한 경우

최적점에서는  delta E(w*) = 0 -> 선ㄴ형항 제거

남는 형태

 

 

4. 고유벡터를 사용한 좌표 변환

H 는 실대칭 행렬 -> 정규직교 고유벡터 집합 보유

새로운 좌표계 u = Q^T(w - w*)

여기서 Q : 고유벡터들을 열벡터로 갖는 직교 행렬

이 좌표계에서 오류 함수는 대각화된 이차 함수 형태로 표현됨

 

기하학적 해석

w* : 오류 함수의 최소점 = 원점으로 이동

고유벡터 u_i : 새로운 좌표축

등고선 : 고유축 방향으로 정렬된 타원

고윳값이 클수록 해당 방향은 급격한 곡률