본문 바로가기

ml_interview

지역적 이차 근사 - 헤시안 행렬이 양의 정부호, 이것에 대한 의미 생각

오류 함수의 지역적 이차 근사에 대해 고려함으로써 최적화 문제와 이를 풀기  위한  다양한 테크긴에 대한 통찰

 

가중치 공간상의 어떤 점 w 에 대한 E(w) 의 테일러 전개를 고려, (테일러 전개에 대한 소개)

3차 이상의 항들을 생략, 

w^ 에서 계산된 E 의 기울기를 b 로 정의

 

헤시안 행렬 H = dd E 는 다음의 원소

 

이에 해당하는 기울기의 지역적 근사치,

 

w^ 에 충분히 가까운 점 w 들에 대해 오류 함수와 기울기에 대한 타당한 근사치가 된다.

 

최소점, w* 근처에 대한 지역적 이차 근사 고려, d E = 0 이기 때문에 선형항들이 제거, 

 

~~

 

헤시안 행렬이 양의 정부호라는 것에 대한 의미, 최솟값에 접근할 수 있다?