오류 함수의 지역적 이차 근사에 대해 고려함으로써 최적화 문제와 이를 풀기 위한 다양한 테크긴에 대한 통찰
가중치 공간상의 어떤 점 w 에 대한 E(w) 의 테일러 전개를 고려, (테일러 전개에 대한 소개)

3차 이상의 항들을 생략,
w^ 에서 계산된 E 의 기울기를 b 로 정의
헤시안 행렬 H = dd E 는 다음의 원소
이에 해당하는 기울기의 지역적 근사치,
w^ 에 충분히 가까운 점 w 들에 대해 오류 함수와 기울기에 대한 타당한 근사치가 된다.
최소점, w* 근처에 대한 지역적 이차 근사 고려, d E = 0 이기 때문에 선형항들이 제거,
~~
헤시안 행렬이 양의 정부호라는 것에 대한 의미, 최솟값에 접근할 수 있다?
'ml_interview' 카테고리의 다른 글
경사 하강 최적화 - 기울기 정보를 이용한 오류 함수의 변화량 최소화 ( 온라인 학습의 이점 : 데이터상 중복의 효율적 처리) (0) | 2024.07.16 |
---|---|
기울기 정보의 사용 - 역전파의 기울기 정보가 오류 함수의 최솟값의 위치를 찾는 속도를 증가시키는 이유 (4) | 2024.07.16 |
매개변수 최적화 - 오류 함수의 비선형적 종속성 문제, 최소점 탐색 방법 (0) | 2024.07.16 |
네트워크 훈련 - 회귀, 분류(이진, 다중 클래스) 별, 출력, 오류 함수의 선택 (1) | 2024.07.16 |
피드 포워드 네트워크 함수 - (3) | 2024.07.16 |