implement_MLP(weight_update 3)

2023.02.19 - [분류 전체보기] - implement_MLP(weight_update 2)

implement_MLP(weight_update 2)

비용 함수의 값이 MLP 연산을 반복하면서 감소하다가 일정 반복 이상에서 비용 함수가 다시 증가하는 것을 확인할 수 있었다.

이를 해결하기 위해서 기존의 ML 프레임 워크에서는 비용 함수의 값이 몇 차례에 걸쳐 증가할 때 학습을 중단하는 방식을 사용한다. 

이를 구현하기 위해서는 가중치, 비용 함수 값을 일정 횟수만큼 저장하고, 비용 함수의 값에 따라 어느 가중치를 사용한 MLP 모델을 구현할지 결정할 수 있다.

필요 데이터

비용 함수 값 배열

가중치 배열

n 번의 학습 동안 비용 함수의 값이 증가할 때 학습을 중단하고 비용 함수 값이 가장 적은 가중치를 선택해 학습한다.

위 두 개의 데이터를 모든 학습에 걸쳐 저장하기엔 학습 횟수에 따라 비례하여 필요 데이터 크기가 커지므로 큐 구조를 통해 n 개의 데이터만 저장한다.

처음 n 번의 학습 동안에는 데이터가 저장되기만 한다.

n 번 이후의 학습부터는 오래된 데이터가 삭제되면서 새로 학습한 데이터가 입력된다.