implement_ml_models
forward propagation problem
명징직조지훈
2022. 11. 26. 10:07
2022.11.25 - [implement_ml_models] - implement_foward propagation
implement_foward propagation
MLP의 구현 먼저 노드간 계산을 위한 mlp 클래스 생성 class mlp: # 가중치 w w = [] x_b = [] def __init__(self): self.w = [] def cal_dense(self, input, unit): """ Args input : 입력 데이터 unit : 은닉층 노드의 개수 return 각
teach-meaning.tistory.com
순전파 계산동안 저장해야 될 값의 지정,
각 가중치에 대한 정보는 저장하지만, 노드의 입, 출력값을 저장해야 하는지?
활성화 함수의 종류별 그 연산이 달라지고 사용해야 하는 symbol 또한 달라질 것, 이에 따른 활성화 함수 종류에 따른 mlp 클래스의 activation 함수들을 작성해야 한다.
dropout과 같은 방법론을 사용할 경우 위 함수의 수정이 필요