implement_delta(before_w)

2022.12.05 - [implement_ml_models] - implement_rnn(result_w)

implement_rnn(result_w)

result_w 의 변화량 계산에 사용한 은닉층 델타값을 통해 이전 노드의 출력과 현재 노드의 입력 사이의 가중치, before_w의 변화량을 구할 수 있다.

# 은닉층의 델타값을 통한 before_w 의 계산

rnn.before_w[0]
>>>
array([[0.72761951, 0.53149889, 0.03904396, 0.21613048],
       [0.75939745, 0.40200076, 0.29118307, 0.17488802],
       [0.93049705, 0.1024098 , 0.77678084, 0.97373921],
       [0.52391858, 0.70815429, 0.69635269, 0.45566093]])
       
d_before_w = (hidden_delta.T @ rnn.before_w[0]).T
d_before_w
>>>
array([[-10.3115506148098],
       [-6.07432518793251],
       [-6.50058460493769],
       [-6.31747506408580]], dtype=object)