2022.12.05 - [implement_ml_models] - implement_rnn(result_w)
implement_rnn(result_w)
2022.12.05 - [implement_ml_models] - implement_rnn(delta2) implement_rnn(delta2) 2022.12.04 - [implement_ml_models] - implement_rnn(delta) implement_rnn(delta) 2022.12.03 - [implement_ml_models] - implement_RNN(hidden_activation) implement_RNN(hidden_activ
teach-meaning.tistory.com
result_w 의 변화량 계산에 사용한 은닉층 델타값을 통해 이전 노드의 출력과 현재 노드의 입력 사이의 가중치, before_w의 변화량을 구할 수 있다.
# 은닉층의 델타값을 통한 before_w 의 계산
rnn.before_w[0]
>>>
array([[0.72761951, 0.53149889, 0.03904396, 0.21613048],
[0.75939745, 0.40200076, 0.29118307, 0.17488802],
[0.93049705, 0.1024098 , 0.77678084, 0.97373921],
[0.52391858, 0.70815429, 0.69635269, 0.45566093]])
d_before_w = (hidden_delta.T @ rnn.before_w[0]).T
d_before_w
>>>
array([[-10.3115506148098],
[-6.07432518793251],
[-6.50058460493769],
[-6.31747506408580]], dtype=object)'implement_ml_models > RNN' 카테고리의 다른 글
| implement_delta(before_w)(2) (0) | 2022.12.05 |
|---|---|
| implement_delta(input_w)(2) (0) | 2022.12.05 |
| implement_delta(input_w) (0) | 2022.12.05 |
| implement_rnn(result_w) (0) | 2022.12.05 |
| implement_rnn(delta2) (0) | 2022.12.05 |
