머신러닝 아이디어
축삭의 물리적 특성과 드롭아웃
명징직조지훈
2022. 11. 27. 05:36
2022.11.27 - [neuroscience] - 활동전위의 전도
활동전위의 전도
뉴런이 정보를 전달하기 위해서는 생성된 활동전위가 축삭을 따라 전도되어야 한다. 이것은 도화선이 타들어가는 것과 같다. 도화선 끝에 발화성 물질이 달린 폭죽을 손에 쥐고 있다고 상상한
teach-meaning.tistory.com
전도속도에 영향을 미치는 요소에서 축삭의 물리적 특성으로 축삭막의 두께가 결정적인 역할을 한다.
막이 얇을 수록 막을 통해 빠져나가는 이온채널이 증가하고, 막이 두꺼울수록 막을 통해 빠져나가지 못해 축삭을 따라 빠르게 활동전위를 전도시킨다.
이러한 모습은 딥러닝의 과대적합을 방지하는 방법인 드롭아웃과 비슷해 보이는데, 드롭아웃, 즉 출력이 0인 노드는 축삭막이 얇아 이온채널이 빠져나가는 것으로 볼 수도 있다.
중요한 점은 활동전위가 과연 선택적으로 축삭막의 두께에 따라 정보를 선택적으로 전달하는가이며, 만약 그렇다면 드롭아웃의 경우에서도 랜덤한 노드의 선택이 아닌 특정 조건에 따른 드롭아웃되는 노드를 선택할 수 있을 것이다.
비슷한 아이디어
2022.11.22 - [머신러닝 아이디어] - 가중치 크기에 따른 드롭 아웃의 지정
가중치 크기에 따른 드롭 아웃의 지정
과대 적합을 방지하기 위한 방법 중 드롭 아웃, 드롭 아웃되는 노드를 랜덤한 노드가 아닌 특정 입력에 대해 조절할 수 있는 방법 입력 벡터 중 특정 입력값에 대한 학습을 적게 하고 싶다면, 해
teach-meaning.tistory.com