4.4 벌점 기반 정칙화

신경망의 표현력을 유지하면서도 과댖거합을 억제하려면 어떻게 해야 할까?

매개변수들에 일종의 벌점을 가함으로써 매개변수의 영향을 줄이는 것이 더 유연한 방법이다. 

 

4.4.1 잡음 주입과의 관계

벌점 기반 정칙화는 입력에 잡음을 추가하는 것과 관련이 있다. 

각 입력에 같은 양의 가우스 잡음을 추가하는 것은 항등 활성화 함수를 사용하는 단층 신경망의 티코노프 정칙화와 동등함이 증명되었다.

 

4.4.3 L1, L2 정칙화

정확도 측면에선 L2 정칙화가 더 좋을 때가 많다. 

해석성 면에서는 L1 정칙화가 나름의 용도가 있다. 대부분의 w 를 0인 희소 행렬을 만든다는 것, 일종의 특징 선택기로 작용한다. 

 

4.4.4 은닉 단위에 대한 벌점 : 희소 표현 학습

위 방법들은 신경망의 매개변수들에 벌점을 가한다. 

신경망의 활성화 값들에 대해 벌점을 가해, 신경망의 일부 뉴런만 활성화되게 하는 방법,