7.10 희소 표현

가중치 감쇄는 모형 매개변수들에 직접 벌점을 가해서 모형을 정칙화한다. 그렇게 하는 대신, 신경망 단위들의 활성화 함수에 벌점을 가함으로써 활성화 값들이 희소해지는 쪽으로 모형을 이끄는 전략도 있다.

 

L1 벌점이 매개변수들을 희소하게 만든다. 매개변수들을 희소하게 만든다는 것은 다수의 매개변수가 0 또는 0 에 가까운 값이 되게 한다는 뜻이다. 

 

매개변수 희소성과 표현 희소성의 차이,

위 식은 희소 매개변수화된 선형회귀 모형의 예, 

아래 식은 선형회귀 모형에 대한 자료 x 의 희소 표현 h 를 보여준다. 

즉, x 의 함수인 h 는 어떤 의미로 볼때 x 에 있는 정보를 희소 벡터로 표현한 것이라 할 수 있다. 

표현 정칙화도 매개변수 정칙화에 사용한 것과 동일한 종류의 메커니즘을 통해서 수행할 수 있다.

 

표현에 대한 노름 벌점 정칙화는 표현에 대한 노름 벌점을 손실함수 J 에 추가해서 수행한다. 이 벌점을 omega(h) 로 표기한다. 

계수는 노름 페널티 항의 상대적 기여도를 결정하는 가중치,

 

매개변수들에 대한 L1 벌점이 매개변수 희소성을 유발하듯이, 표현의 성분들에 대한 L1  벌점은 표현 희소성을 유발한다.