7.1.2 L^1 정칙화

모형 매개변수 w 에 대한 L^1 정칙화는 다음과 같이 정의된다.

L^1 정칙화 항은 개별 매개변수의 절댓값들의 합니다.

 

L^1 가중치 감쇄는 0보다 큰 초 매개변수 alpha 를 이용해서 벌점을 비례함으로써 정칙화의 강도를 제어한다.

정칙화된 목적함수는 다음과 같이 주어진다.

이 목적함수의 기울기는 다음과 같다.

여기서 sign(w) 는 w 의 성분별 부호이다.

 

L1 정칙화의 효과가 L2 정칙화의 효과와 상당히 다르다. 

구체적으로 L1 정칙화에서는 기울기에 대한 정칙화의 기여도가 각 w_i 에 정비례하지 않는다. 대신, 기여도는 그냥 부호가 sign(w_i) 인 하나의 상수 계수에 의해 정비례된다. 

이런 형태의 기울기는 곧, L2 정칙화에서와는 달리 J(X,y;w) 의 이차 근사에 대한 깔끔한 대수적 해가 항상 존재하지 않는다는 결과로 ㅇ이어진다.