7.2 제약 있는 최적화로서의 노름 벌점

하나의 매개변수 노름 벌점으로 정칙화되는 다음과 같은 비용함수를 생각,

 

제약이 있는 목적함수를 최소화하는 한 가지 방법은 그 목적함수에 일단의 벌점들을 추가해서 정의한 일반화된 라그랑주 함수를 이용하는 것이다.

 

이때, 각 벌점 항은 KKT 승수라고 부르는 계수를 주어진 제약의 충족 여부를 나타내는 함수에 곱한 것이다. 

예를 들어 omega(theta) 가 반드시 어떤 상수 k 보다 작아야 한다는 제약을 가한다고 할 때, 그에 해당하는 일반화된 라그랑주 함수는 다음과 같다.