정규화 (shrinkage)

2022.12.23 - [개념 정리/implement] - 다항식 곡선 피팅(1)

다항식 곡선 피팅(1)

M 값, 다항식의 차수가 커질수록 과적합 문제가 발생하기 쉬워진다.

이러한 문제를 해결하기 위한 방법 중 하나로 정규화 regularization 로 오차 함수의 계수의 크기가 커지는 것을 막기 위한 페널티 항을 추가하는 것이다.

페널티 항 중 가장 단순한 형태로 각각의 계수들을 제곱하여 합하는 것이다.

  def order_fitting_regularization(self, predict, target, n, lambda_1):
    w_n = 1
    for i in range(0,n):
      w_n = w_n * self.w

    result = 1/2 * ((predict-target)**2) + lambda_1/2 * w_n
    self.result = result

    return result

계수 lambda_1 이 정규화항의 제곱합 오류항에 대한 상대적인 중요도를 결정짓는다. 

w_0 는 정규화항에서 제외할 수 있는데, w_0 을 포함시키면 타깃 변수의 워점을 무엇으로 선택하는냐에 대해 결과가 종속되기 때문이다.

이러한 수축법의 이차 형식 정규화는 리지 회귀 ridge 라고 부른다. 뉴럴 네트워크의 맥락에서는 가중치 감쇠라 한다.