Iterative reweighted least squares, 반복 재가중 최소 제곱법

선형 회귀 모델의 경우 가우시안 노이즈 모델을 바탕으로 한 최대 가능도 해는 닫힌 형태,

로그 가능도 함수가 매개변수 벡터 w 에 대해 이차 종속성을 가지고 있었기 때문

 

로지스틱 회귀 모델의 경우 시그모이드 함수의 비선형성으로 인해 해가 닫힌 형태가 아니다. 하지만 이차식 형태로부터 크게 다르지 않음, 오류 함수는 볼록한 형태, 최솟ㄱ밧을 갖고 있음

 

오류 함수는 반복 최적화 방법을 통해 최소화할 수 있다.

여기서는 로그 가능도 함수에 대한 지역적인 이차식 근삿값을 구하는 방식으로 문제를 풀게 된다.  

 

~~

헤시안이 w 에 종속성,

오류 함수가 더 이상 이차 함수가 아님,

H 는 양의 정부호 행렬, 

오류 함수가 w 에 대한 볼록 함수, 유일한 최솟값을 가지고 있음,

 

정규 방정식의 반복 적용ㅇ, 매 반복마다 새로운 가중 벡터 w 를 이용한 수정된 가중 행렬 R을 구해야 한다. 

 

~~ 수정 및 보완 필요