반복 재가중 최소 제곱법, Iterative Reweighted Least Squares

로지스틱 회귀 모델의 경우 로지스틱 시그모이드 함수의 비선형석으로 인해서 해가 닫힌 형태가 아니다. 하지만 이차식 형태로부터 그렇게 다르지 않음,

오류 함수는 볼록한 형태를 가지고  있으며, 유일한 최솟값을 가지고 있다.

 

Newton-Raphson 반복 최적화 방법을 통해 최소화, 로그 가능도 함수에 대한 지역적인 이차식 근삿값을 구하는 방식으로 문제를 풀게 된다.

 

테일러 급수를 이용하여 함수의 근을 반복적으로 추정한다. 1차 및 2차 미분을 사용하여 더 정확한 근사치를 계산한다. 

 

기본 알고리즘

 

• f′(θ)f'(\theta)f′(θ)는 함수의 1차 미분(기울기)
• f′′(θ)f''(\theta)f′′(θ)는 함수의 2차 미분(헤시안 행렬)

 

로지스틱 회귀의 손실 함수 J(theta) 에 대해 위를 적용하려면 1차 미분과 2차 미분을 계산해야 한다,

 

교차엔트로피 오류 함수의 미분값, 이차 미분값