implement_logisticRegression

로지스틱 회귀는 샘플이 특정 클래스에 속할 확률을 추정하는데 사용,

로지스틱 회귀 모델은 입력 특성의 가중치 합을 계산한다. 그 후 결괏값의 로지스틱을 출력한다.

명칭은 회귀지만, 일종의 분류 학습법이다. 이러한 방법은 분류 가능성에 대해 직접적으로 모델을 만들고 사전 데이터 분포에 대한 가정이 필요하지 않다. 이는 부정확한 가설 분포에 대한 문제를 피할 수 있게 해준다. 또한 근사확률에 대한 예측도 할 수 있다. 

또한 로지스틱 회귀가 구하고자 하는 해의 목표 함수는 컨벡스 함수라는 점, 최적화 알고리즘을 통해 최적해를 구하는 데 사용할 수 있기 때문 

로지스틱 함수는 일종의 시그모이드 함수이다. 이 함수는 z 값을 0 과 1 사이의 y 값으로 전환하고, 아웃풋이 z=0 근처에서 급격하게 변화한다. 

위 식을 다음과 같이 바꿀 수 있다. 만약 y 를 샘플 x가 양성값일 가능성으로 본다면, 1-y 는 반대로 음성값일 가능성이 된다. 

이 둘의 비굣값은 y/(1-y) 이며 이를 오즈 odds 라고 부른다. 오즈는 x 가 양성값일 상대적 가능성을 나타낸다. 오즈에 대하여 로그를 취하면 로그 오즈 log odds 라고 부르고 로짓 logit 이라고 부른다.

위 식에서 알 수 있는 것은 식 4.1 은 사실상 선형 회귀 모델의 예측 결괏값을 사용하여 실제 데이터의 로그 오즈에 근사한다는 것이다. 따라서 이러한 모델을 로지스틱 회귀라고 부른다. 

우변이 w^T x +b 와 같은 선형 형태로 나타난다. 좌변의 y/(1-y) 를 오즈비라고 부른다.

실패확률과 성공 확률의 비를 오즈 비라고 부른다. 

로지스틱 비용 함수의 편도 함수

각 샘플에 대해 예측 오차를 계산하고 j 번째 특성값을 곱해서 모든 훈련 샘플에 대해 평균을 낸다.

모든 편도함수를 포함한 그레이디언트 벡터를 만들면 경사 하강법 알고리즘을 사용할 수 있다.