본문 바로가기

문제풀기

(23)
pattern recognition and machine learning 1-12, 최대 가능도 방법의 한계, 분포의 분산 과소평가 문제 (편향, bias) 이거 물건이다!! 최대 가능도 방법과 연관된 편향 문제의 심각성!!!~ 다항식 곡선 피팅의 과적합문제의 근본적인 원인이 편향?!? 가우시안 분포를 따르는 임의의 x 에 대한 함수의 기댓값,x 의 평균값에 대한 식과 (평균값 매개변수 mu 가 x 의 기댓값과 동일)x 에 대한 이차 모멘트 계산값, E[x^2] = mu^2 + sigma^2두 식을 이용하여 E[x_n x_m] = mu^2 + I_nm sigma^2 을 증명하라이건 맞는 말이네 !!! 어찌보면 당연하게 생각됨, E[x^2] = mu^2 + sigma^2 이니까... x_n 과 x_m 은 평균 mu 와 분산 sigma^2 인 가우시안 분포에서 추출된 데이터 포인트이며, n = m 일 경우 I_nm = 1, 아닐 경우 0이다.이를 바탕으로  소거소거 앞서 한 증명증명 mu_ML 에 대한 증명 증명 오케오케오케오케오케 하나씩 따라가!!!이해 완료~~ 최대 가능도 해인 mu_M..
pattern recognition and machine learning 1-11, 다변량 가우시안 분포의 x 의 조건부 확률의 로그 가능도 함수의 평균, 분산에 대한 ML 계산, 어찌보면 당연한 결과?!!??? D 차원 벡터 x 에 대한 가우시안 분포의 조건부 확률의 로그 가능도 함수를 취한 식We will first calculate mu_ML 2,3 항은 mu 가 없으니 날라가고, 0이 되기 위해선, x_n = mu 의 조건, 평균에 대한 최소화! 어찌보면 당연한 값임!!다음은 분산에 대한 미분분산에 대한 최소화, 어찌보면 당연한 결과 !!
pattern recognition and machine learning 1-10, 독립 변수 x,y 의 평균 합, 분산 합이 변수 합의 평균, 분산과 동일하다는 것의 증명, 나중에 어떻게 쓰일 수 있을깡?/ 통계적으로 독립적인 두 변수 x, z 에 대해 두 변수 합의 평균과 분산이 각 변수의 평균과 분산의 합과 동일하다는 것을 증명1번째 항의 경우, x+z 변수의 기댓값을 구하는 방법으로 사용, 두 변수가 iid 가정을 만족, 2 항, iid 이므로 p(x,z) = p(x) p(z) 의 만족3 항 적분의 합의 법칙4항 적분의 분배 법칙5항 그 확률의 합은 1증명 완료~ variance 계산 공식, 데이터와 데이터 평균의 차이 제곱의 기댓값,2항 분배하고, 3항은 어케 나오는데 ㅅㅂ E^2 이 적분 기호를 어케 빠져나왔지 - 그냥 빼줄 수 있나보다 그냥 기댓갑이라서 그른가...4항 E[x+z]의 변환과 곱, 빼기를 통해 확인5항 iid 조건 p(x,z) 분리, 6항 ~ 마지막 오키오키오키오키 이해 완료~
pattern recognition and machine learning 1-9, 가우시안 분포의 최댓값, mu ( 단변량, 다변량 ) x 에 대한 미분을 통해 증명 가우시안 분포식의 최빈ㄱ밧이 mu 로 주어짐을 증명, 다변량 가우시안 분포의 최빈값이 mu 임을 증명미분을 통해 확인 가능,setting this to zero we obtain x = mu 다변량도 동일하게 미분 수행, Where we take advantage of  You may also need to calculate Hessian Matrix to prove that it is maximum. However, here we find that the first derivative only has one root. Based on the description in the problem, this point should be maximum point
pattern recognition and machine learning 2-4, 이항 분포 평균, 분산 증명 이항 분포의 평균이 다음 식으로 주어진다는 것을 증명, (이항 분포의 평균은 횟수 * 그 확률)We note that m = 0 actyakky doesn't affect the Expectation, so we let the summation begin from m = 1,Moreover, in the second last step, we rewrite the subindex of the summation, and what we actually do is let,k = m - 1, And in the last step, we have taken advantage of  binomial theorem,  Variance is straightforward once Expectation has been ca..
pattern recognition and machine learning 3-7 제곱식의 완성 테크닉을 이용해서 선형 기저 함수 모델의 매개변수 w 의 사후 분포에 대한 식의 결과를 증명하라.이때 m_N 과 S_N 은 다음의 식에 따라 정의된다.wirting down the prior distribution p(w) and likelihood function p(t|X,w,beta) 노이즈 정밀도 매개변수 beta 가 알려져 있는 상수라고 가정, 결정함수 y(x,w) 와 가우시안 노이즈 합으로 주어진 타깃 변수 t, t = y(x,w) + ee 는 0을 평균, beta 를 정밀도로 가지는 가우시안 확률 변수제곱 오류 함수를 가정할 경우 새 변수 x 에 대한 최적의 예측값은 타깃 변수의 조건부 평균으로 주어질 것이다. 위 식의 형태에 가우시안 조건부 분포의 경우에 조건부  평균 Sin..
pattern recognition and machine learning 3-6, 다변량 타깃 변수의 매개변수 행렬 W 의 최대 가능도 해 W_ML 은 각각의 열이 정규 방정식의 형태를 따른다. ( 당연하게 생각할 수도 있는 부분이기도 한데.. 확인해보자 ) 다변량 타깃 변수  t 에 대한 선형 기저 함수 회귀  모델의 고려, 타깃 변수가 다음의 가우시안 분포를 가진다.  입력 기저 벡터 phi(x_n) 과 해당 타깃 변수 t_n 으로 이루어진 훈련 집합도 가정 이때 매개변수 행렬 W 의 최대 가능도 해 W_ML 은 각각의 열이 정규 방정식의 형태로 주어지는 성질을 가진다는 것을 증명하라.정규 방정식은 등방 노이즈 분포에 대한 해, 이 해와 공분산 행렬 SIGMA 는 독립적이라는 점을 주목 SIGMA 행렬은 공분산 행렬, 입력 데이터D 차원 벡터 x, SIGMA 는 D × D 공분산 행렬, 대각 행렬 ( x 가 D 차원 벡터고 공분산이 x 값들에 대한 연산 이므로) log likelihood function 의 작성,다변량 가우시안 분포의 log likeli..
pattern recognition and machine learning 3-5, 라그랑주 함수의 이해 ( 정규화 오류 함수의 lambda 값이 라그랑주 승수를 구하는 문제로 해석 가능) 라그랑주 승수법을 이용하여 정규화된 오류 함수를 최소화하는 것이정규화되지 않은 곱합 오류를 제약 조건하에서 최소화하는 것과 동일하다는 것의 증명 n, lambda 의 관계에 대해 논하라 정규화된 오류 함수정규화 되지 않은 곱합 오류제약 조건 제약 조건의 재작성편의상 1/2 의 도입(deliberately)라그랑주 함수 사용해당 식과 정규화된 오류 함수 를 정규화되지 않은 곱합 오류를 제약조건 하에서 최소화하는 것과 동일,w 에 대해 동일한 의존성을 갖는 것이 명백하다. 한편 L(w,lambda) 를 최소화할 수 있는 최적 w 를 w*(lambda) 로 표시하면,해당 식을 얻는다. 라그랑주 식의 최소화.근데 그럼 n 은 뭔데 제약 조건식의 형태 때문에 생긴건가.  n 과 lambda 사이의 관계 파악, 위..