ml_interview (66) 썸네일형 리스트형 가우시안 분포 가장 중요한 연속 확률 분포 중 하나, 정규 분포 normal distribution, 가우시안 분포 Gaussian distribution,구성 요소 설명정규화 상수확률 밀도 함수의 총 면적이 1이 되도록 조정하는 상수입니다.분산 σ2가 클수록 분포는 넓게 퍼지며, 상수 값은 작아집니다.지수 항평균 μ를 중심으로 (x−μ)2의 크기에 따라 확률 밀도가 감소합니다.σ2는 분포의 폭을 조정하며, 값이 크면 완만한 분포, 값이 작으면 급격한 분포를 형성합니다.가우시안 분포에서 관측값들을 독립적으로 추출한다고 가정, 데이터 집합으로부터 매개변수들을 결정하는 것이 목표, iid 조건mu, sigma^2 이 주어졌을 때 조건부 확률관측 데이터를 바탕으로 확률 분포의 매개변수를 결정하는 표준적인 방법 중 하나는 가.. 베이지안 확률 고전적, 빈도적 관점 : 반복 가능한 임의의 사건의 빈도수베이지안 관점을 활용하여 확률을 이용하여 불확실성의 정량화 가능다항식 곡선 피팅 예시에서, 관찰값에 대해서는 확률의 빈도적 관점을 적용하는 것이 적합해 보일 수 있지만, 적합한 모델 매개변수를 정하는 데 있어서의 불확실성을 수치화하고 표현하기 위해서는 베이지안 관점을 사용하여 확률론의 다양한 장치들을 활용하여 w 와 같은 모델 매개변수의 불확실성을 설명할 수 있다.베이지안 정리는 관측값들을 이용하여 사전 확률을 사후 확률로 바꾸는 역할을 했다.다항식 곡선 피팅 예시의 매개변수와 같은 값들을 추론해 내는 데 있어서도 비슷한 방식을 사용할 수가 있다.먼저 데이터를 관측하기 전의 w 에 대한 가정을 사전 확률 분포 p(w) 로 표현할 수 있다.관측된 데.. build 과정에서의 가중치 생성 방법, 일단 self.input_shape 의 사용 일단, 각 레이어에 저장되어 있는 input_shape 값을 통해 가중치를 생성해보자. 너무 복잡하네 # build 와 함께 가중치 초기화 def build(self, input_shape=None): #input_shape = input_shape if not self._layers: raise ValueError( f"Sequential model {self.name} cannot be built because it has " "no layers. Call `model.add(layer)`." ) if isinstance(self._layers[0.. 라그랑주 승수법 제약 조건은 x 가 속할 수 있는 공간의 제한,제약 조건 함수에 대한 기울기는 해당 제약 조건에 의해 정의된 (D-1) 차원 표면에 대해 orthogonal 하다. 제약 조건 함수에 대한 기울기는 각 성분에 대한 편미분 벡터, g(x) 가 가장 급격히 변하는 방향으로 이는 직교 방향f(x) 의 기울기는 함수가 가장 급격히 증가하는 방향 제약 조건을 만족하면서 f(x) 의 최대, 최소화 문제에서 최적점 x* 에서는 목적 함수의 기울기, d f(x*) 와 제약 조건의 기울기 d g(x*) 가 평행해야 한다. (제약 조건의 만족을 위해) d f(x*) = lambda d g(x*) Early Stopping - 모형의 유효 수용력 model capacity, 가중치 감쇄와 조기 종료의 동치성, 상호 보완, 과제에 대해 과대적합이 일어날 정도로 높은 표현 수용력을 가진 커다란 모형을 훈련할 때는, 훈련 오차가 꾸준히 줄어들지만, 검증 집합의 오차는 어느 지점부터 증가정칙화로서의 조기 종료조기 종료가 최적화 절차를 매개변수 공간에서 초기 매개변수 값 theta_0 부근의 비교적 작은 영역으로 한정하는 역할 학습 속도가 epslion 이고, 최적화를 gamma 단계 수행한다면 곱, epslion gamma 는 유효 수용력의 한 측도라 할 수 있다. 기울기가 유계라고 할 때, 반복 횟수와 학습 속도를 제한하면 매개변수 공간에서 theta_0 로부터 도달할 수 있는 영역이 제한된다. 이런 관점에서 epsilon gamma 는 가중치 감쇄에 쓰이는 계수의 역수처럼 행동한다. quadratic error functio.. semi-supervised learning P(y|x) 를 추정하거나 x 로부터 y 를 예측하는 과제에 대해, 준지도 학습 패러다임은 P(x) 에서 추출한 이름표 없는 견본들과 P(x,y) 에서 추출한 이름표 붙은 견본들을 함께 사용한다. 모형에 비지도 구성요소와 지도 구성요소를 따로 두는 대신, P(x) 또는 P(x,y) 의 생성 모형 generative model 이 P(y|x) 의 판별 모형 discriminative model 과 매개변수들을 공유하는 형태의 모형을 만들 수도 있다.이런 모형에서는 지도 학습의 판정기준과 비지도 학습 또는 생성 판정기준을 절충할 수 있다. 그런 경우 생성 모형의 판정기준은 지도 학습 문제의 해에 관한 특정한 현태의 사전 믿음을 표현한다. 구체적으로 말해서 그 사전 믿음은 P(x) 의 구조와 P(y|x.. 잡음에 대한 강인성 - 가중치 잡음 추가 ( 정규화와 동일한 역할 ), target 가중치 추가 ( softmax function ) 일부 모형에서는 infinitesimal variance 를 가진 잡음을 모형의 입력에 추가하는 것이 가중치 노름에 대해 벌점을 부과하는 것과 동등하다 ( 추가된 잡음의 효과가 ∥w∥^2 항에 비례하여 모델의 분산에 영향을 미친다는 것을 알 수 있습니다. 이 사실은 결국 ∥w∥^2 에 대한 패널티를 추가하는 것과 동등하다는 것을 의미합니다.)일반적인 경우 잡음 주입이 그냥 매개변수들의 크기를 줄이는 것보다 훨씬 강력할 수 있다.특히, 잡음을 은닉 단위들에 추가하면 그 효과가 더욱 강력하다. 잡음을 입력이 아닌 가중치에 더하는 방법도 존재, 이는 순환 신경망의 맥락에서 사용, 이 기법을 가중치들에 대한 베이즈 추론의 확률적 구현으로 생각할 수 있다 베이즈식 학습에서는 모형 가중치들을 불확실한 것으로 간.. 데이터 증강 augmentataion 과 모델 훈련, 학습 모형의 일반화를 개선하는 최선의 방법은 더 많은 자료로 모형을 훈련하는 것, 때문에 가짜 자료를 생성해 훈련 집합에 추가하는 아이디어의 등장이러한 접근 방식을 적용하기 가장 쉬운 기계 학습 과제는 classific, classifier 는 고차원 입력 x 를 받아서 하나의 식별자 y 로 요약 자료 집합 증강 augmentation 은 물체 인식, 음성 인식 문제에 효과적으로 쓰였다. 여러 분류 과제에서 입력에 무작위한 잡음이 추가되어도 학습 모형이 과제를 완수할 수 있어야 한다. 그러나 신경망이 이러한 잡음에 대해 아주 강인하게 대처하지 못한다는 점이 증명 ( Tang & Eliasmith, 2010)잡음에 대한 신경망의 강인함 robustness 를 개선하는 방법은 무작위 잡음이 더해진 입력으.. 이전 1 2 3 4 ··· 9 다음
