본문 바로가기

신경망과 심층학습

 (17)
2.4 해석성과 특징 선택을 위한 돌출 요인 역전파 신경망에 대한 흔한 비판은 해석성 interpretablity 이 부족하다는 것이다. 그러하 역전파를 이용하면 특정 훈련 견본의 분류에 가장 크게 기여한 특징을 결정하는 것이 가능하다. 그러면 분석가는 각 특징이 분류에 어느 정도나 관련이 있는지 파악할 수 있다. 이러한 성질은 특징 선택 feature selection 에도 활용할 수 있다. 훈련 견본에 의해 닺우 분류 신경망이 k 개의 출력 점수를 산출한다고 하자. 그리고 그중 가이 점장 큰 점수가 o_m 이라고 하자. 최고 점수에 해당하는 부류를 우승 부류라고 부르고, 목표는 주어진 훈련 견본의 분류에 가장 유관한 relevant, 즉 가장 영향력이 큰 특징을 식별하는 것이다. 일반화하자면, 각 특징 x_i 에 대해 x_i 에대한 출력 o_m 으ㅟ ..
7. 순환 신경망 이전 까진 특성들이 대체로 독립적인 다차원 자료, 의존관계가 있는 특성들이 존재, 시계열 자료에서 인접한 시각의 값들은 서로 밀접하게 연관된다. 텍스트의 단어들의 순서를 고려하면 더 나은 통찰을 얻을 수 있다. 생물학 자료엔 순서에 민감한 정보가 들어 있을 때가 많다. 실숫값 순차열을 시계열이라고 부르기도 한다. 순환 신경망은 순차열 데이터 모두에 사용할 수 있다. 실제 응용에서는 기호 순차열이 더 흔히 쓰인다. 텍스트 처리 등의 순차열 중심적 응용에서는 단어 몽므 같은 순서 없은 자료 구조를 사용할 때가 많다. 즉, 그런 접근 방식은 문서 안에 있는 단어들의 순서를 무시한다. 해법은 단어 모음을 사용하는 것이 아닌, 순차열의 위치마다 하나의 입력 특성을 생성하는 것, 전통적인 신경망으로 이를 구현한다고..
6. 제한 볼츠만 기계 6.1 소개 제한 볼츠만 기계 restricted Boltzmann machine RBM 은 순방향 신경망과는 근본적으로 다른 구조의 신경망이다. 통상적인 신경망은 일단의 입력들을 일단의 출력들에 사상하는 하나의 입력-출력 사상망이다. 반면 RBM 은 일단의 입력들로부터 확률 상태들을 학습하는 신경망으로, 비지도 학습 방식의 모형화에 유용하다. 순방향 신경망은 관측된 출력에 대한 예측값의 손실 함수를 최소화하지만, 제한 볼츠만 기계는 관측된 특성들과 일부 숨겨진 특성들의 결합확률분포를 모형화한다. RBM 은 무향 그래프에 해당 입력-출력 사상이 아닌 확률적인 관계들을 학습하도록 설계된 것이기 때문, 바탕 자료점들의 잠재 표현을 생성하는 확률 모형이다. 각 자료의 확률적 은닉 표현을 생성한다.
5. 방사상 기저 함수 신경망 5.1 소개 radial basis function RBF 망은 다른 구조를 가진 신경망, 이전 모형들은 순방향으로 층들을 차례로 거친 후에 최종 출력이 산출되느 ㄴ형태, 반면 RBF 망은 입력층 하나와 은닉층 하나, 출력층 하나로만 구성된다. 신경망 구조는 상당히 얕으며, 그 행동 방식은 특별한 은닉층의 성격에 크게 좌우된다. 은닉층은 하나의 원형 벡터 prototype vector 와의 비교에 기초한 계산을 수행, 은닉층은 입력 자료점을 받아서 새로운 공간으로 변환한다. 새 공간에서는 선형 분리 가능하다. 이를 보장하기 위해 은닉층의 차원이 더 높다. 이는 패턴들의 분리가능성에 대한 커버의 정리에 근거한 것, 비선형 변환을 통해 고차원 공간으로 변환하면 패턴 분류 문제의 선형 분리가능성이 높아진다는 ..
4.7 비지도 사전훈련 심층 학습의 훈련을 어렵게 만드는 여러 문제점 중 신경망의 여러 층ㅣ서로 다른 속도로 훈련되면서 생기는 기울기 소실, 폭발 문제, 기울기가 왜곡되는 것 깊이 역시 여러 문제점의 제기, 신경망의 초기화 방식에도 크게 의존한다. 초기점들을 잘 잡으면 더 좋다. 비지도 사전훈련을 이용해서 좋은 초기접들을 선택하는 기법이 돌파구가 되었다. 비지도 사전훈련은 신경망을 층별로 탐욕적으로 훈련함으로써 좋은 초기점들을 선택한다. 이는 autoencoder 로 확장, 사전 훈련은 각 층을 한 번에 하나씩 훈련하는 탐욕적 접근 방식을 사용한다. 구체적으로는 바깥쪽 은닉 가중치들을 먼저 학습 후 안쪽 은닉층 가중치들을 학습, 지도 학습에는 사전훈련을 어떻게 적용해야 할까? 다층 분류 신경망을 생각, 사전 훈련 과정에서 출력..
4.6 조기 종료 훈련 자료만으로 모델 훈련, 그 과정에서 검증 집합에 대한 신경망의 오차를 주시, 검증 집합에서의 오차가 증가할 때 종료, 훈련 자료ㅛ 집합이 작아지는 부작용은 그리 크지 않다. 어떠한 알고리즘과도 조합하기 쉽다. 4.6.1 분산의 관점에서 본 조기 종료 편향 대 분산 절충 관계를 이해하는 데 중요한 점ㅈ 하나는, 최적화 문제의 진 손실 함수는 오직 무한한 자료가 있을 때만 구축할 수 있다는 것이다. 유한한 훈련 자료로 구축한 손실함수는 진 손실함수를 온전히 반영하지 못한다. 학습된 손실 함수가 진 손실함수를 한 방향으로 이동한 형태임, 이러한 이동은 예측값들의 분산에 의한 것이며, 그러한 분산은 주어진 특정한 훈련 자료 집합에 의한 것이다. 훈련 집합이 달라지면 분산이 달라져, 학습된 손실함수가 예측할..
4.5 앙상블 방법 분류기의 오차를 줄이는 한 방법은 편향과 분산을 다른 하나에 영향을 미치지 않는 방식으로 감소시키는 것 대표적인 앙상블 방법으로 배깅과 부스팅 배깅은 분산을 부스팅은 편향을 줄이려한다. 대부분 앙상블 방법은 분산 감소에 초점을 둔다. 신경망이 항상 분산이 높은 쪽으로 이동하는 경향이 있기 때문 4.5.1 배깅과 부스팅 4.5.2 매개변수 기반 모형 선택과 평균화 신경망 구축에서 어려운 점은 여러 초매개변수들을 적절히 선택하는 것, 응용 과제의 성격에 따라 활성화 함수의 선택도 신경망의 성과에 영향을 미친다. 하이퍼파라미터가 많은 경우 특정 구성에 민감하게 영향을 받을 수 있다. 이를 극복하는 방법은 여러 구성 각각을 사용하느 모형들을 훈련, 가장 정확한 모형의 파라미터로 최종 모형을 만드는 것, 모형 선..
4.4 벌점 기반 정칙화 신경망의 표현력을 유지하면서도 과댖거합을 억제하려면 어떻게 해야 할까? 매개변수들에 일종의 벌점을 가함으로써 매개변수의 영향을 줄이는 것이 더 유연한 방법이다. 4.4.1 잡음 주입과의 관계 벌점 기반 정칙화는 입력에 잡음을 추가하는 것과 관련이 있다. 각 입력에 같은 양의 가우스 잡음을 추가하는 것은 항등 활성화 함수를 사용하는 단층 신경망의 티코노프 정칙화와 동등함이 증명되었다. 4.4.3 L1, L2 정칙화 정확도 측면에선 L2 정칙화가 더 좋을 때가 많다. 해석성 면에서는 L1 정칙화가 나름의 용도가 있다. 대부분의 w 를 0인 희소 행렬을 만든다는 것, 일종의 특징 선택기로 작용한다. 4.4.4 은닉 단위에 대한 벌점 : 희소 표현 학습 위 방법들은 신경망의 매개변수들에 벌점을 가한다. 신경망의..

티스토리툴바