본문 바로가기

심층 학습

 (75)
13 선형 인자 모형 심층 학습의 최신 연구 주제 중에는 입력 확률 모형 p_모형(x) 의 구축과 관련된 것이 많다. 원칙적으로 그런 모형은 자신의 환경에 있는 변수 중 임의의 변수의 값을 다른 변수들에 값에 기초해서 추론한다. 또한, 그런 모형 중에는 를 만족하는 잠재변수 h 를 가진 것들이 많다. 이러한 잠재변수 latent variable 은 또 다른 자료 표현 수단을 제공한다. 잠재 변수들에 기초한 분산 표현은 심층 순방향 신경망과 순환 신경망을 논의할 때 이야기한 표현 학습의 모든 장점을 가질 수 있다. 잠재변수가 있는 가장 단순한 확률 모형에 해당하는 선형 인자 모형 linear factor model 을 소개, 선형 인자 모형에 해당하는 모형들은 혼합 모형의 구성요소로 쓰이기도 하고 좀 더 큰 심층 확률 모형의 ..
12.2 computer vision 컴퓨터 비전은 심층 학습의 응용에서 가장 활발하게 연구된 분야 중 하나, 이는 시각 인식이라는 것이 컴퓨터에게는 아주 어려운 과제이기 때문, 컴퓨터 비전은 아주 광범위한 분야, 이미지를 처리하는 방식도 다양하고 그 결과를 응용하는 방법도 대단히 다양하다. 그러나 컴퓨터 시각에 관한 대부분의 심층 학습 연구는 이미지로 할 수 있는 일의 범위를 좀 더 넓히련느 그런 이색적인 응용보다는 인간의 능력을 복제하는 것이 목적인 적은 수 의 AI 핵심 목표들에 초점을 둔다. 대부분의 심층 학습 시스템은 어떤 형태이든 물체 인식 또는 물체 검출을 수행한다. 12.2.1 전처리 원본 입력이, 심층 학습 아키텍처가 표현하기 어려운 형태일 때가 많이 있다. 그런 경우 정교한 전처리 preprocessing 가 필요하다. 일..
12 응용 심층 학습의 한 가지 목표는 아주 다양한 과제를 해결할 수 있는 알고리즘을 설계한느 것이지만, 어느 정도 특수화가 필요했다. 12.1 대규모 심층 학습 심층학습의 바탕은 연결주의 철학, 즉, 심층 학습은 생물의 개별 뉴런 또는 개계 학습 모형의 개별 특징은 지능적이지 않지만, 많은 수의 그런 뉴런들이나 특징들이 함께 작동하면 지능적인 행동이 나타난다는 관점에 근거한다. 중요한 것은 지능적인 행동이 나타나려면 뉴런들이 아주 많아야 한다는 사실, 신경망의 정확도와 신경망이 해결할 수 있는 과제의 복잡도를 개선하는 데 있어 핵심적인 요인 하나는 신경망의 크기, 신경망의 크기는 지수적으로 증가했지만 기껏해야 곤충의 신경계 수준 12.1.1 빠른 CPU 구현 GPU 컴퓨팅을 이용하거나 다수의 CPU 를 활용, 특..
11.1 성과 측정 설계 과정의 첫 단계는 첫 단계는 오차 측정법과 목표 오차를 결정함으로써 개발 목표를 정의, 이는 그러한 오차 측정법이 이후의 모든 활동의 지침이 되기 때문이다. 또한, 원하느 성과의 수준을 정해 둘 필요가 있다. 대부분의 경우 절대 오차가 0 이 나오는 것은 불가능, 베이즈 오차는 달성 가능한 최소 오류율을 정의한다. 즉, 훈련 자료 집합이 무한히 크고 진 확률 분포를 복원하는 것이 가능하다고 해도, 베이즈 오차보다 오차를 더 줄이는 것은 불가능 이는 입력 특징들에 출력 변수에 관한 완전한 정보가 들어 있지 않거나, 시스템이 본질적으로 확률적이기 때문, 훈련 자료의 양이 제한되는 이유는 여러 가지, 추가 자료 수집에 드는 비용에 걸맞을 정도로 오차가 크게 감소하는지 따져 볼 필요가 있다. 한편, 고정된..
11. 실천 방법론 심층 학습 기법들을 성공적으로 적용하려면 사용할 수 있는 알고리즘의 종류와 작동 원리를 알 필요가 있다. 그러나 그것만으론 부족, 주어진 특정한 응용 과제에 맞는 알고리즘을 선택하는 방법과 실험적으로 실행한 학습 모형의 반응을 주시하고 분석해서 기계 학습 시스템을 개선하는 방법도 알아야 한다. 자료를 더 수집할 것인지, 모형의 수용력을 더 늘리거나 줄일 것인지, 정치고하 특징들을 추가 또는 제거할 것인지, 모형의 최적화를 개선할 것인지 모형의 근사적인 추론을 개선할 것인지 등의 결정 많은 실행 비용이 필요하므로 제대로된 판단이 필요 실제 응용에서는, 흔히 쓰이는 평범한 알고리즘을 제대로 적용하는 것이 고급 알고리즘을 엉성하게 적용하는 것보다 더 나을 때가 많다. 알고리즘을 제대로 적용하는 적절한 방법론에..
10 순차열 모형화를 위한 순환 신경망과 재귀 신경망 recurrent neural networks 는 순차적인 자룔르 처리하는 신경망의 한 종류 순호나 신경망은 순차열, 순서 있는 일련의 값들을 처리하는 데 특화된 것, 합성곱 신경망을 너비와 높이가 더 큰 이미지들로 확장할 수 있는 것과 마찬가지로 순환 신경망 역시 더 긴 순차열로 손쉽게 확장할 수 있다. 다층 신경망에서 순환 신경망으로 넘어가는 과정에는 기계 학습 모형들과 토계적 모형들에서 밝견된 초기 착안 중 하나가 중요한 역할을 했다. 모형의 서로 다른 여러 부분에서 매개변수들을 공유한다느 ㄴ것, 매개변수 공유를 도입하면, 다층 신경망을 형태가 서로 다른 견본들의 모형화에 확장, 적용할 수 있으며, 그런 견본들에 대해 다층 신경망을 일반화할 수 있다. 만일 매개변수들을 공유하지 않고 시간 색인의 각..
9.8 효율적인 합성곱 알고리즘 현대적인 합성곱 신경망 응용 프로그램들은 흔히 백만 개 이상의 단위들로 이뤄진 신경망을 처리한다. 그런 응용 프로그램에는 병렬 컴퓨팅 자원을 활용하는 강력한 구현 기법이 필수적이다. 적절한 합성곱 알고리즘을 선택함으로써 합성곱 연산의 속도를 높이는 것도 가능하다. 합성곱 연산은 입력과 핵 모두를 푸리에 변환을 이용해서 두 신호의 점 별 곱셈을 통해 주파수 정의역으로 변환하고, 역 푸리에 변환을 이용해서 다시 시간 정의역으로 변환하는 것과 동등하다. 이런 푸리에 변환을 구현해서 합성곱을 계산한느 것이 더 빠를 수 있다. d 차원 핵을 d 개으 ㅣ벡터들의 외적으로 표현할 수 있을 때 그러한 핵을 가리켜 분리 가능이라고 부른다. 핵이 분리 가능일 때는 합성곱 계산을 효율적이지 않다.
9.7 자료 형식 일반적으로 합성곱 신경망에 쓰이는 자료는 여러 채널로 구성된다. 그러한 채널들은 시간 또는 공간의 한 짖머에서 서로 다른 어떤 수량을 관측한 값들이다. 합성곱 신경망의 한 가지 장점은 공간적 차원이 서로 다른 입력들도 처리할 수 있다는 것이다. 너비와 높이가 서로 다른 일단의 이미지들을 처리한다고 가정, 고정된 크기의 가중치 행렬로는 모형화 전략이 필요, 그러나 합성곱 신경망은 kernel 은 이미지 크기에 맞는 횟수로 적용되며 그에 따라 연산의 출력의 크기가 적절히 결정된다. 합성곱을 하나의 행렬 곱셈으로 볼 수도 있는데, 하나의 동일한 합성곱 커널이 서로 다른 크기의 이미지에 대해 서로 다른 크기의 이중 블록 순환 행렬을 산출한다. 가변 크기 일력들을 처리하기 위해 합성곱을 사용하는 것은 같은 종류의..

티스토리툴바