5.10 기계 학습 알고리즘 만들기

거의 모든 심층 학습 알고리즘은 비교적 간단한 조리법을 필요에 따라 구체적으로 적용한 사례에 해당한다. 

비교적 간단한 조리법일나 자료 집합의 명세와 비용함수, 최적화 절차, 모형을 결합한다는 것이다.

예를 들어 선형회귀 알고맂므은 X 와 y 로 이뤄진 자료 집합고 ㅏ비용함수와 모형 명세. 최적화 알고리즘의 조합이다. 

대부분의 경우 그 최적화 알고맂므은 표준방정식을 풀어서 비용함수의 기룽기가 0인  점을 구하는 형태이다.

한 학습 알골지므의 각 구성요소를 다른 구성요소들고 ㅏ거의 독립적으로 교체할 수 있다는 점을 이용하면 다양한 알고리즘을 만들어 낼 수 있다.

 

모형을 비선형으로 바꾸면 대부분의 비용함수는 닫힌 형식으로 최적화할 수 없게 된다. 그런 경우에는 경사 하강법 같은 반복적인 수치 최저고하 절차를 선택해야 한다.