활성화 함수

활성화 함수는 딥러닝에서 인풋값과 가중치, 편향을 계산해 해당 노드를 활성화할지를 결정하는 함수, 

계단 함수

계단 함수 step function 은 아래와 같은 식을 의미한다.

계단 함수는 입력값이 0 이하일 경우 0을 출력하고, 0을 초과할 경우 1을 출력한다. 

사용하기 간단하지만, 연속적이지 않기에 미분이 가능하지 않다는 단점이 존재한다.

(연속적으로 만들기 위해 가우스 분포와 나이브 베이즈 이론을 사용할 수 있을까?, 미분한 값이 가우스 분포의 모형이네)

부호 함수

부호 함수 sign function 은 아래와 같은 수식을 따른다.

계단 함수와 달리 -1, 0, 1 의 값을 출력한다.

시그모이드 함수

시그모이드 함수 sigmoid function 은 아래의 수식을 따른다.

exp는 지수 함수를 의미한다. 

시그모이드 함수는0과 1 사이의 값을 출력한다. 시그모이드 함수를 딥러닝에 적용했을 때의 단점은 미분을 반복하면 그래디언트 값이 매우 작아지는 그래디언트 소실 문제가 발생한다. 미분값이 0에 가까워지는 부분이 존재하기 때문

하이퍼볼릭 탄젠트 함수

하이퍼볼릭 탄젠트 hyperbolic tangent, tanh 는 시그모이드 함수를 변형한 함수이다.

 

 

하이퍼볼릭 탄젠트 함수의 범위는 -1 부터 1 사이이다.

렐루 함수

렐루 함수 Rectified Linear Unit, ReLU 함수는 아래와 같은 식을 따른다.

 

소프트맥스 함수

주로 최종 출력층에 사용되는 활성화 함수, 

위 식을 그대로 사용할 경우 오버플로 문제가 발생할 수 있다. 때문에 변형해서 사용

임의의 상수 C를 더하거나 빼서 발생할 수 있는 오버플로 문제를 해결한다.