일변수 스칼라 함수의 미분 규칙을 다변수 함수로 확장,
다변수 함수를 미분할 때 편미분이라는 젷나적인 개념을 사용,
순간변화율은 어떤 값을 h만큼 움질일 때 평균 변화율에 대한 극한값으로 순간 변화율을 정의
그런데 위 정의를 이변수 함수에 적용하면 문제가 발생하는데 이는 어느 방향으로 떨어지는가에 따라 변화율이 모두 다르기 때문,
편도함수
제한적인 방법으로 도함수를 정의, 변수의 변화를 제한한다. 한 변수만 움직이게 하여 다른 변수는 고정
일변수화 한 상태에서 도함수를 구하는 것, 이 도함수를 편도 함수라고 하고 이를 구하는 것을 편미분한다라고 이야기한다.
변수 개수만큼 편도함수를 구할 수 있다.
편미분계수 응용
모델의 손실 함수를 미분하여 경사도 벡터를 구할 수 있다.
224*224 크기의 이미지, D = 50176 차원의 벡터를 생성, 출력 차원은 1000개의 분류 항목 C = 1000
편미분 개수는 입력차원 수와 같은 50176 개가 구해진다.
이 편매분계수들을 밝기로 표현하여 시각화가 가능
다변수 함수에 대한 연쇄법칙
최초 입력 변수 x 가 f(x) 를 통해 y 로 출력되고 이 출력이 다시 g(y) 로 입력되어 최종 출력 z를 만든다.
다변수 함수와 벡터 함수에 대한 내용을 함수의 합성에 적용하면 각 변수가 여러 개인 합성 관계로 확장할 수 있다.
간단하게 입력 변수가 아나, 중간 변수가 둘, 출력 변수가 하나인 합성 관계를 예로 들어 본다.
t에 대한 z의 변화율을 모두 더한 식과 같이 쓸 수 있다.
좀 더 복잡한 형태의 확인
변수 r 에서 z로 가는 경로는 두 가지가 있다.
야코비안
입력 변수와 출력 변수가 각각 2개인 경우 입력에 대한 출력의 변화율은 4가지 조합이 생긴다.
편도 함수의 경우 n개의 입력변수이고 출력이 하나인 함수에 대해 편도 함수 n개를 구할 수 있었고,
여기에 출력이 m개가 되면 각 출력당 편도 함수 n 개를 구할 수 있으므로 총 m*n 개의 편도 함수를 구할 수 있다.
일반적으로 F : R^n → R^m 인 함수에 대해 m*n 개 편도 함수를 다음과 같이 표시한다.
위와 같이 편도 함수를 블록 형태로 적은 것을 야코비 행렬이라고 한다.
야코비 행렬의 행렬식을 야코비안 이라고 한다.
나아가 행렬을 벡터로 미분하거나 벡터를 행렬로 미분하는 것도 가능하다. 이 경우 결과를 표현하기 위해 야코비안을 사용한다.
