튜토리얼 개요

이 자습서는 다음과 같이 세 부분으로 나뉩니다.

• 함수의 개념 재검토 
• 다변량 함수의 도함수
• 머신러닝에서 다변량 미적분학의 적용

함수의 개념 재검토

우리는 이미 종속 변수와 독립 변수 사이의 관계를 정의하는 규칙으로서 함수의 개념에 익숙해졌습니다. 우리는 함수가 종종 y = f(x)로 표현되는 것을 보았는데, 여기서 입력값(또는 독립 변수), x와 출력값(또는 종속 변수) y는 모두 단일 실수입니다.  

하나의 독립 변수를 취하고 입력과 출력 간의 일대일 매핑을 정의하는 이러한 함수를 일변량 함수라고 합니다. 

예를 들어, 온도만을 기준으로 날씨를 예측하려고 한다고 가정해 보겠습니다. 이 경우 날씨는 예측하려는 종속 변수이며 입력 변수로서의 온도의 함수입니다. 따라서 이러한 문제는 일변량 함수로 쉽게 구성 될 수 있습니다. 

그러나 이제 온도 외에도 습도 수준과 풍속을 기반으로 일기 예보를 만들고 싶다고 가정 해 보겠습니다. 출력이 단일 입력에만 의존하는 일변량 함수를 통해서는 그렇게 할 수 없습니다. 

따라서 우리는 다변량 함수에 주의를 돌립니다., 이러한 함수는 여러 변수를 입력으로 사용할 수 있기 때문에 소위 호출됩니다. 

공식적으로, 우리는 여러 실제 입력 변수 n과 실제 출력 사이의 매핑으로 다변량 함수를 표현할 수 있습니다.

예를 들어, 다음과 같은 포물선 표면을 고려하십시오.

f (x, y) = x2 + 2년2

이것은 x와 y라는 두 개의 변수를 입력으로 사용하는 다변량 함수이므로 n = 2이므로 출력을 생성합니다. x와 y에 대한 값을 -1과 1 사이의 그래프로 표시하여 시각화할 수 있습니다.

포물선 표면의 3차원 플롯

마찬가지로 더 많은 변수를 입력으로 사용하는 다변량 함수를 가질 수 있습니다. 그러나 관련된 차원의 수로 인해 시각화가 어려울 수 있습니다. 

여러 입력 n을 여러 출력 m에 매핑하는 함수를 고려하여 함수의 개념을 더 일반화 할 수도 있습니다.

이러한 함수를 벡터 값 함수라고 하는 경우가 더 많습니다. 

다변량 함수의 도함수

미적분학은 변화율 연구와 관련이 있음을 상기하십시오. 일부 일변량 함수 g(x)의 경우 도함수를 계산하여 이를 달성할 수 있습니다.

여러 변수의 함수에 대한 도함수의 일반화는 기울기입니다.

– 페이지 146, 머신러닝 수학, 2020.

여러 변수의 함수의 기울기를 찾는 기술은 한 번에 각 변수를 변경하고 다른 변수는 일정하게 유지하는 것입니다. 이런 식으로 우리는 매번 각 변수에 대해 다변량 함수의 편미분을 취하게 됩니다. 

그래디언트는 이러한 부분 도함수의 모음입니다.

– 페이지 146, 머신러닝 수학, 2020.

이 기술을 더 잘 시각화하기 위해 먼저 다음 형식의 간단한 일변량 2차 함수를 고려해 보겠습니다.

g (x) = x2

일변량 2차 함수의 선 그림

어느 시점에서 이 함수의 도함수 x를 찾으려면 이전에 정의한 g‘(x)에 대한 방정식을 적용해야 합니다. 또는 전원 규칙을 사용하여 바로 가기를 사용하여 다음을 찾을 수 있습니다.

g'(x) = 2x

또한 평면이 y = 0을 통과하는 상태에서 앞에서 고려한 포물선 표면을 슬라이스하는 것을 상상해야 한다면 f (x, y)의 결과 단면이 2 차 곡선, g (x) = x2. 따라서 f(x, y)의 도함수를 취하지만 y를 일정하게 유지하여 x 방향으로 포물선 표면의 도함수(또는 경사도 또는 기울기)를 계산할 수 있습니다. 우리는 이것을 x에 대한 f(x, y)의 편미분이라고 부르며, x 외에 더 많은 변수가 있지만 당분간 고려되지 않음을 나타내기 위해 ∂로 표시합니다. 따라서 f(x, y)의 x에 대한 편미분은 다음과 같습니다.

다음과 같이 y에 대한 f(x, y)의 편미분을 찾기 위해 유사하게 x 상수를 유지(즉, 포물선 표면의 단면을 x의 상수 값을 통과하는 평면으로 슬라이스하여 구함)할 수 있습니다.

우리가 본질적으로 한 것은 x와 y 방향 각각에서 f (x, y)의 일변량 도함수를 발견했다는 것입니다. 마지막 단계로 두 개의 일변량 도함수를 결합하면 다변량 도함수(또는 기울기)가 제공됩니다.

동일한 기술이 더 높은 차원의 함수에 유효합니다. 

머신러닝에서 다변량 미적분학의 적용

편미분은 신경망에서 모델 파라미터(또는 가중치)를 업데이트하는 데 광범위하게 사용됩니다. 

우리는 일부 오류 함수를 최소화 할 때 최적화 알고리즘이 내리막 길에서 기울기를 따르려고한다는 것을 보았습니다. 이 오차 함수가 일변량이고 따라서 단일 독립 가중치의 함수인 경우 이를 최적화하려면 일변량 도함수를 계산하기만 하면 됩니다.

그러나 신경망은 오류가 함수인 많은 가중치(각각 다른 뉴런에 귀속됨)로 구성됩니다. 따라서 가중치 값을 업데이트하려면 이러한 모든 가중치에 대해 오차 곡선의 기울기를 계산해야 합니다. 

여기에서 다변량 미적분학의 적용이 시작됩니다. 

오차 곡선의 기울기는 각 가중치에 대한 오차의 편미분을 찾아 계산됩니다. 또는 다른 말로 하면, 고려중인 가중치를 제외한 모든 가중치를 일정하게 유지하여 오류 함수의 도함수를 찾습니다. 이를 통해 각 가중치를 다른 가중치와 독립적으로 업데이트하여 최적의 가중치 세트를 찾는 목표에 도달 할 수 있습니다. 

추가 정보

이 섹션에서는 더 자세히 알아보려는 경우 주제에 대한 더 많은 리소스를 제공합니다.

책

• 단일 및 다변수 미적분학, 2020.
• 머신러닝을 위한 수학, 2020.
• 최적화를위한 알고리즘, 2019.
• 딥 러닝, 2019.

요약

이 튜토리얼에서는 다변량 미적분학에 대한 부드러운 소개를 발견했습니다.

특히 다음 내용을 배웠습니다.

• 다변량 함수는 출력값을 생성하기 위해 여러 입력 변수에 의존합니다. 
• 다변량 함수의 기울기는 다른 방향으로 함수의 도함수를 찾아 계산됩니다. 
• 다변량 미적분학은 신경망에서 모델 매개 변수를 업데이트하는 데 광범위하게 사용됩니다.