튜토리얼 개요

이 자습서는 다음과 같이 세 부분으로 나뉩니다.

• 일변량 함수의 고차 도함수
• 다변량 함수의 고차 도함수
• 머신러닝의 응용

일변량 함수의 고차 도함수

우리가 본 1 차 도함수는 순간 변화율과 같은 함수에 대한 중요한 정보를 제공 할 수있을뿐만 아니라 고차 도함수도 똑같이 유용 할 수 있습니다. 예를 들어, 2차 도함수는 움직이는 물체의 가속도를 측정하거나 최적화 알고리즘이 로컬 최대값과 로컬 최소값을 구별하는 데 도움이 될 수 있습니다. 

일변량 함수의 고차(2차, 3차 또는 그 이상) 도함수를 계산하는 것은 그리 어렵지 않습니다.

함수의 2차 도함수는 1차 도함수의 도함수일 뿐입니다. 세 번째 도함수는 두 번째 도함수의 도함수이고, 네 번째 도함수는 세 번째 도함수의 도함수입니다.

– 페이지 147, 인형을 위한 미적분학, 2016.

따라서 고차 도함수를 계산하는 것은 단순히 함수를 반복적으로 미분하는 것을 포함합니다. 이를 위해 우리는 단순히 곱의 법칙에 대한 지식을 적용 할 수 있습니다. 함수 f (x) = x를 고려해 봅시다.3 + 2배2 – 예를 들어 4x + 1입니다. 그러면:

1차 도함수: f‘(x) = 3 x2 + 4x – 4

2차 도함수: f”(x) = 6 x + 4

3차 도함수: f”'(x) = 6

4차 도함수: f (4)(x) = 0

5차 도함수: f (5)(x) = 0 등

여기서 우리가 한 것은 먼저 f(x)에 거듭제곱 규칙을 적용하여 첫 번째 도함수 f‘(x)를 얻은 다음 두 번째 도함수를 얻기 위해 첫 번째 도함수에 거듭제곱 규칙을 적용한 것입니다. 미분은 미분이 반복적으로 적용됨에 따라 결국 0이 됩니다. 

곱 및 몫 규칙의 적용은 고차 도함수를 얻는 데에도 유효하지만 순서가 증가함에 따라 계산이 점점 더 지저분해질 수 있습니다. 일반적인 Leibniz 규칙은 제품 규칙을 다음과 같이 일반화하여이 측면에서 작업을 단순화합니다.

여기, 용어, n! / 케이! (n – k)!는 이항 정리의 이항 계수이고 f (k) 및 g(k) K를 나타냅니다.일 함수 f와 g의 도함수. 

따라서 일반적인 라이프니츠 규칙에 의해 1 차 및 2 차 도함수를 찾는 것 (따라서 각각 n = 1 및 n = 2로 대체)은 다음과 같습니다.

(증권 시세 표시기)(1) = (fg)’ = f (1) g + f g(1)

(증권 시세 표시기)(2) = (fg)” = f (2) g + 2f (1) g(1) + 에프 지(2)

제품 규칙에 정의된 익숙한 첫 번째 도함수를 확인합니다. 라이프니츠 규칙은 또한 몫이 f g 형식의 곱으로 효과적으로 표현 될 수 있기 때문에 합리적 함수의 고차 도함수를 찾는 데 사용할 수 있습니다.-1. 

다변량 함수의 고차 도함수

다변량 함수의 고차 편미분의 정의는 일변량 경우와 유사합니다.일 n > 1에 대한 편미분 순서는 (n – 1)의 편미분으로 계산됩니다.일 부분 도함수를 주문하십시오. 예를 들어, 두 개의 변수를 가진 함수의 두 번째 편미분을 취하면 네 개의 두 번째 부분 도함수가 생성됩니다. 증권 시세 표시기 및 fyy및 2개의 교차 편미분, fxy 및 f증권 시세 표시기. 

“미분”을 취하려면 x 또는 y에 대해 부분 도함수를 취해야하며 x, x, x, y, y, y, y의 네 가지 방법이 있습니다.

– 페이지 371, 단일 및 다변수 미적분학, 2020.

다변량 함수 f(x, y) = x를 생각해 봅시다. 2 + 3xy + 4y2, 우리는 두 번째 부분 도함수를 찾고 싶습니다. 이 과정은 먼저 1차 편미분을 찾는 것으로 시작합니다.

그런 다음 4 개의 2 차 부분 도함수를 찾는 과정을 반복하여 부분 도함수를 찾습니다. 자신의 편미분은 x 또는 y에 대해 부분 미분 과정을 두 번째로 반복하기 때문에 가장 쉽게 찾을 수 있습니다.

이전에 발견된 f의 교차 편미분x (즉, x에 대한 편미분)은 y에 대한 결과의 편미분을 취하여 f를 제공함으로써 발견됩니다.xy. 유사하게, f의 편미분을 취하면y x와 관련하여 f를 제공합니다.증권 시세 표시기: 

교차 부분 도함수가 동일한 결과를 제공하는 것은 우연이 아닙니다. 이것은 Clairaut의 정리에 의해 정의되며, 교차 부분 도함수가 연속적인 한 동일하다는 것입니다. 

머신러닝의 응용

머신러닝에서는 주로 사용되는 2 차 미분입니다. 우리는 이전에 두 번째 도함수이 첫 번째 도함수 자체가 포착 할 수없는 정보를 제공 할 수 있다고 언급했습니다. 특히, 임계점이 국소 최소값인지 최대값인지(각각 2차 도함수가 0보다 크거나 작은지 여부에 따라) 알려줄 수 있으며, 그렇지 않으면 두 경우 모두 1차 도함수가 0이 됩니다. 

이 정보를 활용하는 몇 가지 2차 최적화 알고리즘이 있으며 그 중 하나가 뉴턴의 방법입니다.

반면에 2 차 정보를 사용하면 목적 함수의 2 차 근사치를 만들고 올바른 스텝 크기를 근사하여 로컬 최소값에 도달 할 수 있습니다.

– 페이지 87, 최적화 알고리즘, 2019.

일변량의 경우 Newton의 방법은 2차 테일러 계열 확장을 사용하여 목적 함수의 특정 점을 중심으로 2차 근사를 수행합니다. 도함수를 0으로 설정하고 근을 풀어서 얻은 뉴턴 방법의 업데이트 규칙에는 2차 도함수에 의한 나눗셈 연산이 포함됩니다. 뉴턴의 방법을 다변량 최적화로 확장하면 도함수는 기울기로 대체되고 2차 도함수의 역수는 헤세 행렬의 역수로 대체됩니다. 

우리는 고차 도함수의 사용을 활용하는 Hessian 및 Taylor 시리즈 근사치를 별도의 튜토리얼에서 다룰 것입니다. 

추가 정보

이 섹션에서는 더 자세히 알아보려는 경우 주제에 대한 더 많은 리소스를 제공합니다.

책

• 단일 및 다변수 미적분학, 2020.
• 인형을위한 미적분학, 2016.
• 딥 러닝, 2017.
• 최적화를위한 알고리즘, 2019.
• 
  

요약

이 자습서에서는 고차 일변량 및 다변량 도함수를 계산하는 방법을 알아보았습니다. 

특히 다음 내용을 배웠습니다.

• 일변량 함수의 고차 도함수를 계산하는 방법. 
• 다변량 함수의 고차 도함수를 계산하는 방법.
• 2차 최적화 알고리즘에 의해 머신러닝에서 2차 도함수를 활용하는 방법.