튜토리얼 개요

이 자습서는 다음과 같이 세 부분으로 나뉩니다.

1. 여러 변수의 함수
   1. 레벨 세트
   2. 윤곽
   3. 그래프
2. 편파생상품의 정의
3. 그라데이션 벡터
1. 그라데이션 벡터는 무엇을 나타냅니까?

여러 변수의 함수

이 자습서에서 함수의 개념과 여러 변수의 함수를 검토할 수 있습니다. 여기에서 여러 변수의 함수에 대한 자세한 내용을 제공합니다.

여러 변수의 함수에는 다음과 같은 속성이 있습니다.

• 해당 도메인은 (x_1, x_2, x_3, …, x_n)로 주어진 n-튜플 집합입니다.
• 범위는 실수 집합입니다.

예를 들어, 다음은 두 변수(n=2)의 함수입니다.

f_1(x,y) = x + y

위의 함수에서 x와 y는 독립 변수입니다. 이들의 합은 함수의 값을 결정합니다. 이 함수의 영역은 XY 데카르트 평면의 모든 점 집합입니다. 이 함수의 플롯은 입력 점 (x,y)에 대한 두 개의 축과 f의 값을 나타내는 세 번째 축이 있는 3D 공간에 플로팅해야합니다.

다음은 두 변수 함수의 또 다른 예입니다. f_2(x,y) = x*x + y*y

일을 단순하게 유지하기 위해 두 변수의 함수에 대한 예를 살펴보겠습니다. 물론 머신러닝에서는 수백 개의 변수 함수를 접하게 됩니다. 두 변수의 함수와 관련된 개념은 이러한 경우로 확장 될 수 있습니다.

레벨 세트와 두 변수의 함수에 대한 그래프

함수 f(x,y)가 상수 값을 갖는 평면의 점 집합, 즉 f(x,y)=c는 f의 레벨 세트 또는 레벨 곡선입니다.

예를 들어, 함수 f_1의 경우 아래 방정식을 만족하는 모든 (x,y) 점이 f_1에 대한 레벨 세트를 정의합니다.

x + y = 1

이 레벨 세트에는 (0,2), (1,1), (2, 0) 등과 같은 무한한 포인트 세트가 있음을 알 수 있습니다. 이 레벨 세트는 XY 평면에서 직선을 정의합니다.

일반적으로 f_1의 모든 레벨 세트는 형식의 직선을 정의합니다 (c는 실수 상수입니다).

x + y = c

마찬가지로, 함수 f_2의 경우, 레벨 세트의 예는 다음과 같습니다.

x*x + y*y = 1

중심이 (0,0)인 반지름 1의 원에 있는 모든 점이 위의 식을 만족한다는 것을 알 수 있습니다. 따라서 이 레벨 세트는 이 원 위에 있는 모든 점으로 구성됩니다. 마찬가지로, f_2의 모든 수준 집합은 다음 식을 충족합니다(c는 임의의 실수 상수 >= 0임).

x * x + y * y = c

따라서 f_2의 모든 레벨 세트는 중심이 (0,0)인 원이며 각 레벨 세트에는 자체 반지름이 있습니다.

함수 f(x,y)의 그래프는 모든 점 (x,y,f(x,y))의 집합입니다. 표면 z=f(x,y)라고도 합니다. f_1와 f_2의 그래프는 아래와 같습니다(왼쪽).

f_1 및 f_2 기능과 해당 윤곽

두 변수 함수의 윤곽

두 변수의 함수 f(x,y)가 있다고 가정합니다. 평면 z=c를 사용하여 표면 z=f(x,y)를 자르면 f(x,y) = c를 만족하는 모든 점의 집합을 얻습니다. 등고선 곡선은 평면 z=c에서 f(x,y)=c를 만족하는 점의 집합입니다. 이는 레벨 곡선이 XY 평면에서 직접 정의되는 레벨 세트와 약간 다릅니다. 그러나 많은 책에서 등고선과 레벨 곡선을 동일하게 취급합니다.

f_1와 f_2의 윤곽은 위의 그림 (오른쪽)에 나와 있습니다.

편미분과 기울기

함수 f wrt의 편미분 변수 x는 ∂f/∂x로 표시됩니다. 그것의 표현은 f wrt x를 구별함으로써 결정될 수있다. 예를 들어 f_1 및 f_2 함수의 경우 다음이 있습니다.

∂f_1/∂x = 1

∂f_2/∂x = 2배

∂f_1/∂x는 f_1 wrt x의 변화율을 나타냅니다. 임의의 함수 f(x,y)에 대해 ∂f/∂x는 f wrt 변수 x의 변화율을 나타냅니다.

∂f/∂y의 경우도 비슷합니다. f wrt y의 변화율을 나타냅니다. 이 튜토리얼에서 부분 도함수의 공식적인 정의를 볼 수 있습니다.

모든 독립 변수가있는 편미분을 찾으면 벡터로 끝납니다. 이 벡터를 ∇f(x,y)로 표시된 f의 기울기 벡터라고 합니다. f_1와 f_2의 기울기에 대한 일반적인 식은 다음과 같이 주어집니다 (여기서 i, j는 좌표축에 평행 한 단위 벡터입니다).

∇f_1(x,y) = ∂f_1/∂xi + ∂f_1/∂yj = i+j

∇f_2(x,y) = ∂f_2/∂xi + ∂f_2/∂yj = 2xi + 2yj

그라디언트의 일반적인 표현에서 공간의 다른 지점에서 그래디언트를 평가할 수 있습니다. f_1의 경우 그래디언트 벡터는 상수, 즉

i+j

우리가 3 차원 공간에서 어디에 있든 그라디언트 벡터의 방향과 크기는 변하지 않습니다.

함수 f_2의 경우 ∇f_2(x,y)는 (x,y) 값으로 변경됩니다. 예를 들어, (1,1)과 (2,1)에서 f_2의 기울기는 다음 벡터로 제공됩니다.

∇f_2(1,1) = 2i + 2j

∇f_2(2,1) = 4i + 2j

한 점의 그라디언트 벡터는 무엇을 나타냅니까?

임의의 점에서 여러 변수의 함수의 기울기 벡터는 최대 변화율의 방향을 나타냅니다.

그라디언트 벡터를 접선과 연관시킬 수 있습니다. 우리가 공간의 한 지점에 서 있고 그 지점에서 등고선에 접선을 따라 걷도록 지시하는 규칙을 생각해 낸다면. 그것은 우리가 어디에 있든 그 지점에서 윤곽선에 대한 접선을 찾아 따라 걷는다는 것을 의미합니다. 이 규칙을 따라 걷는다면 결국 f의 윤곽을 따라 걷게 될 것입니다. 함수의 값은 f의 등고선에서 일정하므로 함수의 값은 변경되지 않습니다.

반면에 그라디언트 벡터는 접선에 수직이며 최대 증가율 방향을 가리 킵니다. 그라디언트의 방향을 따라 걷다 보면 함수의 값이 이전 값보다 큰 다음 지점을 만나기 시작합니다.

기울기의 양의 방향은 최대 증가율의 방향을 나타내는 반면, 음의 방향은 최대 감소율의 방향을 나타냅니다. 다음 그림은 함수 f_2 윤곽선의 여러 지점에서 기울기 벡터의 양의 방향을 보여줍니다. 양의 기울기 방향은 빨간색 화살표로 표시됩니다. 컨투어에 대한 탄젠트 선은 녹색으로 표시됩니다.

기울기 벡터의 윤곽선과 방향

머신러닝에서 그라디언트 벡터가 중요한 이유는 무엇입니까?

그래디언트 벡터는 매우 중요하며 머신러닝 알고리즘에서 자주 사용됩니다. 분류 및 회귀 문제에서는 일반적으로 평균 제곱 오차 함수를 정의합니다. 이 함수의 기울기의 음의 방향을 따라가면이 함수가 최소값을 갖는 지점을 찾을 수 있습니다.

최대화하면 최대 정확도를 얻을 수 있는 기능의 경우도 마찬가지입니다. 이 경우 이 함수의 최대 증가율 방향 또는 그래디언트 벡터의 양의 방향을 따릅니다.

확장

이 섹션에는 탐색할 수 있는 자습서를 확장하기 위한 몇 가지 아이디어가 나열되어 있습니다.

• 경사 하강/경사 상승
• 헤세 행렬
• 야코비안

이러한 확장 기능을 탐색하면 알고 싶습니다. 아래 의견에 결과를 게시하십시오.

추가 정보

이 섹션에서는 더 자세히 알아보려는 경우 주제에 대한 더 많은 리소스를 제공합니다.

자습서

• 도함수
• 경사와 접선
• 다변량 미적분학
• 머신러닝을 위한 경사하강법
• 머신러닝의 그라디언트란?

리소스

• 머신러닝을 위한 미적분학 책에 대한 추가 리소스

책

• 토마스의 미적분학, 14판, 2017. (조지 B. 토마스의 원작을 바탕으로 조엘 하스, 크리스토퍼 하일, 모리스 위어 수정)
• 미적분학, 제 3 판, 2017. (길버트 스트랭)
• 미적분학, 8판, 2015. (제임스 스튜어트)

요약

이 튜토리얼에서는 여러 변수, 편미분 및 기울기 벡터의 함수가 무엇인지 발견했습니다. 특히 다음 내용을 배웠습니다.

• 여러 변수의 함수
  • 여러 변수 함수의 윤곽
  • 여러 변수 함수의 레벨 세트
• 여러 변수 함수의 편미분
• 그라디언트 벡터와 그 의미