머신러닝을 위한 선형 대수학의 행렬 유형

13 12월

머신러닝을 위한 선형 대수학의 행렬 유형

by Nepirity

in Technology

Comments

많은 선형 대수학은 벡터와 행렬에 대한 연산과 관련이 있으며 다양한 유형의 행렬이 있습니다.

선형 대수학을 시작할 때 반복해서 접할 수 있는 몇 가지 유형의 행렬이 있으며, 특히 머신러닝과 관련된 선형 대수학의 일부입니다.

이 튜토리얼에서는 머신러닝에서 발생할 수 있는 선형 대수학 분야의 다양한 유형의 행렬 모음을 발견하게 됩니다.

이 자습서를 완료하면 다음을 알 수 있습니다.

정사각형, 대칭, 삼각형 및 대각선 행렬은 이름에서 알 수 있듯이 많습니다.
값이 1인 주 대각선을 제외한 모든 0 값인 항등 행렬입니다.
수직 벡터의 개념을 일반화하고 유용한 계산 속성을 갖는 직교 행렬.

튜토리얼 개요

이 튜토리얼은 행렬의 주요 유형을 다루기 위해 다음과 같이 여섯 부분으로 나뉩니다.

정사각 행렬
대칭 행렬
삼각형 행렬
대각선 행렬
아이덴티티 매트릭스
직교 행렬

정사각 행렬

정사각 행렬은 행의 개수(n)가 열의 개수(m)와 같은 행렬입니다.

1
n = m

정사각형 행렬은 행과 열의 개수가 같지 않은 직사각형 행렬과 대조됩니다.

행과 열의 수가 일치하면 차원은 일반적으로 n으로 표시됩니다(예: n x n). 행렬의 크기를 차수라고 하므로 4차수 정사각형 행렬은 4 x 4입니다.

왼쪽 상단에서 오른쪽 하단으로 행렬의 대각선을 따라 값 벡터를 주 대각선이라고합니다.

다음은 차수 3 제곱 행렬의 예입니다.

1
2
3
     1, 2, 3
M = (1, 2, 3)
     1, 2, 3

정사각형 행렬은 쉽게 추가되고 곱해지며 회전(이미지 회전에서와 같이)과 같은 많은 간단한 선형 변환의 기초가 됩니다.

대칭 행렬

대칭 행렬은 오른쪽 위 삼각형이 왼쪽 아래 삼각형과 동일한 정사각형 행렬 유형입니다.

대칭 행렬 S는 선형 대수학 이론과 응용 분야에서 세계에서 볼 수 있는 가장 중요한 행렬이라고 해도 과언이 아닙니다.

— 338페이지, 선형 대수학 입문, 제5판, 2016.

대칭이 되려면 대칭축이 항상 왼쪽 상단에서 오른쪽 하단으로 행렬의 기본 대각선입니다.

다음은 5×5 대칭 행렬의 예입니다.

1
2
3
4
5
     1, 2, 3, 4, 5
     2, 1, 2, 3, 4
M = (3, 2, 1, 2, 3)
     4, 3, 2, 1, 2
     5, 4, 3, 2, 1

대칭 행렬은 항상 정사각형이며 자체 전치와 같습니다.

1
M = M^T

삼각형 행렬

삼각형 행렬은 행렬의 오른쪽 위 또는 왼쪽 아래에 모든 값이 있고 나머지 요소는 0 값으로 채워지는 정사각형 행렬 유형입니다.

주 대각선 위에만 값을 갖는 삼각형 행렬을 위쪽 삼각형 행렬이라고합니다. 반면, 주 대각선 아래에만 값이 있는 삼각형 행렬을 하위 삼각형 행렬이라고 합니다.

다음은 3×3 상삼각형 행렬의 예입니다.

1
2
3
     1, 2, 3
M = (0, 2, 3)
     0, 0, 3

다음은 3×3 하위 삼각형 행렬의 예입니다.

1
2
3
     1, 0, 0
M = (1, 2, 0)
     1, 2, 3

LU 분해는 주어진 행렬을 상위 및 하위 삼각형 행렬로 분해합니다.

NumPy는 기존 정사각 행렬에서 삼각형 행렬을 계산하는 함수를 제공합니다. 주어진 행렬에서 하위 삼각형 행렬을 계산하는 tril() 함수와 주어진 행렬에서 위쪽 삼각형 행렬을 계산하는 triu() 함수가 있습니다.

아래 예제에서는 3×3 정사각형 행렬을 정의하고 이 행렬로부터 하부 및 상삼각 행렬을 계산합니다.

1
2
3
4
5
6
7
8
9
10
# triangular matrices
from numpy import array
from numpy import tril
from numpy import triu
M = array([[1, 2, 3], [1, 2, 3], [1, 2, 3]])
print(M)
lower = tril(M)
print(lower)
upper = triu(M)
print(upper)

예제를 실행하면 정의된 행렬이 인쇄되고 그 뒤에 아래쪽 및 위쪽 삼각형 행렬이 인쇄됩니다.

1
2
3
4
5
6
7
8
9
10
11
[[1 2 3]
 [1 2 3]
 [1 2 3]]
 
[[1 0 0]
 [1 2 0]
 [1 2 3]]
 
[[1 2 3]
 [0 2 3]
 [0 0 3]]

대각선 행렬

대각선 행렬은 주 대각선 외부의 값이 0 값을 가지며 주 대각선이 행렬의 왼쪽 상단에서 오른쪽 하단으로 이동하는 행렬입니다.

대각선 행렬은 종종 변수 D로 표시되며 전체 행렬 또는 주 대각선의 값 벡터로 표시 될 수 있습니다.

대각선 행렬은 대부분 0으로 구성되며 주 대각선을 따라서만 0이 아닌 항목을 갖습니다.

— 40페이지, 딥러닝, 2016.

다음은 3×3 정사각형 대각선 행렬의 예입니다.

1
2
3
     1, 0, 0
D = (0, 2, 0)
     0, 0, 3

벡터로서 다음과 같이 표현됩니다.

1
d = (d11, d22, d33)

또는 지정된 스칼라 값을 사용하여:

1
d = (1, 2, 3)

대각선 행렬은 정사각형일 필요가 없습니다. 직사각형 행렬의 경우 대각선은 가장 짧은 차원을 덮습니다. 예를 들어:

1
2
3
4
5
     1, 0, 0, 0
     0, 2, 0, 0
D = (0, 0, 3, 0)
     0, 0, 0, 4
     0, 0, 0, 0

NumPy는 기존 행렬에서 대각 행렬을 만들거나 벡터를 대각 행렬로 변환할 수 있는 diag() 함수를 제공합니다.

아래 예제에서는 3×3 정사각형 행렬을 정의하고 기본 대각선을 벡터로 추출한 다음 추출된 벡터에서 대각 행렬을 만듭니다.

1
2
3
4
5
6
7
8
9
10
11
# diagonal matrix
from numpy import array
from numpy import diag
M = array([[1, 2, 3], [1, 2, 3], [1, 2, 3]])
print(M)
# extract diagonal vector
d = diag(M)
print(d)
# create diagonal matrix from vector
D = diag(d)
print(D)

예제를 실행하면 먼저 정의된 행렬이 인쇄된 다음 기본 대각선의 벡터와 벡터로 구성된 대각선 행렬이 인쇄됩니다.

1
2
3
4
5
6
7
8
9
[[1 2 3]
 [1 2 3]
 [1 2 3]]
 
[1 2 3]
 
[[1 0 0]
 [0 2 0]
 [0 0 3]]

아이덴티티 매트릭스

항등 행렬은 곱할 때 벡터를 변경하지 않는 정사각 행렬입니다.

항등 행렬의 값은 알려져 있습니다. 주 대각선(왼쪽 위에서 오른쪽 아래)을 따라 있는 모든 스칼라 값은 값이 1이고 다른 모든 값은 0입니다.

항등 행렬은 벡터에 해당 행렬을 곱할 때 벡터를 변경하지 않는 행렬입니다.

— 36페이지, 딥러닝, 2016.

항등 행렬은 종종 표기법 “I” 또는 차원 “In”을 사용하여 표현되며, 여기서 n은 정사각형 항등 행렬의 차원을 나타내는 첨자입니다. 일부 표기법에서 ID는 단위 행렬 또는 “U”라고 할 수 있으며, 이는 포함 된 하나의 값을 존중합니다 (단일 행렬과 다름).

예를 들어, 크기가 3 또는 I3인 항등 행렬은 다음과 같습니다.

1
2
3
     1, 0, 0
I = (0, 1, 0)
     0, 0, 1

NumPy에서는 identity()함수를 사용하여 특정 크기의 항등 행렬을 만들 수 있습니다.

아래 예제에서는 I3 항등 행렬을 만듭니다.

1
2
3
4
# identity matrix
from numpy import identity
I = identity(3)
print(I)

예제를 실행하면 생성된 ID 매트릭스가 인쇄됩니다.

1
2
3
[[ 1.  0.  0.]
 [ 0.  1.  0.]
 [ 0.  0.  1.]]

단독으로, 항등 행렬은 그다지 흥미롭지 않지만 행렬 반전과 같은 다른 가져오기 행렬 작업의 구성 요소입니다.

직교 행렬

두 벡터는 내적이 0일 때 직교하며, 이를 직교법이라고 합니다.

1
v . w = 0

또는

1
v . w^T = 0

이것은 한 선이 수직인 경우 다른 선과 직교한다고 생각할 때 직관적입니다.

직교 행렬은 열과 행이 직교 정규 단위 벡터(예: 수직)이고 길이 또는 크기가 1인 정사각 행렬 유형입니다.

직교 행렬은 행이 서로 직교하고 열이 서로 직교하는 정사각 행렬입니다.

— 41페이지, 딥러닝, 2016.

직교 행렬은 종종 대문자 “Q”로 표시됩니다.

직교 행렬에 의한 곱셈은 길이를 유지합니다.

— 페이지 277, 선형 대수학에 대한 좋은 가이드, 2017

직교 행렬은 공식적으로 다음과 같이 정의됩니다.

1
Q^T . Q = Q . Q^T = I

여기서 Q는 직교 행렬이고, Q^T는 Q의 전치를 나타내고, I는 항등 행렬입니다.

행렬은 전치가 역행렬과 같으면 직교합니다.

1
Q^T = Q^-1

직교 행렬에 대한 또 다른 동등성은 행렬의 내적과 그 자체가 항등 행렬과 같은 경우입니다.

1
Q . Q^T = I

직교 행렬은 반사 및 순열과 같은 선형 변환에 많이 사용됩니다.

간단한 2×2 직교 행렬이 아래에 나열되어 있으며, 이는 반사 행렬 또는 좌표 반사의 예입니다.

1
2
     1,  0
Q = (0, -1)

아래 예제에서는 이 직교 행렬을 만들고 위의 동등성을 확인합니다.

1
2
3
4
5
6
7
8
9
10
11
12
# orthogonal matrix
from numpy import array
from numpy.linalg import inv
Q = array([[1, 0], [0, –1]])
print(Q)
# inverse equivalence
V = inv(Q)
print(Q.T)
print(V)
# identity equivalence
I = Q.dot(Q.T)
print(I)

예제를 실행하면 먼저 직교 행렬이 인쇄되고, 직교 행렬의 역행렬과 직교 행렬의 전치가 인쇄되고 동등한 것으로 표시됩니다. 마지막으로, 전치가있는 직교 행렬의 내적으로부터 계산 된 항등 행렬이 인쇄됩니다.

1
2
3
4
5
6
7
8
9
10
11
[[ 1  0]
 [ 0 -1]]
 
[[ 1  0]
 [ 0 -1]]
 
[[ 1.  0.]
 [-0. -1.]]
 
[[1 0]
 [0 1]]

직교 행렬은 계산적으로 저렴하고 안정적으로 역행렬을 단순히 전치로 계산하는 데 유용한 도구입니다.

확장

이 섹션에는 탐색할 수 있는 자습서를 확장하기 위한 몇 가지 아이디어가 나열되어 있습니다.

사용자 고유의 작은 인위적인 데이터를 사용하여 각 예제를 수정합니다.
각 작업을 구현하는 고유한 함수를 작성합니다.
머신러닝에서 각 작업이 사용된 한 가지 예를 조사합니다.

추가 정보

이 섹션에서는 더 자세히 알아보려는 경우 주제에 대한 더 많은 리소스를 제공합니다.

책

섹션 6.2 특수 유형의 행렬. 선형 대수학에 대한 좋은 가이드, 2017.
선형 대수학 입문, 2016.
섹션 2.3 항등식과 역행렬, 딥러닝, 2016.
섹션 2.6 특별한 종류의 행렬과 벡터, 딥러닝, 2016.

API

기사

요약

이 자습서에서는 머신러닝에서 발생할 수 있는 선형 대수학 분야의 다양한 유형의 행렬 모음을 발견했습니다.

특히 다음 내용을 배웠습니다.

정사각형, 대칭, 삼각형 및 대각선 행렬은 이름에서 알 수 있듯이 다양합니다.
값이 1인 주 대각선을 제외한 모든 0 값인 항등 행렬.
수직 벡터의 개념을 일반화하고 유용한 계산 속성을 갖는 직교 행렬.

Tags:

Linear Algebra,Machine learning