결합 확률, 주변 확률, 조건부 확률에 대한 간략한 소개
확률은 확률 변수 결과의 불확실성을 정량화합니다.
단일 변수에 대한 확률을 이해하고 계산하는 것은 비교적 쉽습니다. 그럼에도 불구하고 머신러닝에는 종종 복잡하고 알려지지 않은 방식으로 상호 작용하는 많은 확률 변수가 있습니다.
여러 확률 변수에 대한 확률을 정량화하는 데 사용할 수 있는 특정 기술(예: 결합 확률, 한계 확률 및 조건부 확률)이 있습니다. 이러한 기술은 예측 모델을 데이터에 적용하는 것의 확률론적 이해를 위한 기초를 제공합니다.
이 게시물에서는 다중 확률 변수에 대한 결합, 한계 및 조건부 확률에 대해 간략하게 소개할 것입니다.
이 게시물을 읽은 후 다음을 알게 될 것입니다.
- 결합 확률은 두 사건이 동시에 발생할 확률입니다.
- 한계 확률은 다른 변수의 결과에 관계없이 사건의 확률입니다.
- 조건부 확률은 두 번째 사건이 있을 때 한 사건이 발생할 확률입니다.
개요
이 자습서는 다음과 같이 세 부분으로 나뉩니다.
- 하나의 랜덤 변수의 확률
- 여러 확률 변수의 확률
- 독립성과 배타성의 가능성
하나의 랜덤 변수의 확률
확률은 사건의 가능성을 정량화합니다.
특히, 동전 던지기, 주사위 굴리기 또는 카드 뽑기와 같은 확률 변수에 대한 특정 결과가 얼마나 가능성이 있는지 정량화합니다.
확률은 어떤 일이 일어날 가능성을 측정합니다.
— 페이지 57, 확률: 열정적인 초보자를 위해, 2016.
랜덤 변수 x의 경우 P(x)는x의 모든 값에 확률을 할당하는 함수입니다.
- x의 확률 밀도 = P(x)
랜덤 변수 x에 대한 특정 사건 A의 확률은 P(x=A) 또는 간단히P(A)로 표시됩니다.
- 사건 A의 확률 = P(A)
확률은 모든 결과가 동일하게 발생할 가능성이 있는 경우 원하는 결과의 수를 가능한 총 결과로 나눈 값으로 계산됩니다.
- 확률 = (원하는 결과의 수) / (가능한 결과의 총 수)
이것은 주사위 굴림과 같은 이산 확률 변수에 대해 생각하면 직관적입니다. 예를 들어, 주사위에서 5가 나올 확률은 5를 굴린 결과 이산 결과의 총 수(6)로 나눈 숫자 또는 1/6, 약 0.1666, 약 16.666%으로 표현됩니다.
모든 결과의 확률의 합은 1과 같아야 합니다. 그렇지 않은 경우 유효한 확률이 없습니다.
- 모든 결과에 대한 확률의 합 = 1.0.
불가능한 결과의 확률은 0입니다. 예를 들어, 6면 주사위에서 7이 나오는 것은 불가능합니다.
- 불가능한 결과의 확률 = 0.0
특정 결과의 확률은 하나입니다. 예를 들어, 6면 주사위를 굴릴 때 1과 6 사이의 값이 발생합니다.
- 특정 결과의 확률 = 1.0
보수는 사건이 발생하지 않을 확률입니다.
이것은 1에서 사건의 확률을 뺀 값 또는1 – P(A)로 계산할 수 있습니다. 예를 들어, 5를 굴리지 않을 확률은 1 – P(5) 또는 1 – 0.166 또는 약 0.833 또는 약 83.333%입니다.
- 사건이 아닐 확률 A = 1 – P(A)
이제 하나의 확률 변수에 익숙해졌으므로 여러 확률 변수에 대한 확률을 고려해 보겠습니다.
여러 확률 변수의 확률
머신러닝에서는 많은 확률 변수로 작업할 가능성이 높습니다.
예를 들어 Excel과 같은 데이터 테이블이 있는 경우 각 행은 별도의 관측치 또는 이벤트를 나타내고 각 열은 별도의 확률 변수를 나타냅니다.
변수는 유한값 집합을 취하는 이산 변수이거나 실수 또는 숫자 값을 취하는 연속 변수일 수 있습니다.
따라서 우리는 두 개 이상의 확률 변수에 대해 관심이 있습니다.
확률 변수가 상호 작용할 수 있는 많은 방법이 있기 때문에 이는 복잡하며, 이는 확률에 영향을 미칩니다.
이것은 논의를 두 개의 확률 변수 (X, Y)로 줄임으로써 단순화 될 수 있지만, 원칙은 여러 변수로 일반화됩니다.
또한 각 변수 (X = A, Y = B)에 대해 하나씩 두 개의 이벤트 확률에 대해 논의하기 위해 각 변수에 대한 이벤트 그룹을 쉽게 논의 할 수 있습니다.
따라서 여러 확률 변수를 사건 A와 사건 B의 확률로 소개합니다.이 확률은 X=A 및 Y = B입니다.
두 변수가 어떤 식으로든 관련되어 있거나 종속적이라고 가정합니다.
따라서 다음과 같이 고려해야 할 세 가지 주요 유형의 확률이 있습니다.
- 결합 확률: 사건 A와B의 확률.
- 한계 확률: 사건 X=A가 주어진 변수 Y의 확률입니다.
- 조건부 확률: 주어진 사건 A의 확률 B.
이러한 유형의 확률은 분류 및 회귀와 같은 문제가 있는 많은 예측 모델링의 기초를 형성합니다. 예를 들어:
- 데이터 행의 확률은 각 입력 변수에 걸친 결합 확률입니다.
- 한 입력 변수의 특정 값에 대한 확률은 다른 입력 변수의 값에 대한 한계 확률입니다.
- 예측 모델 자체는 입력 예제가 주어진 출력의 조건부 확률을 추정한 것입니다.
결합 확률, 한계 확률 및 조건부 확률은 머신러닝의 기초입니다.
각각에 대해 차례로 자세히 살펴 보겠습니다.
두 변수의 결합 확률
두 개의 동시 사건의 확률, 예를 들어 두 개의 다른 확률 변수의 결과에 관심이 있을 수 있습니다.
두 개 (또는 그 이상)의 사건의 확률을 결합 확률이라고 합니다. 둘 이상의 확률 변수의 결합 확률을 결합 확률 분포라고 합니다.
예를 들어, 사건A와 사건B의 결합 확률은 공식적으로 다음과 같이 작성됩니다.
- P (A 및 B)
“and” 또는 접속사는 거꾸로 된 대문자 “U” 연산자 “^” 또는 때로는 쉼표 “,”를 사용하여 표시됩니다.
- P(A ^ B)
- 피(ᄀ, ᄂ)
사건A 와 B에 대한 결합 확률은 주어진 사건A 의 확률에 사건B 의확률을 곱한 값으로 계산됩니다.
이것은 다음과 같이 공식적으로 말할 수 있습니다.
- P (A 및 B) = P (A 주어진 B) * P (B)
결합 확률의 계산은 때때로 확률의 기본 규칙 또는 확률의 “곱 규칙” 또는 확률의 “연쇄 규칙”이라고합니다.
여기서 P(A 주어진 B)는 사건 B가 발생했을 때 사건 A의 확률로, 아래에 설명된 조건부 확률이라고 합니다.
결합 확률은 대칭이며, 이는 P(A 및 B)가 P(B 및 A)와 동일하다는 것을 의미합니다. 조건부 확률을 사용한 계산도 다음과 같이 대칭입니다.
- P (A 및 B) = P (A 주어진 B) * P (B) = P (B 주어진 A) * P (A)
한계 확률
다른 확률 변수의 결과에 관계없이 하나의 확률 변수에 대한 사건의 확률에 관심이 있을 수 있습니다.
예를 들어,Y의 모든 결과에 대한 X=A의 확률입니다.
다른 확률 변수의 모든 (또는 그 하위 집합) 결과가 있는 상태에서 한 사건의 확률을 한계 확률 또는 한계 분포라고합니다. 추가 확률 변수가 있는 경우 하나의 확률 변수의 한계 확률을 한계 확률 분포라고 합니다.
두 변수에 대한 모든 결과와 확률이 테이블에 함께 배치된 경우(X는 열로, Y는 행으로) 한 변수(X)의 한계 확률은 테이블의 여백에 있는 다른 변수(Y행)에 대한 확률의 합이 되기 때문에 한계 확률이라고 합니다.
한계 확률에 대한 특별한 표기법은 없습니다. 첫 번째 변수에 대한 주어진 고정 이벤트에 대한 두 번째 변수에 대한 모든 사건의 모든 확률에 대한 합계 또는 합집합입니다.
- 모든 y에 대한 P (X = A) = 합계 P (X = A, Y = yi)
이것은 “합계 규칙”이라고 하는 확률의 또 다른 중요한 기본 규칙입니다.
한계 확률은 단일 사건의 확률이 아닌 두 번째 변수에 대한 모든 사건의 합집합을 고려하기 때문에 조건부 확률(다음에 설명됨)과 다릅니다.
조건부 확률
우리는 다른 사건의 발생을 감안할 때 사건의 확률에 관심이 있을 수 있습니다.
다른 사건의 발생이 주어진 한 사건의 확률을 조건부 확률이라고 합니다. 1 대 1 또는 그 이상의 확률 변수의 조건부 확률을 조건부 확률 분포라고 합니다.
예를 들어, 주어진 사건B의 사건A의 조건부 확률은 다음과 같이 공식적으로 작성됩니다.
- P (A 주어진 B)
“주어진“은 파이프 “|”연산자를 사용하여 표시됩니다. 예를 들어:
- P(A | B)
주어진 사건B에 대한 사건A에 대한 조건부 확률은 다음과 같이 계산됩니다.
- P (A 주어진 B) = P (A 및 B) / P (B)
이 계산은 사건B의 확률이 0이 아니라고 가정합니다.
주어진 이벤트B에 대한 이벤트A의 개념은 이벤트B가 발생했음을 의미하지 않습니다 (예 : 확실함). 대신, 주어진 시행에 대해 사건 B가 발생한 후 또는 사건B가 있는 상태에서 사건A가 발생할 확률입니다.
독립성과 배타성의 가능성
여러 확률 변수를 고려할 때 상호 작용하지 않을 수 있습니다.
우리는 두 변수가 서로 의존하지 않고 독립적이라는 것을 알고 있거나 가정 할 수 있습니다.
또는 변수가 상호 작용할 수 있지만 해당 이벤트가 동시에 발생하지 않을 수 있습니다(배타성이라고 함).
이 섹션에서는 이러한 상황에서 여러 확률 변수의 확률을 자세히 살펴보겠습니다.
독립
한 변수가 두 번째 변수에 종속되지 않는 경우 이를 독립성 또는 통계적 독립성이라고 합니다.
이는 두 변수의 확률 계산에 영향을 미칩니다.
예를 들어, 독립 사건 A와 B의 공동 확률에 관심이 있을수 있으며, 이는 A의 확률과 B의 확률과 동일합니다.
확률은 곱셈을 사용하여 결합되므로 독립 사건의 결합 확률은 사건 A의 확률에 사건 B의 확률을 곱한 값으로 계산됩니다.
이것은 다음과 같이 공식적으로 말할 수 있습니다.
- 결합 확률: P(A 및 B) = P(A) * P(B)
직감할 수 있듯이 독립 확률 변수에 대한 사건의 한계 확률은 단순히 사건의 확률입니다.
그것은 익숙한 단일 확률 변수의 확률에 대한 아이디어입니다 :
- 한계 확률: P(A)
독립 확률의 한계 확률을 단순히 확률이라고 합니다.
유사하게, 변수가 독립적일 때A가 주어진B의 조건부 확률은B의 확률이 효과가 없기 때문에 단순히A의 확률입니다. 예를 들어:
- 조건부 확률 : P (A 주어진 B) = P (A)
우리는 샘플링으로부터의 통계적 독립성의 개념에 익숙할 수 있습니다. 여기서는 한 샘플이 이전 샘플의 영향을 받지 않으며 향후 샘플에 영향을 주지 않는다고 가정합니다.
많은 머신러닝 알고리즘은 도메인의 샘플이 서로 독립적이며 독립적이고 동일하게 분포된 또는 줄여서 i.i.d라고 하는 동일한 확률 분포에서 나온다고 가정합니다.
독점
한 이벤트의 발생이 다른 이벤트의 발생을 제외하는 경우 이벤트는 상호 배타적이라고 합니다.
사건의 확률은 상호 작용할 수 없다는 것을 의미하는 분리라고 하며 엄격하게 독립적입니다.
사건A의 확률이 사건 B와 상호 배타적인 경우 사건A와 사건B의 결합 확률은 0입니다.
- P (A 및 B) = 0.0
대신, 결과의 확률은 다음과 같이 공식적으로 명시된 사건A또는 사건B로 설명될 수 있습니다.
- P (A 또는 B) = P (A) + P (B)
“또는”은 합집합이라고도하며 대문자 “U“문자로 표시됩니다. 예를 들어:
- P (A 또는 B) = P (A U B)
이벤트가 상호 배타적이지 않은 경우 두 이벤트 중 하나의 결과에 관심이있을 수 있습니다.
상호 배타적이지 않은 사건의 확률은 사건A의 확률과 사건B의 확률에서 두 사건이 동시에 발생할 확률을 뺀 값으로 계산됩니다.
이것은 다음과 같이 공식적으로 말할 수 있습니다.
- P (A 또는 B) = P (A) + P (B) – P (A 및 B)
추가 정보
이 섹션에서는 더 자세히 알아보려는 경우 주제에 대한 더 많은 리소스를 제공합니다.
책
- 확률 : 열정적 인 초보자, 2016.
- 패턴 인식 및 머신러닝, 2006.
- 머신러닝: 확률론적 관점, 2012.
기사
- 확률, 위키 백과.
- 확률 및 통계의 표기법, 위키피디아.
- 독립 (확률 이론), 위키 백과.
- 독립적이고 동일하게 분포 된 확률 변수, Wikipedia.
- 상호 독점, 위키백과.
- 한계 분포, 위키 백과.
- 공동 확률 분포, 위키 백과.
- 조건부 확률, 위키피디아.
요약
이 게시물에서는 다중 확률 변수에 대한 결합, 한계 및 조건부 확률에 대해 간략하게 소개했습니다.
특히 다음 내용을 배웠습니다.
- 결합 확률은 두 사건이 동시에 발생할 확률입니다.
- 한계 확률은 다른 변수의 결과에 관계없이 사건의 확률입니다.
- 조건부 확률은 두 번째 사건이 있을 때 한 사건이 발생할 확률입니다.
