머신러닝을 위한 추정 통계에 대한 짧은 소개

통계적 가설 검정을 사용하여 두 표본 간의 차이가 무작위 기회로 인한 것인지 여부를 나타낼 수 있지만 차이의 크기에 대해서는 언급할 수 없습니다.

새로운 통계“라고 하는 방법에서는 추정 값에 대한 효과의 크기와 불확실성의 양을 정량화하기 위해 p-값 대신 또는 추가로 사용이 증가하고 있습니다. 이 통계 방법을 “추정 통계“라고 합니다.

이 튜토리얼에서는 통계적 가설 테스트의 대안 또는 보완으로 추정 통계에 대한 짧은 소개를 발견하게 될 것입니다.

이 자습서를 완료하면 다음을 알 수 있습니다.

  • 효과 크기 방법에는 샘플간의 연관성 또는 차이를 정량화하는 작업이 포함됩니다.
  • 구간 추정 방법에는 점 추정 주변의 불확실성을 정량화하는 것이 포함됩니다.
  • 메타 분석에는 여러 유사한 독립 연구에서 효과의 크기를 정량화하는 것이 포함됩니다.

튜토리얼 개요

이 튜토리얼은 다음과 같이 다섯 부분으로 나뉩니다.

  1. 가설 검정의 문제점
  2. 추정 통계
  3. 효과 크기
  4. 구간 추정
  5. 메타 분석

가설 검정의 문제점

통계적 가설 검정 및 p-값 계산은 결과를 제시하고 해석하는 인기 있는 방법입니다.

스튜던트 t-검정과 같은 검정을 사용하여 두 표본의 분포가 동일한지 여부를 설명할 수 있습니다. 두 표본 평균 간의 차이가 실제일 가능성이 높은지 아니면 랜덤 우연으로 인한 것인지 해석하는 데 도움이 될 수 있습니다.

널리 사용되지만 몇 가지 문제가 있습니다. 예를 들어:

  • 계산된 p-값은 쉽게 오용되고 오해됩니다.
  • 차이가 작더라도 샘플 간에는 항상 상당한 차이가 있습니다.

흥미롭게도 지난 수십년 동안 연구 발표에서 p- 값을 사용하는 것에 대한 반발이 있었습니다. 예를 들어, 1990 년대에 역학저널은 p- 값의 사용을 금지했습니다. 의학 및 심리학의 많은 관련 분야가 그 뒤를 따랐습니다.

p-값이 계속 사용될 수 있지만 추정 통계량을 사용하여 결과를 제시하는 방향으로 나아가고 있습니다.


추정 통계

추정 통계는 결과를 정량화하려는 방법을 나타냅니다.

여기에는 효과의 크기 또는 특정 결과 또는 결과에 대한 불확실성의 양을 정량화하는 것이 포함될 수 있습니다.

… ‘추정 통계량’은 효과 크기(점 추정치)와 신뢰 구간(정밀도 추정치)의 추정에 초점을 맞춘 방법을 설명하는 용어입니다.

추정 통계는 유의성 테스트를 대체해야 함, 2016.

추정 통계량은 세 가지 주요 방법 클래스를 설명하는 용어입니다. 메서드의 세 가지 기본 클래스는 다음과 같습니다.

  • 효과 크기. 치료 또는 중재가 주어진 효과의 크기를 정량화하는 방법.
  • 간격 추정. 값의 불확실성의 양을 정량화하는 방법.
  • 메타 분석. 여러 유사한 연구에서 결과를 정량화하는 방법.

다음 섹션에서 이러한 각 메서드 그룹에 대해 자세히 살펴보겠습니다.

새로운 것은 아니지만 통계적 가설 테스트보다 연구 문헌에서 사용이 증가함에 따라 “새로운 통계“라고 불리고 있습니다.

새로운 통계는 추정, 메타 분석 및 연구자가 [귀무 가설 통계 테스트]에서 강조점을 전환하는 데 도움이 되는 기타 기술을 나타냅니다. 이 기술은 새로운 것이 아니며 일부 분야에서 일상적으로 사용되지만 [귀무 가설 통계 테스트] 분야의 경우 새롭고 유익 할 것입니다.

새로운 통계 이해: 효과 크기, 신뢰 구간 및 메타 분석, 2012.

통계적 가설 방법에서 추정 시스템으로의 전환이 발생하는 주된 이유는 결과가 영역 또는 연구 질문의 맥락에서 분석하고 해석하기가 더 쉽기 때문입니다.

효과와 불확실성의 정량화된 크기는 이해하고 사용하기 쉬운 주장을 할 수 있게 합니다. 결과는 더 의미가 있습니다.

효과의 크기와 정밀도를 알고 생각하는 것은 효과가 전혀 없다고 가정하고 적어도 그 극단의 데이터를 관찰할 확률을 고려하는 것보다 정량적 과학에 더 유용합니다.

추정 통계는 유의성 테스트를 대체해야 함, 2016.

통계적 가설 검정이 표본이 동일한 분포에서 왔는지 여부에 대해 이야기하는 반면, 추정 통계량은 차이의 크기와 신뢰도를 설명할 수 있습니다. 이를 통해 한 방법이 다른 방법과 얼마나 다른지에 대해 언급 할 수 있습니다.


효과 크기

효과 크기는 처리의 크기 또는 두 표본 간의 차이를 나타냅니다.

가설 검정은 표본 간의 차이가 우연의 결과인지 실제인지에 대해 언급할 수 있는 반면, 효과 크기는 표본이 얼마나 다른지에 대한 숫자를 표시합니다.

효과의 크기를 측정하는 것은 응용 머신러닝의 큰 부분이며 실제로 일반적인 연구입니다.

나는 때때로 연구원들이 무엇을 하는지 묻습니다. 이에 대한 대답은 효과의 크기를 추정한다는 것입니다. 우리가 연구하기로 선택한 현상에 관계없이 우리는 본질적으로 효과 크기를 추정하는 새롭고 더 나은 방법을 생각하는 데 많은 시간을 보냅니다.

— 3페이지, 효과 크기에 대한 필수 가이드: 통계적 검증력, 메타 분석 및 연구 결과 해석, 2010.

효과의 크기를 정량화하는 데 사용되는 두 가지 주요 기술 클래스가 있습니다. 그들은:

  • 연관. 두 샘플이 함께 변하는 정도입니다.
  • 차이. 두 샘플이 다른 정도입니다.

예를 들어, 연관 효과 크기에는 Pearson의 상관 계수 및 r^2 결정 계수와 같은 상관 계수 계산이 포함됩니다. 그들은 두 샘플의 관찰이 함께 변하는 선형 또는 단조 방식을 정량화할 수 있습니다.

차이 효과 크기에는 두 모집단의 평균이 어떻게 다른지에 대한 표준화된 측도를 제공하는 Cohen의 d 통계량과 같은 방법이 포함될 수 있습니다. 그들은 두 샘플에서 관측치 간의 차이 크기에 대한 정량화를 추구합니다.

효과는 그룹(예: 치료된 그룹과 치료되지 않은 그룹) 간의 비교에서 밝혀진 치료의 결과일 수도 있고, 두 개의 관련 변수(예: 치료 용량 및 건강) 간의 연관성 정도를 설명할 수도 있다.

— 4페이지, 효과 크기에 대한 필수 가이드: 통계적 검정력, 메타 분석 및 연구 결과 해석, 2010.


구간 추정

구간 추정은 관측치에 대한 불확실성을 정량화하기 위한 통계적 방법을 말합니다.

구간은 점 추정치를 정밀도와 같은 추정치에 대한 자세한 정보를 제공하는 범위로 변환하여 비교하고 해석하기가 더 쉽습니다.

점 추정치는 점이고 구간은 해당 점 추정치의 불확실성을 나타냅니다.

— 페이지 9, 새로운 통계 이해: 효과 크기, 신뢰 구간 및 메타 분석, 2012.

일반적으로 계산되는 간격에는 세 가지 주요 유형이 있습니다. 그들은:

  • 공차 구간: 특정 신뢰 수준이 있는 분포 비율의 한계 또는 적용 범위입니다.
  • 신뢰 구간: 모집단 모수 추정치의 한계입니다.
  • 예측 구간: 단일 관측치의 한계입니다.

공차 구간은 모집단의 관측치에 대한 기대치를 설정하거나 특이치를 식별하는 데 사용할 수 있습니다. 신뢰 구간을 사용하여 표본 크기가 증가함에 따라 더 정확해질 수 있는 데이터 표본의 평균에 대한 범위를 해석할 수 있습니다. 예측 구간은 모델의 예측 또는 예측 범위를 제공하는 데 사용할 수 있습니다.

예를 들어, 모형의 평균 추정 기술을 제시할 때 신뢰 구간을 사용하여 추정치의 정밀도에 대한 한계를 제공할 수 있습니다. 모델을 비교하는 경우 p-값과 결합할 수도 있습니다.

따라서 신뢰 구간은 통계적 유의성에만 기반한 임의의 이분법이 아닌 모집단 값에 대한 가능성의 범위를 제공합니다. P 값의 정밀도를 희생시키면서 더 유용한 정보를 전달합니다. 그러나 실제 P 값은 신뢰 구간 외에 도움이 되며 둘 다 제시하는 것이 좋습니다. 그러나 하나를 제외해야 하는 경우 P 값이어야 합니다.

P 값보다는 신뢰 구간 : 가설 테스트보다는 추정, 1986.


메타 분석

메타 분석은 더 광범위한 교차 연구 효과를 정량화하기 위해 여러 유사한 연구의 가중치를 사용하는 것을 말합니다.

메타 연구는 시끄럽고 상충되는 결과로 많은 작고 유사한 연구가 수행되었을 때 유용합니다. 연구 결론을 액면 그대로 받아들이는 대신 통계적 방법을 사용하여 여러 결과를 단일 연구보다 더 강력한 결과로 결합합니다.

… 메타 분석으로 더 잘 알려진 Complete는 다른 사람들이 도출한 결론을 무시하고 대신 관찰된 효과를 살펴 봅니다. 목표는 이러한 독립적인 관측치를 평균 효과 크기로 결합하고 실제 효과의 방향과 크기에 대한 전반적인 결론을 도출하는 것입니다.

— 90페이지, 효과 크기에 대한 필수 가이드: 통계적 검증력, 메타 분석 및 연구 결과 해석, 2010.

응용 머신러닝에서 자주 사용되지는 않지만 메타 분석이 새로운 통계 방법에 대한 신뢰의 일부를 형성하므로 메타 분석에 주목하는 것이 유용합니다.


확장

이 섹션에는 탐색할 수 있는 자습서를 확장하기 위한 몇 가지 아이디어가 나열되어 있습니다.

  • 머신러닝 프로젝트에서 추정 통계를 사용하는 방법에 대한 세 가지 예를 설명합니다.
  • 통계적 가설 검정의 사용에 대한 세 가지 비판을 찾아 요약합니다.
  • 구간 추정치를 사용하는 세 개의 연구 논문을 검색하고 찾습니다.


추가 정보

이 섹션에서는 더 자세히 알아보려는 경우 주제에 대한 더 많은 리소스를 제공합니다.


논문


기사


요약

이 튜토리얼에서는 통계적 가설 테스트의 대안 또는 보완책으로 추정 통계에 대한 짧은 소개를 알아봤습니다.

특히 다음 내용을 배웠습니다.

  • 효과 크기 방법에는 샘플 간의 연관성 또는 차이를 정량화하는 작업이 포함됩니다.
  • 구간 추정 방법에는 점 추정 주변의 불확실성을 정량화하는 것이 포함됩니다.
  • 메타 분석에는 여러 유사한 독립 연구에서 효과의 크기를 정량화하는 것이 포함됩니다.

네피리티
No Comments

Sorry, the comment form is closed at this time.