문제를 정의하고 데이터를 준비한 후에는 문제를 해결하기 위해 데이터에 머신러닝 알고리즘을 적용해야 합니다.알고리즘을 선택, 실행 및 조정하는 데 많은 시간을 할애할 수 있습니다. 목표에 더 가까이 다가가기 위해 시간을 효과적으로 사용하고 있는지 확인하고 싶습니다.이 게시물에서는 알고리즘을 신속하게 테스트하고 알고리즘이 학습할 수 있는 구조에 문제가 있는지 여부와 어떤 알고리즘이 효과적인지 확인하는 프로세스를 단계별로 진행합니다.테스트 하네스테스트 프로그램을 정의해야 합니다. 테스트 프로그램은 알고리즘을 학습하고 테스트할 데이터와 성능을 평가하는 데 사용할 성능...

Read More

데이터 유출은 예측 모델을 개발할 때 머신러닝에서 큰 문제입니다. 데이터 유출은 학습 데이터 세트 외부의 정보를 사용하여 모델을 만드는 경우입니다. 이 게시물에서는 예측 모델링에서 데이터 유출 문제를 발견합니다.이 게시물을 읽은 후 다음을 알게 될 것입니다.데이터 유출이란 예측 모델링에 있습니다.데이터 유출의 징후와 그것이 문제가 되는 이유.예측 모델링 문제에 대한 데이터 유출을 최소화하는 데 사용할 수 있는 팁과 요령입니다.예측 모델링의 목표예측 모델링의 목표는 학습 중에 볼 수 없는...

Read More

혹시 이런 일이 발생하지 않았나요?당신은 데이터세트를 작업 중입니다. 분류 모델을 만들었고 즉시 90%의 정확도를 얻을 수 있었습니다. 결과는 정말 환상적인 것 같습니다. 그런데 조금 더 깊이 들어가보니 데이터의 90%가 한 클래스에 속한다는 것을 알게 되었습니다. 이것은 불균형한 데이터세트와 그로 인해 발생할 수 있는 실망스러운 결과의 예입니다. 이 게시물에서는 불균형 데이터가 있는 머신러닝 데이터세트에서 훌륭한 결과를 제공하는 데 사용할 수 있는 전술을 알아 보도록 하겠습니다.불균형한 데이터 파악저는...

Read More

예측 모델을 만드는 데 어떤 기능을 사용해야 합니까?이것은 문제 영역에 대해 깊은 지식을 필요로 하는 어려운 질문입니다.데이터에서 작업 중인 문제에 가장 유용하거나 가장 관련성이 높은 기능을 자동으로 선택할 수 있습니다. 이를 기능 선택이라고 하는 프로세스입니다.이 게시물에서는 기능 선택, 사용할 수 있는 메서드 유형 및 다음에 기계 학습 모델에 대한 기능을 선택해야 할 때 따를 수 있는 편리한 검사 목록을 알아봅니다.기능 선택이란?기능 선택은 변수 선택 또는 속성...

Read More

데이터 준비는 모델의 예측 능력의 성패를 좌우합니다.저서 Applied Predictive Modeling의 3 장에서 Kuhn과 Johnson은 데이터 준비 과정을 소개합니다. 이를 학습 집합 데이터의 추가, 삭제 또는 변환이라고 합니다.이 게시물에서는 모델의 예측 기능을 개선하는 데 사용할 수 있는 데이터 전처리 단계를 알아봅니다.데이터 준비문제를 모델링하기 전에 미가공 데이터를 사전 처리해야 합니다. 구체적인 준비는 사용 가능한 데이터와 사용하려는 머신러닝 알고리즘에 따라 달라질 수 있습니다. 경우에 따라 데이터를 전처리하면 모델 정확도가...

Read More

많은 머신러닝 알고리즘은 입력 데이터에서 특성 값의 범위와 분포에 민감합니다. 입력 데이터의 이상치는 머신러닝 알고리즘의 학습 프로세스를 왜곡하고 오도하여 학습 시간이 길어지고 모델이 덜 정확하며 궁극적으로 결과가 좋지 않을 수 있습니다.학습 데이터에 대한 예측 모델이 준비되기 전에도 이상치는 잘못된 표현을 초래할 수 있으며 수집된 데이터에 대한 오해의 소지가 있는 해석을 초래할 수 있습니다. 이상치는 평균 및 표준 편차와 같은 기술 통계량과 히스토그램 및 산점도와 같은 플롯에서...

Read More

알고리즘은 데이터에서 학습할 수 있으므로 해결하려는 문제에 대한 올바른 데이터를 제공하는 것이 중요합니다. 좋은 데이터가 있더라도 유용한 규모, 형식 및 의미 있는 기능이 포함되어 있는지 확인해야합니다.이 게시물에서는 기계 학습 알고리즘을 위해 데이터를 준비하는 방법을 배웁니다. 이것은 큰 주제이며 필수 사항을 다룰 것입니다. 데이터 준비 프로세스데이터 처리에 있어 더 엄격한 교육을 받을수록 더 일관되고 더 나은 결과를 얻을 수 있습니다. 머신러닝 알고리즘을 위해 데이터를 준비하는 프로세스는 다음...

Read More

모든 프로젝트의 첫 번째 단계는 문제를 정의하는 것입니다. 이 게시물에서는 시작하기 전에 문제에 대해 깊이 생각하는 과정을 배우게됩니다. 이것은 틀림없이 머신러닝을 적용하는 가장 중요한 측면입니다.문제 정의 프레임워크머신러닝으로 해결할 새로운 문제를 정의 할 때 간단한 프레임워크를  사용합니다. 이 프레임워크는 문제에 대한 요소와 동기 부여, 머신러닝이 적합한지 여부를 신속하게 이해하는 데 도움이 됩니다.이 프레임워크는 다음 세 가지 질문에 답하는 것을 포함합니다.1 단계 : 문제는 무엇입니까?2 단계 : 왜 문제를 해결해야합니까?3...

Read More

Intro4세대 텐서코어를 적용한 Nvidia사의 플래그십 GPU인 RTX 4090이 바로 지난주 출시되었습니다. 이 글은 RTX 4090 GPU와 RTX 3090 GPU를 하드웨어 스펙부터 머신러닝 성능까지 비교함으로써 RTX 4090 기반의 GPU 서버가 머신러닝의 성과를 얼마나 향상시킬 수 있는지 보여 드리고자 합니다. (테스트에는 NVIDIA CUDA 11.8 드라이버가 사용되었습니다.)지금 바로 사용을 원하시는 분들께 조금이라도 더 빨리 제공해 드리고자 출시일 당일에 바로 제품을 구매하여 클라우드 서버를 구성해 놓았습니다. 사용 원하시거나 제품 관련...

Read More

저는 이런 질문을 많이 듣습니다."머신러닝으로 어떻게 돈을 벌 수 있습니까?"당신은 머신러닝 기술을 이용하여 머신러닝 엔지니어, 데이터 분석가 또는 데이터 과학자라는 직업을 가질 수 있습니다. 그것이 저에게 연락하는 많은 사람들의 목적입니다. 하지만 다른 옵션도 있습니다. 이 게시물에서는 다른 옵션에 대해 이야기해 보려고 합니다.영항력 우선사례를 들여다보기 전에 우선 몇 가지 방법론부터 시작하겠습니다.다른 머신러닝 문제와 마찬가지로 응용 머신러닝 프로세스를 따르고 있지만 질문에 답할 수 있는 시장이 존재하는 도메인과 질문을 선택했습니다.도메인...

Read More