mobile-logo
22 12월

미적분학의 핵심 개념 : 변화율

by Nepirity
in Technology
Comments

변화율의 측정은 변화와 극소의 수학과 관련된 미분 미적분학의 필수 개념입니다. 이를 통해 두 개의 변화하는 변수 간의 관계와 이것이 서로 어떻게 영향을 미치는지 찾을 수 있습니다.변화율 측정은 신경망 모델을 훈련하기 위한 최적화 알고리즘으로 경사하강법을 적용하는 것과 같이 머신러닝에도 필수적입니다.이 튜토리얼에서는 미적분학의 핵심 개념 중 하나인 변화율과 이를 측정하는 것의 중요성을 발견할 것입니다.이 자습서를 완료하면 다음을 알 수 있습니다.선형 및 비선형 함수의 변화율을 측정하는 방법.변화율 측정이...

Read More
22 12월

미적분학이란 무엇입니까?

by Nepirity
in Technology
Comments

미적분학은 변화에 대한 수학적 연구입니다. 복잡하지만 연속적인 문제를 풀기위한 미적분학의 효과는 문제를 무한히 간단한 부분으로 분할하고 개별적으로 해결한 다음 원래 전체로 재구성하는 능력에 있습니다. 이 전략은 기하학적 모양의 곡률, 비행 중인 물체의 궤적 또는 시간 간격 등 이러한 방식으로 슬라이스할 수 있는 모든 연속 요소를 연구하는 데 적용할 수 있습니다. 이 튜토리얼에서는 미적분학의 기원과 그 응용을 발견하게 될 것입니다.이 자습서를 완료하면 다음을 알 수 있습니다.미적분학이란 무엇입니까?미적분학을 현실...

Read More
22 12월

신경망 모델을 수동으로 최적화하는 방법

by Nepirity
in Technology
Comments

딥러닝 신경망 모델은 확률적 경사하강법 최적화 알고리즘을 사용하는 훈련 데이터에 적합합니다.모델의 가중치에 대한 업데이트는 오류 알고리즘의 역전파를 사용하여 수행됩니다. 최적화 알고리즘과 가중치 업데이트 알고리즘의 조합은 신중하게 선택되었으며 신경망에 적합한 것으로 알려진 가장 효율적인 접근 방식입니다.그럼에도 불구하고 대체 최적화 알고리즘을 사용하여 신경망 모델을 훈련 데이터 세트에 맞출 수 있습니다. 이는 신경망이 작동하는 방식과 응용 머신러닝에서 최적화의 중심 특성에 대해 자세히 알아보는 데 유용한 연습이 될 수 있습니다....

Read More
21 12월

Nadam을 사용한 경사하강법 최적화

by Nepirity
in Technology
Comments

경사하강법은 함수의 최소값을 찾기 위해 목적 함수의 음의 기울기를 따르는 최적화 알고리즘입니다.경사하강법의 한계는 경사가 평평하거나 큰 곡률이 될 경우 검색 진행이 느려질 수 있다는 것입니다. 업데이트에 약간의 관성을 통합하는 경사 하강에 모멘텀을 추가할 수 있습니다. 이것은 Nesterov의 가속 기울기 (NAG) 또는 Nesterov 운동량이라고하는 현재 위치가 아닌 예상된 새 위치의 기울기를 통합하여 더욱 향상시킬 수 있습니다.경사하강법의 또 다른 한계는 모든 입력 변수에 대해 단일 스텝 크기(학습률)가...

Read More
21 12월

적응형 이동 추정 알고리즘 (Adaptive Movement Estimation algorithm) 코딩하기

by Nepirity
in Technology
Comments

경사하강법은 함수의 최소값을 찾기 위해 목적 함수의 음의 기울기를 따르는 최적화 알고리즘입니다.경사하강법의 한계는 모든 입력 변수에 대해 단일 단계 크기(학습률)가 사용된다는 것입니다. AdaGrad 및 RMSProp과 같은 경사하강법 확장은 각 입력 변수에 대해 별도의 스텝 크기를 사용하도록 알고리즘을 업데이트하지만 스텝 크기가 매우 작은 값으로 빠르게 줄어들 수 있습니다.적응형 이동 추정 알고리즘 (Adaptive Movement Estimation algorithm) 또는 줄여서 Adam은 경사하강법의 확장이며 목적 함수의 각 입력 변수에 대한 학습률을 자동으로 조정하고...

Read More
21 12월

파이썬을 사용한 차등 진화 (Differential evolution) 글로벌 최적화

by Nepirity
in Technology, Uncategorized
Comments

차등 진화(Differential Evolution)는 글로벌 최적화 알고리즘입니다.진화 알고리즘의 한 유형이며 유전 알고리즘과 같은 다른 진화 알고리즘과 관련이 있습니다.유전 알고리즘과 달리 비트 문자열 대신 실제 값 숫자의 벡터에서 작동하도록 특별히 설계되었습니다. 또한 유전 알고리즘과 달리 벡터 빼기 및 더하기와 같은 벡터 연산을 사용하여 유전학에서 영감을 얻은 변환 대신 검색 공간을 탐색합니다.이 자습서에서는 차등 진화 글로벌 최적화 알고리즘을 발견합니다.이 자습서를 완료하면 다음을 알 수 있습니다.차등 진화 최적화는 실제 값 후보...

Read More
20 12월

파이썬을 사용한 Dual Annealing 최적화

by Nepirity
in Technology
Comments

Dual Annealing은 확률적 글로벌 최적화 알고리즘입니다.이것은 일반화된 시뮬레이션된 annealing 알고리즘의 구현으로, 시뮬레이션된 annealing의 확장입니다. 또한 시뮬레이션된 annealing 절차가 끝날 때 자동으로 수행되는 로컬 검색 알고리즘과 쌍을 이룹니다.효과적인 전역 및 로컬 검색 절차의 이러한 조합은 까다로운 비선형 최적화 문제를 위한 강력한 알고리즘을 제공합니다.이 자습서에서는 Dual Annealing 전역 최적화 알고리즘을 발견합니다.이 자습서를 완료하면 다음을 알 수 있습니다.Dual Annealing 최적화는 로컬 검색 알고리즘도 사용하는 시뮬레이션된 annealing의 수정된 버전인 전역 최적화입니다.파이썬에서 Dual Annealing...

Read More
20 12월

파이썬에서 Simulated Annealing

by Nepirity
in Technology
Comments

Simulated annealing은 확률적 글로벌 검색 최적화 알고리즘입니다.이는 검색 프로세스의 일부로 임의성을 사용한다는 것을 의미합니다. 따라서 알고리즘은 다른 로컬 검색 알고리즘이 제대로 작동하지 않는 비선형 목적 함수에 적합합니다.확률적 hill climbing 로컬 검색 알고리즘과 마찬가지로 단일 솔루션을 수정하고 로컬 최적값을 찾을 때까지 검색 공간의 상대적으로 로컬 영역을 검색합니다. hill climbing 알고리즘과 달리 현재 작동하는 솔루션으로 더 나쁜 솔루션을 받아 들일 수 있습니다.더 나쁜 솔루션을 수용 할 가능성은 검색 시작시 높게...

Read More
20 12월

함수 최적화를 위한 무작위 검색 및 그리드 검색

by Nepirity
in Technology
Comments

함수 최적화를 위해서는 검색 공간을 효율적으로 샘플링하고 좋은 솔루션 또는 최상의 솔루션을 찾기 위한 알고리즘 선택이 필요합니다.선택할 수 있는 알고리즘은 많지만 문제에 대해 실현 가능하거나 가능한 솔루션 유형에 대한 기준을 설정하는 것이 중요합니다. 이것은 무작위 검색 또는 그리드 검색과 같은 Naive 최적화 알고리즘을 사용하여 달성할 수 있습니다.Naive 최적화 알고리즘에 의해 달성된 결과는 보다 정교한 최적화 알고리즘을 위한 비교 지점을 생성하고 제공하는 데 계산적으로 효율적입니다. 때로는 Naive 알고리즘이 특히...

Read More
19 12월

파이썬으로 stochastic hill climbing

by Nepirity
in Technology
Comments

stochastic hill climbing은 최적화 알고리즘입니다.검색 프로세스의 일부로 임의성을 사용합니다. 따라서 알고리즘은 다른 로컬 검색 알고리즘이 제대로 작동하지 않는 비선형 목적 함수에 적합합니다.또한 로컬 검색 알고리즘으로, 단일 솔루션을 수정하고 로컬 최적값을 찾을 때까지 검색 공간의 상대적으로 로컬 영역을 검색합니다. 이는 단일 모드 최적화 문제 또는 전역 최적화 알고리즘 적용 후 사용하기에 적합하다는 것을 의미합니다.이 튜토리얼에서는 함수 최적화를 위한 hill climbing 최적화 알고리즘을 발견하게 됩니다.이 자습서를 완료하면 다음을 알 수...

Read More