Cross-Entropy Tag

교차 엔트로피는 일반적으로 머신러닝에서 손실 함수로 사용됩니다.교차 엔트로피는 엔트로피를 기반으로 하고 일반적으로 두 확률 분포의 차이를 계산하는 정보 이론 분야의 척도입니다. 두 확률 분포 사이의 상대 엔트로피를 계산하는 KL 발산과는 밀접한 관련이 있지만 다른 반면, 교차 엔트로피는 분포 사이의 총 엔트로피를 계산하는 것으로 생각할 수 있습니다.교차 엔트로피는 또한 로지스틱 손실이라 불리는 로그 손실과 관련이 있으며 종종 혼동됩니다. 두 측정값이 서로 다른 소스에서 파생되었지만 분류 모델의 손실 함수로 사용되는...

Read More