최적화 알고리즘은 계산 방법을 개선하여 손실 함수 E(x) 를 최소화하거나 최대화합니다. 모델의 일부 매개변수는 목표 값 y 의 실제 값과 테스트 세트의 예측 값 간의 편차를 계산하는 데 사용됩니다. 이러한 매개변수를 기준으로 손실 함수 E(x) 를 형성합니다. 예를 들어 가중치 (W) 와 편차 (B) 는 이러한 내부 매개변수이며 일반적으로 출력 값을 계산하고 교육 신경망 모델에서 주요 역할을 합니다.

최적화 알고리즘 포인트 분류

1 차 최적화 알고리즘은 각 매개변수의 그라데이션 값을 사용하여 손실 함수 E(x) 를 최소화하거나 최대화합니다. 가장 일반적으로 사용되는 1 차 최적화 알고리즘은 그라데이션 하강 방법입니다. 함수 그라데이션 도수 dy/dx 의 다원식은 X 를 기준으로 Y 의 순간 변화율을 나타내는 데 사용됩니다.

2 차 최적화 알고리즘은 Hessian 메서드라고도 하는 2 차 미분을 사용하여 손실 함수를 최소화하거나 최대화합니다. 2 차 도수의 계산 비용이 비교적 높기 때문에, 이 방법은 광범위하게 응용되지 않았다.