왜 경사하강법은 지그재그로 움직이고, 모멘텀이 이를 어떻게 해결하는가
Why Gradient Descent Zigzags and How Momentum Fixes It
TL;DR AI
1분핵심 요약
늘어진 이차 손실 표면은 왜 기본 경사하강법이 고르지 않은 곡률에서 어려움을 겪는지 보여준다.
가파른 방향에서는 과도하게 넘치고 평평한 방향에서는 느리게 움직여, 업데이트가 지그재그로 흔들린다.
모멘텀은 기울기의 이동 평균을 유지해 진동을 줄이고 유효한 속도를 쌓는 방식으로 이를 완화한다.
시뮬레이션에서 모멘텀 옵티마이저는 일반 경사하강법보다 더 빠르고 매끄럽게 수렴한다.