버그인가 기능인가^2: 가중치 드리프트, 활성화 희소성, 스파이크

정형적·실증적 연구에 따르면, 비대칭 활성화 함수로 학습할 때 경사하강법은 여러 모델에서 가중치를 음수 방향으로 밀어내는 경향이 있다.

이러한 음수 방향 드리프트는 ReLU 활성화의 0 처리 비율을 높여, 학습 동역학과 희소성을 직접 연결한다.

GPT-nano 실험에서는 ReLU²와 GELU²가 성능을 개선했지만, ReLU²는 큰 활성화 스파이크도 함께 유발했다.

스파이크 문제는 클리핑으로 완화할 수 있어, 안정성을 관리하면서 성능을 높일 수 있는 간단한 방법을 시사한다.