L₀ 정규화를 통한 희소 신경망 학습

연구진은 희소 신경망을 위한 미분 가능한 L0 정규화 기법을 제안했다.

이 방법은 비음수 확률적 게이트와 하드 콘크리트 분포를 사용해 가중치를 정확히 0으로 만든다.

이를 통해 학습 후 가지치기에 의존하지 않고 경사하강법으로 희소성을 최적화할 수 있다.

모델 압축을 통해 연산량을 줄이고 일반화 성능을 높일 가능성이 있다.