8장: RMS 정규화와 잔차 연결

8장은 깊은 신경망 학습을 안정화하는 핵심 기법으로 RMSNorm과 residual connection을 소개한다.

RMSNorm은 벡터를 제곱평균제곱근으로 재조정해 활성값이 단위 크기 근처를 유지하도록 돕는다.

Residual connection은 입력을 변환된 출력에 다시 더해, 역전파 시 그래디언트가 지름길로 흐를 수 있게 한다.

이 두 방법은 발산하거나 소실되는 활성값을 줄이고, 더 깊은 모델을 안정적으로 학습하는 데 도움을 준다.