NVIDIA Apex(FusedAdam, FusedLayerNorm)와 기본 torch.amp를 사용해 Transformer 학습 속도를 높이는 방법

이 글은 Transformer 학습에서 NVIDIA Apex의 fused 옵티마이저와 정규화 레이어를 표준 PyTorch와 비교해 벤치마크한다.

CUDA GPU 환경을 설정하고 Apex를 확장 포함 빌드한 뒤, 실제로 사용 가능한 fused 커널을 확인하는 과정을 다룬다.

FusedAdam, FusedLayerNorm, FusedRMSNorm을 비-fused PyTorch 구현과 비교해 처리량 향상 폭을 측정한다.

또한 레거시 apex.amp와 native torch.amp를 비교해 더 빠른 mixed precision 학습 경로를 보여준다.

핵심은 Apex 설치 상태를 먼저 검증해, 불완전한 설치로 인한 잘못된 성능 기대를 피하는 것이다.