분산 트레이닝 관점에서의 AWS 인터커넥트 기술 소개 — AWS는 왜 인터커넥트로 EFA를 사용하는가?
AWS Interconnect Technologies for Distributed Training — Why AWS Uses EFA
TL;DR AI
1분핵심 요약
GPU간 통신은 트레이닝 시간의 22%~47%를 차지할 수 있다.
인피니밴드는 전용 하드웨어와 크레딧 기반 제어로 손실 없는 RDMA를 제공한다.
RoCEv2는 라우팅을 지원하지만 PFC와 ECN 설정이 필요하고 PFC Storm 위험이 있다.
AWS는 클라우드 환경에서 OS 바이패스 SRD를 탑재한 EFA 사용을 권장한다.