PyTorch: 기준이 되는 언어 — PyTorch DevLog

Edward Z. Yang은 PyTorch를 연구·학습용 구현 언어를 넘어, 읽기 쉬운 기준(reference) 언어로 봐야 한다고 주장했다.

실제 운영용 코드는 자동미분 친화적인 PyTorch를 그대로 쓰기보다, 커널 DSL이나 LLM이 생성한 최적화된 forward-backward 구현으로 분리될 수 있다고 본다.

이 방식에서는 PyTorch 코드가 원본 기준이 되고, 생성된 생산 코드가 그와 동등한지 검증하는 절차가 핵심이 된다.

결과적으로 PyTorch는 이해하기 쉬운 참조 계층과 최적화된 실행 계층을 함께 갖는 시스템 설계의 중심이 될 수 있다.