CODA: 트랜스포머 블록을 GEMM-에필로그 프로그램으로 재작성하기 | Hacker News
CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs | Hacker News
TL;DR AI
1분핵심 요약
Hacker News 토론에서는 LLM이 ISA 문서와 가이드성 컨텍스트를 바탕으로 GPU 커널 최적화를 만들어낼 수 있다고 본다.
논의의 핵심은 트랜스포머 블록을 GEMM-epilogue 프로그램으로 재구성해 하드웨어에 더 맞게 실행하는 것이다.
지지 측은 프런티어 모델과 에이전트가 시스템 프로그래밍에 유용한 저수준 아이디어를 찾아낼 수 있다고 주장한다.
반면 미세한 구현 실수와 숨은 커널 버그는 여전히 큰 위험이며, 특히 RDNA 3.5 같은 새 아키텍처에서 더 그렇다.
같은 주제
