모든 구성 요소는 룩업이다: 단일 분해에서의 토큰 기여도와 구성

연구진은 단일 순전파만으로 작동하는, 트랜스포머용 비침습적 해석 방법 Unpack을 제안했다.

Unpack은 attention과 MLP 서브레이어를 따라 신용도를 역전파해 토큰 단위 기여도와 K/Q/V 상호작용 경로를 추적한다.

이 방법은 GPT-2 small과 Pythia에서 검증됐으며, indirect object identification 회로와 중복 이름 억제 패턴을 재현했다.

그라디언트, 개입, 라벨링된 회로 정답 없이도 트랜스포머가 어떻게 결합해 예측을 만드는지 분석할 수 있게 해준다.