언어 모델에서의 하늘 구체 표현

연구진은 약 100B 규모의 여러 오픈소스 언어모델이 residual stream 안에 밤하늘 지도의 디코딩 가능한 내부 표현을 담고 있다고 밝혔다.

이 신호는 종종 상위 주성분에서 나타났고, 설명 분산이 크며 각도 오차도 낮았다.

저자들은 이것이 단순히 평면적으로 새어 나온 표현일 가능성은 낮다고 본다.

이번 결과는 대형 언어모델이 비자명한 내부 기하학적 표현을 형성할 수 있음을 보여주며, 해석 가능성 연구에 도움이 될 수 있다.