RoPE는 긴 문맥에서 위치도 토큰도 구분하지 못한다, 수학적으로 증명됐다

연구진은 RoPE가 장문맥 LLM에서 본질적인 한계를 가지며, 특히 먼 거리에서 토큰의 순서와 정체성을 제대로 보존하지 못할 수 있다고 지적했다.

그들은 이동한 토큰과 같은 위치의 다른 토큰이 어텐션에서 거의 동일하게 취급될 수 있음을 이론적으로 증명하고 실험으로 확인했다.

이 문제는 needle-in-a-haystack 같은 단순한 검색 과제도 실패하게 만들 수 있다.

따라서 광고된 컨텍스트 창이 실제 사용 가능한 성능을 과대평가할 수 있다는 뜻이다.

향후 장문맥 모델은 위치와 순서를 표현하는 새로운 방식이 필요할 수 있다.