언어 모델도 잠이 필요하다

연구진은 장문맥 언어 모델을 위한 수면형 consolidation(통합) 방법을 제안했다.

모델은 수면 단계에서 최근 문맥을 persistent fast weights로 압축한 뒤 캐시를 비우고 정상 속도로 추론을 이어간다.

합성 데이터와 추론 벤치마크에서 수면 시간이 길수록 성능이 좋아졌으며, 특히 더 깊은 추론 과제에서 개선이 컸다.

이 방식은 주의(attention) 확장의 한계를 완화하면서도 깨어 있는 동안의 지연을 늘리지 않도록 설계됐다.