AI 모델도 잠이 필요하다: CMU 연구, '낮잠' 자는 LLM이 성능 향상 보여
AI Models Need Sleep: CMU Research Shows Performance Boost from 'Napping' LLMs
TL;DR AI
1분핵심 요약
카네기멜런대와 메릴랜드대 연구진이 토큰 처리를 잠시 멈추고 문맥을 오프라인에서 통합하는 수면 모방 방식의 LLM 기법을 제안했다.
이 방법은 셀룰러 오토마타, 다중 홉 그래프 검색, GSM-Infinite 추론에서 테스트됐으며, 수면 반복 횟수가 늘수록 전반적으로 성능이 향상됐다.
특히 더 어려운 다단계 과제에서 개선 폭이 컸어, 긴 문맥 추론에 정보 통합이 도움이 될 수 있음을 보여준다.
이번 연구는 트랜스포머 기반 LLM의 메모리·연산 한계를 보완하는 새로운 방향을 제시한다.