UCSD와 Together AI 연구진, 루프형 언어 모델용 안정적 아키텍처 ‘Parcae’ 소개… 두 배 큰 트랜스포머 수준의 품질 달성
UCSD and Together AI Researchers Introduce Parcae: A Stable Architecture for Looped Language Models That Achieves the Quality of a Transformer Twice the Size
TL;DR AI
1분핵심 요약
UC San Diego와 Together AI는 안정성 제약을 넣은 중간 루프형 Transformer인 Parcae를 공개했다.
Parcae는 루프를 동역학 시스템으로 보고 residual 업데이트를 제어해, 기존 루프형 구조의 학습 불안정을 줄였다.
같은 파라미터 예산에서 고정 깊이 Transformer와 이전 recurrent depth 모델보다 더 나은 성능을 보였다.
이 접근은 모델 크기나 학습 데이터 증가 없이 품질을 높여, 더 저렴한 추론과 엣지 배포에 유용하다.