월드 상태 레지스터를 갖춘 스트리밍 멀티 에이전트 오토리그레시브 확산 모델
Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers
TL;DR AI
1분핵심 요약
연구진은 여러 에이전트와 다양한 시점에서 일관된 장면을 생성하는 스트리밍 다중 에이전트 자동회귀 비디오 확산 모델 WorldWeaver를 제안했다.
이 모델은 학습 가능한 world state registers를 사용해 공유된 장면 정보와 에이전트별 상태를 청크 단위로 이어가며, 에이전트 간 문맥을 유지한다.
또한 Mixture-of-Transformers 구조를 도입하고, 에이전트 상태·전역 뷰·장면 텍스트 감독으로 학습했다.
두 에이전트 Minecraft 실험에서 기존 방법보다 일관성과 화질이 더 좋았으며, 명시적 세계 상태 모델링의 효과를 보여줬다.