WorldDiT: 월드 및 액션 모델링을 위한 통합 확산 아키텍처
WorldDiT: A Unified Diffusion Architecture for World and Action Modeling
TL;DR AI
1분핵심 요약
연구진은 로봇용 확산 트랜스포머 WorldDiT를 제안해, 하나의 모델로 연속적인 행동 청크와 미래 RGB 패치를 함께 예측하도록 했다.
4개의 LIBERO 시뮬레이션 세트에서, 모든 세트를 보고한 방법들 중 보고된 파레토 프런티어 수준과 맞먹는 성능을 보였다.
이 모델은 10억 개 미만의 파라미터를 사용해, 대형 비전-언어 기반 로봇 정책의 더 단순한 대안이 된다.
행동 생성과 월드 모델링을 함께 학습하는 방식은, 무거운 사전학습 비전-언어 백본 의존도를 줄이면서도 벤치마크 경쟁력을 유지할 수 있음을 시사한다.