네이티브 멀티모달 모델링을 향하여: 로드맵

이 논문은 하나의 트랜스포머가 여러 모달리티를 이해와 생성을 위해 네이티브하게 처리하는 멀티모달 모델링 로드맵을 제시한다.

native multimodal modeling의 개념을 정의하고, late fusion·mid fusion·early fusion 등 입력-출력 구조별 기존 아키텍처를 분류한다.

또한 통합 멀티모달 트랜스포머를 구축·학습·배포·평가할 때의 산업적 고려사항을 정리한다.

핵심 메시지는 모달리티별 파이프라인을 이어 붙이는 방식에서 벗어나, 더 유연한 멀티모달 추론과 생성을 지원하는 통합 아키텍처로의 전환이다.