처음부터 네이티브 멀티모달 사전학습 확장

연구진은 고정된 계산 예산에서 처음부터 학습하는 비전-언어 모델의 효율적 확장 방법을 분석했다.

그 결과 계산량-손실 관계가 예측 가능하게 나타났고, 최적의 모델 크기와 토큰 수에는 거듭제곱 법칙이 적용됐다.

언어 목표와 멀티모달 목표의 스케일링 양상이 달랐으며, 데이터 혼합 비율이 멀티모달 효율에 큰 영향을 줬다.

또한 네이티브 멀티모달 사전학습은 공간 추론과 멀티모달 in-context learning 성능을 높일 수 있었다.