DecoupleMix: 확장 가능한 VLM 데이터 레시피를 위한 분리된 비율 탐색과 볼록 할당

연구진은 비전-언어 모델 데이터 믹스를 최적화하기 위해, 클래스 간·클래스 내 비율 탐색을 분리한 DecoupleMix를 제안했다.

이 프레임워크는 휴리스틱에 의존하지 않고 탐색, 품질 점수화, 볼록 할당을 활용해 확장 가능한 사전학습 레시피를 만든다.

DecoupleMix는 소규모 프록시 실험에서 찾은 비율을 더 큰 학습 설정으로 옮길 수 있게 해, 멀티모달 데이터 큐레이션의 재현성을 높인다.

또한 continue pretraining과 대규모 VLM 학습 전반에서 데이터 효율을 개선하는 것을 목표로 한다.