CroCo: 자기 생성 기반의 교차 언어 대조 선호 튜닝

연구진은 영어 중심의 contrastive preference tuning을 14개 언어의 다국어 모델로 확장했다.

자체 생성 응답과 영어로 학습된 reward model을 활용해, 구조화 및 개방형 과제 전반의 성능을 높였다.

이 방법은 on-policy 데이터에서 가장 효과적이었고, 지도학습 미세조정에서 나타나는 망각도 줄였다.

언어별 선호 라벨 없이도 다국어 정렬을 개선할 수 있는 실용적 대안을 제시한다.