수어 언어 모델로 수어 주석 부트스트래핑하기

연구진은 수어 영상과 영어 문장을 바탕으로 글로스, 손가락 철자, 수어 분류 라벨을 정렬하는 의사 라벨링 파이프라인을 만들었다.

희소한 인식 결과와 k-shot LLM 방법을 결합해 시간 정렬 주석을 추정했고, 더 강한 기준 인식기도 함께 제시했다.

또한 두 개의 ASL 데이터셋에서 새로운 최고 성능을 보고했으며, 거의 500개의 전문 주석 영상과 300시간이 넘는 의사 주석을 공개했다.

이 성과는 비싸고 부족한 수어 라벨 문제를 완화하고, 해석 및 생성 시스템의 학습을 돕는다.