CDAE: 사전학습 언어 모델의 대비적 디노이징을 통한 교란 강건성 향상
CDAE: Enhancing Perturbation Robustness in Pretrained Language Models with Contrastive Denoising
TL;DR AI
1분핵심 요약
연구진이 BERT 기반 문장 임베딩의 강건성을 높이는 경량 모델 CDAE를 제안했다.
CDAE는 대조 학습과 복원 학습을 결합해 동의어 치환, 마스킹, 단어 드롭아웃 같은 변형에 덜 민감하도록 설계됐다.
실험에서 CDAE는 여러 수준의 교란에도 BERT와 SimCSE보다 임베딩 유사도를 더 잘 유지했다.
이처럼 더 안정적인 문장 표현은 약간의 문장 변화나 잡음이 있어도 신뢰해야 하는 NLP 시스템에 유용하다.