세차장까지 걸어가시겠습니까? 상식 추론에서 대규모 언어 모델의 현저성 편향을 밝히다
Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning
TL;DR AI
1분핵심 요약
연구진이 상식 추론에서 살리언스 편향을 측정하는 벤치마크 SaliTrap을 공개했다.
12개의 주요 LLM을 테스트한 결과, 모델들은 관련 없는 명시적 단서에 쉽게 끌려가며 정답을 놓치는 경우가 많았다.
문맥 없이 질문하면 대부분의 놓친 정답이 다시 드러나, 단순한 지식 부족보다 지식 억제가 더 큰 문제임을 시사했다.
추론 시점의 가벼운 프롬프트만으로도 재학습 없이 이 문제를 완화할 수 있음을 보였다.
이 결과는 LLM의 상식 실패가 프롬프트 구성과 방해 요소 민감도에 크게 좌우됨을 보여준다.