관련성이 답변 가능성을 뜻하진 않는다: 6가지 신호, 그리고 어느 것도 단순한 코사인 유사도보다 낫지 않다

LongMemEval 500개 질문에서 답변할지 보류할지 판단하는 6가지 게이팅 신호를 비교한 벤치마크 연구가 나왔다.

dense top-1 cosine, reranker, hybrid, entailment, margin, ratio 신호 모두 답변 가능/불가능을 가르는 데 성능이 낮았다.

가장 높은 AUC는 기존의 relevance 신호가 유지됐으며, 검색은 관련 문맥을 찾더라도 실제 답변 가능 여부를 보장하지 못했다.

더 강한 cross-encoder도 관련 세션 검색은 잘했지만, 단순히 관련된 경우와 실제로 답변 가능한 경우를 구분하지는 못했다.