인코더 기반 언어 모델에서 저자 신호는 어디에서 나타나는가?

새 연구는 인코더 기반 언어 모델의 저자 판별 정확도가 스코어링 방식만 바꿔도 최대 4배까지 달라질 수 있음을 보여줬다.

같은 사전학습 인코더로 만든 모델들을 비교한 결과, 성능 차이는 인코더 자체보다 점수화 방식에서 비롯됐다.

해석 가능성 분석과 인과 테스트에서는 문체 신호가 여러 층에 걸쳐 존재했지만, 학습 중 그 신호를 어디에 모을지는 스코어러가 결정했다.

즉, 겉보기 성능 향상 중 일부는 더 나은 언어 표현이 아니라 출력 설계에서 나온 것일 수 있다.