뉴런 활성 그래프를 통한 목표 지향적 사전학습 데이터 선택

연구진이 목표 예제의 희소한 고영향 뉴런 패턴을 활용해 사전학습 후보 데이터를 순위화하는 ‘Neuron-Activated Graph Ranking’을 제안했다.

이 방법은 추가 학습 없이도 목표에 맞는 데이터를 선별하며, 6개 벤치마크에서 무작위 샘플링과 강력한 기준선보다 더 좋은 성능을 보였다.

특히 HellaSwag와 다중 목표 설정에서 개선이 확인됐고, 선택된 뉴런들이 실제 성능에 중요한 역할을 한다는 분석도 제시됐다.

이 접근법은 특정 목표에 맞춘 사전학습 데이터를 더 효율적으로 고를 수 있게 하며, 어떤 뉴런이 중요한지도 해석 가능하게 보여준다.