SafeSteer: 효율적인 안전 정렬을 위한 로컬라이즈드 온-정책 증류

연구진은 LLM 안전 정렬을 위한 국소적 온-폴리시 증류 기법인 SafeSteer를 제안했다.

활성화 스티어링으로 안전 교사를 만들고, 안전 토큰을 선별한 뒤, 그 토큰에만 역 KL을 적용한다.

실험에서 SafeSteer는 일반 성능의 작은 저하만으로 강한 안전 향상을 보였으며, 유해 샘플 100개와 일반 데이터 없이도 동작했다.

이 방법은 정렬 비용을 낮추면서도 안전 관련 업데이트에만 집중해 alignment tax를 줄일 수 있다.