BARRED: 비대칭 토론을 통한 맞춤형 정책 가드레일의 합성 학습

연구진은 맞춤형 AI 가드레일 분류기를 학습시키기 위한 합성 데이터 프레임워크 BARRED를 소개했다.

BARRED는 작업 분해와 토론 기반 검증을 결합해 더 높은 품질의 정책 라벨을 생성한다.

BARRED 데이터로 미세조정한 소형 언어 모델은 여러 정책에서 독점 LLM과 전용 가드레일 시스템보다 더 좋은 성능을 보였다.

이 방식은 많은 사람 라벨링 없이도 더 저렴하고 빠르게 확장 가능한 맞춤형 안전 필터를 만들 수 있게 한다.