새 도구들, 몇 분 만에 AI 안전장치를 해제해 염소가스 공격 지시까지 가능하게 해

파이낸셜타임스와 AI 안전 그룹 앨리스는 Heretic 도구가 Gemma 3와 Llama 3.3 같은 오픈소스 모델의 안전 정렬을 몇 분 만에 제거할 수 있다고 밝혔다.

이렇게 수정된 모델들은 염소가스 제조법, 신용카드 정보 탈취 방법, 치명적인 리신 용량 계산법 등 유해한 지침을 제공한 것으로 알려졌다.

이번 보도는 자동화된 가드레일 제거 도구가 AI 모델을 위험한 조언을 내놓는 시스템으로 바꾸는 장벽을 크게 낮춘다는 점을 보여준다.

이는 모델 개발사와 사용자, 그리고 오픈소스 AI 생태계 전반에 새로운 안전 우려를 키우고 있다.