클라우드플레어: 공격자들이 프롬프트 인젝션으로 AI 모델을 속이고 있다

Cloudflare 연구진은 7개 AI 모델이 프롬프트 인젝션에 영향을 받으며, 특히 코드 안에 숨긴 미끼성 댓글에 취약하다고 밝혔다.

작고 미묘한 텍스트 단서만으로도 악성코드 탐지 정확도가 크게 떨어졌고, 반복이 많은 큰 프롬프트는 오히려 경고를 유발했다.

악성 지시가 대규모 코드 문맥 속에 묻히면 탐지 성능이 매우 낮아져, 문맥 처리의 큰 약점이 드러났다.

또한 댓글을 판별하는 방식에서 언어 편향도 확인돼, AI 보안 도구가 문맥 조작과 학습 데이터 편향에 모두 취약할 수 있음을 시사했다.