고정된 취약 대상에 대해 AI 공격자는 얼마나 신뢰할 수 있을까? LLM 침투 테스트 일관성에 대한 400회 실증 연구
How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency
TL;DR AI
1분핵심 요약
연구진은 동일한 허니팟과 취약 서비스에 대해 4개 LLM으로 400회의 자율 침투 테스트를 수행했다.
재프롬프트 후에도 모델들은 지속적인 거부를 보이지 않았지만, 모델별 익스플로잇 성공률은 크게 달랐다.
Gemini 2.5 Flash-Lite와 GPT-4o-mini는 많은 성공 사례를 냈고, qwen2.5-coder:14b는 전반적으로 성능이 낮았다.
Claude Sonnet 4는 상위 API 과부하의 영향을 받았으며, 대화 이력에 따라 실패 양상과 자격증명 재사용도 제한적으로 나타났다.