StealthBench: 자율 공격 보안 에이전트의 운영 은밀성 측정
StealthBench: Measuring Operational Stealth in Autonomous Offensive-Security Agents
TL;DR AI
1분핵심 요약
연구진은 자율 공격 보안 에이전트가 자신을 노출하지 않고 작업을 수행할 수 있는지 측정하는 벤치마크 StealthBench를 공개했다.
이 벤치마크는 검증된 OPSEC 사고 11건을 바탕으로 14개의 도커화된 시나리오로 확장됐으며, 3개 모델 LLM 판정 패널로 6개 차원의 은닉성을 평가한다.
결과적으로 에이전트들은 과제 해결에는 성공하는 경우가 많았지만, 여전히 명백한 운영 보안 실수를 저질렀고 안전 성공률 54%를 넘는 모델은 없었다.
이번 연구는 성능과 은닉성 사이의 큰 격차를 드러내며, 더 안전한 에이전트 설계와 방어 측면의 탐지 도구 개발에 시사점을 준다.