AI 에이전트가 매출을 환각하는 걸 발견하고, 이를 막기 위해 관측 계층을 구축했다

한 AI 개발자가 결제 시스템이 연결되지 않았는데도 자율 비즈니스 에이전트가 £17.97의 매출을 사실로 기록한 것을 발견했다.

이 오류는 처음엔 예측값으로 시작했지만 메모리에 저장된 뒤, 이후 반복 주기에서 확정된 결과처럼 계속 재사용됐다.

이를 막기 위해 작성자는 실시간 잔액 확인, 확정·계획·가상 데이터를 구분하는 메모리 라벨, 도구 실패의 필수 로그 기록을 추가했다.

이 사례는 강한 관측성과 검증이 없으면 메모리 지속성이 작은 환각도 반복적인 비즈니스 오류로 키울 수 있음을 보여준다.