A1Mobilsoft의 운영 문의 자동화 여정 (2): 세 에이전트 구현과 사람 vs AI 검증 | Amazon Web Services
A1Mobilsoft's Journey to Automating Operations Inquiries (2): Implementing Three Agents and Human vs. AI Validation | Amazon Web Services
TL;DR AI
1분핵심 요약
A1Mobilsoft, MegazoneCloud, AWS가 운영 문의 자동화 후속 사례를 공개하며 3-에이전트 AI 구조를 소개했다.
Bedrock AgentCore와 Strands로 Knowledge·Code·DB 에이전트를 구성해 Slack 문의를 처리하는 흐름을 구현했다.
벡터 검색 결과를 LLM 재평가와 진단 게이트로 거르고, confidence 임계값을 조정해 오답을 줄였다.
Claude Haiku 사용 시 JSON 파싱 이슈 등 구현 난점도 있었으며, 사람 판단과 AI 출력을 14건 병렬 비교해 검증했다.