법률사무소의 AI 실수가 프롬프트 엔지니어링만으로는 충분하지 않음을 보여주는 이유

한 로펌이 AI가 생성한 허위 법률 인용을 제출했다가 제재를 받았다.

이번 사례는 데이터 정리가 미흡하거나 입력이 충돌하면 고도화된 모델도 환각을 일으킬 수 있음을 보여준다.

프롬프트만 잘 설계하는 것으로는 부족하며, 구조화된 워크플로와 안전장치가 필요하다는 점을 강조한다.

소스 인벤토리와 충돌 로그 같은 체계가 허위 출력을 줄이고 신뢰성을 높이는 데 도움이 된다.