Promptflow, Prompty, OpenAI를 활용해 추적 가능하고 평가 가능한 LLM 워크플로를 구축하는 방법

이 튜토리얼은 Promptflow에서 Prompty, OpenAI, tracing, LLM-as-judge 평가를 활용해 추적 가능하고 평가 가능한 LLM 워크플로를 만드는 방법을 보여준다.

먼저 Colab에서 Promptflow를 설정하고 OpenAI 연결을 만든 뒤, Prompty 기반 어시스턴트를 정의한다.

그다음 결정적 도구를 사용하는 클래스 기반 플로를 연결해 전처리와 동작을 더 일관되게 만든다.

실행 추적을 활성화해 동작을 관찰 가능하게 하고, 평가 파이프라인으로 정답과 결과를 비교해 점수를 매긴다.

결과적으로 재사용 가능한 설정, 관측성, 자동 품질 점검을 갖춘 프로덕션형 LLM 앱 구성 패턴을 제시한다.