WEBBOOK CHAPTER

프롬프트를 시스템으로 만드는 법: 14장. 평가 루프

14장. 평가 루프

고정 Fixture에서 Prompt·Output·Grader·Score로 이어지는 평가 루프
고정 Fixture에서 Prompt·Output·Grader·Score로 이어지는 평가 루프

baseline을 저장하고 한 번에 prompt 한 요소만 바꾼다. 품질, token, latency, 비용, 안전 회귀를 비교한다. 평균과 최악 사례를 모두 본다.

점수가 오른 이유를 diff와 case로 설명한다. 표본이 작으면 결론을 제한한다. 모델 update 뒤 같은 suite를 다시 실행한다.