WEBBOOK CHAPTER

프롬프트를 시스템으로 만드는 법: 12장. Eval Fixture

12장. Eval Fixture

실제 workload를 대표하는 정상, edge, 실패, 악성 입력을 고정한다. 입력, 기대 필수, 금지, optional, metadata를 둔다. example/evals/fixtures.json은 고객 대응·최신 조사·인젝션 세 사례를 포함한다.

fixture를 prompt에 과적합하지 않게 holdout을 둔다. 개인정보와 저작권 자료를 그대로 넣지 않는다. 모델·prompt·도구 version과 실행일을 기록한다.