WEBBOOK CHAPTER

프롬프트를 시스템으로 만드는 법: 13장. Rubric과 Grader

13장. Rubric과 Grader

정확성, 완전성, 근거, 안전, 형식, 효율을 분리한다. 각 점수의 관측 가능한 기준을 쓴다. “좋음 5점”보다 “모든 핵심 주장에 source_id가 있고 충돌을 표시”가 낫다.

코드·schema·금지 문자열은 deterministic grader, 의미 품질은 사람/모델 grader를 쓴다. grader 자체도 calibration fixture로 검증한다.