13장. Rubric과 Grader
정확성, 완전성, 근거, 안전, 형식, 효율을 분리한다. 각 점수의 관측 가능한 기준을 쓴다. “좋음 5점”보다 “모든 핵심 주장에 source_id가 있고 충돌을 표시”가 낫다.
코드·schema·금지 문자열은 deterministic grader, 의미 품질은 사람/모델 grader를 쓴다. grader 자체도 calibration fixture로 검증한다.
WEBBOOK CHAPTER
정확성, 완전성, 근거, 안전, 형식, 효율을 분리한다. 각 점수의 관측 가능한 기준을 쓴다. “좋음 5점”보다 “모든 핵심 주장에 source_id가 있고 충돌을 표시”가 낫다.
코드·schema·금지 문자열은 deterministic grader, 의미 품질은 사람/모델 grader를 쓴다. grader 자체도 calibration fixture로 검증한다.