12장 비용 절감은 반드시 품질 회귀 평가와 함께 배포한다

model·prompt·context·output 길이를 바꾸면 behavior change다. 코드 변경처럼 test가 필요하다. 평가셋은 실제 개인정보를 제거한 대표 요청과 사람이 승인한 기대 조건으로 만든다.

{
  "case_id": "refund-014",
  "input_fixture": "상품 개봉 후 환불 문의",
  "must_include": ["개봉 여부 확인", "정책 근거"],
  "must_not_include": ["무조건 환불", "법적 보장"],
  "route_expected": "balanced"
}

release gate 예시:

정확도 하락 <= 0.5%p
고위험 false negative = 0
해결률 하락 <= 1%p
해결 1건당 비용 15% 이상 절감
p95 latency 악화 <= 10%

offline eval을 통과해도 5% canary로 실제 수정률과 재문의를 본다. 전체 rollout 후에는 이전 경로를 즉시 되돌릴 수 있어야 한다. 비용 절감률만 dashboard에 크게 표시하면 팀이 품질 손상을 숨기게 된다. 품질 하한을 먼저 고정한다.