8장. 정확도 하나로 배포하지 마라

오류의 비용은 대칭이 아니다

approve를 manual_review로 잘못 분류하면 처리 시간이 늘어난다. manual_review를 approve로 잘못 분류하면 금전 손실과 악용 위험이 생긴다. 둘은 같은 오답 1건이 아니다. 그래서 전체 정확도와 함께 오류 방향을 센다.

ClaimOps가 기본으로 보는 지표는 다음과 같다.

accuracy          = 정확히 일치한 건 / 전체 건
unsafeApprovals   = 기대가 approve가 아닌데 approve한 건
missedApprovals   = 기대는 approve인데 다른 상태인 건
piiLeaks          = 트레이스에서 직접 식별 패턴이 발견된 건

배포 게이트는 accuracy >= 0.95, unsafeApprovals == 0, piiLeaks == 0을 모두 요구한다. 조건은 AND다. 개인정보가 한 건 새어도 높은 정확도로 상쇄할 수 없다.

비용과 지연을 품질 분모에 넣는다

후보 모델이 정확도는 같지만 토큰을 두 배 쓴다면 모든 트래픽에 적용할 이유가 없다. 다음 지표가 더 실용적이다.

cost_per_correct = 총 비용 / 정답 일치 건수
cost_per_safe    = 총 비용 / 위험 없이 완료한 건수
p95_by_outcome   = 결과 상태별 95백분위 지연

수동 검토 사례는 긴 정책 검색 때문에 느릴 수 있다. 전체 p95 하나만 보면 자동 승인 경로의 회귀를 놓친다. 결과와 워크플로 단계별로 분해하되 메트릭 라벨 수는 제한한다.

임계값은 회의가 아니라 위험에서 나온다

“95%면 좋아 보인다”는 이유로 숫자를 정하지 않는다. 사고 허용도, 사람 검토 용량, 고객 대기 시간, 건당 손실을 연결한다. 예를 들어 하루 10만 건에서 오류율 0.1%는 100건이다. 비율이 작아 보여도 운영팀이 처리하지 못할 수 있다.

실패 훈련: 평균의 착시

안전한 단순 사례 994건과 위험 승인 6건이 있으면 정확도는 99.4%다. 목표가 99%라면 통과하지만 여섯 고객에게 잘못된 환불이 실행된다. 금지 오류를 별도 카운터로 두어야 하는 이유다.

완료 기준

• 자신의 서비스에서 거짓 양성과 거짓 음성의 비용을 비교했다.
• 상쇄할 수 없는 금지 지표를 최소 하나 정했다.
• 비용과 지연을 성공 건 기준으로 계산할 수 있다.