13장 성능과 품질을 함께 측정한다

자동화율만 높이면 어려운 건을 억지로 통과시킬 수 있다. 균형 지표를 쓴다.

• 효율: 처리 시간, 사람의 반복 입력 시간, 대기열 길이
• 품질: 구조화 수정률, 잘못된 대상·내용, 되돌림 비율
• 안전: 승인 없는 실행, 만료·변경 차단, 민감 데이터 노출
• 신뢰성: 성공률, p95 지연, 재시도, 보류함 체류 시간
• 비용: 건당 모델·커넥터·사람 검토 비용

골든셋은 개인정보 없는 대표 의뢰와 기대되는 구조를 담는다. 모델·프롬프트 변경 전후를 같은 세트로 평가한다. 문자열 완전 일치보다 필수 사실 보존, 근거 없는 추가, 위험 누락, 스키마 준수를 본다. 운영 표본은 승인된 절차로 비식별화한다.

품질 하락 시 자동 실행 범위를 줄이는 회로 차단기를 둔다. 계약 실패율이나 잘못된 대상 비율이 임계치를 넘으면 AI 경로를 중단하고 수동 검토로 전환한다.