5장 요청당 비용에서 해결 1건당 비용으로 이동한다

CostLab은 requestCost / resolutionRate로 해결 1건당 예상 비용을 보여 준다. 단순식이지만 대화가 달라진다. 싼 model의 요청 단가가 절반이어도 해결률이 크게 떨어지면 결과 원가는 오를 수 있다.

요청 비용 $0.006, 해결률 75% → 해결 1건당 $0.008
요청 비용 $0.009, 해결률 95% → 해결 1건당 약 $0.00947

두 번째가 여전히 비싸지만 차이는 요청 단가의 50%가 아니라 약 18%다. 여기에 상담사 수정 시간, 재문의, 환불 사고를 포함하면 판단이 뒤집힐 수 있다.

결과 원가에 넣을 항목:

• model과 tool 직접 비용
• vector database·검색·storage 비용
• retry와 fallback 비용
• 사람 검토 시간 × 내부 표준 단가
• 오류 처리와 보상 비용의 기대값

모든 것을 처음부터 정교하게 넣으려다 중단하지 않는다. 1단계는 model 비용과 해결률, 2단계는 사람 수정 시간, 3단계는 사고 기대비용이다. 추정치는 estimated, invoice 확정 값은 billed, 내부 배분 값은 allocated로 구분한다.