1장 비용 문제가 아니라 의사결정 문제다
월말 청구서가 예상보다 크면 팀은 보통 세 가지 반응을 보인다. 개발자는 prompt를 줄이고, 관리자는 한도를 낮추고, 현업은 더 좋은 모델을 요구한다. 각 반응은 일부만 맞다. 비용·품질·업무 결과를 같은 단위로 보지 않았기 때문이다.
AI 원가에는 적어도 네 층이 있다.
| 층 | 질문 | 나쁜 지표 | 쓸 수 있는 지표 |
|---|---|---|---|
| 소비 | 무엇을 얼마나 썼나 | 조직 전체 token | 기능·tenant별 input/output/tool |
| 시스템 | 왜 더 썼나 | 평균 latency 하나 | retry·cache miss·context 크기 |
| 품질 | 결과가 쓸 만했나 | 좋아요 비율 | task success·정정·escalation |
| 가치 | 사람 일을 줄였나 | 요청 수 | 해결 1건당 비용·절약 시간 |
한 요청이 $0.01이어도 열 번 재시도하고 상담사가 다시 작성하면 싸지 않다. 반대로 $0.20 요청이 고액 분쟁을 정확히 분류해 사고를 막는다면 비싸다고 단정할 수 없다. 비용 회의의 첫 질문을 “모델이 얼마인가?”에서 “어떤 결과 단위의 원가를 줄일 것인가?”로 바꾼다.
CostLab의 결과 단위는 resolved_case다. AI 답변을 만들었다고 해결된 것이 아니다. 고객이 추가 문의 없이 해결했거나 상담사가 승인해 발송했고 재접수가 없을 때만 해결로 센다. 이 정의가 없으면 출력 token을 줄여도 사업 성과를 판단할 수 없다.
실무 기록:
기능: 배송 FAQ
결과 단위: 24시간 내 재문의 없는 해결 건
품질 하한: 근거 문서 일치 98%, 금지 표현 0건
비용 목표: 해결 1건당 $0.004 이하
보호 조건: 개인정보 질문은 자동 답변 금지