8장 출력 길이는 UX 계약으로 줄인다

max_output_tokens만 낮추면 문장이 중간에 끊기거나 필수 항목이 빠진다. 먼저 사용자에게 필요한 output schema를 정한다.

{
  "decision": "approve | ask | escalate",
  "answer": "최대 3문장",
  "evidence_ids": ["POLICY-17"],
  "next_action": "한 문장"
}

장문의 친절한 답변이 항상 좋은 것은 아니다. 배송 날짜 질문에는 날짜·조건·다음 행동이면 충분하다. 분쟁 검토에는 근거와 불확실성이 더 필요하다. feature별 출력 예산을 두고 truncation rate와 필수 field 누락률을 함께 본다.

출력 축소 전후 평가:

마지막 지표가 중요하다. token을 줄였는데 사람이 다시 문장을 보충하면 전체 비용은 늘어난다.