9장. 프롬프트와 모델도 릴리스 자산이다

문자열이 아니라 버전 묶음을 배포한다

같은 프롬프트라도 모델, 도구 설명, 정책 문서, 샘플링 설정이 바뀌면 결과가 달라진다. 따라서 promptVersion만으로는 재현이 충분하지 않다. 실제 릴리스에는 다음이 함께 묶여야 한다.

• 모델 식별자와 역할
• 개발자 지침과 출력 스키마
• 노출한 도구 이름·설명·스키마
• 정책·검색 인덱스 버전
• 런타임과 SDK 버전
• 평가 보고서와 승인자

이 묶음을 agent release manifest라고 부르자. Git 태그와 빌드 산출물에 포함하면 사고 시 어떤 조합이 실행되었는지 찾을 수 있다.

결과 중심 프롬프트

집필 시점의 OpenAI GPT-5.6 계열 지침은 결과, 제약, 사용할 증거와 완료 기준을 명확히 하고 불필요하게 반복된 지시를 줄이는 방향을 권한다. ClaimOps 프롬프트도 절차를 장황하게 흉내 내기보다 성공 조건과 권한 경계를 분명히 한다.

목표: 고객 설명을 허용된 reason과 증거 후보로 구조화한다.

성공 조건:
- JSON 스키마를 지킨다.
- 고객이 제공하지 않은 증거 ID를 만들지 않는다.
- 승인 여부와 금액 계산은 하지 않는다.
- 불확실하면 reason을 unknown으로 둔다.

“무조건 적극적으로 해결하라”와 “외부 행동 전에 항상 승인받아라” 같은 충돌 지시는 행동을 불안정하게 만든다. 승인 경계를 한곳에서 정확히 정의한다.

모델 이름을 코드 곳곳에 박지 않는다

예제 어댑터는 OPENAI_MODEL 환경 변수로 모델을 선택한다. 기준 평가에는 모델 이름뿐 아니라 reasoning, verbosity, 도구 집합을 같이 기록한다. 새 모델로 바꿀 때 프롬프트까지 한꺼번에 다시 쓰면 원인을 분리할 수 없다. 먼저 모델만 바꾸어 같은 평가를 실행하고, 측정된 회귀에 필요한 최소 수정만 한다.

완료 기준

• 에이전트 릴리스 매니페스트에 포함할 항목을 정했다.
• 프롬프트에서 모델이 하지 말아야 할 권한 행동을 명시했다.
• 모델 변경과 프롬프트 변경을 분리 평가할 계획을 세웠다.