35장. 근거형 조사 실전 전후 비교

실패 prompt는 “올해 인기 있을 AI 기술을 조사해 순위를 매겨줘”다. 기준일, 시장, 독자, source 정책, 평가 기준이 없다. 결과는 출처 없는 단정과 매력적인 유행어 목록이 되기 쉽다.

개선 prompt는 의사결정을 먼저 정한다. “2026-08-14 기준 한국어 기술 실무서 기획을 위해 해외 기술 추세 10개를 후보화한다. 공식 문서·표준·원 논문·공식 릴리스를 우선한다. 시장 문제 크기 30, 실습 가능성 25, 국내 경쟁 공백 20, 2년 유효성 15, 저작권·비용 위험 10으로 평가한다.”

출력은 후보, 점수 산식, 직접 근거, 추론, 반대 근거, 확인 필요로 나눈다. 출처 페이지를 실제로 열었는지, 일자가 기준일 이전인지, 주장을 직접 지원하는지 확인한다. 검색 결과 snippet은 최종 근거가 아니다.

eval fixture는 출처 0개, 서로 충돌하는 버전 정보, 미래 날짜로 잘못 표기된 공식 페이지, 유료 홍보 자료를 포함한다. 모델이 매력적으로 정리하는지보다 충돌과 불확실성을 밝히는지 평가한다.

조사 산출물을 바로 게시하지 않는다. 사실 표의 핵심 주장을 사람이 표본 검증하고, 비용·법·의학·보안처럼 큰 영향을 주는 결정은 전문가가 확인한다. 연구 prompt의 완료 조건은 “보고서 생성”이 아니라 “다른 사람이 근거를 열어 같은 판단을 재검토할 수 있음”이다.