1장. AI를 검색창처럼 쓰면 왜 한계가 오는가

생성형 AI는 저장된 정답 문장을 꺼내는 검색창이 아니다. 입력과 대화 맥락을 바탕으로 다음에 올 법한 표현을 생성한다. 그래서 문법이 매끄럽고 자신감 있어 보여도 사실이 틀릴 수 있다. 같은 요청도 모델, 설정, 대화 이력, 연결된 도구, 시점에 따라 달라진다.

이 특성은 결함인 동시에 능력의 근원이다. 모호한 아이디어를 여러 형태로 펼치고, 긴 자료를 새로운 구조로 바꾸고, 예시에서 패턴을 찾아 초안을 만들 수 있다. 반대로 “그럴듯함”을 “사실임”으로 오해하면 위험해진다. AI를 제대로 쓰는 첫 원칙은 출력의 유창함과 근거의 강도를 분리하는 것이다.

DecisionDesk의 첫 요청을 보자.

우리 신제품, 다음 달에 출시해도 될까? 잘 분석해 줘.

모델은 시장, 사용자, 비용, 운영 준비를 상상해 멋진 보고서를 쓸 수 있다. 그러나 아무 자료도 없으므로 핵심 수치는 대부분 추정이거나 누락이다. 이때 프롬프트를 더 감성적으로 꾸미는 것은 해결이 아니다. 결정, 독자, 자료, 금지, 완료 기준을 보충해야 한다.

AI의 답을 세 층으로 읽는다.

실습 노트에 최근 받은 AI 답 하나를 붙이고 문장마다 표현, 추론, 사실을 표시한다. 출처가 없는 사실 문장에 밑줄을 긋는다. 놀랍게도 “잘 쓴 답”의 평가가 즉시 구체적으로 바뀐다.

이 책의 핵심 관점: AI에게 정답을 맡기지 말고, 정답에 가까워지는 작업 과정을 함께 설계한다.

15분 비교 실험

같은 질문을 세 방식으로 실행해 차이를 기록한다. 첫 번째는 한 줄 요청, 두 번째는 독자와 결정만 추가, 세 번째는 필수 자료와 검증 기준까지 추가한다. 결과를 “마음에 듦”으로 평가하지 말고 근거 없는 사실 수, 수정에 걸린 분, 빠진 쟁점 수로 비교한다.

실행 A: 신제품 출시 분석해 줘.
실행 B: 제품 책임자가 4주 베타 여부를 결정할 한 페이지 분석을 작성해 줘.
실행 C: B + SRC-01~03만 사용 + 주장마다 source_id + 미확인은 별도 표시.

대부분 C가 가장 길게 지시했기 때문이 아니라 평가할 수 있는 입력을 받았기 때문에 안정적이다. A가 우연히 좋은 답을 냈더라도 반복 성공을 증명하지 못한다. 실험 결과를 저장해 나중에 모델이 바뀌었을 때 같은 방식으로 다시 비교한다.