12장 개인정보와 프롬프트 공격을 방어한다

최소 수집이 가장 강한 방어다. 자동화 목적에 필요 없는 주민번호, 건강 정보, 전체 메일함을 가져오지 않는다. 원문 보존 기간과 삭제 요청 절차를 정하고, 테스트 환경에는 합성 데이터를 쓴다.

프롬프트 인젝션은 외부 문서나 이메일이 AI에게 “시스템 지시를 무시하라”고 말하는 공격이다. 방어는 문장 하나가 아니라 구조다.

• 사용자·외부 콘텐츠를 지시와 분리한다.
• 모델에는 최소 데이터와 최소 도구만 준다.
• 도구 인자를 스키마와 도메인 정책으로 검증한다.
• 외부 쓰기에는 사람 승인과 허용 목록을 둔다.
• 검색 결과의 URL, 첨부, 명령을 자동 실행하지 않는다.
• 고위험 결과는 원문과 함께 검토한다.

비밀값은 모델 프롬프트에 넣지 않는다. 도구 실행 계층이 서버 측에서 자격 증명을 사용한다. 운영 화면에 표시해야 하는 경우 끝 몇 자리만 보여 준다.