32장. 편향과 고영향 판단에는 더 높은 문턱을 둔다

AI는 입력 자료와 사회의 편향을 반영할 수 있다. 이름, 성별, 나이, 출신처럼 업무와 무관한 속성이 추천에 영향을 주면 차별을 만들 수 있다. 채용, 신용, 보험, 의료, 교육, 공공 혜택처럼 권리와 기회에 영향을 주는 판단은 일반 문서 자동화보다 훨씬 엄격한 검토가 필요하다.

NIST AI Risk Management Framework는 AI 위험을 조직과 맥락에 맞게 관리하도록 돕는 자발적 프레임을 제공하며, 생성형 AI 프로필도 별도로 제시한다. ISO/IEC 42001 소개는 AI 관리 시스템의 정책, 책임, 위험, 성과 평가, 지속 개선을 설명한다. 표준 이름을 붙이는 것만으로 준수나 안전이 보장되지는 않는다.

고영향 사례에서는 다음을 문서화한다.

• 시스템 목적과 사용 금지 목적
• 영향을 받는 사람과 이의 제기 경로
• 입력 데이터의 적법성·대표성·품질
• 오류 유형별 영향과 허용 한계
• 사람 검토자의 실질적 권한과 역량
• 성능 저하·편향·오용 모니터링
• 중단, 수정, 통지, 구제 절차

그룹별 점수 차이만 보면 부족하다. 잘못된 긍정과 잘못된 부정의 비용, 교차 집단, 시간 변화, 데이터 누락을 본다. 작은 표본의 수치를 과도하게 해석하지 않는다.

DecisionDesk는 제품 베타 판단이므로 규제 판단 플래그는 false다. 이를 채용 후보 평가로 바꾸면 같은 자동화 수준을 그대로 사용할 수 없다. 도메인이 바뀌면 위험 분류와 승인 경계도 바뀐다.

영향평가의 최소 질문

의도한 이익과 오류 부담이 누구에게 돌아가는지, AI를 쓰지 않는 대안이 있는지, 사용자가 AI 사용과 이의 제기 방법을 아는지, 취약 집단의 접근성과 대표성을 검토했는지 묻는다. 성능이 나빠질 때 어떤 지표로 중단할지도 정한다.

영향평가는 출시 직전 서류가 아니다. 목적, 데이터, 모델, 사용자, 자동화 수준이 바뀔 때 갱신한다. 완화책을 적었다고 자동 승인되는 것은 아니다. 잔여 위험을 누가 어떤 근거로 수용했는지 기록한다.