사내 AI 거버넌스 체크리스트: Shadow AI·권한·개인정보·감사 로그

직원은 이미 회의록 요약, 문서 초안, 코드 작성에 생성형 AI를 쓴다. 회사가 공식 도구와 기준을 제공하지 않으면 개인 계정, 무료 서비스, 승인되지 않은 브라우저 확장으로 사용이 이동한다. 이것이 Shadow AI다.

모든 사용을 금지하는 정책은 현실을 숨길 수 있고, 아무 제한 없이 허용하면 기밀정보와 과도한 실행 권한이 문제 된다. 거버넌스의 목표는 사용 흔적을 없애는 것이 아니라 위험에 맞는 통제와 책임자를 만드는 것이다.

Shadow AI가 생기는 이유

• 승인된 도구가 현업 업무를 해결하지 못한다.
• 도구 신청과 보안 검토가 너무 오래 걸린다.
• 어떤 데이터를 넣어도 되는지 기준이 모호하다.
• 개인 계정과 회사 계정의 차이를 교육하지 않는다.
• 성과 압박은 있는데 안전한 실험 환경이 없다.

따라서 해결책은 단속만이 아니다. 승인된 도구, 데이터 기준, 빠른 예외 신청, 교육, 로그를 함께 제공해야 한다.

데이터를 네 등급으로 먼저 나눈다

등급	예시	AI 사용 원칙
공개	홈페이지, 보도자료, 공개 채용공고	승인 도구에서 일반 사용 가능
내부	일반 업무 절차, 비민감 회의 메모	회사 계정과 저장 정책 안에서 사용
기밀	미공개 전략, 계약, 고객 목록, 소스코드	허용된 모델·목적·권한에서만 제한 사용
제한	비밀번호, 인증키, 결제정보, 고유식별정보	원칙적으로 입력 금지, 별도 승인·처리 환경 필요

업종과 법적 의무에 따라 명칭과 기준은 달라질 수 있다. 중요한 것은 직원이 문서를 보고 10초 안에 어느 등급인지 판단할 수 있어야 한다는 점이다.

AI 거버넌스의 6개 통제 지점

1. 사용자: 회사 계정, 역할, 부서, 교육 이수 여부
2. 데이터: 등급, 소유자, 보존 기간, 반출 가능 범위
3. 모델: 승인 제공자, 학습 사용 여부, 저장 위치, 버전
4. 도구: 읽기·초안·실행 권한과 대상 시스템
5. 출력: 사실 확인, 저작권, 개인정보, 외부 공개 승인
6. 로그: 사용자, 입력 분류, 도구 호출, 결과, 승인, 사고

모델 정책만 만들고 도구 권한을 빼놓으면 에이전트 시대의 위험을 다루기 어렵다. 답변 생성과 이메일 발송, 데이터 삭제는 서로 다른 통제 수준이 필요하다.

사내 AI 보안 체크리스트 10개

1. 승인된 AI 도구와 금지된 사용 사례가 한 페이지에 정리돼 있는가?
2. 개인 계정이 아니라 회사 SSO와 퇴사자 회수가 적용되는가?
3. 데이터 등급별 입력 가능 범위가 예시와 함께 있는가?
4. 모델 제공자가 입력을 저장·학습에 사용하는 조건을 검토했는가?
5. 브라우저 확장, 플러그인, MCP 서버의 데이터 접근 범위를 아는가?
6. 외부 문서의 프롬프트 인젝션을 신뢰하지 않는 입력으로 다루는가?
7. 결제, 삭제, 외부 발송, 권한 변경에 사람 승인이 있는가?
8. AI 출력의 사실·저작권·개인정보 검수 책임자가 정해져 있는가?
9. 사고 발생 시 계정·토큰·도구를 즉시 중지할 수 있는가?
10. 정책 위반과 실패 사례가 교육·평가셋·통제 개선으로 돌아오는가?

권한은 모델이 아니라 시스템이 강제한다

프롬프트에 "승인 없이 메일을 보내지 마"라고 적는 것만으로는 충분하지 않다. 모델이 잘못 판단해도 실행되지 않도록 시스템 코드에서 권한과 상태를 확인해야 한다.

• 읽기 도구와 쓰기 도구를 별도 자격 증명으로 분리한다.
• 금액, 대상, 데이터 범위를 서버에서 검증한다.
• 승인 전에는 실제 실행 대신 변경 초안만 생성한다.
• 관리자 권한을 장기 토큰으로 에이전트에 넣지 않는다.

감사 로그에 무엇을 남겨야 하나?

원문 전체를 무조건 저장하면 또 다른 개인정보 위험이 생길 수 있다. 목적과 보존 기간을 정한 뒤 필요한 항목을 구조화한다.

• 사용자와 조직, 사용한 모델·버전
• 업무 유형과 데이터 등급
• 검색한 문서 ID와 출처
• 도구 이름, 입력 인자의 안전한 요약, 실행 결과
• 사람 승인자와 승인 시각
• 정책 위반, 차단, 오류, 재시도

로그 접근 권한과 삭제 정책도 함께 정해야 한다. 모든 것을 영구 보관하는 것이 좋은 감사는 아니다.

AI 사고 대응 5단계

1. 중지: 문제 계정, 토큰, 도구, 자동 실행을 차단한다.
2. 보존: 관련 로그와 모델·정책 버전을 보존한다.
3. 범위 확인: 어떤 데이터와 외부 대상에 영향이 있었는지 확인한다.
4. 통지·복구: 내부 절차와 적용 법률에 따라 책임자와 이해관계자에게 알리고 복구한다.
5. 재발 방지: 실패 사례를 테스트셋과 시스템 통제에 추가한다.

누구에게 전화할지 사고가 난 뒤 정하면 늦다. 보안, 개인정보, 법무, 현업, 개발의 담당자와 연락 경로를 미리 적어 두자.

30일 도입 순서

1주차: 실제 사용 지도 만들기

익명 설문과 인터뷰로 직원이 어떤 도구에 어떤 데이터를 넣는지 파악한다. 처벌보다 안전한 경로 설계가 목적임을 분명히 한다.

2주차: 승인 도구와 데이터 기준 공개

한 페이지 정책, 좋은 예·나쁜 예, 문의 채널, 예외 신청 절차를 배포한다.

3주차: 고위험 행동 통제

SSO, 권한 회수, 외부 발송 승인, 로그, 비밀정보 탐지부터 적용한다.

4주차: 대표 업무 하나를 평가

실제 표본으로 품질, 개인정보, 권한, 비용, 실패 복구를 시험하고 정책을 수정한다.

공식 참고 자료

• NIST Generative AI Profile
• OWASP Top 10 for LLM Applications
• Guidelines for Secure AI System Development