AI 리스크·컴플라이언스

담당 역할: AI 거버넌스 담당자, CAIO실, 법무/컴플라이언스

10.1 배경#

Part 6의 클라우드 보안 baseline이 “설정이 안전한 상태를 유지하는가”를 물었다면, 이 카테고리는 “AI 유스케이스가 안전하고 합법적인 상태를 유지하는가”를 묻는다. AI 리스크는 클라우드 설정 오류보다 다루기 어렵다. 무엇이 “위반”인지가 코드 한 줄이 아니라 맥락과 영향으로 판정되기 때문이다. 그래서 AI 거버넌스는 자동 스캔만으로 완결되지 않고, 사전 평가·인간 승인·사후 감사를 결합한 라이프사이클로 설계된다.

10.2 필요 지식# 리스크의 2대 분류#

가장 중요한 원칙은 명확하다. 개별 사건 자체가 아니라 그것이 일으키는 영향을 구조적으로 파악하라. “할루시네이션”이라는 사건 자체가 본질이 아니라, 그로 인한 잘못된 의사결정·고객 피해·법무 리스크가 문제의 본질이다.

리스크기반 접근(Risk-Based Approach)#

리스크를 완전히 없애는 것은 비현실적이다. 대신 리스크의 중증도와 빈도에 대한 수용 가능 수준을 먼저 정의하고, 그 수준에 맞춰 대책의 우선순위를 정하라. 업종·용도에 따라 수용 가능한 리스크 수준은 다르다. EU AI Act(하드로)와 각국의 AI 가이드라인(소프트로)은 표현 방식은 달라도 이 리스크기반 접근을 공통 축으로 삼는다.

실무형 4대 기업 생성AI 리스크#

1·2번은 내부자가 무심코 정보를 흘리는 유출형 리스크로, 입력을 통제해 막는다. 3·4번은 AI 출력이나 AI로 위조된 신호를 내부자가 그대로 믿어버리는 신뢰형 리스크로, 검증·승인 프로세스로 막는다. “막기”와 “검증하기”라는 대책의 성격 차이가 이 네 유형을 실무적으로 유용하게 만든다.

10.3 표준 체계 — 국제 표준과 규제# ISO/IEC 42001 — AI 매니지먼트 시스템(AIMS)#

AI를 개발·제공·이용하는 조직이 AI 리스크를 체계적으로 관리하기 위한 세계 최초의 AIMS 국제규격이다. ISO 27001이 정보보안을 위한 조직 매니지먼트 체계이듯, ISO 42001은 AI를 위한 조직 매니지먼트 체계(거버넌스·리스크·라이프사이클)를 규정한다. 강제 규제가 아니라 자율 채택형 국제규격이며, CAIO 거버넌스의 “운용 OS”로 활용된다 — 인증 취득 자체가 목적이 아니라, 거버넌스가 계속 개선되고 있음을 제3자에게 증명하는 수단이다.

NIST AI RMF — Govern·Map·Measure·Manage#

미국 NIST의 AI 리스크 관리 프레임워크다. 강제 규제가 아니라 널리 참조되는 소프트로 프레임워크로, 자사 사업 규모와 상황에 맞춰 적용하도록 설계됐다. 4개 기능으로 구성된다 — Govern(거버넌스 체계 수립), Map(리스크 식별), Measure(리스크 측정), Manage(리스크 대응). CAIO는 보통 Govern을 중심에 두고, Map·Measure·Manage를 자사 리스크 관리 프로세스(AIIA 등)에 통합한다.

EU AI Act — 4단계 리스크 분류#

세계 최초의 본격적인 AI 하드로(법적 강제력과 벌칙을 동반하는 규제)다. AI 용도를 리스크 중증도·빈도에 따라 등급화하고, 등급별로 의무와 금지를 부과하는 리스크기반 규제의 원형이다.

여기에 범용목적AI(GPAI)에는 제공자 횡단 의무가 별도로 부과되며, 일정 기준을 넘으면 시스테믹 리스크 모델로 추가 의무를 진다. CAIO실은 자사 AI 유스케이스를 이 리스크 카테고리와 대응시킨 AI 인벤토리를 작성하고 정기 갱신해야 한다.

OWASP AISVS — 검증 가능한 12개 챕터#

AI 보안을 12개 챕터, 테스트 가능한 요구사항으로 분해한 검증 표준이다. 각 요구사항은 “Verify that…”으로 시작해 테스트 가능성을 강제하고, C.. 형식의 ID와 L1/L2/L3 레벨을 갖는다. 데이터 입력단(C1·C2)부터 모델 수명주기(C3), 인프라(C4), 접근통제(C5), 공급망(C6), 출력(C7), 메모리/RAG(C8), 에이전틱/MCP 보안(C9·C10), 적대적 견고성(C11), 모니터링(C12)까지 수명주기 전체를 덮는다. OWASP Top 10(LLM·Agentic)이 “무엇이 위협인가”를 정의한다면, AISVS는 “그 위협을 막았는지 어떻게 검증하는가”를 정의한다.

일본형 소프트로와 CAIO 체제#

EU가 하드로라면, 일본은 가이드라인 중심의 소프트로 접근으로 AI 거버넌스 보급을 노린다. 다만 “소프트로”라는 표현이 “법률이 아예 없다”로 오독되어서는 안 된다 — 일본은 AI 관련 기술의 연구개발 및 활용 추진에 관한 법률을 성립·시행했고, 이 법 제13조는 세부 요건을 지침으로 위임하는 구조를 취한다. 법률(하드로) 형식과 지침 기반 실장(소프트로적 운용)이 결합된 하이브리드에 가깝다. 이 지침은 국가 행정기관에 CAIO 설치를 요구한다 — 소프트로 진영에서도 조직 체제 요건이 구체화되기 시작했다는 신호다.

10.4 실무 적용 단계 — 라이프사이클 게이트#

AI 도입·운용을 안전하고 재현 가능하게 만들려면, 라이프사이클의 각 단계에 게이트를 설치하고 필요한 평가·문서작성·승인을 명확히 하라. Part 2.3에서 소개한 “예방형/탐지형” 원칙을 AI 라이프사이클 전체에 펼친 것이 이 6단계다.

1. 1단계 — 아이디어 — 사업가치 가설과 영향범위를 초기 평가하고, 다음 단계의 AIIA(AI Impact Assessment)를 준비한다.

2. 2단계 — PoC 진입 전(예방형 게이트) — AIIA를 실시해 권리·안전·공평성·프라이버시 영향을 구체화하고, 설계상 대책(관계자 통지, 사람 리뷰, 구제절차, 용도 제한)을 정의한다.

3. 3단계 — PoC — 성능·공평성·견고성·보안·프라이버시 지표로 시험 계획을 실행하고, 결과를 모델카드·데이터시트에 기록한다.

4. 4단계 — 본번화 승인 게이트(예방형 게이트) — 사업책임자·CAIO·CISO·법무가 합의해 평가와 대책이 요건을 충족함을 확인한다. 권리·안전영향 AI는 전사 AI 스티어링 커미티의 별도 승인이 필요하다.

5. 5단계 — 운용(탐지형 게이트) — 대시보드로 성능·공평성·인시던트·불만을 모니터링하고, 이상을 감지하면 시정·재평가로 연결한다.

6. 6단계 — 정기 리뷰·내부감사(탐지형 게이트) — 분기 단위로 방침 준수·기록 완전성·시정 실효성을 점검한다. AIIA·모델카드·데이터시트·승인기록·감사보고를 갖춰 의사결정 근거를 남기는 문서주의가 핵심이다.

권리·안전영향 AI(사람의 생명·신체·자유·재산 등 기본적 권리나 안전에 중대한 영향을 미칠 수 있는 유스케이스)는 이 6단계 위에 추가 통제를 얹는다 — 본번 투입 전 CAIO와 전사 AI 스티어링 커미티의 이중 승인, Human-in-the-loop 의무화, 이용자 통지·구제경로 정비, 연 1회 이상 사고 대응 훈련이다. 채용선고 AI, 의료지원 AI, 중요 인프라운용 AI가 대표 사례다.

10.5 실전 패턴 — AIIA 템플릿#

AIIA(AI Impact Assessment)는 PoC 진입 직전에 실시하는 사전 평가 문서로, 다음 요소로 구성된다 — 기본정보(유스케이스명·책임자·상태), 유스케이스 개요(목적·이해관계자), 규제·내부룰 위치부여(해당 규제, 권리·안전영향 AI 해당성), 데이터·모델 개요, 리스크 식별·평가(안전·건강·기본적 권리·공평성·프라이버시·보안·컴플라이언스·레퓨테이션·환경부하 8개 카테고리), 대응책과 잔존 리스크, 운용·모니터링 설계, 이해관계자 관여, 승인·개정이력. 데이터소스 변경·대규모 재학습·알고리즘 변경·이용목적 확장 같은 중대 변경이 있으면 재실시한다.

10.6 체크리스트#

• AI 유스케이스마다 리스크 등급(권리·안전영향 AI 해당 여부 포함)을 판정하는 절차가 있는가?

• PoC 진입 전 AIIA가 표준 절차로 실시되는가?

• 본번화 전 승인 게이트에 사업책임자·CAIO·CISO·법무가 모두 관여하는가?

• 권리·안전영향 AI에 이중 승인·Human-in-the-loop·구제경로가 갖춰져 있는가?

• ISO/IEC 42001, NIST AI RMF, EU AI Act 중 조직에 적용되는 표준·규제가 명시적으로 매핑되어 있는가?

• 모델카드·데이터시트·승인기록이 정기 내부감사에서 검토되는가?

10.7 흔한 함정#

• AIIA를 PoC 이후에 형식적으로 채운다: 설계상 대책을 반영할 시점을 놓치면 사후 문서화에 그친다.

• 권리·안전영향 AI 판정을 개발팀 자체 판단에 맡긴다: CAIO·전사 AI 스티어링 커미티의 독립적 판정 없이는 이해상충이 생긴다.

• 하드로와 소프트로를 같은 강도로 취급한다: EU AI Act의 벌칙형 의무와 자국 가이드라인의 권고형 의무는 대응 우선순위가 다르다 — 사업이 노출된 법역을 먼저 매핑하라.

• 인증 취득을 최종 목표로 삼는다: ISO/IEC 42001 인증은 거버넌스가 계속 개선되고 있다는 증거이지, 한 번 따고 끝내는 면죄부가 아니다.