금융감독원은 금융권이 AI를 건전하게 활용할 수 있도록 금융 분야 AI 위험 관리 프레임워크를 마련했다고 15일 밝혔다. 이번 프레임워크는 법적 강제력이 없는 자율적 가이드라인으로, 금융사가 자체 여건과 기술 성숙도에 따라 선택적으로 적용할 수 있도록 설계됐다.
프레임워크상 금융사는 AI 위험 관리를 위한 의사결정기구와 전담 조직을 구성하고, 관련 내부 규정을 마련해 AI 시스템의 기획, 개발, 운영 전 과정에서 발생할 수 있는 위험을 체계적으로 관리해야 한다. 이를 통해 명확한 책임 소재를 바탕으로 견제와 균형이 작동하는 관리 체계를 확립하도록 해야 한다.
AI 관련 의사결정기구는 AI 윤리 원칙과 내부 규정의 제정 및 개정, 위험 관리 및 소비자 보호 정책 수립, 고위험 AI 서비스 승인 등 주요 사항을 심의하고 의결하는 역할을 수행한다. 특히 최고경영자(CEO)가 AI 관련 사업 전략과 위험을 명확히 인식할 수 있도록, 의사 결정 기구는 CEO에게 정기적으로 관련 사항을 보고해야 한다. 책임 구조도를 도입한 금융회사의 경우, AI 관련 내부 통제와 위험 관리 책임을 명확히 반영하는 방안도 함께 고려하도록 했다.
또 금융사는 AI 도입과 개발을 추진하는 조직과는 독립된 위험 관리 전담 조직을 설치해 AI 관련 업무 전반을 통제하고 관리해야 한다. 해당 조직은 AI 위험의 인식과 측정, 평가 등 위험 관리 전반을 총괄하며, AI 기본법을 포함한 관련 법규 준수 여부를 관리하고 감독하는 역할을 맡는다.
금융사는 AI 윤리 기준을 근간으로 AI 위험 관리 규정과 지침 등 내부 규정을 수립하고, 이를 구체화한 업무 매뉴얼을 마련해야 한다. 내부 규정에는 AI 거버넌스 구조, 위험의 인식과 측정, 고위험 AI 통제, AI 시스템의 기획과 개발, 운영과 활용 절차, 보안과 소비자 보호, 법규 위반 시 처리 절차 등이 포함돼야 한다.
AI는 업무를 보조하는 수단인 만큼 금융사는 최종 의사 결정과 책임은 임직원이 부담하도록 규정해야 한다. 표준화된 매뉴얼을 통해 AI 도입과 활용 전 과정을 관리하고, 부서 간 역할과 책임을 명확히 해 잠재적 위험에 대응해야 한다.
금융사는 AI 위험 평가 체계도 별도 마련해야 한다. 금융사는 합법성, 신뢰성, 소비자 보호, 보안성 등 금융 AI 7대 원칙 중 정량적 요소를 중심으로 위험 기반 접근 방식의 종합 평가 체계를 구축해야 한다. 이를 통해 AI 서비스별로 위험을 인식하고 측정한 뒤, 위험 경감 조치와 잔여 위험 평가를 거쳐 최종 위험 등급을 산정해야 한다.
위험 평가 과정에서는 금융소비자 보호법과 AI 기본법 등 관련 법규 위반 가능성, 데이터와 모델의 품질과 편향성, 설명 가능성과 성능, 소비자 권리 침해 여부, 보안과 안정성 등을 종합적으로 고려한다. 이러한 평가를 통해 각 AI 서비스의 위험 수준을 체계적으로 분류하고 관리하도록 했다.
금융사는 위험 평가 결과에 따라 AI 서비스의 위험 수준별로 차등화된 통제·관리도 수행해야 한다. 저위험 서비스는 승인 절차와 문서 작성 등을 간소화할 수 있지만, 고위험 서비스는 출시 전 위험 경감 조치 검증과 운영 단계 모니터링을 강화해야 한다.
AI 서비스의 위험 수준이 변경될 경우에는 재평가를 실시하고, 고위험 서비스는 AI 윤리위원회의 사전 승인과 사후 검증, 제3자 평가 등을 실시하도록 했다. 특히 금융 안정성 훼손이나 소비자 권익 침해 우려가 큰 초고위험 AI의 경우, 의사 결정 기구를 통해 출시 여부 자체를 재검토하도록 했다. 동시에 금융사는 모니터링과 사후 관리, 문서화와 임직원 교육, 감독 당국과 정보 공유 등 위험 통제를 위한 내부 통제 절차를 충실히 이행해야 한다.
금감원은 업권별 협회를 통해 금융 분야 AI 위험 관리 프레임워크를 배포하고, 설명회와 간담회를 통해 금융권의 의견을 수렴할 계획이다. 이후 올해 1분기 중 최종안을 확정해 시행하고, 모범 사례 확산과 도입 회사에 대한 실태 점검을 통해 금융권의 AI 거버넌스와 위험 관리 체계가 내부 통제 시스템에 정착할 수 있도록 지원할 방침이다.