김명주 AI안전연구소 소장./안상희 기자

"현재 인공지능(AI) 기술과 활용에서 미국이 100점, 중국이 85점이라면 나머지 국가들은 30점대 수준으로 따라가고 있습니다. 한국의 목표는 영국, 프랑스, 싱가포르, 캐나다, 일본을 제치고 4등과 격차를 둔 월등한 3위라고 할 수 있죠. 한국이 AI G3(AI 글로벌 3위)를 달성하려면 AI 안전성 확보가 필수적입니다."

김명주(62) AI안전연구소(AISI) 초대 소장은 지난달 28일 경기 성남시 분당구 삼평동 AI안전연구소에서 가진 조선비즈와의 인터뷰에서 "정부 주도로 AI 안전성을 확보하는 것은 규제가 아닌 진흥책"이라며 이같이 말했다. 김 소장은 "AI G3 달성이 쉬운 상황은 아니지만, 한국이 AI 안전에서 만큼은 세계 1등을 해야 AI 경쟁력을 확보할 수 있다"고 덧붙였다.

AI안전연구소는 한국전자통신연구원(ETRI) 산하에 지난해 11월 설립됐다. 정부 주도 AI안전연구소로는 영국, 미국, 일본, 싱가포르, 캐나다에 이어 6번째다.

김 소장은 AI와 관련된 윤리, 보안, 기술, 저작권 등을 두루 다룬 전문가다. 서울대에서 컴퓨터공학 박사를 받은 뒤 1995년부터 서울여대 정보보호학부 교수로 재직했다. 그는 바른AI연구센터장, 국제AI윤리협회장, AI윤리정책포럼 위원장, 한국저작권위원회 부위원장 등을 맡았다. 지난해부터는 OECD GPAI(Global Partnership on AI) 엑스퍼트 멤버로 활동하며 안전하고 책임 있는 AI 개발·활용 확산을 위해 노력하고 있다. 다음은 김 소장과의 일문일답.

김명주 AI안전연구소 소장./안상희 기자

─AI안전연구소가 설립된 지 1년이 됐다. 그동안 성과와 계획은.

"지난 1년은 국제 사회에서 한국의 자리를 찾는 시간이었다. 최근 배경훈 부총리가 연구소 방문 당시 당부한 '국가 AI 안전 생태계 조성 종합 계획(가칭)' 수립을 연내 마무리할 예정이다. AI 위험이 발생했을 때 부처 간 어떻게 협력할지 계획을 수립해 제시할 예정이다. 내년 1월 시행 예정인 AI 기본법도 준비 중이다. 앞으로 연구소는 AI 위험 인지, 관련 정책 제시, 평가 기준 및 방법 연구, 기술 및 표준화, 국제 교류 협력, 안정성 확보에 충실할 계획이다."

─AI안전연구소를 규제 기관으로 보는 시선이 많다.

"절대 규제 기관이 아니다. AI안전연구소에서 안정성을 인증받는 것을 경쟁력을 갖추는 과정으로 봐야 한다. 국내 AI 모델은 구글 제미나이, 오픈AI 챗GPT와 경쟁해야 하는데 사실상 쉽지 않다. 이렇게 기술적으로 앞서지 못한 상황에서 안전하다는 점을 경쟁력으로 내세워야 한다. AI안전연구소는 국내 기업이 안전이라는 지렛대를 통해 AI 경쟁력을 높일 수 있도록 도와주는 역할이다. 한국에서 사용되는 해외 AI의 경우 국내에 미치는 영향을 진단한다. 이는 향후 행정의 근거 자료로 활용될 수 있다. AI 안전 평가기술 개발, 정책 마련에 도움을 주는 것을 넘어 향후 여력이 되면 AI 안전컨설팅도 진행할 계획이다."

─내년 1월 시행되는 AI 기본법은 어떻게 준비해야 하나.

"AI 기본법이 유럽연합(EU) AI 법과 다른 것은 규제보다는 진흥에 초점을 맞추고 있다는 점이다. EU는 기업이 AI 안전을 어길 경우 전체 매출의 5~7% 정도를 벌금으로 매기지만, AI 기본법은 가장 큰 규모의 과태료가 3000만원 수준이다. 상징적인 금액이다. 핵심은 과태료 부과가 아니다. AI 기본법에는 가이드라인대로 AI 안전성 평가를 받으면 공공기관 납품 때 우선권을 준다는 내용도 포함됐다. 인센티브 정책이다."

─AI 안전성 평가 기준은.

"AI 안전이란 AI로부터 국민의 건강과 생명, 재산을 보호하고 사회 신뢰성을 높이는 것이라고 명시돼 있다. AI가 사람에 대한 차별을 하는 지에 대한 '공정성', 사실을 말하는 지에 대한 '신뢰성', 독도가 어느나라 땅이냐고 물었을 때 가치가 상식에 부합하는 지에 대한 '가치정렬', 해킹 공격에 대한 '안전 및 보안', 폭탄 제조법이나 군사무기 관련을 답하는 지에 대한 '이중사용', 에이전트 AI와 같은 '효율성'을 기반으로 평가한다."

─AI의 가장 위험한 점을 꼽으면.

"성인물, 무기 제조 등 '이중 사용'이 가장 위험하다고 본다. 챗GPT를 통해 '생성형 AI가 지식의 민주화를 일으켰다'고 하지만 성인물, 무기 제조에 사용되면 안전을 넘어 보안까지 위협받을 수 있다. 인공지능으로 직업이 사라지는 것을 걱정하는 것도 기우이고 AI 안전 대책을 안 세우면 이중 사용에 따른 조직, 국가적 단위의 피해가 예상된다. 영국이 최근 AI안전연구소 명칭을 '인공지능 안보 연구소'로 바꾼 이유다."