"DARPA 대회가 끝날 당시 사람과 맞먹는 능력을 갖춘 인공지능(AI) 모델이 등장하려면 적어도 1~5년은 걸릴 것으로 예상했지만, 불과 6개월 만에 현실이 됐다. AI를 최대한 활용해 당면한 문제를 어떻게 해결할지 고민하는 것은 모든 조직의 숙제가 됐다."
김태수 마이크로소프트(MS) 보안담당 부사장(조지아공대 컴퓨터공학과 교수)은 26일 서울 소공동 웨스틴조선호텔에서 'AI, 세상을 움직이다'라는 주제로 열린 '스마트클라우드쇼 2026' 기조강연에서 이렇게 밝혔다. 김 부사장은 이날 '하이퍼스케일 버그 탐지: DARPA AIxCC에서 마이크로소프트 MDASH까지'라는 주제로 강연에 나섰다.
김 부사장은 AI 기술 발전이 사이버보안 환경을 근본적으로 변화시키고 있다고 진단했다. 그는 MS가 매달 발표하는 취약점 통계를 제시하며 "지난 3월 프런티어 AI 모델이 인간 해커의 능력을 넘어섰다는 분석이 나온 이후 취약점 수가 수직으로 증가했다"며 "AI 모델의 성능이 향상될수록 더 안전한 소프트웨어를 만들 수 있지만, 동시에 더 많은 취약점도 발견될 가능성이 크다"고 내다봤다. 사이버 공간에서 AI창과 AI방패의 대결은 이미 시작된 셈이다.
김 부사장은 지난해 미국 국방고등연구계획국(DARPA) 주관 'AI 사이버 챌린지(AIxCC)'의 우승팀인 '팀 애틀랜타(Team Atlanta)'를 이끌었다. AIxCC는 AI를 활용해 취약점을 자동으로 분석하고 탐지·수정하는 능력을 겨루는 대회다. 팀 애틀랜타는 결선에서 총점 392.76점을 기록해 2위보다 170점 이상 높은 성적으로 압도적 1위를 거뒀다. 조지아공대·카이스트·포스텍 등에서 국내외 연구진이 팀원으로 참여했는데, 전체의 80~90%가 한국인인 점도 의미가 있다.
팀 애틀랜타가 개발한 사이버 추론 시스템(CRS)은 대회에 투입된 다양한 유형의 취약점을 자동으로 탐지하고 상당수를 실시간 패치하는데 성공했다. 결선에서 28개 오픈소스 프로젝트를 분석해 주최 측이 숨겨놓은 취약점 70개 가운데 54개를 찾아냈다. 취약점 대부분을 한 시간 이내에 수정했으며, 기존에 알려지지 않았던 제로데이 취약점도 18개 발견했다. 발견한 취약점 가운데 실제 취약점으로 판명된 비율은 90%를 웃돌았다.
비용 측면에서도 사람보다 높은 효율을 보였다. 김 부사장은 "성공한 작업 한 건당 약 152달러가 들었다"며 "사람에게 코드 감사나 침투 테스트를 맡기면 이보다 100~1000배 많은 비용이 필요하다"고 말했다. 이어 "처음 접한 코드 저장소에서도 적은 비용으로 전문 해커 수준의 보안 감사와 취약점 탐지를 수행할 수 있다는 사실은 보안업계에 중요한 변화를 의미한다"고 덧붙였다.
다만 김 부사장은 방대한 코드를 개별 AI만으로 분석하는 데는 한계가 있었다고 지적했다. 개별 AI는 뛰어난 추론 능력을 갖췄지만, 간단한 질문에 엉뚱한 답을 내놓는 등 작업에 따라 성능 편차가 크기 때문이다. 그는 이를 보완하기 위해 여러 AI 에이전트가 각자의 역할과 맥락을 바탕으로 협업하는 '멀티 에이전트' 구조를 도입했다고 설명했다. 개별 AI에 모든 작업을 맡기는 대신 취약점 탐색과 정적 분석, 검증, 패치 생성 등 업무별로 특화된 에이전트를 배치하는 방식이다.
김 부사장은 "거대언어모델(LLM)은 초인적인 능력을 갖췄지만 이를 어떻게 사용해야 하는지는 모르는 존재와 같다"며 "보안 업무에 LLM을 적용하려면 LLM이 잘하는 작업과 못하는 작업을 구분하고, 잘하는 능력을 극대화하도록 시스템을 설계해야 한다"고 말했다. 이어 "LLM이 가진 초인적인 능력을 어떻게 증폭해 보안 업무에 활용할지가 대회의 중요한 과제였다"고 덧붙였다.
김 부사장은 MS에서 AI 취약점 탐지 시스템 'MDASH'를 개발을 이끌기도 했다. MDASH는 여러 AI 모델의 장점을 결합하고 보안 전문가의 분석 과정을 다중 에이전트 업무로 구현한 시스템이다. 소프트웨어 구조와 과거 취약점을 바탕으로 위협 모델을 구축한 뒤, 100개 이상의 하위 에이전트가 취약점을 탐색한다. 발견된 취약점은 해커·개발자·방어 담당자 역할의 에이전트들이 검증하며, 실제 공격 가능성을 확인하는 개념증명(PoC) 코드와 수정 패치까지 생성한다.
김 부사장은 "서로 다른 관점을 가진 에이전트들이 합의하는 과정을 거치면 실제 취약점과 거짓 양성을 보다 정확하게 구분할 수 있다"며 "MDASH가 찾아낸 취약점 중에는 외부 공격자가 패킷을 보내는 것만으로 시스템의 최고 권한을 탈취할 가능성이 있는 고위험 취약점도 포함돼 있다"고 설명했다.
이어 "MDASH는 두 세대 이전의 AI 모델들을 조합하고도 미토스 프리뷰 등 최신 프런티어 모델과 비슷한 수준의 성능을 구현했으며, 벤치마크뿐 아니라 실제 소프트웨어 개발 환경에서도 성능을 입증하고 있다"며 "과거 사람에게 보안 감사나 침투 테스트를 맡길 때보다 훨씬 적은 비용으로 전문 해커 수준의 취약점 분석이 가능한 점에서 의의가 있다"고 밝혔다.