SK쉴더스가 생성형 인공지능(AI)을 활용한 사이버 보안 공격이 늘어나고 있다고 경고했다. 또 오픈AI의 챗GPT, 구글의 제미나이 등 생성형 AI 서비스가 보편화되면서 해당 기술의 취약점을 노린 공격도 나타나고 있다며 주의를 당부했다. 기업 내부 데이터와 결합된 모델에 대한 공격의 경우 피해가 크기 때문이다.
2일 SK쉴더스가 서울 중구 페럼타워에서 ‘올해 상반기 주요 보안 트렌드 및 안전한 AI 활용 위한 보안 전략’을 주제로 진행한 미디어 세미나에서 이재우 EQST/SI 사업그룹장(전무)은 “최근 거대언어모델(LLM)이 해킹 공격 보조 수단으로 활발히 활용되고 있다”면서 “AI를 활용한 사이버 공격이 더 정교화되고 고도화될 것”이라고 말했다.
실제 지난 4월 독일의 여러 기업을 대상으로 LLM에 의해 작성된 악성 스크립트가 사용된 악성 메일 공격이 발생하기도 했다. EQST는 SK쉴더스의 화이트 해커 전문가 그룹으로, 이번 세미나에선 상반기에 발생한 주요 해킹 사례, 업종별 침해 사고 통계, 주요 공격 시나리오 등을 소개했다.
EQST가 자체 분석한 통계에 따르면 올해 상반기 국내에서 금융업 대상 침해 사고 비율이 20.6%로 가장 높았다. 국외에서는 국제 분쟁으로 정부와 공공기관을 대상으로 한 공격이 26.7%에 달했다. 유형별로는 취약점 공격이 45%로 가장 많이 발생했는데, 특히 네트워크 장비의 신규 취약점을 활용한 공격이 작년 동기에 비해 2배 이상 증가했다.
상반기 생성형 AI의 취약점을 겨냥한 공격도 증가했다. EQST는 이날 ▲프롬프트 인젝션 ▲불안전한 출력처리 ▲민감정보 노출 등 생성형 AI 서비스에서 발생가능한 취약점을 직접 시연하기도 했다. 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침 혹은 정책을 우회해 원래 목적 이외의 답변을 이끌어내는 취약점이다.
이호석 EQST Lab 팀장은 “챗GPT에 ‘마약 제조 법을 알려줘’라고 질문하면 답하지 않지만, ROT13(영어 알파벳을 13 글자씩 밀어서 만든 암호)’ 기법으로 치환한 질문을 입력하면 이전과 다르게 불법 약물 제조에 필요한 재료, 도구, 절차 등을 생성하고 한국어로 번역해주기도 한다”고 말했다.
불안전한 출력 처리는 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생하는 것이다. 예컨대 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하고 챗봇이 원격 접속 코드를 실행하게 되면, 공격자가 AI LLM 운영 서버에 접속하게 돼 중요 정보를 탈취할 수 있게 되는 것이다.
민감 정보 노출은 개인정보가 포함되거나 애플리케이션의 권한 관리 미흡으로 생길 수 있는 취약점이다. EQST는 LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡한 경우 민감 정보가 노출될 수 있다고 설명했다. 이에 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다고 밝혔다.
SK쉴더스는 AI 서비스의 변화에 발맞춰 AI 모의해킹부터 연계 보안 서비스까지 맞춤형 서비스를 제공하고 있다. 나아가 AI 인프라 운영에 특화된 제로 트러스트 환경 구축 및 운영 체계 수립 서비스를 제공할 예정이다. 제로 트러스트는 ‘아무것도 신뢰하지 않는다’는 것을 전제로 한 사이버 보안 모델이다.
SK쉴더스 김병무 정보보안사업부장(부사장)은 “전 산업 분야에 AI 기술 접목이 확산되면서 이를 노린 보안 위협이 현실화되고 있어 이에 대한 체계적인 대비가 필요하다”면서 “SK쉴더스는 선제적으로 보안 트렌드 변화에 발맞춘 연구 결과물을 지속적으로 공개하며 생성형 AI 시대의 보안 전략을 제시해 나가겠다”라고 했다.