대학생들이 인공지능(AI)을 활용해 과제를 하는 일이 흔해지면서, 교수들도 이제 단순히 "AI를 썼느냐"를 넘어 "어떻게 썼느냐"를 따지는 시대가 됐다. 이런 흐름에 맞춰 미국 스탠퍼드대와 조지아공대 공동연구팀이 완성된 결과물 대신 과제 작성 과정 자체를 추적하는 도구 '드래프트마크스(DraftMarks)'를 개발했다. 연구팀은 이 내용을 최근 국제 학회 '인간-컴퓨터 상호작용 학술대회(CHI)'에서 발표했다.
드래프트마크스는 문서 초안 이력과 AI와의 상호작용 기록을 추적해, 어떤 문장이 처음부터 AI가 쓴 것인지, 사람이 얼마나 고쳤는지, AI 제안을 받았지만 실제로는 쓰지 않은 부분이 어디인지를 문서 위에 표시해준다. 많이 수정한 부분에는 '지우개 가루' 같은 흔적이 붙고, AI가 처음 생성한 문장에는 '마스킹테이프' 표시가 남는다. AI가 만든 문장을 나중에 지운 경우에는 '접착제 자국', AI에 물어봤다가 채택하지 않은 경우에는 '유령 글자'처럼 보이게 하는 식이다.
기존 AI 탐지기는 완성된 글을 분석해 "AI 사용 비율이 몇 %"라고 추정하는 방식이었다. 하지만 이런 방식은 정확도 논란이 많았고, 학생이 실제로 어떤 과정을 거쳐 글을 완성했는지는 보여주지 못했다. AI를 참고만 했는지, 초안을 맡겼는지, 제안을 받았다가 버렸는지 구분도 어려웠다. 드래프트마크스는 이런 한계를 보완해 AI 개입의 흔적과 인간의 판단 과정을 함께 보여주는 데 초점을 맞췄다.
연구팀은 먼저 교사 21명을 대상으로 학생 글을 읽을 때 무엇을 보고 학습, 수정, 독창성을 판단하는지 관찰해, 어떤 내용을 표시해야 하는지 설계했다. 이후 학생, 교사, 기자, 일반 독자 등 70명을 대상으로 드래프트마크스 표시가 적용된 문서를 읽게 했더니, 교사들이 AI가 어느 지점에서 얼마나 개입했는지, 학생이 어디서 자기 판단을 했는지에 주목한 것으로 나타났다.
연구진은 "이 도구가 AI를 사용한 학생을 잡아내기 위한 감시 장치가 아니라, 인간과 AI의 협업 과정을 더 투명하게 보여주는 도구가 되길 바란다"고 밝혔다. AI가 일상적인 글쓰기 도구가 된 시대에 "AI를 썼느냐, 안 썼느냐"보다 "AI를 어떻게 활용했고, 그 과정에서 학생이 어떤 판단을 했느냐"가 더 중요한 평가 기준이 돼야 한다는 것이다. AI의 등장으로 교육 현장에서는 학생의 실제 역량을 어떻게 가려내고 평가할지가 새로운 과제로 떠오르고 있다.