애플의 ‘온디바이스 및 서버 파운데이션 모델 성능 보고서’가 공개됐다.
13일 업계에 따르면 애플은 보고서에서 ‘인간 만족도(Human Satisfaction)’ 벤치마크 점수를 공개하면서 MS, 구글 등 생성형 AI 기술에서 앞선 것으로 평가받는 기업의 AI보다 자사가 사용처에 맞게 모듈화한 AI 기능이 높은 만족도를 보였다고 설명했다. 애플은 자사 모델이 파이-3, 구글 젬마, 오픈AI GPT-4 터보보다 인간 채점자들에게 선호됐다고 설명했다.
30억개의 매개변수를 가진 온디바이스 모델은 파이-3 미니, 미스트랄-7B, 젬마-7B 등 더 큰 모델보다 성능이 뛰어나며, 서버 모델은 데이터브릭스의 DBRX-인스트럭트, 미스트랄-8x22B, GPT 3.5 터보보다 유리하고 효율적이라고 설명했다. 애플은 평가 방식에 대해 ‘신중하게 샘플로 취해진 응답 세트 750개’를 사용했다고 밝혔다.
이에 대해 업계 등에서는 지식과 추론, 기초 수학 능력 등 AI 모델 성능을 평가할 때 일반적으로 사용되는 표준 벤치마크가 아닌 자체 벤치마크로 평가한 것이 적절하지 않다는 지적이 나온다. 애플이 자체 개발한 비공개 AI 모델과 이미 공개된 타 기업의 모델을 비교했기 때문에 외부에서는 실험 결과를 재현하거나 검증하려 해도 방법이 없는 ‘베일’에 쌓인 결과라는 이유에서다.
모델의 정확도 지표를 사람의 주관적인 평가로 결정했는데, 평가에 참여한 이들이 몇 명이고 어떤 특징의 분포를 갖는지 공개하지 않았을 뿐 아니라 평가의 구체적인 방법을 공개하지 않은 점도 지적됐다.
한편으로는 애플이 보고서에서 평가한 대상이 단순 AI 파운데이션 모델이 아니라 AI 모델을 요약, 이모티콘 생성 등 사용처에 따라 모듈형으로 변형했을 때 성능이어서 구글, MS 등 다른 기업에 앞선다고 자체 평가할 수 있다는 해석도 나온다. 보고서 역시 비판받을 가능성을 의식한 듯 “앞으로 알려지지 않은 피해를 파악하는 조사와 추가적인 개선을 안내하는 평가를 확대할 계획”이라고 덧붙였다.