메타가 대규모 인공지능(AI) 언어 모델(LLM)을 공개했다. 최근 마이크로소프트의 투자를 받은 오픈AI가 내놓은 챗GPT가 전 세계적인 열풍을 불러일으킨 가운데, 메타도 마침내 자신들의 언어모델을 공개하며 생성형 AI 경쟁에 뛰어든 것이다.
마크 저커버그 메타 최고경영자(CEO)는 24일(현지시각) 메타 블로그와 자신의 페이스북을 통해 'LLaMa(Large Language Model Meta AI)'라는 이름의 LLM을 공개했다. 저커버그는 "LLM은 텍스트 생성, 대화, 문서 요약에서부터 수학 정리, 단백질 구조 예측과 같은 더 복잡한 작업에 이르기까지 가능성을 보여줬다"며 "LLaMA는 연구자들의 업무를 돕기 위한 것으로 오픈 소스 형태로 제공할 것"이라고 설명했다.
챗GPT나 구글의 LLM인 '람다'와 달리 다른 연구자나 엔지니어들이 이용할 수 있도록 공개한다는 의미다. 메타의 AI부문 수석 과학자인 얀 르쿤 뉴욕대 교수는 LLaMA를 소개하며 '오픈 소스'라는데 방점을 뒀다. 얀 르쿤 교수는 "메타는 연구 결과를 개방하고 있고 모든 언어 모델을 연구자들의 커뮤니티에 공개하기 위해 최선을 다하고 있다"고 말했다.
LLaMA는 LLM에서 가장 중요한 파라미터(매개변수)의 수를 70억개, 130억개, 330억개, 650억개로 나눠서 운영할 수 있다. 오픈AI GPT-3.0의 파라미터 1750억개보다는 적지만, 더 효율적으로 가동할 수 있게끔 만들어졌다.
언어모델의 크기를 키우는 대신 날렵하면서도 빠르게 작동할 수 있는 게 특징이다. 그만큼 작동에 적은 에너지가 소요된다. 메타가 앞서서 선보였던 언어모델 OPT도 여러 단점이 있었지만, 에너지 효율 면에서는 GPT를 훨씬 앞선다는 평가가 있었다.
실제로 성능 면에서도 LLaMA는 GPT-3.0을 앞서는 것으로 보인다. 메타가 공개한 연구 결과를 보면 LLaMA(파라미터 650억개 기준)는 대부분의 평가지표에서 GPT-3.0을 능가하는 것으로 나왔다. 수리 추론 능력에서도 구글의 또다른 언어모델인 팜(PaLM)을 앞섰다. 하정우 네이버 AI랩 소장은 SNS에 올린 글에서 LLaMA에 대해 "모델 크기는 컴팩트하면서도 데이터를 많이 학습시켰다"며 "다른 (LLM) 모델에 비해 경쟁력이 있다"고 평가했다.
구글과 마이크로소프트의 경쟁으로 펼쳐지던 생성형 AI 경쟁에 메타가 뛰어들면서 경쟁은 더욱 치열해질 것으로 보인다. 오픈AI는 올해 안에 파라미터를 훨씬 늘린 GPT-4.0을 공개할 계획이고, 2017년 LLM의 기초가 된 트랜스포머 구조를 발표한 구글 역시 '코드 레드'를 발령하고 AI에 모든 업무의 초점을 맞추고 있다. 바이두, 알리바바 등 중국 ICT 기업들도 LLM을 이용한 생성형 AI 개발에 박차를 가하고 있다.
참고자료
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/