OpenAI 게 섰거라

페이스북, 인스타그램, 스레드 등을 운영하고 있는 곳으로 유명한 메타가 자신들의 대표적인 생성형 AI 모델인 라마(LLaMA) 업데이트 소식을 전했습니다. 메타는 이번 소식을 전하면서 "라마 3은 다른 모델과 비교(벤치마크)했을 때 최고의 성능을 보였습니다. 추론 기능을 포함해 동급 최고의 오픈소스 모델입니다."라고 발표했는데요. 잠시 벤치마크 기록을 살펴보면 다음과 같습니다.

먼저, 라마 3은 파라미터 수에 따라 8B(80억 개), 70B(700억 개) 두 개의 버전으로 공개했습니다. 여기서 말하는 파라미터란 복잡한 요청에도 더욱 정확한 답변을 내기 위한 함수 정도로 보시면 되는데요. 통상적으로 파라미터가 클수록 성능이 좋아지기 때문에 비슷한 파라미터수를 가진 모델들과 성능을 비교하는 것이 일반적으로, 라마 3 역시 작은 모델과 큰 모델을 나누어서 벤치마크를 실시했습니다. 

결과는 보시는 것처럼 각각 대부분의 지표에서 가장 높은 성능을 기록했습니다. 참고로, 비교군으로 선정된 모델들은 현시점에서 가장 높은 성능을 자랑하는 모델들로 'Gemma'와 'Gemini Pro 1.5'는 구글의 모델이며, 'Claude 3 Sonnet'은 OpenAI의 최대 경쟁사인 앤쓰로픽(Anthropic)의 모델입니다.

벤치마크에서 주목할 점은 역시 가장 위에 있는 MMLU 항목입니다. MMLU란 Massive Multitask Language Understandig의 약자로 과학, 기술, 공학, 수학, 인문학, 사회과학 등 약 57개의 분야의 질문들을 기반으로 AI 모델을 평가하는 것을 말하는데요. 이는 AI를 평가하는 가장 대표적인 지표 중 하나로, 해당 지표에서 가장 높은 성능을 기록했기에 자신들이 최고의 성능이라 발표한 거라 볼 수 있습니다.