GPT-3.5-Turbo와 Gemini-Pro보다 높은 평균 점수 기록
한국서 확인한 소버린 AI 경쟁력으로 글로벌 진출 가속화
네이버클라우드는 하이퍼클로바X(HyperCLOVA X)가 한국판 AI 성능 평가 체계 ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’에서 높은 점수를 기록하며 소버린 AI로서 우수한 성능 경쟁력을 확인할 수 있었다고 27일 밝혔다.
KMMLU는 국내의 대표적인 오픈소스 언어모델 연구팀인 ‘해례(HAE-RAE)’가 이끈 AI 성능 평가 지표 구축 프로젝트다. 인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만 5030개 문항으로 구성되어 있다. AI의 보편적 능력과 로컬 지식을 고르게 측정해 한국 사용자에게 유용한 AI를 종합적으로 판단할 수 있다.
KMMLU 연구 논문에 따르면 하이퍼클로바X는 오픈AI의 GPT-3.5-Turbo와 구글의 Gemini-Pro보다 높은 점수를 기록하며, 일반 지식(General Knowledge)과 한국 특화 지식(Korea-Specific Knowledge)을 종합한 전반적인 성능이 글로벌 빅테크의 AI와 경쟁할 수 있는 수준임이 확인됐다. 한국 특화 지식 기준으로는 오픈AI의 GPT-4보다도 높은 점수를 기록해, 교육, 법률 등 로컬 정보의 중요성이 큰 산업 분야에서는 하이퍼클로바X가 가장 유용할 수 있음을 보였다.
네이버클라우드는 KMMLU를 통해 입증된 하이퍼클로바X의 성능 경쟁력을 바탕으로, 하이퍼클로바X를 보안과 성능을 모두 갖춘 ‘소버린(Sovereign) AI’ 솔루션으로 발전시켜나가겠다는 계획이다.
성낙호 네이버클라우드 하이퍼스케일(Hyperscale) AI 기술 총괄은 “자국어 중심 AI에 대한 전세계적 수요가 관찰되는 만큼, 한국에서 확인한 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것”이라고 말했다.
