인공지능(AI) 기술 기업 스켈터랩스(대표: 조원규)는 자사의 한국어 AI 언어 모델이 한국어 기계독해(Machine Reading Comprehension, MRC) 데이터셋 ‘KorQuAD 1.0’ 기반 성능 평가에서 1위를 기록하고 있는 것에 이어, ‘KorQuAD 2.0’에서도 1위를 기록했다고 밝혔다.
‘KorQuAD 1.0’은 LG CNS가 만든 데이터셋으로 얼마 전 외부에 공개해 이를 기반으로 언어모델을 평가받는다. 위키백과를 기반으로 기계독해 언어모델을 평가한다.
기계 독해란 인공지능이 주어진 문서를 빠르게 이해하여, 문서 내에서 질문에 최적화된 답변을 찾아내는 기술이다.
스켈터랩스 AI 언어 모델은 정밀도(Precision)와 재현율(Recall)을 종합적으로 고려한 수치인 F1 스코어 88.09점, 모델이 정답을 정확히 맞춘 데이터의 비율을 뜻하는 EM 스코어 76.64점을 기록했다.
두 스코어 모두 독해 문제를 사람이 직접 풀었을 때의 수치는 물론, 기존 KorQuAD 2.0 리더보드(leaderboard)에 기록된 모든 AI 언어 모델의 성능을 큰 점수차로 뛰어넘었다.
KorQuAD 2.0은 LG CNS에서 공개한 한국어 기계독해 데이터셋으로 KorQuAD 1.0 대비 보다 긴 분량의 문서가 포함되어 있으며, 단순 자연어 문장 뿐 아니라 복잡한 표와 리스트 등을 포함하는 HTML 형태로 표현되어 있어 문서 전체 구조에 대한 이해가 필요하다.
스켈터랩스는 기존 KorQuAD 1.0 기반 성능평가에서 1위를 기록한 경험을 바탕으로, 복잡하고 다양한 형태와 길이의 문서들에서도 뛰어난 성능의 기계독해를 가능하게 한 AI 언어 모델을 자체 프레임워크 기반으로 고도화시켜 왔다.
한편, 스켈터랩스는 KorQuAD 성능평가를 통해 입증한 기계독해 기술력으로, 과학기술정보통신부/IITP(정보통신기획평가원)에서 주관하는 ICT 혁신기업 기술개발 지원 사업에 선정됐다.
이번 KorQuAD 2.0 데이터셋 기반 연구도 해당 지원 사업을 통해 진행되었으며 추후 한국어 자연어 분석 과제에 범용적으로 쓰일 수 있는 AI 언어 모델을 구축하고, 기계독해 챗봇 빌딩을 지원하는 플랫폼을 만들 예정이다.
스켈터랩스 조성진 CTO는 “한국어 기계독해 성능을 객관적으로 평가할 수 있는 공개 데이터셋 2가지 버전 모두에서 스타트업으로서유수의 대기업들보다 큰 점수차로 앞선 1위를 달성하게 되어 자랑스럽다”며, “한국어 자연어이해(NLU) 분야에서 검증받은 높은 기술력을 바탕으로, 영어, 일본어 등 다른 언어에서도 탁월한 기술 성과를 낼 수 있도록 노력할 것”이라고 말했다.
스켈터랩스는 올해 하반기 내 자체적으로 구축하고 있는 일본어 기계독해 데이터셋을 공개할 예정이며, 기계독해, 챗봇 빌더, 음성인식 및 음성합성 솔루션을 포함한 자사 대화형 AI 솔루션 AIQ.TALK을 기업들이 클라우드 기반으로 즉시 비즈니스에 적용할 수 있는 AIaaS(AI as a Service, 서비스형 AI) 플랫폼을 출시할 예정이다.
Copyright ⓒ 이데일리 무단 전재 및 재배포 금지
