LG CNS, 한국어 AI 표준데이터 10만개 무료 개방

AI 테크톡 for NLU서 코쿼드 2.0 공개…장문 질문에도 AI가 답변 가능

[뉴스토마토 박현준 기자] LG CNS가 인공지능(AI)의 자연어 이해를 위한 한국어 표준데이터 10만여개를 제작해 무료로 개방한다. 

 

언어 AI 개발을 위해서는 AI 학습용 표준데이터가 필수적이다. 해외에서는 미국 스탠포드대학, 마이크로소프트(MS) 등이 제작한 영문 표준데이터가 AI 개발에 활용되고 있다. 하지만 국내는 한국어 표준데이터가 없어 영문을 번역하거나 자체적으로 데이터를 마련해야 했다.  

 

이에 LG CNS는 지난해 12월 위키백과 정보를 기반으로 AI 학습용 한국어 표준데이터 7만개가 탑재된 ‘코쿼드 1.0’을 제작해 공개했다. 공개 후 네이버, 카카오 등 국내 주요 AI 기업들과 AI 현업 종사자 등 50여개팀이 코쿼드를 사용한 AI 개발에 나섰다.

 

LG CNS는 5일 서울 강서구 마곡 LG사이언스파크에 국내 AI 전문가 300여명을 초청해 AI 커뮤니티 행사 'AI 테크톡 for NLU(자연어 이해)'를 열고 '코쿼드 2.0'을 공개했다. 코쿼드 2.0은 이전 버전의 한국어 표준데이터 7만개를 10만개로 확대하고 단답형에서 장문의 답변이 가능한 AI를 개발할 수 있도록 데이터를 강화한 버전이다. 

 

예를 들어 "대한민국의 수도와 그 면적은?"이라는 질문에 "서울특별시, 605.25㎢ 입니다"라고 답하는 AI는 코쿼드 1.0 학습만으로 개발 가능했다. 하지만 "서울특별시의 특징은?"이라는 질문에 "도시 중앙으로 한강이 흐르고 북한산·관악산·도봉산 등의 여러 산들로 둘러싸인…"이라는 장문의 답을 위해서는 코쿼드 2.0으로 AI를 학습시켜야 한다. 

 

코쿼드 2.0은 AI가 표나 리스트 형태에 담긴 정보도 읽어 답변할 수 있도록 표준데이터 범위도 확대했다. 한국어 표준데이터는 코쿼드 2.0 웹사이트에서 누구나 다운로드 가능하다. 

 

이날 행사에는 한국전자통신연구원(ETRI)·서울대·카이스트 등에서 연구진 및 교수진이 연사로 참석해 언어 AI 연구 성과 및 최신 기술 트렌드를 공유했다. 또 LG CNS의 코쿼드를 활용해 개발한 AI 모델의 성능평가를 받고 리더보드에 등재된 50여개 팀 중 현재 1위를 기록 중인 네이버 클로바AI팀이 참석해 AI 개발 제작기를 발표했다. 

 

현신균 LG CNS CTO(최고기술책임자) 부사장은 "응용분야가 무궁무진한 AI 언어 개발 분야에서 내부적으로 쌓은 데이터를 AI 업계 전체에 개방해 국내 AI 연구자들 간 상생을 위한 AI 개방형 생태계 조성에 기여할 것"이라고 말했다. 
 

박현준 기자 [e-mail]