- 김호중 "4㎏ 감량한 전현무, 이제 우리과 아냐"뉴시스
- 김호중 "4㎏ 감량한 전현무, 이제 우리과 아냐"뉴시스
- 美, 대형트럭도 전기차 전환 가속화···배출가스 기준 강화뉴시스
- '나솔' 19기 영식, "옥순아 사랑해" 뜬금 고백뉴시스
- 신수지, 초미니 밀착 원피스로 뽐낸 섹시美[★핫픽]뉴시스
- ILO, '전공의 업무개시명령' 의견요청···정부 "공식 절차 아냐"(종합2보)뉴시스
- "지금까지 결혼 못 했지?"···김지석, 팩트 폭행에 '울컥'뉴시스
- 박정훈 측, '항명' 재판에 이종섭 전 장관 증인 신청뉴시스
- '장동건♥' 고소영 "혼전 출산 루머에 충격···너무 화났다"뉴시스
- 최수종 "♥하희라와 밥먹다가도 설레면 상 엎는다"뉴시스
ETRI, 사람 대화까지 이해하는 AI···언어분석 API 공개
입력 2020.08.07. 01:17 댓글 0개기존 모델 대비 최대 41%에 달하는 오류감소율
타 오픈소스 라이브러리 대비 10% 더 우수한 성능
[서울=뉴시스] 오동현 기자 = 국내 연구진이 기존의 문어체 언어분석 기술을 고도화한 구어체 언어분석 API를 공개했다.
이로써 글을 이해하는 인공지능(AI)을 넘어 사람의 말까지 이해할 수 있는 AI 서비스 개발에 박차가 가해질 전망이다.
한국전자통신연구원(ETRI)은 위키백과 및 법령 등 문어체를 주로 이해하는 기존 언어분석 기술을 확장해 사람의 대화 분석오류를 최대 41% 개선하고 정확하게 이해할 수 있는 구어체 언어분석 기술을 관련 사이트에 공개했다고 6일 밝혔다.
ETRI가 개발한 '엑소브레인(Exobrain)'은 현재 '한컴오피스 2020'에 탑재되는 등 이미 상용화가 이뤄진 AI로 ▲언어분석 기술 ▲딥러닝 언어모델 기술 ▲질의응답 기술 등이 적용됐다.
특히 언어분석 API는 2017년 10월 공개 이후 일 평균 2만 6000건 등 총 2600만 건에 이를 만큼 학계 및 언어처리 분야 연구자들에게 널리 사용되고 있다.
나아가 연구진은 기존 문어체 기술을 고도화해 사람의 대화까지 정확하게 이해할 수 있는 구어체 언어분석 기술을 개발하는 데 성공했다. 이로써 관련산업 생태계를 활성화하고 AI비서, 챗봇 등 AI 서비스 개발이 한층 가속화될 전망이다.
ETRI가 공개한 구어체 언어분석 기술은 크게 ▲형태소분석 기술 ▲개체명 인식 기술 두 가지다. ETRI가 공개한 기술은 TTA 표준 가이드라인을 따르며, 형태소 태그는 47개, 개체명 태그는 146개다.
형태소분석 기술은 한국어 의미의 최소 단위를 분석하는 기술로 한국어 처리에 필수적으로 활용된다.지난해 코버트(KorBERT) 딥러닝 언어모델의 기본 입력으로 적용해 많은 기업에서도 ETRI 제안 방법과 같이 형태소분석에 기반한 딥러닝 언어모델 기술을 활용 중이다.
개체명 인식 기술은 문장 내 고유 대상과 그 의미를 인식하는 기술로 AI스피커와 챗봇 등 다양한 언어처리 서비스에서 활용도가 높은 기술이다.예를 들어, '국민은행'이라는 단어가 '국민'이라는 명사와 '은행'이라는 명사의 결합이 아닌 고유 은행 명칭이라는 점을 인식하는 기술이다.
연구진은 구어체 언어분석의 어려운 점은 과업 자체의 난이도와 학습데이터 부족에 있다고 설명했다.예컨대 "경상도인데"를 "경상돈데"라고 구어체로 표현하는 경우, 기존 형태소분석 기술은 '경상도+인데'라는 축약 표현을 인식하지 못한 채 '경상돈+데'라고 분석하는 것이다.
또한 기계학습 및 딥러닝 기술이 대규모 학습데이터를 필요로 하는 데 반해 구어체 분야는 데이터 확보조차 어렵다는 문제가 있다.실제 개체명 인식 학습데이터의 경우, 문어체는 약 27만 건이지만 구어체는 1/10 수준인 2만 5000건 수준에 불과했다.
연구진은 전이학습(transfer learning)과 데이터 증강(data augmentation) 기법을 활용해 학습데이터 부족 한계를 극복해냈다.전이학습과 데이터 증강 기법은 학습 데이터가 부족한 환경에서 딥러닝 기술 한계를 극복하기 위한 기술로 이미 존재하는 타 분야의 학습 모델과 소량의 학습데이터를 재사용하는 방식으로 학습이 이뤄진다.
그 결과, 본 구어체 언어분석 API는 기존 모델 대비 형태소분석과 개체명 인식 성능이 각각 5.0%, 7.6% 개선됐다. 아울러 41.74%, 39.38%에 달하는 오류감소율을 나타냈다.특히 형태소분석은 메캡(Mecab) 오픈소스 라이브러리 대비 10.6% 더 우수한 것으로 평가됐다.
ETRI 연구진은 구어체 언어분석 API와 더불어 기존 대비 성능을 개선한 문어체 언어분석 API도 추가로 공개했다.추가로 공개된 API는 형태소분석과 개체명 인식 기술이 각각 96.80%, 89.40%의 높은 정확도를 보였다.
ETRI 언어지능연구실 임준호 박사는 "기존 엑소브레인 언어분석 기술이 백과사전 및 법령을 분석하기 위한 목적으로 개발됐음에도 구어체 분야에 많이 적용되고 있었다"며 "이번 구어체 언어분석 API 공개로 언어분석의 정확도 및 신뢰도를 제고해 국내 AI 시장이 더욱 활성화되길 기대한다"고 밝혔다.
엑소브레인 사업단은 최근 3년간 기술이전 22건과 사업화 17건을 달성하며 외산 인공지능 솔루션의 국내시장 잠식을 막는 동시에 응용 서비스의 폭을 넓히는 데 힘쓰고 있다.추후 딥러닝 언어모델의 지속적인 성능 개선 및 추가 공개를 통해 AI 기술 고도화 및 플랫폼 개발에 기여할 계획이다.
해당 과제는 2013년부터 과학기술정보통신부와 정보통신기획평가원(IITP)의 혁신성장동력 프로젝트로 수행 중이며, ETRI가 총괄 및 1세부과제를 담당해 전체 세부과제를 이끌고 있다.
◎공감언론 뉴시스 odong85@newsis.com <저작권자ⓒ 공감언론 뉴시스통신사. 무단전재-재배포 금지.>
- 현대차, '봄맞이 캐스퍼 헬스 케어 클럽'서비스 실시 현대자동차가 캐스퍼 출고 고객을 위한 '봄맞이 헬스 케어 클럽'서비스를 실시한다. 현대차 제공 현대차는 캐스퍼 출고 고객 전용 '봄맞이 캐스퍼 헬스 케어 클럽' 서비스를 실시한다고 29일 밝혔다.'캐스퍼 헬스 케어 클럽'은 캐스퍼 출고 고객들을 위한 특별 무상점검 행사다.이번 서비스는 엔진룸, 타이어 공기압, 등화장치 등 차량 전반을 점검하는 '차량 진단 점검 서비스'와 워셔액, 와이퍼, 에어컨 필터 등 간단한 소모품을 교체해주는 '소모품 교환 · 보충 서비스'로 구성된다.케스퍼 헬스 케어 클럽은 4월 1일부터 ▲현대차 공식 홈페이지 ▲캐스퍼 공식 홈페이지 ▲마이현대 앱을 통해 서비스 신청을 할 수 있으며, 구체적인 일정과 장소는 4월 1일 오전 9시 이후 확인 가능하다. 신청 인원이 많을 경우에는 선착순으로 마감된다. 4월 20일 · 27일 양일간 하이테크센터를 비롯한 전국 주요 지역 25개소에서 진행될 예정이다.또한 현장에서 서비스를 받기 위해 대기하는 고객들이 직접 차량을 관리할 수 있도록 진공청소기, 차량 방향제, 타이어 광택제 등을 비치한 '셀프 케어 존'을 운영한다. '미션 존'도 운영해 간단한 세차 용품을 증정하는 퀴즈 이벤트와 주유 쿠폰 5만원 권을 증정하는 SNS 인증 추첨 이벤트를 진행한다.현대차 관계자는 "이번 서비스는 캐스퍼 출고 고객을 위한 특별 무상점검 행사로 참여 고객을 위한 다양한 이벤트와 경품도 마련했다"며 "캐스퍼 고객분들의 많은 관심과 참여 부탁드린다"고 말했다. 도철원기자 repo333@mdilbo.com
- · 삼성전자, 원격 제어 가능한 '비스포크 인덕션' 신제품 출시
- · 광주경제일자리재단·티몬, 소상공인 밀키트 상품 지원 MOU
- · 전남농협, 신안 임자농협서 농기계 순회수리 봉사
- · aT, 카타르 한상기업과 K-푸드 수출 확대 협약
- 1광주시가 알려주는 '벚꽃 명당' 어디?..
- 2밤에 열린 순천만국가정원 '나이트 가든투어' 시범 운영..
- 3[3월 4주] 사랑방 추천! 이달의 분양정보..
- 4회식 후 갑자기 사라진 남편···범인들의 정체는?..
- 5이정현 "식사 잘 못하는 ♥의사 남편, 도시락 2개 챙겨"..
- 6광주 2월 대형마트 중심 소비↑ 반면 건설수주 94%↓..
- 7HJ중공업 건설부문, 김완석 신임 대표이사 취임..
- 8광주 아파트매매가 2주연속 보합세···하락장 끝났을까..
- 9초1 금쪽이 "6년째 외할머니와 살아···엄마는 '영상 통화'로..
- 10부산항만공사, 사업실명제 대상 25개 사업 공개···뭐있나..