자동분석기와 언어규칙 기반 한국어 형태-구문 부착 말뭉치 반자동 구축 방법 (Semi-Automatic Construction of Korean Morpho-syntactically Annotated Corpus using Automatic Analyzers & Linguistic Rules)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 19권 / 8호 / 17 ~ 26페이지
· 저자명 : 류법모, 오효정

초록

본 논문에서는 복수의 자동 언어 분석기와 언어규칙을 활용하여 반자동으로 한국어 형태 및 구문 부착 말뭉치를 구축하는 방법을 제안한다. 약 6억5천만 토큰 규모의 한국어 원시말뭉치를 대상으로 한국전자통신연구원과 울산대의 형태 및 구문 분석기를 이용하여 자동으로 분석하였고, 자동 형태소 분석 결과를 언어규칙 및 예제기반으로 정규화한 후에 두 분석기의 결과가 동일한 문장을 추출하였다. 이후 자동 구문분석 결과의 일관성 오류를 수정한 후 분석결과를 비교하여 최종적으로 약 8,300,000문장 81,500,000토큰 규모의 대용량 형태 및 구문 부착 말뭉치를 CoNLL-U 형식으로 구축하여 GitHub에 공개하였다. 형태소 부착 말뭉치에 대한 수작업 평가에서 토큰 기준 99.12%, 문장 기준 92.00%의 정확도를 보였으며, 구문부착 말뭉치의 경우 LAS와 UAS 모두 토큰 기준 98.00% 이상의 정확도를 보였다.

영어초록

In this paper, we propose a semi-automatic method to construct a Korean Morpho-syntactically annotated corpus using automatic language analyzers and linguistic rules. We automatically analyzed the Korean raw corpus of about 650 million tokens using morpho-syntactic analyzers of ETRI and Ulsan University. After normalizing the results of morphological analysis using linguistic rules and example rules, sentences with the same results of both analyzers were extracted. After correcting the consistency errors of the automatic syntactic analysis results, the results were compared to construct a large-scale morpho-syntactically annotated corpus of about 8,300,000 sentences and 81,500,000 tokens. We finally converted the corpus into CoNLL-U format and published it on GitHub. In the evaluation of the morpheme annotated corpus, the accuracy was 99.12% on token basis and 92.00% on sentence basis. For syntactically annotated corpus, both LAS and UAS showed higher than 98.00% accuracy on token basis.

참고자료

· 없음