빅데이터 플랫폼 기반 동명이인 판별 기법 설계 (Design of Name Disambiguation Scheme Based on Big Data Platform)

서지정보

· 발행기관 : 한국콘텐츠학회
· 수록지 정보 : 한국콘텐츠학회 논문지 / 24권 / 1호 / 1 ~ 10페이지
· 저자명 : 김재우, 박진우, 김도우, 안진수, 유재수, 최도진

초록

현재 논문 및 특허 검색 사이트에서는 단순히 발간된 논문이나 특허를 열람하거나 이름 별로 등록된 연구 성과물을 모으는 기능만을 제공하고 있다. 하지만 동명이인 구분이 되지 않으면 연구 성과를 판단하는데 다소 번거로움이 따르게 된다. 따라서 이름 모호성 해결을 위한 다양한 연구가 진행되고 있다. 본 논문에서는 논문과 특허 데이터 바탕의 연구 성과물 동명이인 판별 기법을 설계 및 제안한다. 제안하는 기법은 대용량 데이터를 처리하기 위해서 빅데이터 처리 플랫폼인 Spark를 활용한다. 기존의 기법들과는 달리 실시간 수집 시스템을 구축하여 새로운 데이터를 수집 및 저장한다는 점에서, 새로 추가된 연구 성과물들을 반영할 수 있다. 그리고 동명이인 기법에 자주 활용되는 GCN과 HAC를 활용한다. 제안하는 기법은 논문과 특허 데이터 총 7,104,000건을 GCN 알고리즘에 학습하였을 경우, 단일 서버 환경 보다 분산 환경에서 약 1.21배 빠른 성능을 보이는 것으로 나타났다. 데이터 수가 많아질수록 Spark 클러스터를 통한 분산 처리의 효용성이 부각되었다.

영어초록

Currently, papers and patents search sites simply provide the function of browsing published papers and patents, or collecting research results registered by name. However, if the names of the same name are not distinguished, it becomes somewhat cumbersome to judge the research results. So, various studies are being conducted to resolve the ambiguity of the name called a name disambiguation. In this paper, we design and propose a name disambiguation scheme based on research results such as the papers and patents. The proposed scheme utilizes Spark that is a big data processing platform to process large amounts of data. Unlike existing schemes, it has the advantage of reflecting newly added research results in that new data are collected and stored by real-time collecting system. And we utilize GCN and HAC, which are populary used in existing name disambiguation studies. The proposed scheme shows that when a total of 7,104,000 papers and patents data are learned by the GCN algorithm, it performs about 1.21 times faster in a distributed environment than in a single server environment. As the number of data increased, the effectiveness of distributed processing through Spark clusters becomes more prominent.

참고자료

· 없음