프롬프트 분해와 다중 과제 학습 기법을 통한 긴 문서 내 관계 추출 강화 방법 (Enhancing Relation Extraction for Long Documents with Prompt Decomposition and Multi-task Learning)

서지정보

· 발행기관 : 한국디지털콘텐츠학회
· 수록지 정보 : 디지털콘텐츠학회논문지 / 24권 / 12호 / 3131 ~ 3141페이지
· 저자명 : 조성웅, 오흥선

초록

문서 단위 관계 추출 연구는 문서 내 중요한 정보와 해당 정보들의 관계를 찾는 것이 목적이다. 기존의 연구들은 문장 또는 단락 단위의 짧은 문서를 대상으로 문장 수준 관계 추출 모델을 확장하거나 긴 문서를 대상으로 사전 학습 모델 기반 방법을 연구하였다. 하지만, 입력 텍스트 길이가 제한된 사전 학습 모델의 사용은 긴 문서를 분할 하여 다루게 되고 정보 고립화 문제를 일으킨다. 이를 극복하기 위하여, 본 논문에서는 과제 분해, 프롬프트 설계 그리고 다중 과제학습을 적용하여 관계 추출을 수행하는 MaV(Multi-aspect Verifier)를 제안한다. MaV는 긴 문서를 짧은 단위 텍스트로 분할 하여 결과를 얻고 두 단계 검증을 이용하여 최종 결과를 조합한다. 이를 통해 기존의 사전 학습 모델을 변경 없이 사용할 수 있으며 정보 고립화를 해소할 수 있다. 제안 방법을 벤치마크 데이터에 적용하고 최신 연구와 비교하여 우수성을 검증하였다.

영어초록

Document-level Relation Extraction (RE) identifies relationships between important information within a document. Previous research has evaluated methods based on sentence-level relation extraction models for short documents, such as sentences or paragraphs, and a Pre-trained Language Model (PLM) for longer documents. However, using PLM with a limited input text length can result in the problem of information isolation because the final outputs are concatenated with the results of small unit texts. To address this issue, this study proposes the Multi-aspect Verifier (MaV), which performs relation extraction using task decomposition, prompting, and multi-task learning. MaV predicts the final relation by splitting long documents into shorter input texts, obtaining all possible answers, and combining the answers through a two-step verification process. This allows the existing small PLM to be utilized without modification and solves the problem of information isolation. The superiority of the proposed model is demonstrated through experimentation and comparison with existing studies on a benchmark dataset.

참고자료

· 없음