사람과 AI 모델 간의 화행 주석 개선 방향 연구 (Improving Speech Act Annotation Based on Human-AI Model Agreement)

서지정보

· 발행기관 : 한국어문교육연구회
· 수록지 정보 : 어문연구(語文硏究) / 52권 / 1호 / 71 ~ 92페이지
· 저자명 : 송영숙, 조원익

초록

본 연구에서는 사람과 인공지능 모델의 협업 시스템 구축을 통해 자동 화행 주석의 품질을 높이고자 하였다. 이를 위해 국립국어원 메신저 말뭉치(2022)에서 총 33,138 문장을 선별해서 사람과 GPT-4 모델을 통해 주석을 한 후 RoBERTa 모델을 사용해서 분류 정확도를 평가하였다. 사람이 주석한 메신저 말뭉치의 정확도 평가 점수는 85.50인데 비해 사람과 GPT-4 모델이 모두 주석한 경우만으로 정확도를 평가한 경우 GPT-4 모델이 가장 자주 틀리는 주석의 범주는 '냉소/유머'였다. 이렇게 불일치를 보이는 경우를 제외하고 모델과 인간의 주석이 일치하는 문장으로만 분류 모델을 통해 성능 실험을 했을 때 정확도 점수는 95.32로 매우 높은 정확도를 보였다.

영어초록

In this study, we aim at improving the quality of speech act annotation by identifying and analyzing the annotation agreement between humans and the GPT-4 model to identify the categories of speech acts that the GPT-4 model frequently misclassifies. For this purpose, we selected a total of 33,138 sentences from the National Institute of Korean Language’s Messenger corpus (2022). The annotation was performed by human annotators and the GPT-4 model, and the classification accuracy was evaluated using the RoBERTa model. The accuracy score for the human-annotated messenger corpus is 85.50, while the accuracy score for the cases where both humans and the GPT-4 model annotated identically is 96.32. In particular, the category of speech acts that the GPT-4 model most frequently misclassifies is “sarcasm/humor.” This is likely due to highly frequent expressions such as “ㅋㅋㅋ ” (lol) in the messenger corpus, which causes the model to incorrectly analyze even “Statement” as “sarcasm/humor.” For example, even when a human annotator classified the utterance “I have snacks and ramen. ㅋㅋㅋ” as “Statement”, the GPT-4 model misclassified it as “sarcasm/humor.” In an experiment conducted using only the sentences where the model and human annotators agreed, the accuracy score reached 95.32. Instead of merely discussing annotator agreement for newly proposed corpora, it is necessary to distinguish speech acts that are difficult to annotate from those that are relatively easy. Furthermore, within these categories, it is essential to select sentences that are challenging to automatically annotate and conduct research focused on more challenging areas.

참고자료

· 없음