적은 양의 음성 및 텍스트 데이터를 활용한멀티 모달 기반의 효율적인 감정 분류 기법 (Efficient Emotion Classification Method Based on Multimodal Approach Using Limited Speech and Text Data)

서지정보

· 발행기관 : 한국정보처리학회
· 수록지 정보 : 정보처리학회 논문지 / 13권 / 4호 / 174 ~ 180페이지
· 저자명 : 신미르, 신유현

초록

본 논문에서는 wav2vec 2.0과 KcELECTRA 모델을 활용하여 멀티모달 학습을 통한 감정 분류 방법을 탐색한다. 음성 데이터와 텍스트 데이터를함께 활용하는 멀티모달 학습이 음성만을 활용하는 방법에 비해 감정 분류 성능을 유의미하게 향상시킬 수 있음이 알려져 있다. 본 연구는 자연어처리 분야에서 우수한 성능을 보인 BERT 및 BERT 파생 모델들을 비교 분석하여 텍스트 데이터의 효과적인 특징 추출을 위한 최적의 모델을선정하여 텍스트 처리 모델로 활용한다. 그 결과 KcELECTRA 모델이 감정 분류 작업에서 뛰어난 성능이 보임을 확인하였다. 또한, AI-Hub에 공개되어 있는 데이터 세트를 활용한 실험을 통해 텍스트 데이터를 함께 활용하면 음성 데이터만 사용할 때보다 더 적은 양의 데이터로도 더 우수한성능을 달성할 수 있음을 발견하였다. 실험을 통해 KcELECTRA 모델을 활용한 경우가 정확도 96.57%로 가장 우수한 성능을 보였다. 이는 멀티모달학습이 감정 분류와 같은 복잡한 자연어 처리 작업에서 의미 있는 성능 개선을 제공할 수 있음을 보여준다.

영어초록

In this paper, we explore an emotion classification method through multimodal learning utilizing wav2vec 2.0 and KcELECTRA models.
It is known that multimodal learning, which leverages both speech and text data, can significantly enhance emotion classificationperformance compared to methods that solely rely on speech data. Our study conducts a comparative analysis of BERT and its derivativemodels, known for their superior performance in the field of natural language processing, to select the optimal model for effective featureextraction from text data for use as the text processing model. The results confirm that the KcELECTRA model exhibits outstandingperformance in emotion classification tasks. Furthermore, experiments using datasets made available by AI-Hub demonstrate that theinclusion of text data enables achieving superior performance with less data than when using speech data alone. The experiments showthat the use of the KcELECTRA model achieved the highest accuracy of 96.57%. This indicates that multimodal learning can offer meaningfulperformance improvements in complex natural language processing tasks such as emotion classification.

참고자료

· 없음