감성분석을 위한 문맥 기반 임베딩을 이용한 온라인 딥러닝 기법 (An Online Deep Learning Technique Using Contextual Embedding for Sentiment Analysis)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 35권 / 1호 / 86 ~ 95페이지
· 저자명 : 신승엽, 김한준

초록

지속적으로 생성되는 대용량의 텍스트 데이터를 텍스트 스트림이라 한다. 이러한 텍스트 스트림에 대한 감성분석은 대중의 반응을 파악하는 효과적인 방법이다. 감성분석 딥러닝 모델의 실시간 구축 및 개선을 위해서는 온라인 학습이 요구된다. 하지만 온라인 학습은 데이터를 학습에 한번만 사용하고 학습 과정은 신속히 이루어져야 한다는 제약을 가진다. 이러한 제약 하에서 감성분석 모델은 적정한 단어 임베딩을 이용해야 한다. 기존 GloVe와 같이 문맥과 무관한 단어 임베딩은 주제가 변하는 텍스트 스트림 환경에 적합하지 않다.
또한, 미세조정 접근법은 학습 과정에 임베딩 층의 가중치를 업데이트한다는 점에서 온라인 학습 속도를 느리게 만드는 문제가 있다. 본 논문은 문맥 기반 임베딩을 특징 추출 접근법으로 이용하여 감성분석 모델을 온라인 학습하는 기법을 제안한다. 이를 위해 기존 BERT(Bidirectional Encoder Representations from Transformers) 언어 모델을 사전 훈련된 문맥 기반 단어 임베딩(pre-trained contextual word embedding)으로 이용한다. 실험을 통해 소규모 데이터에 대한 온라인 학습만으로 충분한 정확도의 향상이 이루어짐을 보인다.

영어초록

A large amount of continuously generated text data is called a text stream. Sentiment analysis of these text streams is an effective way to capture public opinion. Online learning is required to construct and improve the deep learning model for sentiment analysis in real time. However online learning has constraints that data should be trained only once and the learning process must be done quickly. Under these constraints, sentiment analysis model should use the appropriate word embedding. Non-contextual word embedding like GloVe is not appropriate for sentiment analysis in a subject-changing text stream environment. And the fine-tuning approaches have the problem of slowing the speed of online learning in that it updates the weights of the embedding layers during the learning process. we propose online deep learning technique using contextual embedding as a feature extraction approach for sentiment analysis. we use the BERT(Bidirectional Encoder Representations from Transformers) as pre-trained contextual word embedding and build sentiment analysis model by online learning. Experiments show that it is possible to have good performance by online learning of small data.

참고자료

· 없음