검색 증강 생성 기반 거대언어모델을 이용한 대학 학습관리시스템 학생 질의응답 챗봇 (A Student Service Chatbot for Learning Management System at University using Retrieval-Augmented Generationbased Large Language Model)

서지정보

· 발행기관 : 한국방송∙미디어공학회
· 수록지 정보 : 방송공학회 논문지 / 29권 / 5호 / 581 ~ 595페이지
· 저자명 : 이재승, 이종민, 유제혁

초록

학습관리시스템(LMS)은 학업의 전반적인 과정을 관리하고 지원하는 시스템으로서 대학 교육 운영에 있어 중요한 역할을 하고 있다. 이때, 대학은 LMS에서 학습 활동을 지원하기 위해 챗봇을 운영하고 있다. 하지만, 기존의 챗봇은 상담원이 질문에 대해 수기로답변하였기에 비효율성이 발생하였다. 최근 자연어 처리와 거대언어모델(LLM)의 발전으로, 인공지능 기반 챗봇의 연구가 활발하다.
본 논문은 LMS에서의 학생 질의에 대하여 검색 증강 기반 LLM을 이용하여 자동으로 답변을 제공하는 챗봇을 제안한다. 먼저, 챗봇을 운영하며 축적된 채팅 데이터에 대해 임베딩 모델을 이용하여 검색 데이터셋을 구축한다. 이후, 새로운 질의가 챗봇에 입력되면 검색 데이터셋에서 가장 연관성이 높은 데이터를 추출하고, 이에 대한 신뢰성 검증 결과를 LLM의 입력으로 이용하여 답변을 생성한다.
본 챗봇을 다양한 질문으로 실험한 결과, 챗봇이 질문의 의도를 이해하며 명확한 답변을 제공할 수 있음을 확인하였다.

영어초록

Learning management system (LMS) plays a crucial role in managing and supporting students' educational activities. In thiscontext, the university operates a chatbot within the LMS to aid learning activities. However, existing chatbot is less efficientbecause it relies on human counselors to manually respond to inquiries. With the recent development of natural languageprocessing and large language model (LLM), there is a growing research in artificial intelligence-based chatbot. In this paper, wepropose a chatbot that automatically responds to student’s question in the LMS using retrieval-augmented LLM. First, we constructa retrieval dataset from the accumulated chat data using an embedding model while operating the chatbot. Then, when a newquestion is entered, the chatbot extracts the most relevant data from the dataset. It generates the response by inputting theconfidence check result of the extracted data into the LLM. Testing the chatbot with various questions confirmed that itunderstands the questions' intent and provides clear answers.

참고자료

· 없음