토픽 모델링을 활용한 대학생의 서술형 강의평가 분석 (Analysis of Students’ Open-Ended Course Evaluation Using Topic Modeling)

서지정보

· 발행기관 : 서울대학교 교육연구소
· 수록지 정보 : 아시아교육연구 / 20권 / 2호 / 491 ~ 522페이지
· 저자명 : 곽민호, 민혜리, 김미림

초록

이 연구는 토픽 모델링(topic modeling)의 일종인 잠재 디리클레 할당(latent Dirichlet allocation, 이하 LDA)을 활용하여 S대학교의 학생들이 작성한 강의평가 응답을 분석함으로써 학생들이 갖고 있는 강의에 대한 생각을 보다 직접적으로 알아보고자 하였다. 이를 위해 2015년 1학기에 개설된 약 1,500개 강의에 대해 학생들이 ‘강의에서 개선되어야 할 점’과 ‘강의에서 좋았던 점’에 대해 서술한 약 47,000개의 응답 내용을 LDA를 활용해 분석하였다. 아울러, 6개의 단과대학(공과대학, 농업생명과학대학, 사범대학, 인문대학, 사회과학대학, 자연과학대학) 강의의 개선되어야 할 점, 좋았던 점에 대해 분석하였다.
분석 결과, 첫째, ‘강의에서 개선되어야 할 점’과 ‘강의에서 좋았던 점’ 모두 3개 주제 모형이 가장 적합한 것으로 나타났다. 먼저, ‘강의에서 개선되어야 할 점’은 1) 과제·실험·실습에 대한 개선사항, 2) 발표·토론에 대한 개선사항, 3) 시험·진도·수업내용에 대한 개선사항의 세 가지 주제로 나타났다. 다음으로, ‘강의에서 좋았던 점’은 1) 교수자·교수방법에 대한 긍정적 피드백, 2) 직접적 경험·실습에 대한 긍정적 피드백, 3) 강의내용에 대한 긍정적 피드백의 세 가지 주제로 나타났다. 둘째, 단과대학별 분석 결과, 단과대학별로 나타난 주제의 의미는 대체적으로 전체 대학 자료를 분석했을 때와 비슷했으나, 하나의 주제 정도가 단과대학의 특성을 반영하고 있는 것으로 나타났다.
이 연구는 강의평가의 선택형 문항 분석에 치중하였던 기존 연구와 달리, 토픽 모델링을 활용함으로써 대량의 서술형 강의평가 자료를 효율적으로 요약하였으며, 이를 통해 강의 전반에 대한 학생들의 인식을 보다 직접적이고 종합적으로 살펴볼 수 있었다는 의의를 갖는다.

영어초록

This study used a latent Dirichlet allocation (LDA) which is one of the types of topic modeling to analyze the students’ open-ended responses regarding the survey of course evaluations. The survey asked the students to describe the unsatisfied and desirable aspects of the courses. 47,000 responses for 1,500 courses in the first semester of 2015 at S University were analyzed. The college-level analysis was performed as well.
The results of this study are as follows. First, the model selection results based on DIC suggested that three-topic model was most suitable for both students' positive and negative feedbacks about course evaluations. Specifically, the three topics of negative feedback are as follows: 1) Improvements of tasks, experiments, and exercises; 2) Improvements of presentations and discussions; 3) Improvements of the test, progress, appear. Also, the analysis of the desirable aspects suggested three main topics: 1) positive feedback on teaching and teaching methods, 2) positive feedback on direct experience and practice, and 3) positive feedback on the quality of the lecture. Second, for the result of the college-level analysis, except a topic reflecting characteristics of each college, the extracted topics from the responses of each college were similar to the topics extracted from the whole combined responses.
This study differs from the previous studies focusing on the analysis of the selected responses regarding course evaluation in that it mainly focused on the open-ended responses of the students. As a result, The study might reveal the positive and negative feedbacks of the course evaluation which the previous studies have not suggested yet.

참고자료

· 없음