한국어 쓰기 평가를 위한 자동채점의 가능성 탐색 (Exploring the Feasibility in Applying an Automated Essay Scoring to a writing test of Korean language)

서지정보

· 발행기관 : 이중언어학회
· 수록지 정보 : 이중언어학 / 86호 / 171 ~ 191페이지
· 저자명 : 이용상, 신동광, 김현정

초록

이용상･신동광･김현정. 2022. 3. 30. 한국어 쓰기 평가를 위한 자동채점의 가능성 탐색. 이중언어학 86, 00-00. 본 연구에서는 SKA 쓰기 자동채점의 가능성을 탐색하기 위해 SKA 예비 평가 답안 및 채점 자료를 활용하여 기계학습을 통한 채점 모형 구축 및 점수 예측을 실시하였다. 기계학습은 대표적 지도학습 알고리듬 중 하나인 랜덤 포레스트를 사용하였으며, 채점 모형의 성능은 정확도, 정밀도, 재현율, F1, 카파 값을 통해 비교하였다. 연구 결과 채점 영역 중 ‘언어사용’ 영역과 ‘내용’ 영역에서의 채점 모형의 성능은 양호하게 나타났으며 이는 본 연구에서 활용한 기계학습에 대한 데이터가 매우 적고, SKA 쓰기 시험 문항에 특화된 채점 자질이 개발되지 않았음에도 불구하고 도출된 결과로 매우 고무적이라 할 수 있다. 특히 본 연구의 채점 모형을 이용하여 예측한 점수와 채점자가 부여한 점수 간의 상관 분석 결과, 두명의 채점자가 부여한 점수 간에 상관보다는 작게 나타났으나 그 차이가 약 .10 정도로 향후 충분한 기계학습용 데이터 확보와 채점 자질 최적화 그리고 채점 모형의 정교화를 통해 충분히 극복될 수 있는 수준인 것으로 판단된다.(인하대학교･광주교육대학교･세종학당재단)

영어초록

Lee, Yongsang·Shin, Dongkwang·Kim, Hyungjung. 2022. 3. 30. Exploring the Feasibility in Applying an Automated Essay Scoring to a writing test of Korean language. Bilingual Research 86, 00-00. The present study aimed at exploring the feasibility of the automated scoring in a writing test of Korean language. To this end, a scoring model was constructed and score prediction was performed by utilizing machine learning based on writing responses and their scoring data from the pesudo-test of Sejong Korean language Assessment (SKA). Random Forest, one of the representative supervised learning algorithms, was used for this machine learning, and the performance of the scoring model was validated in terms of ‘Accuracy,’ ‘Precision,’ ‘Recall,’ ‘F1,’ and ‘Kappa’ values. As a result, the performance of the scoring model in the two scoring domains of 'language use' and 'content' was good even though the data size for machine learning in this study was very small and the scoring rubric was not customized for the SKA writing test items. This results showed very positive implications for applying an automated scoring to the SKA writing test. In particular, the correlation between scores predicted by the automated scoring model and given by the human rater was smaller than that between scores by two human raters, however, the difference of the two groups was just about .10, which might be overcome by using a larger amount of data for machine learning and customizing automated scoring features.(Inha University, Gwangju University of Education, King Sejong Institute Foundation)

참고자료

· 없음