한국어 말하기 평가에서의 채점 편향성 분석 (Analysis of Scoring Bias in Korean Speaking Test.)

서지정보

· 발행기관 : 이중언어학회
· 수록지 정보 : 이중언어학 / 70호 / 59 ~ 83페이지
· 저자명 : 김지영, 원미진

초록

본 연구는 IBT 기반의 한국어 말하기 평가에서 개별 채점자의 채점 일관성, 엄격성, 편향성 등의 채점 경향을 알아보는 데에 목적이 있다. 이를 위해 한국어 학습자 82명을 대상으로 말하기 평가를 실시하고 6명의 현직 한국어교사가 채점에 참여한 연구 자료를 다국면 Rasch 측정이론에 기반하여 개발된 Facets 프로그램을 사용하여 분석하였다. 분석 결과, 채점자 간 신뢰도는 높은 편이었고 채점자 내 신뢰도는 다른 채점자들과 교수 환경이 다른 1명의 채점자에게서 과적합 경향이 발견되었으나 대체로 내적 일관성을 잘 유지하는 것으로 나타났다. 채점자와 평가구인 간 상호작용에서는 1명의 채점자에게서 뚜렷한 편향이 발견되었고 채점자와 평가문항 간 상호작용에서는 모든 채점자에게서 주로 4급 이상의 응시자와 중․고급 수준의 평가 문항에서 통계적으로 유의미한 편향이 발견되었다. 이를 통해 채점에는 채점자의 개별 특성이 반영되며 특히 응시자 숙달도가 높아지고 평가 문항의 난이도가 높아질수록 채점자의 주관적인 판단을 요구하는 상황이 많이 발생하게 되어 채점자의 편향이 나타나게 된다는 것을 알 수 있었다.

영어초록

The purpose of this study is to examine the grading tendency of raters’ consistency, severity and bias in IBT-based Korean speaking performance test. For this purpose, 82 Korean language learners were assessed and 6 Korean teachers participated in the scoring. The Facets program which developed based on the multi -facets Rasch model was used to identify the problems of scoring. The results of the anlaysis are summarized as follows: ⑴The reliability among the raters was high, and the reliability in the raters was found to be overly consistent in one rater. ⑵In the rater bias analysis, statistically significant bias was found in all the raters, mainly in the grade 4 or higher candidates and the middle and high grade evaluation items. ⑶As the test taker’s proficiency increased and the item difficulty increased, many situations requiring subjective judgment of the scorer occurred, and it was found that the rater’s bias appeared in such situation. Consequently, the implication of this study was proposed.

참고자료

· 없음