선다형 유형의 합답형 문항에서 부분적 지식이 추측에 미치는 영향 (Effect of Partial Knowledge on Guess in Multiple True-False Items in Multiple Choice Type)

서지정보

· 발행기관 : 한국컴퓨터교육학회
· 수록지 정보 : 컴퓨터교육학회 논문지 / 24권 / 1호 / 63 ~ 70페이지
· 저자명 : 권보섭

초록

선다형 문항은 피험자들의 능력 평가에서 객관적이고 신뢰성이 높은 이유로 평가도구로 많이 사용되고 있지만, 추측의 요인을 없앨 수 없다. 특히 추측의 관점에서 선다형 가운데 합답형은 피험자들이 맹목적인 추측보다는 답가지의 부분적인 지식으로부터 선택지를 추측하려는 경향이 많다. 이 논문은 합답형에서 답가지에 대한 부분적인 지식에 기초하여 추측으로 정답을 맞힐 비율인 문항 추측도를 알고리즘으로 분석하고 이를 고전검사이론에서의 문항 추측도와 비교하였다. 이를 위해 합답형 문항에서 답가지의 진위에 대해 ‘예’ 혹은 ‘아니오’를 ‘1’ 혹은 ‘0’으로 대체하고 답가지의 조합들은 부울 행렬로 나타내었으며 또한 특정 답가지의 진위에 관계없이 추측이 동일하게 되도록 부울 행렬을 사용하여 균형 선택지를 정의하고 이를 바탕으로 부분적인 지식의 개수에 따른 추측의 비율을 재귀식으로 나타냈다. 분석에 의하면 합답형 문항에서 답가지들을 정확히 모르고 정답을 맞히는 추측의 비율이 과소 평가되고 있다는 것이 우리에게 주는 시사점이다.

영어초록

The multiple choice item is widely used as an evaluation tool because it is objective and highly reliable in scoring the ability of subjects. However, it cannot remove the guessing factor. From the point of view of guess, the guess of multiple true-false items one of multiple choice type tend to guess choices from partial knowledge of options rather than blind guess. The paper analyzed the Guessing Parameter, which is the ratio of correct answers by guessing based on partial knowledge in the Multiple True-False Items, and compared the Guessing Parameter in the classical test theory. To this end, ‘True’ or ‘False’ about options in multiple true-false item was replaced with ‘1’ or ‘0’. Combinations of option(choices) of options are represented by a boolean matrix. And a boolean matrix was used to define the balanced choices so that the guess is the same regardless of the true-false of a specific options. Based on this, the ratio of guesses according to the number of partial knowledge is represented by a recursive equation. According to the analysis, it is an implication to us that the proportion of guessing for correct answers without knowing exactly the answers in the Multiple True-False Items is underestimated.

참고자료

· 없음