IRT 능력 추정에서 정보적 사전분포에 기초한 EAP 방법과 무정보적 사전분포에 기초한 방법의 기능 비교 (Comparisons of the Bayesian EAP Estimators Based on Informative Priors versus Non-Informative Priors in IRT Ability Estimation)

서지정보

· 발행기관 : 한국교육평가학회
· 수록지 정보 : 교육평가연구 / 23권 / 2호 / 441 ~ 463페이지
· 저자명 : 김성훈, 박인심

초록

문항반응이론(IRT) 능력 추정에서 우수성이 입증되어 온 사후기대(EAP) 추정 방법은 능력모수의 사전분포의 명시를 요구하는 베이지언(Bayesian) 추정 방법이다. 본 연구는 EAP 방법이 능력모수에 대한 사전분포의 정보적 특성에 의해 얼마나 영향을 받는지를 살펴보는 데 주된 목적이 있다. 이를 위해 IRT 능력 추정에서 정보적 사전분포로 통상적으로 사용되는 표준정규분포에 기초한 EAP 추정량(estimator)과 무정보적 사전분포인 균일분포에 기초한 EAP 추정량의 기능을 IRT 모형과 검사 길이를 변화시킨 다양한 검사조건들 하에서 비교하였다. 연구 결과, 표준정규 사전분포 EAP 추정량은 능력모수를 사전분포의 평균(0)을 향해 상당한 정도로 축소 추정하는 경향을 보인 반면, 균일 사전분포 EAP 추정치들은 (-3, 0)의 능력 구간에서 근소한 부적 편향을 그리고 (0, 3)의 능력 구간에서는 근소한 정적 편향을 보였다. 추정의 표준오차에 있어서는 표준정규 사전분포 EAP 추정량은 균일 사전분포 EAP 추정량보다 일관되게 작은 값을 산출하였다. 능력모수를 복원하는 평균적인 정확도(즉, 모수와 추정치 간의 차이)에 대해서, 표준정규 사전분포 EAP 추정량은 사전분포의 평균 근처에 위치한 능력모수들을 추정함에 있어서 상대적으로 우수성을 보인 반면, 균일 사전분포 EAP 추정량은 능력척도의 극단적인 위치에 속한 능력모수들을 추정하는 데 우수한 수행을 보였다. 이러한 결과들은 검사의 목적에 따라 두 가지 EAP 추정량을 적절히 선택해야 함을 시사하며, 이에 대한 논의가 제공된다.

영어초록

The expected a posteriori (EAP) estimation that has been proven to be superior in estimating item response theory (IRT) ability parameters, as a Bayesian approach, requires a specification of a prior distribution for the ability parameters. The primary purpose of this study was to investigate how much the performance of the EAP estimator is affected by the intensity of information that the prior provides for the ability parameters. For this purpose, the EAP estimator based on a standard normal[N(0, 1)] prior (which is conventionally used for ability estimation) was compared to the EAP estimator based on a uniform prior (which is representative of the non-informative prior) under various testing conditions. As a main result, the N(0, 1) prior EAP estimator performed a substantive shrinkage estimation of the ability parameters toward the mean of the prior, whereas the uniform prior EAP estimator slightly under-estimated the ability parameters in the inverval (-3, 0) but slightly over-estimated the ability parameters in the inverval (0, 3). For the standard error of estimates, the N(0, 1) prior EAP estimator produced, over the interval (-3, 3), consistently smaller values than the uniform prior EAP estimator. In recovering the true parameters, the N(0, 1) prior estimator showed relative superiority for the ability parameters located around the mean of the prior, whereas the uniform prior EAP estimator worked well for the ability parameters located around the ends of the ability scale. These results suggest that the two EAP estimators be used wisely according to the purpose of the test (whether it is norm-referenced or criterion-referenced).

참고자료

· 없음