실험자료 분석 시 무선효과 구조 선택을 위한 우도비 검정에서의 영가설 분포의 모양 (Shape of the Null Distribution in the Likelihood Ratio Test for Selecting Random Effects Structures in Experimental Data Analysis)

서지정보

· 발행기관 : 한국심리학회
· 수록지 정보 : 한국심리학회지:일반 / 44권 / 1호 / 1 ~ 23페이지
· 저자명 : 김용기, 이우열

초록

실험자료 분석을 위해 다층모형을 사용하는 경우, 무선효과 구조 설정에 따라 가설 검정의 결과가 달라질 수 있다. 선행연구들에 따르면, 무선효과 구조를 선택하는 방법 중 우도비 검정(likelihood-ratio test; LRT)은 분산의 모수 공간 제약으로 인해 영가설 분포의 모양이 표준적인 카이제곱 분포와 일치하지 않는다. 본 연구에서는 몬테카를로 시뮬레이션을 통해 무선효과 구조를 검정하기 위한 LRT 영가설 분포의 모양, 1종 오류 비율, 수렴 실패율에 대해 알아보았다. 본 연구를 진행함에 앞서, 고정효과를 검정하기 위한 LRT 영가설 분포의 모양을 확인함으로써 본 연구방법의 타당성을 확보하였다. 실험설계와 참가자 수, 문항 수를 조작하여 시뮬레이션 실험을 수행한 결과, 무선효과 구조를 검정하기 위한 LRT 영가설 분포의 평균, 분산, 95분위수와 99분위수는 모든 조건에서 표준적인 카이제곱 분포보다 작았다. 표준적인 카이제곱 분포를 사용하여 LRT를 수행했을 때 1종 오류 비율 또한 유의수준인 .05보다 작았다. 실험설계가 복잡하고 무선효과 구조에 상관 구조를 포함한 모형에서 추정 과정에서 수렴에 실패가 빈번하게 발생하였다. 경험적 연구자들이 실험조건 효과 검정을 위해 다층모형을 사용할 때 모형의 무선효과 구조 선택 시 주의할 점을 논의하였다.

영어초록

When using a multilevel model to analyze experimental data, the results of hypothesis testing can vary depending on the random effects structure. Previous studies have shown that the likelihood ratio test (LRT) for selecting the random effect structure does not match the shape of the null distribution with the theoretical chi-squared distribution due to the parameter space constraints of the variance. In this study, we investigate the shape, the type 1 error rate, and convergence failure rate of null distribution of LRT to select random effects structures through Monte Carlo simulations. Before proceeding with this study, the validity of the methodology was secured by checking the shape of null distribution of LRT for testing fixed effects. We conducted simulations by manipulating the experimental design, number of participants, and number of items, and found that the mean, variance, 95th and 99th percentiles of null distribution of LRT for selecting random effects structures were smaller than the theoretical chi-squared distribution under all conditions. When LRT was performed using the theoretical chi-squared distribution, the type 1 error rate was smaller than .05 significance level. The convergence failure occurred frequently in models with complex experimental designs and correlation structure in the structure of the random effects. The caveats of choosing the model’s random effects structure were discussed for empirical researchers when using multilevel models to test for experimental condition effects.

참고자료

· 없음