KOICA 학위연수사업 종료 평가 타당화 연구 (A study on the validation of the KOICA Scholarship Program end-of-course evaluation survey)

서지정보

· 발행기관 : 인하대학교 교육연구소
· 수록지 정보 : 교육문화연구 / 30권 / 5호 / 27 ~ 49페이지
· 저자명 : 김지인, 신민경

초록

본 연구는 한국국제협력단(KOICA)에서 시행하는 학위연수사업의 종료 설문 평가 도구를 검토하고 타당화하는것을 목표로 한다. 현재 KOICA 학위연수사업의 종료 평가 설문은 43개 문항으로 개발되어 활용 중이지만, 전문가검토를 통해 개발됨에 직접 수혜자인 연수생의 응답이 성과평가 개발 도구로 고려되지 않았다. 따라서 본 연구는연수생의 종료 평가 설문 결과를 도구로 활용하여 종료 평가 설문 문항을 검토하고 타당화 하고자 하였다. 문항검토를 위해 A, B 두 대학에서 시행한 3년간의 종료 설문 결과를 활용하였다. 연구 결과, 첫째, 현재 시행 중인 KOICA 학위연수사업 종료 평가 설문의 43개 문항에 대해 탐색적 요인분석과 내용 검토를 통해 ‘교과 교육’, ‘비교과 교육’, ‘한국 생활’, ‘지식활용도’, ‘관계’ 5개 영역으로 재구성하였다. 둘째, 내용타당도와 요인부하량을 고려하여 각 영역별로 4개 문항을 선정하여 총 20개 문항을 선정하였다. 셋째, 최종 선정된 문항에 대해 확인적 요인분석, 신뢰도, 판별타당도 분석을 통해 선정된 문항 타당도를 확보하였다. 본 연구 결과는 KOICA 학위연수사업 종료 평가의 주요영역이 교과 교육, 비교과 교육, 한국 생활, 지식활용도, 관계 5가지임을 나타내며, 학위연수사업의 수혜자인 연수생의응답을 활용하여 평가 문항을 타당화함에 의의가 있다.

영어초록

This study aims to review and validate the end-of-course evaluation survey of a scholarship program implemented by the Korea International Cooperation Agency (KOICA). This performance management tool is a 43-item questionnaire that is currently used in the end-of-course evaluation survey of the KOICA Scholarship Program.
Previously, this survey tool has been developed mainly based on expert review, and the responses of program participants, the direct beneficiaries, were employed to only a limited extent. Therefore, this study reviews and validates the end-of-course evaluation survey questionnaire using the actual evaluation responses of participants. The questions and participant responses to end-of-course evaluation surveys conducted in two universities, A and B, over three years were reviewed for this research. The results of this study are as follows. First, through exploratory factor analysis and content review, 43 question items in the current KOICA Scholarship Program’s end-of-course evaluation survey were reorganized into five domains: 'Curricular Education', 'Extra-curricular Education', 'Life in Korea', 'Knowledge Utilization', and 'Personal Relationships'. Second, four items were selected for each domain in consideration of content validity and factor loadings, resulting in a total of 20 items. Third, the final selected items were subjected to confirmatory factor analysis, reliability, and discriminant validity analysis to ensure the validity of the selected items. The results of this study indicate that the major themes in the KOICA Scholarship Program’s end-of-course evaluation are curricular education, extra-curricular education, life in Korea, knowledge utilization, and personal relationships. This research is significant in its validation of the evaluation questionnaire using the responses of actual beneficiaries of the program.

참고자료

· 없음