본문내용
1. 검사도구의 선정기준: 타당도와 신뢰도
1.1. 타당도
1.1.1. 내용타당도
내용타당도는 검사가 측정하고자 하는 내용을 어느 정도로 충실하게 측정하고 있는지를 알려주는 지수이다. 내용전문가가 문항을 검토하고 각 문항의 타당도를 판단한 결과를 간단한 식으로 계산하면 되기 때문에 타당도 중에 상대적으로 쉽게 구할 수 있다는 장점이 있다. 이때 내용전문가의 자격 요건이 해당 검사의 내용타당도에 대한 보증이 될 수 있으므로, 중요한 검사일수록 그 자격 요건을 엄격하게 정해야 한다. 따라서 계산이 가장 쉽다는 장점이 있는 반면 내용전문가들의 전문성이 담보되어야 하고, 그들의 주관을 배제하기 힘들다는 단점이 있다.
1.1.2. 준거관련 타당도
1.1.2.1. 공인타당도
공인타당도는 검사가 검사하고자 하는 대상을 얼마나 정확하게 측정하고 있는지를 나타내는 지수이다. 공인타당도를 확인하기 위해서는 "준거(criterion)"가 필요한데, 이 준거는 관심 있는 검사와 유사한 시점에서 측정된 검사 결과가 된다.
예를 들어 대학수학능력시험의 공인타당도를 확인하고자 한다면, 그 준거로 고등학교 3학년 2학기 중간고사 성적을 사용할 수 있다. 이 경우 수능 점수와 중간고사 성적 간의 상관계수를 구하여 공인타당도를 확인할 수 있다. 만약 성적이 높은 학생이 수능 점수도 높다면, 수능의 공인타당도가 높다고 볼 수 있다.
공인타당도는 검사가 현재 시점에서 측정하고자 하는 바를 얼마나 잘 측정하고 있는지를 나타내는 지수이다. 따라서 공인타당도가 높다는 것은 해당 검사가 동시에 측정하고자 하는 준거 변인을 잘 반영하고 있음을 의미한다.
1.1.2.2. 예측타당도
예측타당도의 준거는 관심이 있는 검사기준의 미래 시점에서 측정된 검사가 된다. 예를 들어 수능의 예측타당도를 구한다면 그 준거는 대학 학점이 될 수가 있다. 수능점수와 대학 학점 간의 상관계수로 수능의 예측타당도를 구할 수 있는 것이다. 그러나 예측타당도는 공인타당도와 비교할 때 상대적으로 낮을 수 있다는 점을 주의해야 하는데, 이는 예측타당도는 동일한 시점이 아니라 시간이 지난 후 구하게 되므로 그 관련성이 원래보다 약해진다는 점 때문이다.
1.1.3. 구인타당도
구인타당도는 추상적인 어떤 속성이 제대로 측정되었는지를 알아보는 지수이다. 구인타당도는 내용타당도나 준거관련 타당도보다 여러 단계를 거쳐야 하고 요인분석과 같은 통계기법을 수행해야 한다. 구인타당도를 구하는 개략적인 절차는 다음과 같다.
첫째, 관련 선행연구를 분석하고, 둘째, 측정하고자 하는 구인에 대해 전문성을 지닌 면담 참여자를 선정하고 면담을 실시하며, 셋째, 면담결과 및 선행연구를 바탕으로 연구자는 설문문항을 도출하고 측정도구 및 측정설문 초안을 만들고, 넷째, 설문조사를 실시하고 신뢰도를 구한 후 요인분석을 실시하며, 마지막으로 수렴타당도 및 판별타당도를 산출한 다음 측정도구 문항을 최종적으로 선정한다.
이와 같은 절차를 거치면서 추상적인 구인이 제대로 측정되고 있는지 확인할 수 있다. 이처럼 구인타당도는 개념화한 이론적 구인이 실제 어떻게 구현되고 있는지를 파악하는 데 적합한 방법이다.
1.2. 신뢰도
신뢰도는 검사를 여러 번 시행해도 그 결과가 일관된다는 것을 의미한다. 즉, 신뢰도가 높다는 것은 검사결과가 진짜인지 아닌지가 중요한 것이 아니라, 일관된 결과가 나온다는 것을 의미한다.
교육평가에서 신뢰도의 개념은 일관성에 대한 것이다. 신뢰도에 영향을 주는 요인으로는 집단의 동질성, 문항 수, 검사시간, 문항변별도, 채점의 객관도, 검사동기 등이 있다. 예를 들어 검사대상이 되는 집단이 동질적일수록, 문항 수가 많을수록, 검사시간이 충분할수록, 문항의 변별도가 높을수록, 채점의 객관도가 높을수록, 검사에 대한 동기가 클수록 신뢰도가 높아진다.
신뢰도의 중요성은 타당도와의 관계에 있다. 일관되게 같은 점수가 나온다면 신뢰도가 높은데, 그때 그 검사점수가 측정해야 하는 영역까지 잘 측정하고 있다면 타당도까지 높다고 할 수 있다. 즉, 신뢰도는 타당도의 필요조건이 된다. 따라서 타당도를 높이기 위해서는 우선 신뢰도가 높아야 한다.
1.3. 타당도와 신뢰도의 관계
타당도와 신뢰도의 관계는 매우 밀접하다고 볼 수 있다. 타당도를 높이려면 우선 신뢰도가 높아야 한다. 일관되게 같은 점수가 나오지 않는데 검사점수가 측정해야 하는 영역까지 잘 측정한다고 말할 수 없기 때문이다. 즉, 신뢰도는 타당도의 필요조건으로, 측정의 관점에서는 어느 정도 높은 신뢰도가 전제되어야 타당도를 논할 수 있다.
'측정해야 하는 영역을 일관성 있게 측정'하는 부분은 물론이고 '측정해야 하는 영역이 아닌데 일관성 있게 측정'하는 부분은 일관성 있는 결과와 관련이 있다. 반면 '측정해야 하는 영역을 일관성 있게 측정'하는 부분은 타당도에 해당한다. 반면, '측정해야 하는 영역이 아닌데 일관성 있게 측정'하는 부분은 신뢰도만을 높여준다. 즉, 정리하자면, 일관되게 같은 점수가 나온다면 신뢰도가 높은데, 그때 그 검사점수가 측정해야 하는 영역까지 잘 측정하고 있다면 타당도까지 높다고 할 수 있는 것이다.
따라서 타당도와 신뢰도는 상호 보완적인 관계를 가지고 있으며, 검사도...
1
2
3
4
5
6
7
8
9
10
11