자체평가 관대화에 대한 실증분석 - 국가연구개발사업을 중심으로 - (An Empirical Analysis on the self-evaluation leniency - Cases of National research and development projects in Korea)

서지정보

· 발행기관 : 한국혁신학회
· 수록지 정보 : 한국혁신학회지 / 10권 / 2호 / 1 ~ 37페이지
· 저자명 : 조현정, 이삼열

초록

본 논문은 한국의 국가연구개발사업 평가에서 나타나는 자체평가 관대화 현상과 그 원인을 실증적으로 분석한다. 본 논문에서는 ‘자체평가 관대화’를 “국가연구개발사업의 평가에서 미래창조과학부가 수행하는 상위평가점수보다 수행기관이 실시하는 자체평가점수가 지속적으로 높은 현상”이라고 정의한다. 자체평가 관대화는 일부 연구에서 평가운영상또는 평가오류의 문제점으로 분류되어 평가제도의 개선이나 평가위원의 전문성향상 등 사업운영 외적인 부분을 중심으로 논의되고 있지만, 관대화 현상의 존재 자체에 대한 실증연구는 상대적으로 부족한 상황이다.
본 논문의 연구대상은 2010~2013년 사이의 국가연구개발사업이며, 회귀분석을 사용하였다. 분석결과 종속변수인 자체평가 관대화 현상은 통계적으로 유의미하였으며, 독립변수인총지표대비 산출지표의 비중, 성과피드백 비율의 변수들이 자체평가 관대화에 통계적으로유의미한 영향을 끼친다는 것을 확인하였다.
상위평가는 사실상 자체평가와 중복된 옥상옥이라 할 수 있기 때문에 자체평가를 내실화하여 관대화 현상을 없애고 궁극적으로 상위평가를 간소화하거나 축소할 필요가 있다. 해당정책에 대한 정보를 가장 많이 갖고 있고 그 결과에 대해 책임을 지는 주무부처가 실시하는자체평가를 강화하여 평가를 위한 평가 또는 줄세우기를 위한 평가가 아닌 학습을 위한평가로 변화시킬 필요가 있다.

영어초록

This study explains self-evaluation leniency in the national research and development policy in Korea. Self-evaluation leniency refers to the cases where the meta-evaluation scores by higher authority are higher than self-evaluation scores. The meta-evaluation on R&D projects by a higher authority is redundant and consumes a significant amount of resources but the existence of the self-evaluation lenience provides with a strong justification for it. At the same time, it is a very effective tool for Ministry of Science, ICT and Future Planning (MSIP) to check with other ministries which implement their own R&D projects and evaluation on them.
The self-evaluating ministries have strong incentives to give their R&D projects higher marks. First, since the scores are compared with those of other ministries, they want to 'look good' on the scores. Second, since there is a meta evaluation by MSIP, they tend to give their own R&D projects higher marks by anticipating that those will be slashed out by MSIP. At the same time, MSIP wants to be tough in the meta-evaluation in order to keep other ministries under control.
The existence of the self-evaluation leniency has been pointed out in a few qualitative studies but there has been little empirical studies so far. Also the studies explaining the causes of them is sparse. This study covers the national research and development projects in Korea from 2010 to 2013 and analyzes them by using regressions. The analysis confirms the existence of the self-evaluation leniency. Although the absolute size of the gap has decreased over times, the gap is positive and statistically significant. Regression results show that the ratio of feedback, the size of a project have a statistically significant relationship with the size of the gap.

참고자료

· 없음