작은 편견의 큰 결과

전문가 제언

○ 이 글은 서론, 방법론, 연구결과, 토의 및 한계, 결론으로 구성되었다. 이 글이 다루고자하는 동료평가(peer review)에서의 편견이슈는 널리 퍼져있는 문제점이다. 지원기관은 지원금의 수여에서의 불일치문제를 처리하려고 시도함에도 불구하고 얼마나 많은 편견이 존재하고 그 편견이 얼마나 많이 지원금의 수여에 영향을 미치는지를 여전히 모른다. 이 연구는 모든 요인을 통제하고 오직 지원금 평가의 편견만을 변동할 수 있는 지원금 신청의 이상적 모델을 나타낸다.

 

○ 이 글은 주요연구자의 선호층(preferred class: PC)과 비선호층(non -preferred class: NPC) 간의 지원금 신청비율에 관한 평가자의 편견의 영향을 결정하는 것이다. 산출, 평가 및 지원금의 결정을 본떠서 만든 별개의 이벤트 시뮬레이션(discrete event simulation: DES)이 개발되었다. 지원금은 내재적 특성을 가지고 있는 것으로 정의되었으며 그 때 3명의 평가자가 각 지원금에 점수를 매기고 가치를 부여한다.

 

○ 총평가편견이 수여점수의 1.9%를 초과할 때 PC와 NPC 연구원 간의 점수에서 통계적으로 유의미한 변화가 2,000건의 수여신청 풀에서 식별할 수 있었다. 총평가편견이 2.8%를 초과할 때 PC와 NPC 연구원 간의 수여비율에서 통계적으로 유의미한 차이가 수여평가 검토의 시뮬레이션에서 탐지될 수 있었다. 평가의 편견은 개별평가자의 점수에서 정상적 변동폭의 절반 이하일 때조차 수여비율에 영향을 미친다.

 

○ 우리나라에서도 지원금 신청의 평가의 공정성을 위하여 이중맹목평가(double-blind review) 등의 시행이 확산되고 있다. 평가자의 선정 시에 평가자의 전문성과 객관성을 고려하고 있으나 평가자의 주관적 편견이 평가에 영향을 미칠 가능성은 상존한다. 따라서 그 편견이 실제적으로 존재하며 그 정도가 어떤지를 알아보는 것은 연구자 간의 형평성을 향상시켜 지원금 신청의 전반적인 질을 향상시킬 수 있다. 동료평가에서 편견을 확인하고 정량화하며 개선하기 위한 추가적인 심층연구가 요구된다.

 

저자

Theodore Eugene Day

자료유형

학술정보

원문언어

영어

기업산업분류

과학기술일반

연도

2015

권(호)

44()

잡지명

Research Policy

과학기술
표준분류

과학기술일반

페이지

1266~1270

분석자

고*국

분석물

• 작은 편견의 큰 결과.pdf [433,701 byte]

이미지변환중입니다.