내 신청현황
종류	모집공고명	진행상태
신청내용이 없습니다.

첨단기술정보

home
알림마당
과학기술정보분석
첨단기술정보

평가 중 편견 발견을 위한 반복계산 알고리듬(Iterative processing algorithm to detect biases in assessments)

전문가 제언: □ 학생의 프로젝트 보고서 같은 평가 대상은 많으나 이를 평가할 전문가의 수가 적을 때, 모든 전문가가 이 모든 보고서를 공평하게 평가하여 점수화 한다는 것이 실제로는 불가능한 경우가 많다. 이 경우 한 사람의 전문가가 각각 하나의 보고서를 평가한다면, 이 전문가의 개인적인 성향에 따라 어떤 보고서가 합당하지 않은 평가를 받아 이익을 얻거나 불이익을 받게 된다.

○ 본문은 이러한 편견에 의한 결과의 뒤틀림을 최소화하는 방법을 제안하고 있다. 두 사람의 전문가가 한 프로젝트를 평가하여 점수를 내게 한 후, 이들 전문가가 평가한 모든 보고서의 평균과 표준편차의 차이를 최소화 하는 가운데 이 점수를 조정하는 것이다.
- 이 방법을 컴퓨터의 프로그램화 하였을 때 그리고 반복계산 파라미터를 0에서 1.0 사이의 수를 선택하였을 때 50회 이내의 반복계산으로 그 점수가 통계적으로 수렴한다고 주장한다. 물론 계산 파라미터의 선택이 최종 결과에 영향을 미치지 않는다.

□ 이러한 통계적인 것은 아니지만, 아직도 비선형 편미분방정식은 수치해석 방법으로 그 답을 얻고 있는 경우가 많다. 이 경우 본문에서 밝힌바와 같이 계산 파라미터를 1.0에 가깝게 잡으면 수렴이 빠른 장점이 있으나 숫자적인 안정성을 잃어 반복계산이 그 전 계산의 결과에 비해 그 차이가 점점 확대되는 경우가 많다.

○ 반면 파라미터를 0에 가깝게 하면 수렴은 느리나(즉 더 많은 반복계산이 필요하다.) 숫자적으로 안정되어 그 전 계산 결과와의 차이가 점차로 줄어든다.
- 이러한 점에서 본문에서 제시한 방법의 수렴 문제는 비선형 편미분 방정식의 수치해석과 비슷한 성질을 보이는 것 같이 보인다.

□ 우리나라에서도 연구비를 지급할 때 연구 계획서를 전문가들이 평가하고 있으나, 그 중 그 계획서에 깊은 지식을 가지지 못한 평가자가 있는 경우 이로 인한 이익이나 불이익이 있게 되는데, 이 때 본문이 제시하는 방법을 사용해보면 효과가 있을 수 있다. 본문에서 제시한 가중치를 전문가에게 부여하는 것도 한 방법일 수 있을 것이다.

저자: Woods, R.C.
자료유형