벤치마크 방법 선택과 실현

전문가 제언

본고는 캘리포니아 대학 버클리캠퍼스의 컴퓨터과학 분야 pardee 석좌교수인 David Patterson이 “우열평가를 위해 벤치마크(성능평가)의 순차 및 병렬 적 방법 선택과 실현” 제목으로 관련기술을 전망한 글이다.

벤치마크가 좋으면 발전이 빠르고 나쁘면 문제가 될 수 있다. 1990년대 이래 교과서적으로 불인정에도 불구 임베디드컴퓨팅은 성능클레임에 여전히 DHRYSTONES을 보고하고 있다[2]. 문제는 벤치마크 운영에선 빠른데 실제 프로그램의 운영에선 느리다(?)는 면에서, 새로운 임베디드프로세서가 천재적으로 획기적이라거나 단순히 냉소적인 벤치마크 지지결과인지 여부를 어떻게 아느냐이다.

저자는 61개 프로그램을 사용하여 이종의 8개 인텔 마이크로프로세서를 측정평가한 데이터를 통해 실제 하드웨어 기반에서의 의문점을 제시한다. 의문점의 제시는 시뮬레이션 기반의 연구결과를 새롭게 변화시키면서 과거 10년간의 연구결과를 압도하고 있다.

의문점은 첫째, C와 C++에 의한 성능평가프로그램의 평가결과가 다른 방법 및 언어에 의한 성능평가프로그램의 결과도 예측하는가? 이며, 아니라면 구조는 과거 평가방법을 확장시켜야 한다는 것이다. 둘째, 고유의 병렬프로그램이 관리프로그램을 예측할 수 있는가? 이며, 아니라면 범용적인 프로그래밍 언어로 변경하여 다중프로세서가 평가되어야 한다는 것이다. 셋째, 멀티코어는 멀티스래딩 보다 더 에너지 효율적인가? 이며, 아니라면 멀티코어가 멀티스래딩을 지원하지 않을 수도 있다는 것이다. 넷째, 순차적 실행프로세서가 비순차적 실행프로세서보다 더 에너지 효율적인가? 이며, 아니라면 에너지 효율적 프로세서 설계의 과거 지혜가 틀렸다는 것이다. 이상의 의문에 대해 대답은 “NO"라는 것이다.

결어: 저자가 던지는 의문은 기존 벤치마크의 유의미한 개선점을 지적하는 것이며, 벤치마크표준, 상용 벤치마크 프로그램 및 칩의 완성도를 향상시켜야 한다는 교훈으로 해석되며 연구후학들의 고민이 필요하다. 후속 논문을 지켜보자. (인용논문 출처는 지면상 생략하오니 원문을 참조 바랍니다.)

저자

DAVID PATTERSON

자료유형

연구단신

원문언어

영어

기업산업분류

정보통신

연도

2012

권(호)

55(7)

잡지명

communications of the acm

과학기술
표준분류

정보통신

페이지

104~104

분석자

박*만

분석물

• 벤치마크 방법 선택과 실현.pdf [214,091 byte]

이미지변환중입니다.