시청각의 통합

전문가 제언

○ 우리의 뇌는 오감을 통해서 외부에서 들어오는 다양한 정보를 통합해서 사용하여 인지하고 있으며, 이러한 다감각 통합(Multisensory Integration)이 정상적으로 진행되지 않을 때는 환각(Illusion)이 생긴다.

– 이는 복화술효과(Ventriloquist effect)라 하여 한 사람이 다른 곳에서 나오는 소리를 듣고 동시에 화자의 얼굴이나 입을 시각적으로 보고 있으면 마치 그 사람의 입에서 나오는 것처럼 느끼는 효과로서, 이는 시각과 청각의 통합 과정에서 일어나며 이외 촉각 등을 통해서도 발생하는 것으로 알려지고 있다.

○ 인간에게는 시각적 자극과 청각적 자극이 동시에 있게 되면 서로에게 영향을 미치는 교호작용(cross modal)으로 감각요소 상호 혼동효과 (modality confusion effect)가 있어서 감각요소 자극이 인간의 정보처리 과정에서 위상이 혼동되어 평가대상이 아닌 감각요소 자극의 정보를 바탕으로 평가하는 현상이 생긴다.

○ 이 글에서는 시청각 통합에서 공간적 및 시간적 일치성이 중요하고 다감각 통합에서 시각과 청각자극의 시간적 구조와 상관관계가 중요한 역할을 하고 있음을 제시하고 있다. 감각정보로서 청각은 자극에 대한 뇌 전위의 반응률이 높아서 많은 연구가 되고 있으나, 시각자극에 대한 연구는 아직도 진행 중이어서 시청각의 통합 환경의 조성에는 두 자극의 통합 연구가 필요하다.

○ 시청각 통합기술은 감성공학을 필요로 하는 제품설계에 필요하고 효율적인 멀티미디어 시스템 개발에 이론적 배경을 제공하며 인공인식을 비롯한 휴먼로봇의 개발에도 필수적인 기술로서, 이를 위해서는 인간의 시청각 메커니즘과 두뇌의 정보처리기구가 신경과학적으로 규명되어야 할 것이다.

저자

Charles Spence, Yuka Igarashi, Norimichi Kitagawa

자료유형

학술정보

원문언어

일어

기업산업분류

전기·전자

연도

2007

권(호)

63(2)

잡지명

日本音響學會誌(日本)

과학기술
표준분류

전기·전자

페이지

83~92

분석자

차*기

분석물

• 시청각의 통합.pdf [211,696 byte]

이미지변환중입니다.