동공팽창반응과 음성 신호의 특징을 이용한 청취 노력도 평가 연구

Abstract

최근 청각 보조기기를 평가하기를 평가하기 위한 지표로 언어 인지도 뿐만 아니라 청취 노력도(listening effort)에 대한 연구도 활발히 진행되고 있다. 청취 노력도는 언어인지를 하기 위해 할당되는 정신적, 신체적 노력의 정도이다. 청취 노력도를 평가하는 객관적인 방법은 주로 사람의 생체신호반응을 이용하는데, 여러 생체 신호 반응 중 동공팽창반응(Pupil dilation response)을 이용하여 평가하는 연구들이 활발하게 이루어 지고 있다. 동공팽창반응은 외부의 자극으로 인한 동공의 크기 변화를 나타낸 것이며, 이러한 반응은 외부의 자극으로 인한 생화학 반응 및 신경계의 반응으로써, 싸움-도주 반응(Fight-or-flight response)과 같은 반응이다. 동공팽창반응을 이용하여 청취 노력도를 평가하는 연구에서는 최대동공팽창, 평균값, 최대동공팽창이 발생하는 시간 등을 청취 노력도 평가에 사용하고 있다. 하지만 이러한 방식은 같은 청취 조건에서 개인간에 차이가 많아 정량적으로 청취 노력도를 평가하기에 한계가 있다. 기존의 언어인지평가 연구에 따르면, 음성 신호의 특성이 생체 신호에 반영되며, 또한 뇌에서 청각 정보를 처리하는 과정에 음성 신호의 특성이 영향을 미친다. 따라서 음성 신호의 특성을 이용하여 동공팽창반응을 분석하면 정량적인 청취 노력도 평가가 가능할 것이다. 본 연구에서는 청취 조건에 따른 동공팽창반응을 측정하고, 측정된 동공팽창반응과 문장 자극의 특징 점 간의 상호상관계수를 이용하여 정량적으로 청취 노력도를 분석하는 방법을 제안한다. 선행 연구와 동일하게 청취 조건에 따른 동공팽창반응은 가장 어려운 청취 조건에서 동공팽창반응의 최댓값이 가장 크게 나타났다. 동공팽창반응 과 음성 신호의 특징 간의 상호상관계수의 최댓값이 어려운 청취 조건에서 유의미하게 높았으며, 상관계수를 이용하여 청취 노력도 평가가 가능하다는 것을 증명하였다. 또한 개인차를 확인 하기 위하여 주관적 평가 점수와 각 특징의 최댓값 간의 상관 분석 및 선형 회귀 분석을 하였다. ENVPH (multiplying envelope with phoneme onset impulse train)을 특징 점으로 사용하여 계산된 PCV(peak coefficient value)를 사용하여 청취 노력도를 평가 하였을 때, 주관적 노력도와 상관계수가 가장 높았으며, RMSE (root mean square error) 및 분산이 가장 작게 나타났다. 연구에서 제안한 동공팽창반응과 소리의 특성 간의 상호상관계수를 이용한 청취 노력도 평가 방법은 이전의 평가 방법보다 정량적인 청취 노력도 평가가 가능할 것으로 예상되며, 이에 기반하여 임상에서 청각 보조 기기의 성능 평가에 큰 기여를 할 것으로 기대 된다.