Automatic scoring of pronunciation quality

Neumeyer, L., Franco, H., Diglakis, V., Weintraub, M. (2000). Automatic scoring of pronunciation quality. Speech Communication 30, 83-93. 

 

[요약 정리]

논문 "Automatic scoring of pronunciation quality"는 컴퓨터를 이용한 발음 평가의 자동화에 관한 연구입니다. 이 연구에서는 모국어와 비모국어 화자의 발음 데이터를 수집하고, 전문가의 평가를 바탕으로 다양한 컴퓨터 평가 점수를 개발하였습니다. 연구는 먼저 발음 데이터베이스의 설계와 전문가 평가의 신뢰성에 대해 논의한 후, 발음 평가를 예측 문제로 접근하여 특정 기술에 대한 전문가의 평가를 예측하려고 시도합니다. 여기서 사용된 기계 점수는 통계 모델을 기반으로 하며, Voice Interactive Language Training System (VILTS) 말뭉치를 사용하여 프랑스어를 말하는 미국인의 발음을 평가하였습니다. 특정 기계 점수들, 예를 들어 로그-사후 확률 점수와 정규화된 지속 시간 점수는 목표로 한 인간의 등급과 비교할 때 인간 대 인간 상관관계와 비슷한 수준을 달성했습니다. 이러한 결과는 충분한 양의 발음 데이터가 있을 때 얻어집니다.

논문은 또한 다양한 유형의 기계 점수를 실험하고 이러한 점수의 유효성을 VILTS 말뭉치에서 평가한 결과를 보여줍니다. 예를 들어, 로그-사후 확률 점수와 정규화된 지속 시간 점수는 높은 상관관계를 보여주며, 이는 인간의 평가와 비교할 때 효과적인 평가 수단임을 시사합니다. 하지만, 단일 발화만을 사용할 때는 여전히 인간 대 인간 상관관계보다 낮은 상관관계를 보여, 추가 연구가 필요함을 나타냅니다.

결론적으로, 이 논문은 발음 품질의 자동 평가를 위한 다양한 기계 점수를 제시하고, 이러한 점수들이 전문가의 인간 평가와 어느 정도 일치하는지를 실험적으로 검증합니다. 이러한 연구는 컴퓨터 보조 언어 학습 분야에서 중요한 진전을 나타내며, 앞으로의 연구에서 다양한 기계 점수들을 동시에 사용하는 다변량 예측 모델에 대한 가능성을 열어줍니다.

[Abstract]

We present a paradigm for the automatic assessment of pronunciation quality by machine. In this scoring paradigm, both native and nonnative speech data is collected and a database of human-expert ratings is created to enable the development of a variety of machine scores. We ®rst discuss issues related to the design of speech databases and the reliability of human ratings. We then address pronunciation evaluation as a prediction problem, trying to predict the grade a human expert would assign to a particular skill. Using the speech and the expert-ratings databases, we build statistical models and introduce di€erent machine scores that can be used as predictor variables. We validate these machine scores on the Voice Interactive Language Training System (VILTS) corpus, evaluating the pronunciation of American speakers speaking French and we show that certain machine scores, like the log-posterior and the normalized duration, achieve a correlation with the targeted human grades that is comparable to the human-to-human correlation when a sucient amount of speech data is available.

1. 연구의 목적

이 연구는 기계를 이용한 발음 품질의 자동 평가 패러다임을 제시합니다. 목적은 모국어와 비모국어 화자의 발음 데이터를 수집하고, 인간 전문가 평가의 데이터베이스를 구축함으로써 다양한 기계 점수를 개발하고, 이를 통해 발음 평가를 예측 문제로 접근하는 것입니다. 즉, 특정 기술에 대해 인간 전문가가 부여할 점수를 예측하려고 합니다.

 

2. 연구의 절차

연구는 발음 데이터베이스 설계와 인간 평가의 신뢰성에 관련된 문제를 논의하는 것으로 시작합니다. 이후 발음 평가를 예측 문제로 다루며, 발음 데이터베이스와 전문가 평가 데이터베이스를 사용하여 통계적 모델을 구축합니다. 이 모델을 통해, 예측 변수로 사용될 수 있는 다양한 기계 점수를 도입합니다. 그리고 이 기계 점수들을 Voice Interactive Language Training System (VILTS) 말뭉치에서 검증하여, 프랑스어를 말하는 미국인의 발음을 평가합니다.

3. 연구의 결과

특정 기계 점수들(예: 로그-사후 확률 점수와 정규화된 지속 시간 점수)은 충분한 양의 발음 데이터가 있을 때 목표로 한 인간의 등급과 비교할 때 인간 대 인간 상관관계와 비슷한 수준의 상관관계를 달성함을 보여줍니다. 이는 기계 점수가 인간 전문가의 평가와 유사한 수준으로 발음 품질을 평가할 수 있음을 시사합니다.

 

[1. Introduction]