머신러닝을 위한 features 사용 역사와 근거에 대한 이론적 배경 조사

두 가지 질문

1.  영어 말하기 및 발음평가에 사용되는 자질을 선택하여 머신 러닝으로 평가를 진행 한다면, 실제 선택된 자질이 영어교육의 측면에서 선택된 자질에 만족하는가? 교실현장과 차이가 나거나, 현장의 요구를 반영하지 못하는 자질들이 있는가? 혹은 현장에서 중요하지 않은 자질들이 선택된 것은 없는가? 위의 sub-questions에 대하여 featuers사용및 선택과 관련하여  역사적 관점에서 답하라.

2. 낭독체 발화와 자유발화의 EFL SPEAKER(S)의 음성적 차이가 어디에서 기인되는 것인가? 평가의 측면에서 낭독체 발화와 자유발화의 채점 구인들 중 차이가 나는 부분을 음향.음성적 관점에서 답하라.

 

1. 위의 질문에 대한 답을 찾기 위해 근거로 한 논문 목록

◎ 낭독체와 자유발화 자질연구

No.	선행연구
①	Cucchiarini, C. , Strik, H., & Boves, L. (2002). Quantitative assessment of second language learners’ fluency: Comparisons between read and spontaneous speech. The Journal of the Acoustical Society of America,111(6), 2862-2873. DOI:10.1121/1.1471894
②	Zechner, K., Bejar, I.I. (2006). Towards automatic scoring of non-native spontaneous speech. Proceedings of the Human Language Technology Conference of the North American Chapter of the ACL, 216-223.
③	Zechner, K., Higgins, D., Xi, X. M., & Williamson, D. M. (2009). Automatic scoring of non-native spontaneous speech in tests of spoken English. Speech Communications, 51(10), 883-895.
④	Pearson Education (2022). Versant English Test: Test Description and Validation Summary. Pearson Education, Inc.
⑤	Zechner et al. (2015). Automated Scoring of Speaking Tasks in the Test of English-for-Teaching (TEFT ). ETS Research Report Series, 2015 (2), 1-17.
⑥	Yu, S., Rhee, S-Ch. (2022). Korean prosodic properties between read and spontaneous speech. Phonetics and Speech Science, 14(2), 39-54. DOI: https://doi.org/10.13064/KSSS.2022.14.2.039
⑦	H. Ryu, H. Hong, S. Kim and M. Chung, "Automatic pronunciation assessment of Korean spoken by L2 learners using best feature set selection," 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA), Jeju, Korea (South), 2016, pp. 1-6, doi: 10.1109/APSIPA.2016.7820673.

◎ 자동평가 자질연구

NO.	선행연구
①	Cucchiarini, C., Strik, H., Boves, L. (2000). Quantitative assessment of second language learners’ fluency by means of automatic speech recognition technology. The Journal of Acoustical Society of America, 107(2), 989-999.
②	Zechner, K., Higgins, D., Xi, X., Williamson, D. M. (2009). Automatic scoring of non-native spontaneous speech in tests of spoken English. Speech Communication,  51(10), 883–895.
③	Chen, et al. (2018). Automated scoring of nonnative speech using the SpeechRaterSM v. 5.0 Engine. Research Report ETS RR–18-10.
④	Yan, X, Kim,  H. R., Kim, J. Y. (2018).  ACCURACY AND FLUENCY (CAF) FEATURES OF SPEAKING PERFORMANCES ON APTIS ACROSS DIFFERENT LEVELS ON THE COMMON EUROPEAN FRAMEWORK OF REFERENCE FOR LANGUAGES (CEFR). ARAGs RESEARCH REPORTS ONLINE SERIES EDITOR: VI.
⑤	Xi, X., Higgins, D.,  Zechner, K., Williamson, D. M (2008). Automated Scoring of Spontaneous Speech Using SpeechRaterSM v1.0. ETS RR-08-62. http://www.ets.org/research/contact.html
⑥	Kormos, J., & Dénes, M. (2004). Exploring measures and perceptions of fluency in the speech of second language learners. System, 32(2), 145-164.
⑦	Suzukida, Y. (2017). Examining the Segmental and Suprasegmental Correlates of the IELTS 2 Pronunciation Scale. Master Thesis; Birkbeck, University of London.

 

◎ ACCURACY 측정자질 연구

No.	선행연구
①	Witt, S. M., Young, S. J.  (2000). Phone-level pronunciation scoring and assessment for interactive language learning.  Speech Communication,  30(2-3),95–108.
②	Neumeyer, L. ., Franco, H. , Digalakis, V. , Weintraub, M. (2000). Automatic scoring of pronunciation quality. Speech Communication, 30(2-2), 83–93.
③	Suzukida, Y.,  Saito, K. (2022). What is second language pronunciation proficiency? An empirical study. System, 106, 1- 12.
④	H. Ryu, H. Hong, S. Kim and M. Chung, "Automatic pronunciation assessment of Korean spoken by L2 learners using best feature set selection," 2016 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA), Jeju, Korea (South), 2016, pp. 1-6, doi: 10.1109/APSIPA.2016.7820673.
⑤	류혁수, 정민화 (2016). 조음자질을 이용한 한국인 학습자의 영어 발화 자동 발음 평가. 말소리와 음성과학, 8(4), 103-113.
⑥	홍 혜 진, 류 혁 수, 정 민 화 (2014). 일본인 한국어 학습자의 분절음 실현과 발음 평가의 상관성. 말소리와 음성과학, 6(4), 101-108.

 

2. 1번 질문을 위한 논문 리스트

논문	선정이유및 내용요약
Cucchiarini, C., Strik, H., Boves, L. (2000). Quantitative assessment of second language learners’ fluency by means of automatic speech recognition technology. The Journal of Acoustical Society of America, 107(2), 989-999. 이 논문에 유창성의 정의에 대한 LENON의 논문 부터 소개됨	L2 SPEAKERS의 낭독체 발화를 측정가능한 자질로 물리적으로 측정한 초기 논문(최초논문?---> 확인필요) 1.연구목적 전문가에 의한 낭독발화 능숙도 점수가 시간적 변인에 의해 자동 측정되는 자질에 의해서도 예측될 수 있는지를 연구함 ---> 이 논문은 이렇게 다양한 정의를 가진 “유창성”을 시간의 변인으로 자동측정하는 것이 목적이다. It is this— admittedly rather vague—temporal interpretation of fluency that will be the focus of the present paper. 2. 연구 과정 §참여자: 20(Dutch native), 60(non-native)의 낭독체 발화 §과정: 낭독체 발화의 유창성측정을 위해 자동 음성인식의 결과로 시간적 변인인 speech rate, articulation rate, number and length of pauses, number of dysfluencies, mean length of runs, and phonation/time ratio의 값을 분석하였다. 3. 결과 유창성 등급에 가장 큰 영향을 주는 변인은 RATE OF ARTICULATION(조음 속도)와 NUMBER OF PAUSES (휴지빈도) 이었다. 특히 RATE OF SPEECH(발화 속도)는 조음속도와 휴지 빈도와 큰 상관관계를 보이는 주요한 예측 변수라는 것을 발견 하였다.
Cucchiarini, C. , Strik, H., & Boves, L. (2002). Quantitative assessment of second language learners’ fluency: Comparisons between read and spontaneous speech. The Journal of the Acoustical Society of America,111(6), 2862-2873. DOI:10.1121/1.1471894 낭독체와 자유발화의 유창성 측정 자질이 다를 수 있다는 것을 보여주는 최초 논문	1. 연구목적: 낭독체발화와 자유발화에 대한 지각적 유창성에 대한 객관적 특성에 대한 상관을 분석하여, 향후 객관적 유창성 테스트를 개발을 위해 양적 측정치가 사용할 수 있는지를 결정하려는 목적을 가진다. 2. 연구: 아래의 연구를 인간 평가자에 의해 평가, 음성인식기로 유창성 자질을 양적측정한 것을 분석 [실험1] 60명의 네덜란드어 비원어민 화자 그룹à 낭독체 발화 [실험2] 다른 57명의 네덜란드어 비원어민 화자 그룹à자유발화 3. 연구결과: ① 양적측정치를 유창성 평가를 예측하는데 사용할 수 있었다. ② 낭독체 발화의 예측력이 자유발화 보다 높다. 4. 결론: 유창성 평가를 위해 채택된 변수는 발화자가 어떤 TASK를 수행하는지 영향을 받는다. 즉 낭독체 발화와 자유발화의 유창성을 측정하는 변수가 다를 수 있다는 의미
Kormos, J., & Dénes, M. (2004). Exploring measures and perceptions of fluency in the speech of second language learners. System, 32(2), 145-164. 발화코퍼스가 'SPEECH' 라는데 유창성을 결정하는 자질에 영향을 준 것은 아닐까? 연설은 자유발화라기 보다는 낭독체 발화에 더 가깝기 때문에 FILLED PAUSE와 UNFILEED PAUSE가 유창성 능숙도를 결정에 영향을 준 것으로 생각한다.  ---> 이 논문에서 참고할 사항은 유창성 결정자질로 어떤 자질을 선택하였는지에 대한 선행연구를 어떤 것을 언급하고 있는지 확인	1. 연구목적 - 원어민과 비원어민 교사가 L2 학습자의 유창성을 인식하는 데 영향을 미치는 변수파악이 목적이다. - 유창한 L2 학습자와 비유창한 학습자를 구별하는 기준을 탐색한다. 2. 연구과정 - 16명의 헝가리 L2 학습자들로부터 수집된 연설 샘플을 분석했다. 이 학습자들은 두 가지 다른 숙련도 수준. - 컴퓨터 기술을 이용하여 전통적 측정자질인  정확성, 어휘 다양성 뿐만 아니라 유창성 변인인 시간적, 언어적 측정치를 조사 ( temporal and linguistic measures were correlated with the fluency scores ...) - 세 명의 원어민 및 세 명의 비원어민 교사 심사위원들이 부여한 유창성 점수와 이 측정치들을 상관시켜 비교했습니다. - 교사들의 서면 평가도 고려에 포함되었다. 3. 연구결과 - For all the native and non-native teachers, speech rate, the mean length of utterance, phonation time ratio and the number of stressed words produced per minute were the best predictors of fluency scores.-->  발화속도, 발화의 평균 길이, 발성 시간 비율, 그리고 분당 생성된 강조 단어의 수 - the raters differed as regards how much importance they attributed to accuracy, lexical diversity and the mean length of pauses. - The number of filled and unfilled pauses and other disfluency phenomena were not found to influence perceptions of fluency.
Zechner, K., Bejar, I.I. (2006). Towards automatic scoring of non-native spontaneous speech. Proceedings of the Human Language Technology Conference of the North American Chapter of the ACL, 216-223. 이 논문은 다시 읽고 반드시 자세한 정리가 필요.  ETS의 SPEECHRATER 자동채점 모델 개발을 위한 선행연구로 머신러닝모델을 이용한 채점모델과 인간 평가자와의 일치도를 서포터 벡터 머신으로 분석하고 검정함.	1. 연구목적 - 비모국어 사용자의 구술 영어 능력을 자동으로 평가하는 시스템의 가능성을 탐구한다. - 자발적인 구술 반응을 포함하는 데이터를 기반으로, 양적 및 질적 분석을 통해 평가 모델의 효율성을 검증한다. 2. 연구절차 - 서포트 벡터 머신을 이용하여 구술 영어 능력 점수를 산출하고, 모드 기준 및 인간 평가자와의 일치도를 통해 평가한다. - 분류 및 회귀 트리를 사용하여 서로 다른 자질과 자질 클래스가 말하기 능력 평가에 미치는 영향을 이해하고, 어떤 자질들이 중요한지 파악한다. 3. 연구결과 - 서포트 벡터 머신을 기반으로 한 평가는 경우에 따라 평가자 간 일치도에 근접하는 정확도를 제공. - 대부분 또는 모든 자질 클래스가 평가에 사용되었으며, 이는 점수가 말하기 능력의 여러 구성 요소의 조합으로 이루어짐을 나타낸다. - 향후 연구는 평가 모델을 향상시키기 위해 자질 집합을 확장하고 새로운 자질 클래스를 도입하는 데 집중할 것임을 제시한다.
Zechner, K., Higgins, D., Xi, X. M., & Williamson, D. M. (2009). Automatic scoring of non-native spontaneous speech in tests of spoken English. Speech Communications, 51(10), 883-895. 본격적으로 SpeechRater 개발을 위한 연구로 실제 현장 데이터를 사용하여  음성인식기 + 자질계산 모듈 + 다중회귀평가모델 시스템을 구축함 이 논문은 머신러닝을 이용한 자동평가 논문에서 아주 중요한 위치를 차지하는 논문으로 다시 자세한 review 필요	1. 연구목적 - 비모국어 사용자의 자발적이고 고엔트로피 구술 영어 능력을 자동으로 평가하는 SpeechRaterSM 시스템의 첫 번째 버전을 개발하고 제시한다. - TOEFL iBT 예비 응시자를 대상으로 하는 온라인 연습 테스트의 맥락에서, 의사소통 능력의 중요한 측면들을 포함하는 자동 평가 시스템을 평가한다. 2. 연구절차 - 비모국어 영어 음성 데이터로 훈련된 음성 인식기, 유창성 기반 자질을 계산하는 자질 계산 모듈, 다중 회귀 평가 모델을 포함하는 시스템을 구축한다. - 시스템을 TOEFL Practice Online (TPO) 및 TOEFL iBT 도입 전 수집된 현장 연구 데이터에서 평가한다. - 분류 및 회귀 트리(CART)와 다중 회귀를 사용하여 실험을 수행한다. - 인간 점수와의 상관관계 및 의사소통 능력 개념의 포괄성을 기반으로 특성을 선택한다. 3. 연구결과 - 우리는 기계 점수와 인간 점수 간의 상관관계가 TPO에서 0.57이고, 완전한 6개 항목 세트에서 인간 간 상관관계(0.74)와 0.17의 차이가 남에도 불구하고, 유창성, 어휘 다양성, 문법, 발음과 같은 의사소통 능력의 여러 중요한 측면을 포함한다는 점을 고려할 때, 낮은 위험의 연습 환경에서 시스템의 배포가 여전히 정당하다고 결론 - 시스템의 낮은 위험 연습 환경에서의 배포가 정당한 또 다른 이유는 이 시스템이 어휘, 문법, 내용과 관련된 특성이 자동 음성 인식 성능이 향상될 때 추후 단계에서 추가될 장기 연구 개발 프로그램의 초기 버전이기 때문이다. - 이는 시스템을 재설계하지 않고도 쉽게 달성할 수 있다. 단일 TPO 항목에 대한 우리 시스템과 인간 점수 간의 정확한 일치는 57.8%로, 인간 간 일치(57.2%)와 거의 동등했다.
Zechner et al. (2015). Automated Scoring of Speaking Tasks in the Test of English-for-Teaching (TEFT ). ETS Research Report Series, 2015 (2), 1-17.  2015년 SpeechRater에대한 (지금까지) 최종 보고서 이전에 자유발화데이터 이면서 낭독체가 포함된 데이터인 TEFT 데이터로 진행된 연구로 말하기 자질에 대한 논문이다.
Chen, et al. (2018). Automated scoring of nonnative speech using the SpeechRaterSM v. 5.0 Engine. Research Report ETS RR–18-10. SpeechRater 개발 연구에 대한 10년간 보고서이며, 이 보고서에서 반드시 확인해야 하는 내용은 10년간 도입된 주요 자질과 자질 클래스에 대한 측정과 이 자질들이 평가에 실질적으로 어떻게 영향을 주었는지에 대한 것이다. 10년간 ETS는 유창성자질로 언급되는 시간적 자질 외에도 내용측정을 위해 어휘, 문법, 담화측면까지 측정 자질을 확대해 왔다. 어떤 자질이 어떤 영향을 능숙도 점수에 미치는지 확인 필요.	1. 연구 목적 - 2006년부터 SpeechRaterSM 자동 평가 서비스를 통해 비모국어 사용자의 자발적 구술 영어 능력을 자동으로 평가하는 데 있어서 Educational Testing Service의 연구개발 노력에 대한 개요를 제공한다. - SpeechRater의 개발과정과 현재 상태를 종합적으로 설명하며, 최신 버전인 SpeechRater 5.0의 성능을 평가한다 2. 연구절차 - 다른 기관의 관련 연구를 검토한다. - 지난 10년 동안 SpeechRater에 도입된 주요 자질및 자질 클래스들을 요약하고, 이들이 어떻게 발음, 프로소디, 어휘, 문법, 내용, 담화의 측면을 측정하는지 설명한다. - 평가 불가능한 구술 응답을 표시하기 위한 필터링 모델과 선형 회귀 평가 모델을 구축하는 새로운 하이브리드 방식을 개발한다. - SpeechRater 5.0의 실증적 성능을 평가한다. 3. 연구결과 - SpeechRater의 주요 자질 및 자질 클래스들이 발전하였으며, 발음, 프로소디, 어휘, 문법, 내용, 담론의 측면을 측정하는 데 효과적임이 밝혀졌다. - 평가 불가능한 구술 응답을 표시하기 위한 새로운 유형의 필터링 모델과 선형 회귀 평가 모델을 구축하는 새로운 하이브리드 방식이 개발되었다. -SpeechRater 5.0은 운영적으로 배포되었으며, 이를 통한 실증적 결과가 긍정적임을 보여준다.
Neumeyer, L. ., Franco, H. , Digalakis, V. , Weintraub, M. (2000). Automatic scoring of pronunciation quality. Speech Communication, 30(2-2), 83–93. 이 논문은 읽어야 함.	1. 연구 목적 - 모국어 및 비모국어 구술 데이터를 수집하고 인간 전문가의 평가 데이터베이스를 구축하여 기계에 의한 발음 품질을 자동으로 평가하는 새로운 패러다임을 제시한다. - 발음 평가를 예측 문제로 다루며, 특정 기술에 대한 인간 전문가가 할당할 점수를 예측하는 기계 점수를 개발한다. 2. 연구 절차 - 음성 데이터베이스의 설계와 인간 평가의 신뢰성에 대해 논의한다. - 음성 및 전문가 평가 데이터베이스를 사용하여 통계 모델을 구축하고, 예측 변수로 사용할 수 있는 다양한 기계 점수를 도입한다. - Voice Interactive Language Training System (VILTS) 코퍼스에서 기계 점수를 검증하고, 미국인이 말하는 프랑스어의 발음을 평가한다. 3. 연구 결과 - 로그-후방( log-posterior )및 정규화된 지속 시간과 같은 특정 기계 점수가 충분한 양의 음성 데이터가 있을 때 인간 점수와 비슷한 상관관계를 달성함을 확인했다. - 이러한 기계 점수의 상관관계는 인간 대 인간 상관관계와 비교할 수 있는 수준이라고 평가되었다.
Saito,K., Trofimovich, P., Isaacs, T. (2016).  Second language speech production: Investigating linguistic correlates of comprehensibility and accentedness for learners at different ability levels. Applied Psycholinguistics 37, 217-240. 영어발음 교육적 측면에서 측정 자질을 연구하고 있다. comprehensibility와 accententedeness라는 용어를 사용하여, 원어민들이 L2 화자들의 발화에 대한 이해도와 L2 화자들의 원어민과 같은 발음을 의미하는 개념을 소개하고, 측정방법과 현장에서 발음 교육이 나아가야 할 방향을 제시한다. 영어교육과 발음측정 자질에 대한 연구로 중요함	(1) 연구목표: 현재 프로젝트는 성인 제2언어 (L2) 학습자의 자유발화에 대한 이해 가능성(즉, 이해의 용이성)과 명료함(즉, 언어적 원어처럼 보임)의 언어적 상관 관계를 조사하는 것을 목표로 했습니다. (2) 연구참여자와 절차: 영어를 학습하는 초급, 중급 및 고급 수준의 120명의 일본 학습자들로부터의 시간제 한정된 그림 설명을, 학습자의 이해 가능성과 명료함에 기반한 원어민 평가를 통해 분석한 다음, 세그멘털, 프로소딕, 시간적, 어휘 및 문법적 분석에 제출되었습니다. (3) 연구결과: 결과는 이해 가능성이 모든 언어적 영역과 관련이 있었으며, 명료함은 발음 (특히 세그멘털)과 관련이 강했으며 어휘 및 문법적 분야보다 더 강한 연관성을 보여주었습니다. 특히, L2 이해 가능성 및 명료성의 언어적 상관 관계는 학습자의 능력 수준에 따라 다르게 나타났습니다. 이해 가능성 측면에서 초급에서 중급 수준에는 적절한 발화 속도, 적절하고 풍부한 어휘 사용, 그리고 충분하고 다양한 프로소디가 중요했으며, 중급에서 고급 수준에는 세그멘털 정확성, 좋은 프로소디 및 정확한 문법이 강조되었습니다. 명료성 측면에서는 문법적 복잡성이 중급에서 고급 수준의 성과의 특징이었으며, 세그멘털 및 프로소딕 변수는 모든 수준에서 명료성에 필수적이었습니다. 이러한 결과는 학습자의 능숙도 수준 (초급, 중급 또는 고급)과 학습 목표 (이해 가능성 또는 원어민과 유사한 액센트)에 맞춘 교재가 L2 말하기 교육에 유리할 것으로 나타났습니다.
Suzukida, Y.,  Saito, K. (2022). What is second language pronunciation proficiency? An empirical study. System, 106, 1- 12. 읽어야 되는 논문
Yan, X, Kim,  H. R., Kim, J. Y. (2018).  ACCURACY AND FLUENCY (CAF) FEATURES OF SPEAKING PERFORMANCES ON APTIS ACROSS DIFFERENT LEVELS ON THE COMMON EUROPEAN FRAMEWORK OF REFERENCE FOR LANGUAGES (CEFR). ARAGs RESEARCH REPORTS ONLINE SERIES EDITOR: VI APTIS 평가의 평가 기준이 되는 언어의 복잡성, 정확성, 유창성 자질이 영어 학습자의 수준(CEFR)별로 차이가 나는지를 조사하고, 또 그 평가 RUBRICS이 이론적 타당성을 가지는지를 검증하고 있다. 이 논문에서 확인할 내용은 CAF 자질이라 부른는 자질이 능숙도 수준별로 어떤 차이를 보이는지 확인 필요.	1.연구의 목적 말하기 능력을 평가하는 APTIS 시험에서 성적에 기준이 되는 (언어)복잡성, 정확성, 유창성  자질을 CEFR 수준 별로 조사하는 것으로, 시험의 기준 관련 및 인지적 타당성 증거을 찾기위한 노력이 일환이다. 2. 연구의 절차 • A1-C의 각 수준에서 25 세트씩, 총 125 명의 시험 응시자로부터 벤치마크 음성 세트가 샘플되었으며, 각 응답은 4개의 발화테스크가 모두 담겼으며, 총 500개의 음성 표본이다. •CAF의 하위 범주인 6개의 자질이 측정되었다: LEXICAL SOPHISTICATION, APPROPRIATENESS, GRAMMATICAL COMPLEXITY, ACCURAY, PRONUNCIATON, FLUENCY •통계분석: 이러한 언어적 특징은 그 후에 단변량 및 다변량 통계 분석에 적용되어, 응시자의 CEFR 수준을 유의하게 예측할 수 있는 차별화된 CAF 자질을 식별하기 위해 분석 3. 연구의 결과 •세가지 CAF 구성요소에서 자질들이 차별화 되었다. •사후평가 결과 B2와 C를 제외한 모든 레벨사이에서 이 자질이 유의미한 차이를 보이고 있다. 4. 연구의 의의 이 연구의 결과는 Aptis 말하기 시험의 기준 관련 및 인지 타당성을 지원하는 증거를 제공하며, Aptis에서 평가된 주요 기준과 CEFR에서의 말하기 능력 구성 요소 간의 일치를 입증한다. 차별화된 CAF 자질은 또한 시험의 채점자 교정 및 교육 과정에 도움이 될 수 있다.
기존 영어교육과 관련된 발음이나 유창성 평가자질에 대한 국내외 연구를 좀더 확인해야 한다.
Jang, Juhyun. (2019). Investigating second language pronunciation correlates of accentedness, comprehensibility, and intelligibility for young and adult learners of English. Studies in Foreign Language Education, 33(1), 289-309	이 연구는 암시적 및 명시적 지도가 성인과 청소년 학습자의 제2언어(L2) 발음에 미치는 영향을, 억양(accentedness), 이해도(comprehensibility), 그리고 명료성(intelligibility)과 관련하여 조사하는 것을 목표로 합니다. 한국의 EFL 학습자 110명이 문장을 큰 소리로 읽었습니다. 두 그룹(즉, 명시적 발음 지도 그룹과 암시적 발음 지도 그룹)은 5주 동안 억양, 이해도, 명료성에 대해 명시적으로 및 암시적으로 지도를 받았습니다. 모든 학습자의 음성 데이터에서, 억양(즉, 피치 억양), 이해도(즉, 말 속도), 그리고 명료성(즉, 강세 타이밍)의 측정이 분석되었습니다. 결과는 명시적 지도의 유의미한 효과가 성인 학습자에게 두드러지게 나타난 반면, 암시적 지도의 효과는 청소년 학습자에게 두드러지게 나타났다는 것을 보여줍니다. 마지막으로, 이 연구는 발견된 내용의 함의와 제2언어 발음에 대한 제안을 논의합니다.