The purpose of this study was to investigate how the English speaking ability of Korean EFL college students was affected by their interactions with Talk-to-ChatGPT while taking an ‘English Interview’ class. Thirty pieces of English conversation scripts with thirty chatbot conversations created by five students were collected for analysis. Two online text analysis programs, Quillbot including word counter and grammar checker and T.E.R.A.(Text Ease and Readability Assessor), were used for data analysis. The findings of data analysis revealed that 1) The average length of the sentences and words spoken by the participants has increased through English speaking practice using Talk-to-ChatGPT, and 2) There was no significant change in text ease and readability, and coherence of students’ utterances through English speaking practice using a chatbot while there were differences depending on their English proficiency levels. 3) Students A, B, and D, who had relatively low levels of English proficiency, showed a slight increase in syntactic accuracy and semantic clarity in their English interview practice. Based on the study findings, pedagogical implications for the effective use of AI-based apps or programs in English speaking classes were presented.

This study aims to investigate the effects of using AI chatbots in Korean English education from a macro perspective. For this purpose, 19 experimental studies are selected to conduct a meta-analysis, synthesizing the results of 51 individual study cases. The results of this study are as follows: First, it is found that the overall effect size of using chatbots is more than medium size meaning that a chatbot is an effective tool to learn English. Second, in the aspects of linguistic competence and affective categories, each shows over medium sizes like the overall effect size. In details of the dependent variables, vocabulary and speaking in linguistic competence and motivation in affective categories, large effect sizes are shown. Third, the effect sizes are getting larger, as the younger the students are, the longer the experiment period lasts, and the more purpose-built the chatbot is. But the differences in the effect sizes in terms of these moderators (e.g., school level, experiment period, and chatbot type) are not significant. Lastly, it is suggested that follow-up studies are needed to collect a sufficient number of experimental study cases and subdivide the variables for performing a more detailed meta-anlysis.

본 연구는 최근 주목을 받고 있는 AI 기기를 영어 교육에 활용하는 방안의 하나로 대표적인 AI 챗봇(chatbot)인 Mitsuku와 Cleverbot의 활용 가능성을 탐색하였다. 이를 위해 7단계로 구성된 다양한 과업을 제시하고 27명의 대학생을 대상으로 이들 챗봇과 채팅을 수행하도록 하였다. 그 결과, 먼저 두 챗봇 모두 대화에서 구사하는 어휘의 90% 이상이 상위 3,000단어 이내에 포함되어 대화 시 학습자들이 챗봇의 표현을 이해하는데 큰 문제가 없었다. Mitsuku와 Cleverbot의 기능 비교에서는 실제 대화의 양상과 설문 조사를 바탕으로 볼 때 Mitsuku에 대한 평가가 훨씬 긍정적이었다. Mitsuku는 맥락 파악에 다소 한계를 보이기는 했지만 대화 구사에 큰 무리가 없었고 Mitsuku 자체의 지식 데이터베이스를 뛰어넘는 내용에 대해서는 웹검색을 바탕으로 정보를 제공할 수 있다는 점에서 Cleverbot에 비해 높은 만족도를 보였다. 본 연구에서 나타난 챗봇의 한계에도 불구하고 실험에 참여한 대부분의 학습자들은 영어 구사의 기회와 영어 입력을 제공한다는 점, 그리고 무엇 보다도 인간 대화와는 달리 부담 없이 어떠한 민감한 대화 주제도 꺼낼 수 있고 채팅 시 나타날 수 있는 영어 오류에 대해 신경이 덜 쓰인다는 점을 챗봇 활용의 장점으로 꼽았다. 끝으로 본 연구에서는 그 밖의 시사점과 후속 연구에 대한 제언을 제시하였다.