This study aims to investigate the effects of using AI chatbots in Korean English education from a macro perspective. For this purpose, 19 experimental studies are selected to conduct a meta-analysis, synthesizing the results of 51 individual study cases. The results of this study are as follows: First, it is found that the overall effect size of using chatbots is more than medium size meaning that a chatbot is an effective tool to learn English. Second, in the aspects of linguistic competence and affective categories, each shows over medium sizes like the overall effect size. In details of the dependent variables, vocabulary and speaking in linguistic competence and motivation in affective categories, large effect sizes are shown. Third, the effect sizes are getting larger, as the younger the students are, the longer the experiment period lasts, and the more purpose-built the chatbot is. But the differences in the effect sizes in terms of these moderators (e.g., school level, experiment period, and chatbot type) are not significant. Lastly, it is suggested that follow-up studies are needed to collect a sufficient number of experimental study cases and subdivide the variables for performing a more detailed meta-anlysis.

The following is not a conversation with a bank clerk. " Instead, let me introduce you to customized credit loans," "Do you want me to connect you to the screen of using COVID-19 support funds and checking balance?" These are the contents of consultations with AI chatbots at financial institutions. Chatbot, which used to be an additional tool for adding convenience to life, is now at the center of our lives.

This study suggests that using AI chatbots with highly human-like characteristics could reduce the effectiveness of personalized AI chatbot advertising because they will likely worsen consumer concerns about privacy. Conversely, using AI chatbot with less human-like characteristics will not heighten consumer privacy concerns, thereby increasing the impact of personalized AI advertising.

본 연구는 최근 주목을 받고 있는 AI 기기를 영어 교육에 활용하는 방안의 하나로 대표적인 AI 챗봇(chatbot)인 Mitsuku와 Cleverbot의 활용 가능성을 탐색하였다. 이를 위해 7단계로 구성된 다양한 과업을 제시하고 27명의 대학생을 대상으로 이들 챗봇과 채팅을 수행하도록 하였다. 그 결과, 먼저 두 챗봇 모두 대화에서 구사하는 어휘의 90% 이상이 상위 3,000단어 이내에 포함되어 대화 시 학습자들이 챗봇의 표현을 이해하는데 큰 문제가 없었다. Mitsuku와 Cleverbot의 기능 비교에서는 실제 대화의 양상과 설문 조사를 바탕으로 볼 때 Mitsuku에 대한 평가가 훨씬 긍정적이었다. Mitsuku는 맥락 파악에 다소 한계를 보이기는 했지만 대화 구사에 큰 무리가 없었고 Mitsuku 자체의 지식 데이터베이스를 뛰어넘는 내용에 대해서는 웹검색을 바탕으로 정보를 제공할 수 있다는 점에서 Cleverbot에 비해 높은 만족도를 보였다. 본 연구에서 나타난 챗봇의 한계에도 불구하고 실험에 참여한 대부분의 학습자들은 영어 구사의 기회와 영어 입력을 제공한다는 점, 그리고 무엇 보다도 인간 대화와는 달리 부담 없이 어떠한 민감한 대화 주제도 꺼낼 수 있고 채팅 시 나타날 수 있는 영어 오류에 대해 신경이 덜 쓰인다는 점을 챗봇 활용의 장점으로 꼽았다. 끝으로 본 연구에서는 그 밖의 시사점과 후속 연구에 대한 제언을 제시하였다.