For effective human-robot interaction, robots need to understand the current situation context well, but also the robots need to transfer its understanding to the human participant in efficient way. The most convenient way to deliver robot’s understanding to the human participant is that the robot expresses its understanding using voice and natural language. Recently, the artificial intelligence for video understanding and natural language process has been developed very rapidly especially based on deep learning. Thus, this paper proposes robot vision to audio description method using deep learning. The applied deep learning model is a pipeline of two deep learning models for generating natural language sentence from robot vision and generating voice from the generated natural language sentence. Also, we conduct the real robot experiment to show the effectiveness of our method in human-robot interaction.

본 연구의 목적은 STEAM 기반의 로봇 학습이 초등 정보영재의 창의성 신장에 미치는 영향을 알아보기 위한 것이다. 이를 위하여 초등 정보영재의 창의성을 향상시키기 위한 방법으로 STEAM 기반의 학습을 설계하였고, 설계된 수업을 현장에 적용하였다. 연구를 위해 경기도에 소재한 초등학교 부설 정보영재 학급 6학년 20명을 실험집단(10명)과 비교집단(10명)으로 선정하였고, 개발된 STEAM 기반의 로봇 수업을 5주 동안 15차시에 걸쳐 실험집단에 적용하였으며, 비교집단에는 전통적인 로봇 프로그래밍 수업을 실시하였다. 실험에 앞서 두 집단의 동질성을 알아보기 위한 사전 검사를 실시하였다. 수업 진행 후 창의성 신장에 관한 효과를 측정하기 위하여 사후검사를 실시하였다. 적용 결과 실험집단 학생의 창의적 특성이 통계적으로 유의한 수준에서 향상되었다. 본 연구 결과 STEAM 기반의 로봇 학습이 초등 정보영재의 창의적 특성 향상에 효과적임이 입증되었다.