본 연구는 AI-Hub의 ‘방송콘텐츠 한국어-중국어 번역 말뭉치’ 데이터를 활용하여 네이버 파파고의 번역 품질을 평가하고 이를 시각화하는 것을 목표로 한다. 먼저 BL EU 점수를 통해 파파고 번역 품질을 정량적으로 분석하고, 다양한 시각화 기법을 활용하여 번역 품질의 패턴을 파악하였다. 연구 결과에 따르면, 파파고 번역은 짧고 단순한 문장에서 높은 성능을 보였으나, 문장이 길고 복잡해질수록 번역 품질이 저 하되는 경향이 나타났다. 특히, 구어체 표현이나 문화적 맥락이 필요한 표현에서는 번역 오류가 두드러지게 나타났다. 본 연구는 데이터 시각화를 통해 번역 품질 평가 의 이해를 돕고, 파파고 번역의 강점과 약점을 명확히 제시하였다. 향후 연구에서는 다양한 평가 지표와 데이터셋을 활용하여 번역 품질을 더욱 다각적으로 평가하고, 파파고 번역의 한계점을 개선 방안을 제시할 예정이다.

This study aims to evaluate and visualize the translation quality of Naver’s Papago using AI-Hub’s ‘Broadcast Content Korean-Chinese Translation corpus’ data. First, the Papago translation quality was quantitatively analyzed through the BLEU score, and the pattern of translation quality was identified using various visualization techniques. According to the results of the study, Papago translation showed high performance in short and simple sentences, but the longer and more complex the sentences, the lower the translation quality. In particular, translation errors were prominent in colloquial expressions or expressions that require cultural context. This study helps understand translation quality evaluation through data visualization, and clearly presents the strengths and weaknesses of Papago translation. In addition, it provides insights into how translation systems can be further improved by identifying specific areas of weakness. In future studies, we plan to incorporate human evaluation and other metrics to provide a more holistic assessment of the translation quality and develop targeted strategies to enhance Papago’s translation capabilities.

【초록】
1. 서론
2. 이론적 배경
    1) 기계번역과 BLEU 점수
    2) 파파고 번역의 특징
    3) 데이터 시각화의 중요성
3. Ai-Hub 인공지능 학습용 데이터 품질 평가 및 시각화 방법
    1) AI-Hub ‘방송콘텐츠 한국어-중국어 번역 말뭉치’ 전처리
    2) 번역 품질 평가 방법
    3) 번역 품질 데이터 분석
    4) 번역 품질 데이터 시각화 방법 연구
4. 결론
【참고문헌】
【논문초록】

• 고권태(부산외국어대학교 AI융합교육센터 초빙교수) | Go Gwon-Tae