본 연구의 목적은 생성형 AI의 한국어 문맥 해석 성능을 평가하는 것 으로, 이를 위해 접속 부사 {그래서/ 그러나/ 그런데/ 그리고}가 쓰인 784개 텍스트를 대상으로 챗GPT의 접속 부사 사용을 평가하고 오류의 원인을 분석하였다. 분석 결과 첫째, 챗GPT의 접속 부사 사용 오류율은 약 21%로 총 784개 중 170개의 텍스트에서 의미 해석의 오류가 발생했 다. 둘째, [인과/ 대조/ 전환/ 나열] 중에서 오류 비율은 [인과/ 전환]의 {그래서}와 {그런데}가 약 30%로 가장 높게 나타났다. 이는 챗GPT가 예 측과 추론이 필요한 [인과] 관계 해석에는 한계가 있음을 의미한다. 셋 째, 텍스트 유형에 따른 오류 비율은 ‘소설’이 29%로 가장 높게 나타나 고 ‘논설문’이 14%로 가장 낮게 나타났다. 이는 챗GPT가 논리에 기반한 텍스트에서 문맥을 더 정확하게 해석한다는 것을 의미한다. 넷째, 챗 GPT는 문맥 의미를 해석하는 과정에서 접속 부사의 위치를 잘못 계산하 거나 구절 및 문장의 일부를 누락하는 등 텍스트 분석 과정에서 오류가 나타났다. 본 연구는 생성형 AI의 한국어 문맥 해석 성능과 한계를 문장 층위에서 분석하였다는 점에서 의의가 있으며 이는 생성형 AI의 효과적 인 사용 방법과 성능 개선 방안을 모색하는 데에 도움을 줄 것이다.

The purpose of this study is to evaluate the performance of generative AI in interpreting Korean texts. Accordingly, we analyzed ChatGPT’s use of conjunctive adverbs in 784 texts to evaluate its performance in interpreting the context of the texts. As a result of the analysis, first, the error rate in the use of conjunctive adverbs was approximately 21%, which means that errors in semantic interpretation occurred in 170 out of 784 texts. Second, among [causation/contrast/transition/listing], the error rate was highest in {geuraeseo } and {geureonde } in [causation/transition]. Third, the error rates differed by text type, with "novels" showing the highest error rate at 29%, and "argumentative texts" the lowest at 14%. This indicates that ChatGPT interprets context more accurately in texts based on logical reasoning. Fourth, ChatGPT made errors such as miscalculating the location of conjunctive adverbs or omitting parts of phrases and sentences during the text interpretation process. This study is significant for quantitatively evaluating ChatGPT's performance in interpreting Korean text contexts and analyzing error causes.

논문요약
I. 서론
II. 연구 방법
III. 분석 결과
    1. 의미 해석 오류의 결과
    2. 의미 해석 오류의 양상
IV. 결론 및 제언
<참고문헌>

• 박건숙(상명대학교) | Park Keonsook (Sangmyung University)