논문 상세보기
Performance Analysis of LLMs in Applying Maritime English Using PHP Text Similarity Algorithm and BERT-based Transformer Models KCI 등재
PHP Text Similarity 알고리즘과 BERT 기반 트랜스포머 모델을 활용한 LLM의 해사영어 활용 성능 분석
- 언어ENG
- URLhttps://db.koreascholar.com/Article/Detail/441139
pp.293-301
해상에서의 안전한 의사소통은 선박 운항의 핵심 요소로, 국제해사기구(IMO)는 SMCP(Standard Marine Communication Phrases)를 제정하여 선내외 교신에서 활용할 수 있도록 하였다. SMCP를 포함한 해사영어는 효과적이고 정확한 의사소통을 위해 일반 영어와는 다 른 문법적, 어휘적, 구조적 특성을 반영하고 있으며, 간결성과 명확성에 초점이 맞추어져 표준화되어 있다. 이러한 맥락에서 본 연구는 상 용 LLM 모델의 해사영어 활용 능력을 PHP Text Similarity 알고리즘과 BERT 기반 모델을 활용하여 평가하였다. 먼저 ChatGPT, Google Gemini, Meta LLaMA 3 70B Instruct 모델을 대상으로 SMCP 기반 문장 구성, 용어 정의, 빈칸 채우기 문제를 포함한 총 60문항을 활용하여 성능을 비교 분석하였다. 이후 해사고등학교 학생들의 시험 결과와 LLM 모델의 결과를 비교하여, LLM이 실제 해기사 교육 수준과 비교 했을 때 어느 정도의 해사영어 이해 및 문장 구성 능력을 갖추었는지 평가하였다. 대체적으로 LLM 모델들은 높은 정답률을 보였으나, 표 준화된 문구를 정확하게 활용하거나 관용적으로 사용되는 해사영어 표현을 이해하고 적용하는 데 한계점이 있음을 확인하였다. 본 연구 는 해기교육기관 및 실무 현장에서 상용 LLM 모델의 해사영어 활용 가능성을 평가하는 기초 자료로 활용될 수 있을 것으로 기대되며, 향 후 보다 정교한 모델을 대상으로 추가연구가 필요하다.
Effective communication at sea is a crucial factor in safe vessel operations. To ensure clear and standardized communication, the International Maritime Organization (IMO) established the Standard Marine Communication Phrases (SMCP) for use in ship-to-ship and ship-to-shore communications. Maritime English, including SMCP, differs from general English in its grammatical, lexical, and structural characteristics, emphasizing clarity and conciseness. This study evaluates the ability of commercial Large Language Models (LLMs) to use Maritime English effectively using PHP Text Similarity algorithms and BERT-based models. The research tested three LLMs (ChatGPT, Google Gemini, and Meta LLaMA 3 70B Instruct) using 60 standardized SMCP-based questions covering sentence construction, terminology definition, and fill-in-the-blank exercises. The results were then compared with the test scores of maritime high school students to assess whether LLMs can perform at a similar level to human trainees in maritime communication. Overall, the LLMs demonstrated high accuracy but showed limitations in applying standardized phrases and understanding conventional maritime expressions. The findings indicate that, while LLMs have potential applications in maritime training and operations, they are not yet fully reliable for independent use in real-world scenarios without human oversight. This study serves as a reference for evaluating the feasibility of LLMs in maritime education and practice, emphasizing the need for further research on more sophisticated models in the future.
요 약
1. Introduction
2. LLM Model Evaluation Method for MaritimeEnglish Proficiency
2.1 International standard on Maritime English
2.2 Maritime English Evaluation and Scoring Method
2.3 Analysis of Applied Models
2.4 Student Test Data
3. The Results Analysis
3.1 Analysis of Test Results by Model
3.2 Analysis of Scoring Penalty Factors of LLM Models
3.3 Comparative Analysis of Maritime English ProficiencyBetween Junior Officers and LLM Models
3.4 BERT-Based Semantic Similarity Analysis
4. Conclusion
References
