대형,소형 언어 모델의 고전 문헌 정리 및 연구에서의 활용에 대한 고찰
인공지능 기술이 빠르게 발전함에 따라 고전 문헌의 정리와 연구는 패러다임의 새로운 전환을 맞이하고 있다. 본고는 언어 모델의 기본 원리에서 출발하여 고전 문헌의 정리와 연구의 실제적 요구를 결합하고, 대형·소형 언어 모델의 구축 방법과 관련 분야에서의 혁신적인 활용을 종합적 으로 검토하고자 한다. 구체적으로는 한편으로 BERT 등의 소형 언어 모델을 사례로 들어, 구두· 표점과 고유명사 식별 등 고전 문헌 정리의 기초 작업에 적용한 실제 사례를 소개한다. 다른 한편으로는 대형 고대 중국어 언어 모델의 구축 과정과 그것이 주석과 번역 등 심층적인 고전 문헌 연구에서 수행하는 핵심적인 역할을 소개한다. 마지막으로 통시적 어휘 의미 변천 자원고의 구축과 사전 편찬 등의 사례를 통해 대형·소형 언어 모델의 협력 기제를 소개한다.
With the rapid advancement of artificial intelligence, the collation and study of ancient texts are undergoing a profound paradigm shift. This paper reviews the fundamental principles of language models and examines their innovative applications in response to the practical needs of classical text processing and research. First, using BERT and similar small-scale models as examples, we discuss their effectiveness in fundamental tasks such as sentence segmentation and named entity recognition for ancient Chinese texts. Second, we outline the construction of large-scale classical Chinese language models and their essential roles in annotation, translation, and other advanced research scenarios. Finally, through cases such as diachronic lexical resource development and dictionary compilation, we explore the collaborative mechanisms between small and large language models in the intelligent processing of ancient texts.
随着人工智能技术的飞速发展,古籍整理与研究正迎来新的范式转型。本文将从语言模型 的基本原理出发,结合古籍整理与研究的实际需求,综述大、小语言模型的构建方法及其在 相关领域中的创新应用。具体包括:一方面,以BERT等小型语言模型为例,介绍其在句读 标点、专名识别等古籍整理基础任务中的实践案例;另一方面,介绍大型古汉语模型的构建 过程,及其在注释、翻译等深层古籍研究中的关键作用;最后,还将结合历时词义演变资源 库建设和辞书编修等案例,介绍大、小语言模型的协作机制。