Utility and Limitations of AI-based Topic Modeling in Archaeological Research Trend Analysis A Comparative Study Focusing on Bronze Age Stone Tool Research
본고는 빅데이터 시대의 새로운 연구 방법론으로 부상한 AI 기반 토픽모델링 (BERTopic)을 고고학 연구동향 분석에 적용하고, 그 실체적 효용성과 한계를 규명하는 데 목적이 있다. 이를 위해 2006년부터 2013년까지 한국 청동기시대 석기 관련 연구 논 문 75편을 대상으로 텍스트 마이닝을 수행하였다. 기존의 빅데이터 기반 연구동향 분석이 거시적 경향성 파악에 치중하여 개별 연구의 논리적 맥락을 소거하는 한계를 극복하고자, 본고는 전문가의 정성적 검토가 가능한 규모로 데이터셋을 통제(Controlled Dataset)하여 AI 분석 결과의 미시적 정합성을 정밀하게 검증하였다. 이후 그 결과를 동일시기의 연구 성과를 정량·정성적으로 고찰한 연구사적 논문 결과(손준호 2013)와 직접 비교·분석을 진 행하였다. 텍스트 분석 결과, AI는 방대한 문헌 속에서 ‘형식·편년 중심’과 ‘생산·생계 중심’이라는 거시적 연구 지형을 신속하게 파악하고, 텍스트 이면에 잠재된 방법론적 맥락(자연과학적 분석 등)을 수치로 입증하는 데 탁월한 효용을 보였다. 그러나 미시적 분석 단계에서는 비 판적 논조를 파악하지 못하는 ‘문맥 소거’, 이질적인 시공간 데이터를 기계적으로 결합하 는 ‘사실 왜곡’, 그리고 연구의 질적 경중을 가리지 못하는 ‘가치 평가 부재’라는 결정적 한계를 드러냈다. 이에 필자는 AI의 연산 능력을 맹신하는 태도를 경계하고, 연구자의 경험적 통찰이 AI 의 기계적 객관성을 보완하는 ‘전문가 매개(Expert-Mediated) 통합 분석 모델’을 제안하 였다. 이는 AI에게 1차적인 데이터 처리와 지도 작성을 맡기되, 사실 검증(Fact Verification), 논리적 맥락의 복원(Contextual Calibration), 연구사적 가치 부여 (Qualitative Valuation)의 최종 권한은 인간 연구자가 수행해야 함을 의미한다. 결론적 으로 디지털 고고학의 미래는 데이터의 양적 팽창에 함몰되지 않고, 연구자의 전문적 식견 을 통해 데이터에 학술적 생명력을 불어넣는 방향으로 나아가야 함을 역설하였다.
This study aims to apply AI-based topic modeling (BERTopic), which has emerged as a new research methodology in the era of big data, to the analysis of archaeological research trends and to investigate its practical utility and limitations. To this end, text mining was performed on 75 research papers related to stone tools of the Korean Bronze Age published between 2006 and 2013. To overcome the limitations of existing big data-based trend analyses, which tend to focus on identifying macroscopic trends while erasing the logical context of individual studies, this paper precisely verified the microscopic consistency of the AI analysis results by using a "Controlled Dataset" of a size that allows for qualitative review by experts. Subsequently, the results were directly compared and analyzed against the findings of a historiographical review paper (Son, 2013) that quantitatively and qualitatively examined the research achievements of the same period. The text analysis results showed that AI demonstrated excellent utility in rapidly identifying macroscopic research landscapes, such as ‘typology/chronology-centered’ and ‘production/subsistence-centered’ studies within the vast literature, and in numerically verifying methodological contexts (e.g., scientific analysis) latent behind the text. However, at the microscopic analysis stage, it revealed critical limitations: ‘context erasure,’ failing to grasp critical arguments; ‘factual distortion,’ mechanically combining heterogeneous spatiotemporal data; and ‘absence of valuation,’ unable to distinguish the qualitative significance of studies. Accordingly, the author cautions against blind reliance on AI's computational capabilities and proposes an ‘Expert-Mediated Integrated Analysis Model’ where the researcher's empirical insight complements AI's mechanical objectivity. This implies that while AI is entrusted with primary data processing and mapping, the final authority for ‘Fact Verification,’ ‘Contextual Calibration’ (restoring logical context), and ‘Qualitative Valuation’ (assigning historiographical value) must reside with the human researcher. In conclusion, the study emphasizes that the future of digital archaeology should not be submerged in the quantitative expansion of data but should evolve in a direction where the researcher's professional expertise breathes scholarly life into the data.