A Study on Verifying the Accuracy of Generative AI in Analyzing Film Storytelling
본 연구는 생성형 AI의 영화 스토리텔링 분석 정확성을 실증적으로 검 증하는 데 목적이 있다. 검증 대상은 보편적 대중 서사의 대표군으로서 역대 박스오피스 상위 흥행작과 특정한 이야기 방식을 지닌 연출자 작품 군으로서 신카이 마코토 감독의 연출 작품 전편으로 구성하였다. 분석 항목은 주인공, 도발적 사건, 도발적 사건으로부터 파생된 주인공의 목표 로 한정하고, 각 요소의 판정이 얼마나 안정적으로 이루어지는지를 점검 하였다. 판정은 작품별·요소별로 정확, 부분 정확, 부정확으로 구분하였 으며, 불일치가 나타나면 어떤 개념이 어디에서 잘못 적용되었는지를 함 께 밝혔다. 분석 결과는 다음과 같다. 첫째, 생성형 AI는 일정 수준의 유 의미한 답을 제시하였으나, 전반적으로 높은 정확도에 도달했다고 보기 는 어려웠다. 둘째, 오류는 특히 도발적 사건의 판정에서 가장 빈번하게 나타났으며, 이는 발단이 되는 사건과 도발적 사건을 구분하는 개념 적 용이 불안정한 데에서 비롯된 것으로 보인다. 셋째, 보편적 대중 영화와 특정 감독 작품군 사이에서 분석 정확도의 뚜렷한 차이는 확인되지 않았 다. 결론적으로 생성형 AI 기반 스토리텔링 분석은 작품 이해 초기의 요 약과 탐색 단계에서 보조적으로 활용될 수 있으나, 현 단계에서는 정확 성의 변동성으로 인해 분석의 객관성을 단독으로 담보하기 어렵다. 본 연구는 현시점 AI의 영화 스토리텔링 분석 정확도를 점검할 수 있는 하 나의 틀을 제시했다는 점에서 의의가 있으며, 교육 현장에서는 AI 산출 물을 정답이 아닌 비판적 재검토의 대상으로 활용할 필요가 있음을 시사 한다.
This study examines the accuracy of generative AI in film storytelling analysis. The corpus consists of top box office hits and the complete directorial filmography of Makoto Shinkai. The analysis focuses on three elements: protagonist, inciting incident, and the protagonist’s goal derived from the inciting incident, and evaluates how consistently each is identified. Judgments were classified as accurate, partially accurate, or inaccurate, and discrepancies were examined in terms of conceptual misapplication. The findings show that generative AI can provide answers of some practical value, but its overall accuracy remains limited. Errors occurred most frequently in identifying the inciting incident, mainly because the distinction between the beginning and the inciting incident was applied inconsistently. In addition, no clear difference in analytical accuracy was found between mainstream popular films and a director specific corpus. In conclusion, generative AI based storytelling analysis may serve as a supplementary tool in the early stages of understanding a work, but its variable accuracy makes it difficult for such analysis alone to guarantee objectivity.