최근 디지털 콘텐츠 중 E-Book과 웹 소설이 증가하고 있다. 삽화는 텍스트 콘텐츠에서 독자의 이해를 도울 수 있다. 따라서 텍스트 콘텐츠를 분석하여 자동으로 삽화를 생성하는 여러 접근방법이 등장했다. 먼저 규칙 기반 접근방법은 문장을 분석하는 규칙과 분석된 문장 구조를 삽화로 변환하는 규칙을 모두 활용하여 삽화를 생성한다. 그러나 정해진 규칙에서 벗어나면 삽화를 생성하지 못 할 수도 있다는 단점이 있다. 다음으로 통계 기반 접근방법은 통계를 기반으로 후보 중 가장 가능성이 높은 삽화를 생성한다. 그러나 통계 기반 접근방법은 사람이 추출한 정보에 강하게 의존한다는 단점이 있다. 본 연구는 사람이 아닌 시스템이 자동으로 정보를 추출하는 딥러닝을 활용한 삽화 생성 시스템을 제안한다. 제안하는 시스템은 형태소 분석기, 개체명 인식기, 의존 구문 구조 분석기로 이루어져있다. 동화 "빨간모자"를 통해 평가하였고, 총 99문장 중 삽화 생성이 가능한 문장이 28문장, 삽화 생성이 불가능한 문장이 71문장이었다. 삽화 생성이 불가능한 문장의 경우 대사가 41문장, 불명확한 주어가 2문장, 그리고 표현이 불가능한 서술어가 28문장이었다. 제안하는 시스템이 올바른 삽화를 생성한 문장은 23문장, 부적절한 삽화를 생성한 문장은 2문장, 삽화를 생성하지 않은 문장은 74문장으로 나타났다.

본 논문에서는 한국어 쓰기 교육을 위한 교육용 게임으로서 text-to-scene 모델을 제안한다. 사용자 입력 문장에 대해 즉각적인 피드백을 제공하기 위해서, 제안하는 text-to-scene 모델은 사용자 입력 문장의 의미구조를 분석하여 장면을 자동으로 생성한다. 사용자가 문장을 교정하면서 자연스럽게 한국어 쓰기 능력이 향상될 수 있도록, 제안하는 text-to-scene 모델은 정답 장면과 사용자 입력 문장에 대한 장면을 함께 제공하므로, 사용자는 입력 문장의 어느 부분이 잘못되었는지 쉽게 파악하고 문장을 수정할 수 있다. 기존의 text-to-scene 연구에서 정교하게 장면을 생성하기 위해서는 필요한 자원 구축이 어렵고 처리 과정이 매우 복잡하다는 점을 고려하여, 제안하는 text-to-scene 모델은 외국인이 쉽게 이해할 수 있는 수준으로 장면을 단순하게 표현한다. 실험결과 격조사나 문장 요소 생략 등을 고려하여 15개의 단어를 임의로 조합하여 5개 어절 이내의 문장 1,048,576개 문장을 만들어 실험한 결과 제안하는 모델은 한 문장당 평균 14.94ms가 소요하면서 안정적으로 장면을 생성하였다. 외국인을 대상으로 한 작문 시험 결과, 종이를 이용한 작문 결과에서는 10개 문항 중 오답 문장이 평균 4.7개 나왔는데, 제안하는 text-to-scene 모델을 이용한 작문 결과에서는 한 문장 당 평균 1.56회의 미리보기를 하고 문장을 수정하여 0.87개가 나왔다.

게임에서의 스토리는 상호작용 할 수 있는 인터렉티브 스토리텔링이라는 점에서 사용자의 몰입을 유도한다. 이러한 인터렉티브 스토리텔링은 기존의 이야기의 선형 구조와 달리 비선형 구조를 띄고 있기 때문에 기존의 서술구조와는 다른 서술구조가 연구되어왔다. 크게 사건 중심인 트리 기반 서술구조, 제약 기반 서술구조, 캐릭터 중심인 캐릭터 기반 서술구조가 있다. 트리 기반 서술구조는 HTN, HSP등 여러 알고리즘으로 발전되었고, 분기가 많을수록 트리의 크기가 커진다는 단점과 이야기의 자유도가 떨어진다는 단점이 존재하였고, 캐릭터 기반 서술구조의 경우 사건이 아닌 캐릭터를 설계한 다음 캐릭터가 자유롭게 행동하게 하여 이야기를 진행하는 방식으로 사용자가 몰입하는 대상이 캐릭터라는 점에서 게임에 더 적합할 수는 있지만, 캐릭터의 행동을 세밀하게 설계하기 힘들다는 단점이 존재한다. 본 연구는 이 중 제약 기반 서술구조를 전체 이야기의 흐름 파악과 다양한 사건전개가 용이하도록 새로운 태그들을 제시하여 재설계하였다. 새롭게 제시된 <event>라는 태그는 이야기의 흐름 파악을 쉽게 할 수 있게 하고, <plot>이라는 태그는 다양한 사건전개가 용이하도록 설계되었다. 제안하는 서술구조를 이용하여 예시로 이솝우화 중 토끼와 거북이에 적용하였다.