최근 심층 학습 기반의 표정 재연 기술에 대한 많은 연구가 진행되고 있다. 표정 재연 기술이란 입력 이미지 속 사람의 표정을 원하는 표정으로 재연하는 기술이다. 표정 재연 기술은 게임 산업 분야에 유용하게 활용될 수 있을 것이나 표정 재연 기술을 게임 캐릭터에 적용하는 것은 쉽지 않다. 게임 캐릭터의 AU(Action Unit)를 추출하는 것이 힘든 일이기 때문이다. 따라서 본 논문에서는 색상 모듈을 사용하여 게임 캐릭터에도 적용할 수 있는 심층 표정 재연 기술을 제안한다. 게임 캐릭터에서 AU 추출이 가능하도록 색상 모듈을 이용, 캐릭터의 얼굴 색을 실제 사람 얼굴의 색으로 조정한다. 본 논문의 모델은 GAN 기반 구조이다. 본 논문이 제시한 프레임 워크는 색상 모듈, 두가지 생성자, 두가지 판별자, Identity 보존 모듈로 이루어진다. 입력 이미지를 색상 모듈을 통해 얼굴 색을 조정한 후 입력 AU에 따라 생성자를 통해 중립 이미지를 생성한 후 재연 이미지를 생성한다. 그 후 색상 모듈을 통해 입력 이미지 캐릭터의 피부색으로 다시 조정하여 결과 이미지를 생성한다. 이미지가 생성될 때마다 판별자를 통해 이미지의 품질을 측정하고 Identity 보존 모듈을 통해 Identity를 예측하여 보존한 다. 본 연구의 결과는 게임 캐릭터에 대해 기존 연구들보다 표정 변화가 잘 일어난 이미지를 생성했고 이를 게임 분야에 활용할 수 있을 것이다.

본 논문에서는 생성 모델로 색칠하기 게임에서 사용 가능하도록 임의의 선화와 원하는 컬러링 스타일을 입력하면 자동으로 컬러링 영상을 생성하는 신경망 모델인 FillingGAN을 제안한다. 제안된 모델은 스타일 영상의 특징을 추출하는 오토 인코더 구조의 모듈과 추출된 스타일 영상의 특징을 선화에 적용해서 이미지를 생성하는 GAN 모델로 구성된다. GAN 모델은 선화에서 추출된 구조와 스타일 영상에서 추출된 색 정보를 이용해서 채색 영상을 생성하는 과정을 수행하며, 이를 위해서 선화의 구조와 스타일 영상의 색 정보를 유지하는 손실 함수를 설계한다. 우리의 모델은 선화의 고유한 특징을 보존하며 스타일이 적용된 이미지를 생성한다.