최근 심층 학습 기반의 표정 재연 기술에 대한 많은 연구가 진행되고 있다. 표정 재연 기술이란 입력 이미지 속 사람의 표정을 원하는 표정으로 재연하는 기술이다. 표정 재연 기술은 게임 산업 분야에 유용하게 활용될 수 있을 것이나 표정 재연 기술을 게임 캐릭터에 적용하는 것은 쉽지 않다. 게임 캐릭터의 AU(Action Unit)를 추출하는 것이 힘든 일이기 때문이다. 따라서 본 논문에서는 색상 모듈을 사용하여 게임 캐릭터에도 적용할 수 있는 심층 표정 재연 기술을 제안한다. 게임 캐릭터에서 AU 추출이 가능하도록 색상 모듈을 이용, 캐릭터의 얼굴 색을 실제 사람 얼굴의 색으로 조정한다. 본 논문의 모델은 GAN 기반 구조이다. 본 논문이 제시한 프레임 워크는 색상 모듈, 두가지 생성자, 두가지 판별자, Identity 보존 모듈로 이루어진다. 입력 이미지를 색상 모듈을 통해 얼굴 색을 조정한 후 입력 AU에 따라 생성자를 통해 중립 이미지를 생성한 후 재연 이미지를 생성한다. 그 후 색상 모듈을 통해 입력 이미지 캐릭터의 피부색으로 다시 조정하여 결과 이미지를 생성한다. 이미지가 생성될 때마다 판별자를 통해 이미지의 품질을 측정하고 Identity 보존 모듈을 통해 Identity를 예측하여 보존한 다. 본 연구의 결과는 게임 캐릭터에 대해 기존 연구들보다 표정 변화가 잘 일어난 이미지를 생성했고 이를 게임 분야에 활용할 수 있을 것이다.

Recently, many progresses on deep learning-based facial expression reenactment are released. Applying the facial reenactment techniques to game characters should address a challenge of extracting action units (AUs) from non-human game characters. To extract AUs from non-human game characters effectively, we devise a coloring module that adjusts the face colors of the character to that of a normal human. Our framework is based on GAN. Our framework consists of a coloring module, two generators, two discriminators, and an identity preserving module. In the first, we adjust the face color using the coloring module and then generate a neutral face from the first generator according to the input AU. The second generator produces the reenacted face images from the neutral face. Finally, the coloring module applies the original face color to the reenacted facial images. We measure the quality of the generated image through the discriminators and preserve the identity through the identity preserving module. We generate reenacted images from various game characters and prove the excellency of our method.

ABSTRACT
1. Introduction
    1.1 Status of facial expression re-enactmenttechnology
    1.2 Apply to game characters
2. A related study
    2.1 Facial Re-enacting Techniques UsingGenerative Neural Networks
    2.2 Facial Reaction Technology Using GAN
3. Methodology
    3.1 Model Structure
    3.2 Loss functions
4. Conclusion
    4.1 Performance Comparison with Other Models
    4.2 Conclusion and future research plans
Reference
<국문초록>
<결론 및 향후 연구>

• Hyoungbum KIM(Dept. of Computer Science, Sangmyung Univ.) | 김형범
• Kyungha MIN(Dept. of Computer Science, Sangmyung Univ.) | 양희경 Correspondence to
• Heekyung YANG(Div. of SW Convergence, Sangmyung Univ.) | 민경하 Correspondence to