본 논문에서는 웹툰 캐릭터 영상에 대해서 심층학습에 기반한 3D 안면 재구성 기술을 제안한다. 본 연구에서 제안하는 방법은 기본 사항 모듈과 상세 사항 모듈로 구성된다. 입력 받은 웹툰 캐릭터 영상에 대해서 기본 사항 모듈의 요소인 Albedo 모듈을 적용해서 안면에 들어오는 빛의 양을 계산하여 Albedo 맵을 생성한다. 그 리고 기본 사항 모듈의 다른 구성 요소인 FLAME 모듈에서는 입력 영상에 대한 기본적인 3D 안면 형태를 생 성한다. 이와 동시에 상세사항 모듈을 적용해서 실제 사람과 다르게 이목구비가 변형된 웹툰 캐릭터 영상의 표정이나 얼굴 깊이와 같은 특징을 살리는 세부사항을 추출한다. 계산한 세부사항들을 토대로 세부사항 맵을 생성하여 앞서 FLAME 모듈에서 생성된 3D 안면 형태와 결합하여 세부사항 안면 형태를 생성한다. 그 후 Albedo 모듈에서 생성된 Albedo 맵까지 적용하면 최종적으로 웹툰 캐릭터 영상에 대한 3D 안면 재구성이 완 료된다. 본 연구에서는 웹툰 캐릭터뿐만 아니라 안면이 스타일화된 애니메이 션 캐릭터에 대해서도 결과를 생성하고, 이를 기존 연구와 비교하여 그 우수성을 입증한다.

최근 GAN(Generative Adversarial Network) 등장 이후 얼굴 표정 재연(face reenactment)의 연구가 활발해지고 있다. 얼굴 표정 재연은 입력으로 주어진 얼굴 이미지를 원하는 표정의 이미지 혹은 표정 정보를 갖는 벡터(vector)을 입력으로 주어 원하는 표정으로 합성하는 기술이다. 본 논문은 GAN 아키텍쳐(architecture)를 기반으로 회전 모듈 (rotate module)과 다양한 각도의 게임 캐릭터 표정을 표정 정보를 갖는 AUs(Action Units) vector를 통해 재연시키 는 방법을 제안한다. 입력으로 다양한 각도의 게임 캐릭터 얼굴이 주어지면 회전 모듈을 통해 정면화(frontalization) 시킨 이미지를 합성한다. 이를 통해, 다양한 각도의 게임 캐릭터들은 각도의 영향에서 벗어날 수 있다. 정면화 이미지는 원하는 표정으로 합성하기 위해 표정 정보를 갖는 AU벡터와 함께 생성자(generator)에 입력으로 주어진다. 이 때, 표정 정보를 갖고 있는 벡터는 AUs를 사용함으로써 다양한 표정과 세기(intensity)를 표현할 수 있다. 생성자는 표정 정보에 대한 관심 지역을 의미하는 관심 마스크(attention mask)를 생성하고 색상 정보를 의미하는 색상 마스크(color mask)를 생성한다. 이를 통해, 게임 캐릭터의 특징과 기타 부착물을 보존하며 표정을 재연한 이미지를 합 성할 수 있다. 관심 마스크와 색상 마스크를 이용하여 원하는 표정으로 재연한 재연 이미지를 합성하고 다시 회전 모듈을 통해 기존의 입력 이미지의 각도로 재회전하여 원하는 결과 이미지를 얻을 수 있다.