본 연구에서는 source face와 target face를 합성해서 게임 캐릭터의 얼굴을 효과적으로 생성 하기 위한 방법으로 target face의 특징을 제거한 nullface를 생성한 다음 source face의 얼굴 의 특징을 적용해서 새로운 얼굴을 합성하는 기법을 제안한다. 이를 위해서 본 연구는 2 가지 모듈을 이용해서 수행된다. 첫 번째 모듈은 nullface를 생성하며, 두번째 모듈은 nullface에 source face의 특징을 적용해서 새로운 얼굴을 합성한다. 이 두 과정 모두 diffusion model에 기반한 방법론을 적용함으로써 효과적인 얼굴 합성 기법을 구현한다.

본 논문에서는 웹툰 캐릭터 영상에 대해서 심층학습에 기반한 3D 안면 재구성 기술을 제안한다. 본 연구에서 제안하는 방법은 기본 사항 모듈과 상세 사항 모듈로 구성된다. 입력 받은 웹툰 캐릭터 영상에 대해서 기본 사항 모듈의 요소인 Albedo 모듈을 적용해서 안면에 들어오는 빛의 양을 계산하여 Albedo 맵을 생성한다. 그 리고 기본 사항 모듈의 다른 구성 요소인 FLAME 모듈에서는 입력 영상에 대한 기본적인 3D 안면 형태를 생 성한다. 이와 동시에 상세사항 모듈을 적용해서 실제 사람과 다르게 이목구비가 변형된 웹툰 캐릭터 영상의 표정이나 얼굴 깊이와 같은 특징을 살리는 세부사항을 추출한다. 계산한 세부사항들을 토대로 세부사항 맵을 생성하여 앞서 FLAME 모듈에서 생성된 3D 안면 형태와 결합하여 세부사항 안면 형태를 생성한다. 그 후 Albedo 모듈에서 생성된 Albedo 맵까지 적용하면 최종적으로 웹툰 캐릭터 영상에 대한 3D 안면 재구성이 완 료된다. 본 연구에서는 웹툰 캐릭터뿐만 아니라 안면이 스타일화된 애니메이 션 캐릭터에 대해서도 결과를 생성하고, 이를 기존 연구와 비교하여 그 우수성을 입증한다.