본 연구에서는Stable Diffusion 프레임워크를 활용하여 게임 스타일의 스케치, 특히 도시 장면을 생성하는 방법 을 소개한다. 확산 기반의 모델인Stable Diffusion은 쉬운 접근성과 뛰어난 성능으로 많은 연구자와 일반인들에 게 선호되며, 텍스트-스케치, 이미지-스케치의 생성이 가능하다. Stable Diffusion의 몇 가지 문제는 이미지의 국 소성 보존 문제 및 미세 조정인데, 이를ControlNet과DreamBooth를 사용하여 해결한다. 결과적으로, 본 연구를 통 해 게임 제작에 사용될 수 있는 텍스트-스케치, 이미지-스케치 생성이 가능하며, 더 나아가 아티스트를 돕는 툴 로도 활용될 수 있다.

With the recent advent of Metaverse, the character industry that reflects the characteristics of users' faces is drawing attention. there is a hassle that users have to select face components such as eyes, nose, and mouth one by one. In this paper, we propose a diffusion-based model that automatically generates characters from content human photographs. Our model generates user artistic characters by reflecting content information such as face angle, direction, and shape of a content human photo. In particular, our model automatically analyzes detailed information such as glasses and whiskers from content photo images and reflects them in artistic characters generated. Our network generates the final character through a three-step: diffusion process, UNet, and denoising processes. We use image encoders and CLIP encoders for the connection between style and input data. In the diffusion process, a collection of noise vectors is gradually added to a style vector to enable lossless learning of the detailed styles. All input values except for the style images are vectorized with CLIP encoders and then learned with noise style vectors in the UNet. Subsequently, noise is removed from the vectors through the UNet to obtain the artistic character image. We demonstrate our performance by comparing the results of other models with our results. Our method reflects content information without loss and generates natural high-definition characters.

본 논문에서는 웹툰 캐릭터 영상에 대해서 심층학습에 기반한 3D 안면 재구성 기술을 제안한다. 본 연구에서 제안하는 방법은 기본 사항 모듈과 상세 사항 모듈로 구성된다. 입력 받은 웹툰 캐릭터 영상에 대해서 기본 사항 모듈의 요소인 Albedo 모듈을 적용해서 안면에 들어오는 빛의 양을 계산하여 Albedo 맵을 생성한다. 그 리고 기본 사항 모듈의 다른 구성 요소인 FLAME 모듈에서는 입력 영상에 대한 기본적인 3D 안면 형태를 생 성한다. 이와 동시에 상세사항 모듈을 적용해서 실제 사람과 다르게 이목구비가 변형된 웹툰 캐릭터 영상의 표정이나 얼굴 깊이와 같은 특징을 살리는 세부사항을 추출한다. 계산한 세부사항들을 토대로 세부사항 맵을 생성하여 앞서 FLAME 모듈에서 생성된 3D 안면 형태와 결합하여 세부사항 안면 형태를 생성한다. 그 후 Albedo 모듈에서 생성된 Albedo 맵까지 적용하면 최종적으로 웹툰 캐릭터 영상에 대한 3D 안면 재구성이 완 료된다. 본 연구에서는 웹툰 캐릭터뿐만 아니라 안면이 스타일화된 애니메이 션 캐릭터에 대해서도 결과를 생성하고, 이를 기존 연구와 비교하여 그 우수성을 입증한다.

최근 심층 학습 기반의 표정 재연 기술에 대한 많은 연구가 진행되고 있다. 표정 재연 기술이란 입력 이미지 속 사람의 표정을 원하는 표정으로 재연하는 기술이다. 표정 재연 기술은 게임 산업 분야에 유용하게 활용될 수 있을 것이나 표정 재연 기술을 게임 캐릭터에 적용하는 것은 쉽지 않다. 게임 캐릭터의 AU(Action Unit)를 추출하는 것이 힘든 일이기 때문이다. 따라서 본 논문에서는 색상 모듈을 사용하여 게임 캐릭터에도 적용할 수 있는 심층 표정 재연 기술을 제안한다. 게임 캐릭터에서 AU 추출이 가능하도록 색상 모듈을 이용, 캐릭터의 얼굴 색을 실제 사람 얼굴의 색으로 조정한다. 본 논문의 모델은 GAN 기반 구조이다. 본 논문이 제시한 프레임 워크는 색상 모듈, 두가지 생성자, 두가지 판별자, Identity 보존 모듈로 이루어진다. 입력 이미지를 색상 모듈을 통해 얼굴 색을 조정한 후 입력 AU에 따라 생성자를 통해 중립 이미지를 생성한 후 재연 이미지를 생성한다. 그 후 색상 모듈을 통해 입력 이미지 캐릭터의 피부색으로 다시 조정하여 결과 이미지를 생성한다. 이미지가 생성될 때마다 판별자를 통해 이미지의 품질을 측정하고 Identity 보존 모듈을 통해 Identity를 예측하여 보존한 다. 본 연구의 결과는 게임 캐릭터에 대해 기존 연구들보다 표정 변화가 잘 일어난 이미지를 생성했고 이를 게임 분야에 활용할 수 있을 것이다.

최근 GAN(Generative Adversarial Network) 등장 이후 얼굴 표정 재연(face reenactment)의 연구가 활발해지고 있다. 얼굴 표정 재연은 입력으로 주어진 얼굴 이미지를 원하는 표정의 이미지 혹은 표정 정보를 갖는 벡터(vector)을 입력으로 주어 원하는 표정으로 합성하는 기술이다. 본 논문은 GAN 아키텍쳐(architecture)를 기반으로 회전 모듈 (rotate module)과 다양한 각도의 게임 캐릭터 표정을 표정 정보를 갖는 AUs(Action Units) vector를 통해 재연시키 는 방법을 제안한다. 입력으로 다양한 각도의 게임 캐릭터 얼굴이 주어지면 회전 모듈을 통해 정면화(frontalization) 시킨 이미지를 합성한다. 이를 통해, 다양한 각도의 게임 캐릭터들은 각도의 영향에서 벗어날 수 있다. 정면화 이미지는 원하는 표정으로 합성하기 위해 표정 정보를 갖는 AU벡터와 함께 생성자(generator)에 입력으로 주어진다. 이 때, 표정 정보를 갖고 있는 벡터는 AUs를 사용함으로써 다양한 표정과 세기(intensity)를 표현할 수 있다. 생성자는 표정 정보에 대한 관심 지역을 의미하는 관심 마스크(attention mask)를 생성하고 색상 정보를 의미하는 색상 마스크(color mask)를 생성한다. 이를 통해, 게임 캐릭터의 특징과 기타 부착물을 보존하며 표정을 재연한 이미지를 합 성할 수 있다. 관심 마스크와 색상 마스크를 이용하여 원하는 표정으로 재연한 재연 이미지를 합성하고 다시 회전 모듈을 통해 기존의 입력 이미지의 각도로 재회전하여 원하는 결과 이미지를 얻을 수 있다.

본 논문에서는 생성 모델로 색칠하기 게임에서 사용 가능하도록 임의의 선화와 원하는 컬러링 스타일을 입력하면 자동으로 컬러링 영상을 생성하는 신경망 모델인 FillingGAN을 제안한다. 제안된 모델은 스타일 영상의 특징을 추출하는 오토 인코더 구조의 모듈과 추출된 스타일 영상의 특징을 선화에 적용해서 이미지를 생성하는 GAN 모델로 구성된다. GAN 모델은 선화에서 추출된 구조와 스타일 영상에서 추출된 색 정보를 이용해서 채색 영상을 생성하는 과정을 수행하며, 이를 위해서 선화의 구조와 스타일 영상의 색 정보를 유지하는 손실 함수를 설계한다. 우리의 모델은 선화의 고유한 특징을 보존하며 스타일이 적용된 이미지를 생성한다.

본 논문에서는 게임 입력 영상을 일러스트 스케치로 변환하는 GAN 기반의 프레임워크를 제시한다. 이 프레임 워크는 HED(Holistically-Nested Edge Detection) 기법을 통해 게임 입력 영상의 윤곽선과 일러스트 스케치의 윤곽선을 추출하고, 추출한 윤곽선 간의 차이를 LPIPS(Learned Perceptual Image Patch Similarity) 기법으로 추정하는 완화된 순환 일치 손실 모듈을 적용한다. 이 모듈을 통해 게임 입력 영상과 일러스트 스케치의 윤곽선 을 비교하여 명확한 선 표현에 집중한다. 또한 집중적으로 변환해야 하는 영역을 식별하기 위해 의미론적인 영 역에 초점을 맞춘 어텐션 맵을 사용한다. 본 논문이 제시한 프레임워크는 스타일 추출 모듈, 생성자 모듈, 판별 자 모듈 및 완화된 순환 일치 손실 모듈로 구성된다. 먼저 스타일 추출 모듈을 사용하여 일러스트 스케치 영상의 스타일을 추출한다. 다음으로 생성자 모듈을 사용하여 게임 입력 영상에서 추출한 스타일 어텐션 맵을 통해 일러스트 스케치를 생성한다. 생성된 일러스트 스케치 영상을 판별자 모듈을 통해 처리하여 생성된 일러스트 스케치의 품질을 측정한다. 또한 생성된 일러스트 스케치에서 게임 입력 영상의 구조 유지 및 명확한 선 표현을 위해 완화된 순환 일치 손실을 적용한다. 다양한 게임 입력 영상의 스케치를 통해 프레임워크의 우수성을 입증한다.