본 연구에서는Stable Diffusion 프레임워크를 활용하여 게임 스타일의 스케치, 특히 도시 장면을 생성하는 방법 을 소개한다. 확산 기반의 모델인Stable Diffusion은 쉬운 접근성과 뛰어난 성능으로 많은 연구자와 일반인들에 게 선호되며, 텍스트-스케치, 이미지-스케치의 생성이 가능하다. Stable Diffusion의 몇 가지 문제는 이미지의 국 소성 보존 문제 및 미세 조정인데, 이를ControlNet과DreamBooth를 사용하여 해결한다. 결과적으로, 본 연구를 통 해 게임 제작에 사용될 수 있는 텍스트-스케치, 이미지-스케치 생성이 가능하며, 더 나아가 아티스트를 돕는 툴 로도 활용될 수 있다.

본 논문에서는 웹툰 캐릭터 영상에 대해서 심층학습에 기반한 3D 안면 재구성 기술을 제안한다. 본 연구에서 제안하는 방법은 기본 사항 모듈과 상세 사항 모듈로 구성된다. 입력 받은 웹툰 캐릭터 영상에 대해서 기본 사항 모듈의 요소인 Albedo 모듈을 적용해서 안면에 들어오는 빛의 양을 계산하여 Albedo 맵을 생성한다. 그 리고 기본 사항 모듈의 다른 구성 요소인 FLAME 모듈에서는 입력 영상에 대한 기본적인 3D 안면 형태를 생 성한다. 이와 동시에 상세사항 모듈을 적용해서 실제 사람과 다르게 이목구비가 변형된 웹툰 캐릭터 영상의 표정이나 얼굴 깊이와 같은 특징을 살리는 세부사항을 추출한다. 계산한 세부사항들을 토대로 세부사항 맵을 생성하여 앞서 FLAME 모듈에서 생성된 3D 안면 형태와 결합하여 세부사항 안면 형태를 생성한다. 그 후 Albedo 모듈에서 생성된 Albedo 맵까지 적용하면 최종적으로 웹툰 캐릭터 영상에 대한 3D 안면 재구성이 완 료된다. 본 연구에서는 웹툰 캐릭터뿐만 아니라 안면이 스타일화된 애니메이 션 캐릭터에 대해서도 결과를 생성하고, 이를 기존 연구와 비교하여 그 우수성을 입증한다.

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소 스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해 서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모 델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현 되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS 를 보인다.

2D 퍼즐은 인기있는 보드게임이다. 2D 퍼즐을 완성하는 기술은 많이 연구되었다. 하지만 2D만으로는 대상 을 효과적으로 표현하기 어렵다는 한계가 있다. 본 연구에서는 영상으로부터 높이를 가진 2D+ 레고 퍼즐을 생성하는 방법을 제안한다. 이를 위해서 본 연구에서는 영상의 높이 맵과 분할 맵의 정보를 활용한다. 우리 는 2D+ 퍼즐에 적용하기위해 다양한 대상의 높이 및 영역 정보를 적절하게 처리해야한다. 이러한 이유로, 우리는 깊이 맵과 분할영역 맵을 추출하기 위해 모델에 심층 학습 모델을 적용한다. 높이 맵을 추출하기 위 해 우리는 CelebAMask-HQ dataset으로 학습한 BiseNet을 채택했다. 그리고 분할 맵을 얻기 위해 NYU Depth V2 dataset으로 학습한 DenseDepth를 사용했다. 입력 영상에 대해서 저해상도 영상 및 높이 맵과 분할 맵을 추출하고, 저해상도 영상을 레고 브릭의 색 팔레트를 적용한 영상에 대해서 높이 맵과 분할 맵 정보를 적용해서 높이를 가진 2D+ 픽셀 아트 영상을 생성한다. 그리고, 이 픽셀 아트 영상에 대해서 같은 높이와 같은 색을 가진 픽셀들에 대해서 최대한 큰 브릭을 적용하는 그리디 알고리즘을 적용해서 2D+ 레 고 퍼즐을 완성한다. 본 연구에서는 다양한 초상화를 대상으로 2D+ 레고 퍼즐을 완성하는 예를 제시하였으 며, 그 중 하나를 직접 제작하여 그 결과를 제시한다.

최근 심층 학습 기반의 표정 재연 기술에 대한 많은 연구가 진행되고 있다. 표정 재연 기술이란 입력 이미지 속 사람의 표정을 원하는 표정으로 재연하는 기술이다. 표정 재연 기술은 게임 산업 분야에 유용하게 활용될 수 있을 것이나 표정 재연 기술을 게임 캐릭터에 적용하는 것은 쉽지 않다. 게임 캐릭터의 AU(Action Unit)를 추출하는 것이 힘든 일이기 때문이다. 따라서 본 논문에서는 색상 모듈을 사용하여 게임 캐릭터에도 적용할 수 있는 심층 표정 재연 기술을 제안한다. 게임 캐릭터에서 AU 추출이 가능하도록 색상 모듈을 이용, 캐릭터의 얼굴 색을 실제 사람 얼굴의 색으로 조정한다. 본 논문의 모델은 GAN 기반 구조이다. 본 논문이 제시한 프레임 워크는 색상 모듈, 두가지 생성자, 두가지 판별자, Identity 보존 모듈로 이루어진다. 입력 이미지를 색상 모듈을 통해 얼굴 색을 조정한 후 입력 AU에 따라 생성자를 통해 중립 이미지를 생성한 후 재연 이미지를 생성한다. 그 후 색상 모듈을 통해 입력 이미지 캐릭터의 피부색으로 다시 조정하여 결과 이미지를 생성한다. 이미지가 생성될 때마다 판별자를 통해 이미지의 품질을 측정하고 Identity 보존 모듈을 통해 Identity를 예측하여 보존한 다. 본 연구의 결과는 게임 캐릭터에 대해 기존 연구들보다 표정 변화가 잘 일어난 이미지를 생성했고 이를 게임 분야에 활용할 수 있을 것이다.

최근 GAN(Generative Adversarial Network) 등장 이후 얼굴 표정 재연(face reenactment)의 연구가 활발해지고 있다. 얼굴 표정 재연은 입력으로 주어진 얼굴 이미지를 원하는 표정의 이미지 혹은 표정 정보를 갖는 벡터(vector)을 입력으로 주어 원하는 표정으로 합성하는 기술이다. 본 논문은 GAN 아키텍쳐(architecture)를 기반으로 회전 모듈 (rotate module)과 다양한 각도의 게임 캐릭터 표정을 표정 정보를 갖는 AUs(Action Units) vector를 통해 재연시키 는 방법을 제안한다. 입력으로 다양한 각도의 게임 캐릭터 얼굴이 주어지면 회전 모듈을 통해 정면화(frontalization) 시킨 이미지를 합성한다. 이를 통해, 다양한 각도의 게임 캐릭터들은 각도의 영향에서 벗어날 수 있다. 정면화 이미지는 원하는 표정으로 합성하기 위해 표정 정보를 갖는 AU벡터와 함께 생성자(generator)에 입력으로 주어진다. 이 때, 표정 정보를 갖고 있는 벡터는 AUs를 사용함으로써 다양한 표정과 세기(intensity)를 표현할 수 있다. 생성자는 표정 정보에 대한 관심 지역을 의미하는 관심 마스크(attention mask)를 생성하고 색상 정보를 의미하는 색상 마스크(color mask)를 생성한다. 이를 통해, 게임 캐릭터의 특징과 기타 부착물을 보존하며 표정을 재연한 이미지를 합 성할 수 있다. 관심 마스크와 색상 마스크를 이용하여 원하는 표정으로 재연한 재연 이미지를 합성하고 다시 회전 모듈을 통해 기존의 입력 이미지의 각도로 재회전하여 원하는 결과 이미지를 얻을 수 있다.

본 논문에서는 생성 모델로 색칠하기 게임에서 사용 가능하도록 임의의 선화와 원하는 컬러링 스타일을 입력하면 자동으로 컬러링 영상을 생성하는 신경망 모델인 FillingGAN을 제안한다. 제안된 모델은 스타일 영상의 특징을 추출하는 오토 인코더 구조의 모듈과 추출된 스타일 영상의 특징을 선화에 적용해서 이미지를 생성하는 GAN 모델로 구성된다. GAN 모델은 선화에서 추출된 구조와 스타일 영상에서 추출된 색 정보를 이용해서 채색 영상을 생성하는 과정을 수행하며, 이를 위해서 선화의 구조와 스타일 영상의 색 정보를 유지하는 손실 함수를 설계한다. 우리의 모델은 선화의 고유한 특징을 보존하며 스타일이 적용된 이미지를 생성한다.

본 논문에서는 게임 입력 영상을 일러스트 스케치로 변환하는 GAN 기반의 프레임워크를 제시한다. 이 프레임 워크는 HED(Holistically-Nested Edge Detection) 기법을 통해 게임 입력 영상의 윤곽선과 일러스트 스케치의 윤곽선을 추출하고, 추출한 윤곽선 간의 차이를 LPIPS(Learned Perceptual Image Patch Similarity) 기법으로 추정하는 완화된 순환 일치 손실 모듈을 적용한다. 이 모듈을 통해 게임 입력 영상과 일러스트 스케치의 윤곽선 을 비교하여 명확한 선 표현에 집중한다. 또한 집중적으로 변환해야 하는 영역을 식별하기 위해 의미론적인 영 역에 초점을 맞춘 어텐션 맵을 사용한다. 본 논문이 제시한 프레임워크는 스타일 추출 모듈, 생성자 모듈, 판별 자 모듈 및 완화된 순환 일치 손실 모듈로 구성된다. 먼저 스타일 추출 모듈을 사용하여 일러스트 스케치 영상의 스타일을 추출한다. 다음으로 생성자 모듈을 사용하여 게임 입력 영상에서 추출한 스타일 어텐션 맵을 통해 일러스트 스케치를 생성한다. 생성된 일러스트 스케치 영상을 판별자 모듈을 통해 처리하여 생성된 일러스트 스케치의 품질을 측정한다. 또한 생성된 일러스트 스케치에서 게임 입력 영상의 구조 유지 및 명확한 선 표현을 위해 완화된 순환 일치 손실을 적용한다. 다양한 게임 입력 영상의 스케치를 통해 프레임워크의 우수성을 입증한다.

우리는 게임 렌더링을 위해 파스텔 드로잉 효과를 시뮬레이션 하는 회선기반 방법을 제안한다. 연구 동기는 굵고 진한 스트로크 패턴, 문지르기 효과, 스트로크 겹침 등 파스텔 드로잉의 속성을 모방하는 것이다. 굵고 진한 파스텔 스트로크 패턴을 위해 우리는 직사각형 모양의 스트로크 패턴과 유사한 굵은 노이즈를 사용한다. 문지르기 효과는 노이즈를 두 단계로 적분하는 회선 모델을 제안한다: 첫 단계로 회선 방향에 수직한 노이즈를 적분하고, 이를 두 번째 단계에서 회선 방향으로 적분한다. 스트로크 겹침 효과를 구현하기 위해 우리는 누적 노이즈 필드(ANF, accumulated noise field)를 제안한다. 이는 각 레이어에 노이즈가 분포되어 있다고 가정하고, 서로 다른 레이어에 있는 스트로크 패턴의 색을 섞는 모델을 의미한다. 이러한 세 가지 개념은 회선기반 프레임 웍으로 통합되며 시각적으로 만족스러운 게임 장면의 파스텔 드로잉 효과를 보인다.

픽셀 아트는 낮은 해상도와 제한된 색 팔레트를 가지고 영상을 표현한다. 픽셀 아트는 낮은 연 산 성능과 적은 저장 공간을 가지는 초기 컴퓨터 게임에서 주로 사용되었다. 현대에 이르러, 픽셀 아트는 예술이나 퍼즐, 게임과 같은 다양한 분야에서 찾아볼 수 있게 되었다. 본 논문에서는 게임 캐릭터 영상을 입력으로 받는 픽셀 아트 생성 모델을 제안한다. 기존 방법 과는 달리, 합성곱 신경망(CNN:Convolutional-Neural Network)를 픽셀 아트 생성 목적에 맞게 변형하여 이를 이용하는 방법을 제시한다. 기존의 합성곱 연산 후에 upsampling 과정을 추가하여 픽셀 아트가 생성될 수 있도록 하였다. 네트워크는 ground truth와 생성된 픽셀 아트와의 평균 오차 제곱(MSE:Mean Squared Error)을 최소화해나가며 학습을 수행한다. Ground truth는 실제 아티스트가 생성하도록 하였고, 이미지 회전과 반전 기법을 이용하여 augumentation을 수행하였다. 생성된 데이터 집합은 학습, 검증, 시험 데이터로 나누었다. 이러한 데이터 집합을 기반으로 감독 학습을 실시하여 픽셀 아트 생성 네트워크를 학습하였다. 학습 모델의 학습 과정과 학습 정확도를 제시하고, 시험 데이터 뿐만 아니라 다양한 영상에 대한 픽셀 아트 결과도 함께 제시한다.

4 개의 사각형으로 구성된 도형들의 집합인 테트로미노는 가장 유명한 게임 중의 하나인 테트리스에서 사 용되면서 널리 알려졌다. 최근에는 테트리스를 모방하는 다양한 보드 게임들이 제작되어 저학년 학생들의 교육에서 사용되고 있다. 이에 본 논문에서는 사용자가 입력한 고해상도의 영상으로부터 테트로미노에 기반한 퍼즐을 생성하는 2단계 알고리즘을 제시한다. 1단계에서는 슈퍼 픽셀 알고리즘을 이용해서 고해상도의 입력 영상을 공통된 색 팔레트를 공유하는 저해상도의 픽셀 아트 영상으로 변환한다. 2단계에서는 타일화 알고리즘 을 이용해서 픽셀 아트 영상을 채우는 4x4 또는 8x8 크기의 테트로미노 타일을 생성한다. 영상을 타일로 채우는 과정은 픽셀 아트 영상의 픽셀의 색과 테트로미노 타일의 색의 차이를 최소화하는 방법을 이용한다. 이 과 정에서 퍼즐의 복잡도를 제어하기 위해서 픽셀 아트 영상의 해상도를 조절한다. 이러한 테트로미노에 기반한 게임은 보드 게임뿐 아니라 컴퓨터 게임의 형태로도 구현할 수 있으며, 다양한 사용자 테스트를 통해서 게임의 재미를 검증한다.

본 논문에서는 게임 배경 영상에 대해서 섬세한 일러스트레이션부터 거친 스케치까지 다양한 연필 드로잉 효과를 구현하는 방법을 제안한다. 이 방법은 컨볼루션 알고리즘에 기반한 방법으로 노이즈의 형태를 다양화 시켜서 발생시킴으로써 다양한 연필 효과를 추구한다. 기존의 방법에서 발생하는 노이즈는 영상의 톤을 반영 하는 픽셀 크기의 입자였다. 본 논문에서는 이러한 픽셀 크기의 노이즈의 형태와 분포를 확장해서 다양한 길 이와 두께 및 방향을 갖는 사각형 형태의 노이즈를 사용하는 방법을 고안한다. 그리고 영상 분할 알고리즘을 적용해서 영상의 정보를 추가적으로 활용함으로써 결과 영상의 시각적 완성도를 향상시킨다. 이러한 방법의 장점은 물체, 인물, 장면 등과 같은 다양한 게임 배경 영상에 적용되어 생성된 결과 영상의 우수성을 통해서 입증된다.

We present a flow-based watercolor rendering scheme for game background images. Our scheme is composed of two stages: a flow-based abstraction stage, which is followed by a noise-based watercoloring stage. In the abstrction stage, we apply a 3D Sobel filter to accelerate the abstraction process. The abstracted image is then applied a Perlin noise-based watercoloring process to produce watercolor effects. Finally, we apply paper texture to improve the realism of the results. Among various categories of photographs, our scheme shows good results on portraits, which is a common background of game scene. We apply our scheme for several game backgrounds and produce visually pleasing watercolor effects from them.

We present a legorization framework that produces a LEGO model from a voxel model. Unlike other frameworks, we include bricks whose height is more than one layer. Furthermore, we devise a two-colored graph that represents the adjacency and stability information of a LEGO model. Our legorization is composed of tiling process on each layer, which is implemented using a heuristic search algorithm. We legorize five models including characters and buildings to prove the excellence of out framework

Low-resolution voxel models are widely used in many computer games such as CrossyRoadTM and MinecraftTM and in many block games such as LegoTM. We present a multi-scale voxelization algorithm that abstracts a complex polygonal model to a low-resolution voxel model. Our scheme is distinguished from other voxelization schemes in the point that our scheme controls the level of abstraction according to the complexity of the model. We present a two-stage algorithm: in the first stage, we build a rough voxel model, which is carved to fit the target model in the second stage. We empoly an OpenGL-based slicing algorithm to build a rough model, which is constructed in twofolds. The exterior and interior of the model is constructed separately and merged to complete the rough model. In the second stage, we compute the silhouette of the input model and carve the rough model to improve the completeness of the final result. We test our algorithm for various polygonal models including famous animation character models to prove the excellency of our scheme.

We present a Microsoft Kinect-based hand recognition algorithm for an interactive image clipping system, which is widely used for environments such as public facilities and security environments where personal capturing devices including mobile phones are not allowed. User-friendly interface and accurate image capturing function are required for an image clipping system. We build the system by combining Microsoft Kinect, HD webcam and projector. The Kinect and webcam are used to capture the motions of users' hand and project is to display the user-selected area from the capturing material. Hand recognition is composed of three steps: (i) the region occupied by users' hand is extracted from an image, (ii) the fingertips of the extracted hand region are analyzed using k-curvature algorithm, and (iii) the height of the fingertip is estimated using the depth image from Kinect. The height of the fingertip informs whether users' finger touched the surface of the target. The region captured by the fingertip is clipped from the image and stored as the target image. The excellence of our hand recognition algorithm is proved through a user test.

We present a palm recognition system that can be used for developing an interactive amusement including game contents. The first step of our system is to capture palm photographs using web camera and to extract hand region using YCbCr color transformation and the active contour model. In the second, we build a template that formulates the conditions for recognizing palm lines. We apply Hough transform to the hand region to extract line information and match the extracted lines with the template to recognize palm lines. We further build a series of fortunetelling stories that match the shape and organization of palm lines to complete the amusement system based on palm recognition.

In this paper, we present a technique for applying artistic effects to videos based on a pencil rendering technique. First of all, we propose a vectorized line generation method as a primary technique for solving temporal coherence problem which appears when applying some artistic effects to video. In addition, we propose progressive pencil rendering technique which controls detailed range of drawings from rough sketch to detailed drawing for video. Also, regarding that a real color pencil has a limited set of colors, we suggest limited color pencil rendering method. Furthermore we analyze hand drawing pencil drawings, compare them with rendering results and complement some weakness. A series of our works has a meaning of not only technological but also aesthetical consideration for pencil drawings.

We present an improved sketch-based image search technique through which users can search their target images from the images in database. This technique can be used in constructing an efficient game development framework. Our basic approach is to search the database by comparing the user-created sketch with the graph extracted from the images in the database and estimating the similarity. The images of high similarities are suggested as the candidates that match the target image. To improve the accuracy of the matching process, we substitute the graph-based representation of images with vectorized coherent lines, which are known as one of the most precise schemes in extracting and describing important features in an image. By the experiments on 820 images of 32 categories, we prove that our scheme shows higher matching accuracy than the existing schemes.