본 연구에서는Stable Diffusion 프레임워크를 활용하여 게임 스타일의 스케치, 특히 도시 장면을 생성하는 방법 을 소개한다. 확산 기반의 모델인Stable Diffusion은 쉬운 접근성과 뛰어난 성능으로 많은 연구자와 일반인들에 게 선호되며, 텍스트-스케치, 이미지-스케치의 생성이 가능하다. Stable Diffusion의 몇 가지 문제는 이미지의 국 소성 보존 문제 및 미세 조정인데, 이를ControlNet과DreamBooth를 사용하여 해결한다. 결과적으로, 본 연구를 통 해 게임 제작에 사용될 수 있는 텍스트-스케치, 이미지-스케치 생성이 가능하며, 더 나아가 아티스트를 돕는 툴 로도 활용될 수 있다.

본 논문에서는 웹툰 캐릭터 영상에 대해서 심층학습에 기반한 3D 안면 재구성 기술을 제안한다. 본 연구에서 제안하는 방법은 기본 사항 모듈과 상세 사항 모듈로 구성된다. 입력 받은 웹툰 캐릭터 영상에 대해서 기본 사항 모듈의 요소인 Albedo 모듈을 적용해서 안면에 들어오는 빛의 양을 계산하여 Albedo 맵을 생성한다. 그 리고 기본 사항 모듈의 다른 구성 요소인 FLAME 모듈에서는 입력 영상에 대한 기본적인 3D 안면 형태를 생 성한다. 이와 동시에 상세사항 모듈을 적용해서 실제 사람과 다르게 이목구비가 변형된 웹툰 캐릭터 영상의 표정이나 얼굴 깊이와 같은 특징을 살리는 세부사항을 추출한다. 계산한 세부사항들을 토대로 세부사항 맵을 생성하여 앞서 FLAME 모듈에서 생성된 3D 안면 형태와 결합하여 세부사항 안면 형태를 생성한다. 그 후 Albedo 모듈에서 생성된 Albedo 맵까지 적용하면 최종적으로 웹툰 캐릭터 영상에 대한 3D 안면 재구성이 완 료된다. 본 연구에서는 웹툰 캐릭터뿐만 아니라 안면이 스타일화된 애니메이 션 캐릭터에 대해서도 결과를 생성하고, 이를 기존 연구와 비교하여 그 우수성을 입증한다.

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소 스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해 서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모 델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현 되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS 를 보인다.

최근 심층 학습 기반의 표정 재연 기술에 대한 많은 연구가 진행되고 있다. 표정 재연 기술이란 입력 이미지 속 사람의 표정을 원하는 표정으로 재연하는 기술이다. 표정 재연 기술은 게임 산업 분야에 유용하게 활용될 수 있을 것이나 표정 재연 기술을 게임 캐릭터에 적용하는 것은 쉽지 않다. 게임 캐릭터의 AU(Action Unit)를 추출하는 것이 힘든 일이기 때문이다. 따라서 본 논문에서는 색상 모듈을 사용하여 게임 캐릭터에도 적용할 수 있는 심층 표정 재연 기술을 제안한다. 게임 캐릭터에서 AU 추출이 가능하도록 색상 모듈을 이용, 캐릭터의 얼굴 색을 실제 사람 얼굴의 색으로 조정한다. 본 논문의 모델은 GAN 기반 구조이다. 본 논문이 제시한 프레임 워크는 색상 모듈, 두가지 생성자, 두가지 판별자, Identity 보존 모듈로 이루어진다. 입력 이미지를 색상 모듈을 통해 얼굴 색을 조정한 후 입력 AU에 따라 생성자를 통해 중립 이미지를 생성한 후 재연 이미지를 생성한다. 그 후 색상 모듈을 통해 입력 이미지 캐릭터의 피부색으로 다시 조정하여 결과 이미지를 생성한다. 이미지가 생성될 때마다 판별자를 통해 이미지의 품질을 측정하고 Identity 보존 모듈을 통해 Identity를 예측하여 보존한 다. 본 연구의 결과는 게임 캐릭터에 대해 기존 연구들보다 표정 변화가 잘 일어난 이미지를 생성했고 이를 게임 분야에 활용할 수 있을 것이다.

최근 GAN(Generative Adversarial Network) 등장 이후 얼굴 표정 재연(face reenactment)의 연구가 활발해지고 있다. 얼굴 표정 재연은 입력으로 주어진 얼굴 이미지를 원하는 표정의 이미지 혹은 표정 정보를 갖는 벡터(vector)을 입력으로 주어 원하는 표정으로 합성하는 기술이다. 본 논문은 GAN 아키텍쳐(architecture)를 기반으로 회전 모듈 (rotate module)과 다양한 각도의 게임 캐릭터 표정을 표정 정보를 갖는 AUs(Action Units) vector를 통해 재연시키 는 방법을 제안한다. 입력으로 다양한 각도의 게임 캐릭터 얼굴이 주어지면 회전 모듈을 통해 정면화(frontalization) 시킨 이미지를 합성한다. 이를 통해, 다양한 각도의 게임 캐릭터들은 각도의 영향에서 벗어날 수 있다. 정면화 이미지는 원하는 표정으로 합성하기 위해 표정 정보를 갖는 AU벡터와 함께 생성자(generator)에 입력으로 주어진다. 이 때, 표정 정보를 갖고 있는 벡터는 AUs를 사용함으로써 다양한 표정과 세기(intensity)를 표현할 수 있다. 생성자는 표정 정보에 대한 관심 지역을 의미하는 관심 마스크(attention mask)를 생성하고 색상 정보를 의미하는 색상 마스크(color mask)를 생성한다. 이를 통해, 게임 캐릭터의 특징과 기타 부착물을 보존하며 표정을 재연한 이미지를 합 성할 수 있다. 관심 마스크와 색상 마스크를 이용하여 원하는 표정으로 재연한 재연 이미지를 합성하고 다시 회전 모듈을 통해 기존의 입력 이미지의 각도로 재회전하여 원하는 결과 이미지를 얻을 수 있다.

본 논문에서는 생성 모델로 색칠하기 게임에서 사용 가능하도록 임의의 선화와 원하는 컬러링 스타일을 입력하면 자동으로 컬러링 영상을 생성하는 신경망 모델인 FillingGAN을 제안한다. 제안된 모델은 스타일 영상의 특징을 추출하는 오토 인코더 구조의 모듈과 추출된 스타일 영상의 특징을 선화에 적용해서 이미지를 생성하는 GAN 모델로 구성된다. GAN 모델은 선화에서 추출된 구조와 스타일 영상에서 추출된 색 정보를 이용해서 채색 영상을 생성하는 과정을 수행하며, 이를 위해서 선화의 구조와 스타일 영상의 색 정보를 유지하는 손실 함수를 설계한다. 우리의 모델은 선화의 고유한 특징을 보존하며 스타일이 적용된 이미지를 생성한다.

본 논문에서는 게임 입력 영상을 일러스트 스케치로 변환하는 GAN 기반의 프레임워크를 제시한다. 이 프레임 워크는 HED(Holistically-Nested Edge Detection) 기법을 통해 게임 입력 영상의 윤곽선과 일러스트 스케치의 윤곽선을 추출하고, 추출한 윤곽선 간의 차이를 LPIPS(Learned Perceptual Image Patch Similarity) 기법으로 추정하는 완화된 순환 일치 손실 모듈을 적용한다. 이 모듈을 통해 게임 입력 영상과 일러스트 스케치의 윤곽선 을 비교하여 명확한 선 표현에 집중한다. 또한 집중적으로 변환해야 하는 영역을 식별하기 위해 의미론적인 영 역에 초점을 맞춘 어텐션 맵을 사용한다. 본 논문이 제시한 프레임워크는 스타일 추출 모듈, 생성자 모듈, 판별 자 모듈 및 완화된 순환 일치 손실 모듈로 구성된다. 먼저 스타일 추출 모듈을 사용하여 일러스트 스케치 영상의 스타일을 추출한다. 다음으로 생성자 모듈을 사용하여 게임 입력 영상에서 추출한 스타일 어텐션 맵을 통해 일러스트 스케치를 생성한다. 생성된 일러스트 스케치 영상을 판별자 모듈을 통해 처리하여 생성된 일러스트 스케치의 품질을 측정한다. 또한 생성된 일러스트 스케치에서 게임 입력 영상의 구조 유지 및 명확한 선 표현을 위해 완화된 순환 일치 손실을 적용한다. 다양한 게임 입력 영상의 스케치를 통해 프레임워크의 우수성을 입증한다.

우리는 게임 렌더링을 위해 파스텔 드로잉 효과를 시뮬레이션 하는 회선기반 방법을 제안한다. 연구 동기는 굵고 진한 스트로크 패턴, 문지르기 효과, 스트로크 겹침 등 파스텔 드로잉의 속성을 모방하는 것이다. 굵고 진한 파스텔 스트로크 패턴을 위해 우리는 직사각형 모양의 스트로크 패턴과 유사한 굵은 노이즈를 사용한다. 문지르기 효과는 노이즈를 두 단계로 적분하는 회선 모델을 제안한다: 첫 단계로 회선 방향에 수직한 노이즈를 적분하고, 이를 두 번째 단계에서 회선 방향으로 적분한다. 스트로크 겹침 효과를 구현하기 위해 우리는 누적 노이즈 필드(ANF, accumulated noise field)를 제안한다. 이는 각 레이어에 노이즈가 분포되어 있다고 가정하고, 서로 다른 레이어에 있는 스트로크 패턴의 색을 섞는 모델을 의미한다. 이러한 세 가지 개념은 회선기반 프레임 웍으로 통합되며 시각적으로 만족스러운 게임 장면의 파스텔 드로잉 효과를 보인다.

픽셀 아트는 낮은 해상도와 제한된 색 팔레트를 가지고 영상을 표현한다. 픽셀 아트는 낮은 연 산 성능과 적은 저장 공간을 가지는 초기 컴퓨터 게임에서 주로 사용되었다. 현대에 이르러, 픽셀 아트는 예술이나 퍼즐, 게임과 같은 다양한 분야에서 찾아볼 수 있게 되었다. 본 논문에서는 게임 캐릭터 영상을 입력으로 받는 픽셀 아트 생성 모델을 제안한다. 기존 방법 과는 달리, 합성곱 신경망(CNN:Convolutional-Neural Network)를 픽셀 아트 생성 목적에 맞게 변형하여 이를 이용하는 방법을 제시한다. 기존의 합성곱 연산 후에 upsampling 과정을 추가하여 픽셀 아트가 생성될 수 있도록 하였다. 네트워크는 ground truth와 생성된 픽셀 아트와의 평균 오차 제곱(MSE:Mean Squared Error)을 최소화해나가며 학습을 수행한다. Ground truth는 실제 아티스트가 생성하도록 하였고, 이미지 회전과 반전 기법을 이용하여 augumentation을 수행하였다. 생성된 데이터 집합은 학습, 검증, 시험 데이터로 나누었다. 이러한 데이터 집합을 기반으로 감독 학습을 실시하여 픽셀 아트 생성 네트워크를 학습하였다. 학습 모델의 학습 과정과 학습 정확도를 제시하고, 시험 데이터 뿐만 아니라 다양한 영상에 대한 픽셀 아트 결과도 함께 제시한다.

본 논문에서는 게임 배경 영상에 대해서 섬세한 일러스트레이션부터 거친 스케치까지 다양한 연필 드로잉 효과를 구현하는 방법을 제안한다. 이 방법은 컨볼루션 알고리즘에 기반한 방법으로 노이즈의 형태를 다양화 시켜서 발생시킴으로써 다양한 연필 효과를 추구한다. 기존의 방법에서 발생하는 노이즈는 영상의 톤을 반영 하는 픽셀 크기의 입자였다. 본 논문에서는 이러한 픽셀 크기의 노이즈의 형태와 분포를 확장해서 다양한 길 이와 두께 및 방향을 갖는 사각형 형태의 노이즈를 사용하는 방법을 고안한다. 그리고 영상 분할 알고리즘을 적용해서 영상의 정보를 추가적으로 활용함으로써 결과 영상의 시각적 완성도를 향상시킨다. 이러한 방법의 장점은 물체, 인물, 장면 등과 같은 다양한 게임 배경 영상에 적용되어 생성된 결과 영상의 우수성을 통해서 입증된다.

We present a flow-based watercolor rendering scheme for game background images. Our scheme is composed of two stages: a flow-based abstraction stage, which is followed by a noise-based watercoloring stage. In the abstrction stage, we apply a 3D Sobel filter to accelerate the abstraction process. The abstracted image is then applied a Perlin noise-based watercoloring process to produce watercolor effects. Finally, we apply paper texture to improve the realism of the results. Among various categories of photographs, our scheme shows good results on portraits, which is a common background of game scene. We apply our scheme for several game backgrounds and produce visually pleasing watercolor effects from them.

In this paper, we present a technique for applying artistic effects to videos based on a pencil rendering technique. First of all, we propose a vectorized line generation method as a primary technique for solving temporal coherence problem which appears when applying some artistic effects to video. In addition, we propose progressive pencil rendering technique which controls detailed range of drawings from rough sketch to detailed drawing for video. Also, regarding that a real color pencil has a limited set of colors, we suggest limited color pencil rendering method. Furthermore we analyze hand drawing pencil drawings, compare them with rendering results and complement some weakness. A series of our works has a meaning of not only technological but also aesthetical consideration for pencil drawings.

We present an improved sketch-based image search technique through which users can search their target images from the images in database. This technique can be used in constructing an efficient game development framework. Our basic approach is to search the database by comparing the user-created sketch with the graph extracted from the images in the database and estimating the similarity. The images of high similarities are suggested as the candidates that match the target image. To improve the accuracy of the matching process, we substitute the graph-based representation of images with vectorized coherent lines, which are known as one of the most precise schemes in extracting and describing important features in an image. By the experiments on 820 images of 32 categories, we prove that our scheme shows higher matching accuracy than the existing schemes.

The computation of saliency from an image and a video is an interesting challenge in image processing and computer vision. Context-aware saliency, which addresses the saliency based on the geometric structure of an image, is known as one of the most powerful schemes for computing saliency. An obstacle of the context-aware scheme is the heavy computation load. We reduce the computational load in a great scale by applying the dart throwing algorithm, which is a widely used stochastic noise generation scheme in computer graphics society.

In this paper, we present a noise generation algorithm for producing artistic styles on video. Our algorithm is constructed based on a template to preserve the coherence of the artistic styles between the frames of video. We generate noise in the coordinate defined by the templates and apply texture coverage scheme to control the coherence of the noise distribution. For the coherence of the regions outside the templates, we design local recursive filters.

본 연구에서는 화염에 대해서 카툰 렌더링 및 연필 렌더링을 구현하는 비사실적 렌더링 기법을 제안한다. 이를 위해서 본 연구팀에서 수행한 연소 모델을 이용한 화염에 대한 복합 모델을 이용해서 화염 애니메이션을 생성하고, 이 화염 애니메이션에 대해서 평균 이동 기법을 적용해서 카툰 렌더링 효과를 구현하며 화염의 연소 방향을 연필 스트로크 흐름으로 활용해서 연필 렌더링을 구현한다. 화염에 대한 이러한 비사실적 렌더링 기법은 애니메이션이나 게임 등과 같은 다양한 콘텐츠를 제작할 때 매우 유용하게 사용될 수 있다.

본 논문에서는 게임 영상에 대한 색연필 드로잉 렌더링 기법을 제안한다. 제안하는 방법의 키 아이디어는 양방향 회선 필터(bilateral convolution filter)를 이용하여 다양한 스타일의 연필 스트로크를 만드는 것이다. 이 필터는 기존의 컨볼루션 기반 기법들과 달리 경계 흐림 현상을 획기적으로 보완하였다. 더불어 연필 스트로크의 속성들을 직관적으로 제어할 수 있도록 한다. 또한 그릴 물체의 모양으로부터 스트로크 방향을 결정하는 기법을 제안한다. 특징선(feature line)에 가까운 픽셀들에 대해서는 완만한 탄젠트 흐름(smooth tangent flow)을 사용하고, 영역의 내부에는 부분적으로 유사한 흐름을 사용한다. 배경에는 고정된 방향의 흐름을 사용한다. 이처럼 다른 스타일의 스트로크 방향을 사용함으로써, 결과 연필화의 현실성을 증가시킬 수 있다. 제안하는 방법은 사진에 대해 시각적으로 만족스러운 연필 드로잉 효과를 만들어 낸다.

게임에 대한 몰입도는 게임의 성공을 좌우하는 중요한 요소 중 하나이다. 본 연구에서는 심리학과 감성 공학에서 검증된 감성 모델을 기반으로 하여 콘텐츠의 감성을 강화시켜서 시각적 콘텐츠의 몰입도를 향상시키는 방법을 개발하고 사용자 테스트를 통해서 그 몰입도 향상을 검증한다. 몰입도 향상을 위해서 영상을 추상화하고 분할하여 사용자가 선택적으로 콘텐츠의 일부분의 감성을 변화시키는 기술을 개발한다. 이 방법은 게임 콘텐츠뿐만 아니라 다른 시각적인 콘텐츠에 적용시켜 몰입도를 향상시키는 데 사용될 수 있다.

When it comes to the training program conducted by company to improve job performance ability, it would be not a investment but a waste if the training contents is not practically applied to the business accomplishment. Even though some people raise a question on the job application of postal distance training, funded by employment insurance, the study on the job application of postal distance training shows that the components of the training program have a positive effect on it and the model has 60.5% validity. Moreover, its control effect on environmental support and individual characteristics has been partially established. The study has been conducted by questioning survey with the employees who completed a postal education 3 months ago. With the result, we can find that the postal distance training benefits employees to improve their job performance abilities and expect that it continuously plays a crucial role in the field of company training through the development of high-quality training programs.