우리는 게임 렌더링을 위해 파스텔 드로잉 효과를 시뮬레이션 하는 회선기반 방법을 제안한다. 연구 동기는 굵고 진한 스트로크 패턴, 문지르기 효과, 스트로크 겹침 등 파스텔 드로잉의 속성을 모방하는 것이다. 굵고 진한 파스텔 스트로크 패턴을 위해 우리는 직사각형 모양의 스트로크 패턴과 유사한 굵은 노이즈를 사용한다. 문지르기 효과는 노이즈를 두 단계로 적분하는 회선 모델을 제안한다: 첫 단계로 회선 방향에 수직한 노이즈를 적분하고, 이를 두 번째 단계에서 회선 방향으로 적분한다. 스트로크 겹침 효과를 구현하기 위해 우리는 누적 노이즈 필드(ANF, accumulated noise field)를 제안한다. 이는 각 레이어에 노이즈가 분포되어 있다고 가정하고, 서로 다른 레이어에 있는 스트로크 패턴의 색을 섞는 모델을 의미한다. 이러한 세 가지 개념은 회선기반 프레임 웍으로 통합되며 시각적으로 만족스러운 게임 장면의 파스텔 드로잉 효과를 보인다.

픽셀 아트는 낮은 해상도와 제한된 색 팔레트를 가지고 영상을 표현한다. 픽셀 아트는 낮은 연 산 성능과 적은 저장 공간을 가지는 초기 컴퓨터 게임에서 주로 사용되었다. 현대에 이르러, 픽셀 아트는 예술이나 퍼즐, 게임과 같은 다양한 분야에서 찾아볼 수 있게 되었다. 본 논문에서는 게임 캐릭터 영상을 입력으로 받는 픽셀 아트 생성 모델을 제안한다. 기존 방법 과는 달리, 합성곱 신경망(CNN:Convolutional-Neural Network)를 픽셀 아트 생성 목적에 맞게 변형하여 이를 이용하는 방법을 제시한다. 기존의 합성곱 연산 후에 upsampling 과정을 추가하여 픽셀 아트가 생성될 수 있도록 하였다. 네트워크는 ground truth와 생성된 픽셀 아트와의 평균 오차 제곱(MSE:Mean Squared Error)을 최소화해나가며 학습을 수행한다. Ground truth는 실제 아티스트가 생성하도록 하였고, 이미지 회전과 반전 기법을 이용하여 augumentation을 수행하였다. 생성된 데이터 집합은 학습, 검증, 시험 데이터로 나누었다. 이러한 데이터 집합을 기반으로 감독 학습을 실시하여 픽셀 아트 생성 네트워크를 학습하였다. 학습 모델의 학습 과정과 학습 정확도를 제시하고, 시험 데이터 뿐만 아니라 다양한 영상에 대한 픽셀 아트 결과도 함께 제시한다.

4 개의 사각형으로 구성된 도형들의 집합인 테트로미노는 가장 유명한 게임 중의 하나인 테트리스에서 사 용되면서 널리 알려졌다. 최근에는 테트리스를 모방하는 다양한 보드 게임들이 제작되어 저학년 학생들의 교육에서 사용되고 있다. 이에 본 논문에서는 사용자가 입력한 고해상도의 영상으로부터 테트로미노에 기반한 퍼즐을 생성하는 2단계 알고리즘을 제시한다. 1단계에서는 슈퍼 픽셀 알고리즘을 이용해서 고해상도의 입력 영상을 공통된 색 팔레트를 공유하는 저해상도의 픽셀 아트 영상으로 변환한다. 2단계에서는 타일화 알고리즘 을 이용해서 픽셀 아트 영상을 채우는 4x4 또는 8x8 크기의 테트로미노 타일을 생성한다. 영상을 타일로 채우는 과정은 픽셀 아트 영상의 픽셀의 색과 테트로미노 타일의 색의 차이를 최소화하는 방법을 이용한다. 이 과 정에서 퍼즐의 복잡도를 제어하기 위해서 픽셀 아트 영상의 해상도를 조절한다. 이러한 테트로미노에 기반한 게임은 보드 게임뿐 아니라 컴퓨터 게임의 형태로도 구현할 수 있으며, 다양한 사용자 테스트를 통해서 게임의 재미를 검증한다.

본 논문에서는 게임 배경 영상에 대해서 섬세한 일러스트레이션부터 거친 스케치까지 다양한 연필 드로잉 효과를 구현하는 방법을 제안한다. 이 방법은 컨볼루션 알고리즘에 기반한 방법으로 노이즈의 형태를 다양화 시켜서 발생시킴으로써 다양한 연필 효과를 추구한다. 기존의 방법에서 발생하는 노이즈는 영상의 톤을 반영 하는 픽셀 크기의 입자였다. 본 논문에서는 이러한 픽셀 크기의 노이즈의 형태와 분포를 확장해서 다양한 길 이와 두께 및 방향을 갖는 사각형 형태의 노이즈를 사용하는 방법을 고안한다. 그리고 영상 분할 알고리즘을 적용해서 영상의 정보를 추가적으로 활용함으로써 결과 영상의 시각적 완성도를 향상시킨다. 이러한 방법의 장점은 물체, 인물, 장면 등과 같은 다양한 게임 배경 영상에 적용되어 생성된 결과 영상의 우수성을 통해서 입증된다.

We present a flow-based watercolor rendering scheme for game background images. Our scheme is composed of two stages: a flow-based abstraction stage, which is followed by a noise-based watercoloring stage. In the abstrction stage, we apply a 3D Sobel filter to accelerate the abstraction process. The abstracted image is then applied a Perlin noise-based watercoloring process to produce watercolor effects. Finally, we apply paper texture to improve the realism of the results. Among various categories of photographs, our scheme shows good results on portraits, which is a common background of game scene. We apply our scheme for several game backgrounds and produce visually pleasing watercolor effects from them.

We present a legorization framework that produces a LEGO model from a voxel model. Unlike other frameworks, we include bricks whose height is more than one layer. Furthermore, we devise a two-colored graph that represents the adjacency and stability information of a LEGO model. Our legorization is composed of tiling process on each layer, which is implemented using a heuristic search algorithm. We legorize five models including characters and buildings to prove the excellence of out framework

Low-resolution voxel models are widely used in many computer games such as CrossyRoadTM and MinecraftTM and in many block games such as LegoTM. We present a multi-scale voxelization algorithm that abstracts a complex polygonal model to a low-resolution voxel model. Our scheme is distinguished from other voxelization schemes in the point that our scheme controls the level of abstraction according to the complexity of the model. We present a two-stage algorithm: in the first stage, we build a rough voxel model, which is carved to fit the target model in the second stage. We empoly an OpenGL-based slicing algorithm to build a rough model, which is constructed in twofolds. The exterior and interior of the model is constructed separately and merged to complete the rough model. In the second stage, we compute the silhouette of the input model and carve the rough model to improve the completeness of the final result. We test our algorithm for various polygonal models including famous animation character models to prove the excellency of our scheme.

We present a Microsoft Kinect-based hand recognition algorithm for an interactive image clipping system, which is widely used for environments such as public facilities and security environments where personal capturing devices including mobile phones are not allowed. User-friendly interface and accurate image capturing function are required for an image clipping system. We build the system by combining Microsoft Kinect, HD webcam and projector. The Kinect and webcam are used to capture the motions of users' hand and project is to display the user-selected area from the capturing material. Hand recognition is composed of three steps: (i) the region occupied by users' hand is extracted from an image, (ii) the fingertips of the extracted hand region are analyzed using k-curvature algorithm, and (iii) the height of the fingertip is estimated using the depth image from Kinect. The height of the fingertip informs whether users' finger touched the surface of the target. The region captured by the fingertip is clipped from the image and stored as the target image. The excellence of our hand recognition algorithm is proved through a user test.

We present a palm recognition system that can be used for developing an interactive amusement including game contents. The first step of our system is to capture palm photographs using web camera and to extract hand region using YCbCr color transformation and the active contour model. In the second, we build a template that formulates the conditions for recognizing palm lines. We apply Hough transform to the hand region to extract line information and match the extracted lines with the template to recognize palm lines. We further build a series of fortunetelling stories that match the shape and organization of palm lines to complete the amusement system based on palm recognition.

In this paper, we present a technique for applying artistic effects to videos based on a pencil rendering technique. First of all, we propose a vectorized line generation method as a primary technique for solving temporal coherence problem which appears when applying some artistic effects to video. In addition, we propose progressive pencil rendering technique which controls detailed range of drawings from rough sketch to detailed drawing for video. Also, regarding that a real color pencil has a limited set of colors, we suggest limited color pencil rendering method. Furthermore we analyze hand drawing pencil drawings, compare them with rendering results and complement some weakness. A series of our works has a meaning of not only technological but also aesthetical consideration for pencil drawings.

We present an improved sketch-based image search technique through which users can search their target images from the images in database. This technique can be used in constructing an efficient game development framework. Our basic approach is to search the database by comparing the user-created sketch with the graph extracted from the images in the database and estimating the similarity. The images of high similarities are suggested as the candidates that match the target image. To improve the accuracy of the matching process, we substitute the graph-based representation of images with vectorized coherent lines, which are known as one of the most precise schemes in extracting and describing important features in an image. By the experiments on 820 images of 32 categories, we prove that our scheme shows higher matching accuracy than the existing schemes.

The computation of saliency from an image and a video is an interesting challenge in image processing and computer vision. Context-aware saliency, which addresses the saliency based on the geometric structure of an image, is known as one of the most powerful schemes for computing saliency. An obstacle of the context-aware scheme is the heavy computation load. We reduce the computational load in a great scale by applying the dart throwing algorithm, which is a widely used stochastic noise generation scheme in computer graphics society.

In this paper, we present a noise generation algorithm for producing artistic styles on video. Our algorithm is constructed based on a template to preserve the coherence of the artistic styles between the frames of video. We generate noise in the coordinate defined by the templates and apply texture coverage scheme to control the coherence of the noise distribution. For the coherence of the regions outside the templates, we design local recursive filters.

본 연구에서는 비사실적 렌더링 기법을 적용해서 스테레오스코픽 영상에 대해서 카툰 렌더링과 윤곽선 드로잉 등의 예술 효과를 적용하는 기법을 제안한다. 이를 위해서 좌 우 영상에 대해서 각각 예술 효과를 적용하고, 이 예술 효과들의 차이를 최소화하는 기법을 구현함으로써 좌 우 영상의 스테레오 일관성을 유지하는 방법을 제안한다. 이 방법은 스테레오 영상에 대해서 적용되는 두 사상 행렬을 계산하고, 이 행렬을 적용해서 좌우 영상에서 표현되는 예술 효과의 차이를 계산하고 이를 수치적인 방법을 이용해서 최소화한다. 이 방법을 이용해서 우리는 성공적으로 게임에서 사용할 수 있는 예술 효과가 적용된 스테레오스코픽 렌더링 영상을 생성한다.

본 연구에서는 화염에 대해서 카툰 렌더링 및 연필 렌더링을 구현하는 비사실적 렌더링 기법을 제안한다. 이를 위해서 본 연구팀에서 수행한 연소 모델을 이용한 화염에 대한 복합 모델을 이용해서 화염 애니메이션을 생성하고, 이 화염 애니메이션에 대해서 평균 이동 기법을 적용해서 카툰 렌더링 효과를 구현하며 화염의 연소 방향을 연필 스트로크 흐름으로 활용해서 연필 렌더링을 구현한다. 화염에 대한 이러한 비사실적 렌더링 기법은 애니메이션이나 게임 등과 같은 다양한 콘텐츠를 제작할 때 매우 유용하게 사용될 수 있다.

본 논문에서는 게임 영상에 대한 색연필 드로잉 렌더링 기법을 제안한다. 제안하는 방법의 키 아이디어는 양방향 회선 필터(bilateral convolution filter)를 이용하여 다양한 스타일의 연필 스트로크를 만드는 것이다. 이 필터는 기존의 컨볼루션 기반 기법들과 달리 경계 흐림 현상을 획기적으로 보완하였다. 더불어 연필 스트로크의 속성들을 직관적으로 제어할 수 있도록 한다. 또한 그릴 물체의 모양으로부터 스트로크 방향을 결정하는 기법을 제안한다. 특징선(feature line)에 가까운 픽셀들에 대해서는 완만한 탄젠트 흐름(smooth tangent flow)을 사용하고, 영역의 내부에는 부분적으로 유사한 흐름을 사용한다. 배경에는 고정된 방향의 흐름을 사용한다. 이처럼 다른 스타일의 스트로크 방향을 사용함으로써, 결과 연필화의 현실성을 증가시킬 수 있다. 제안하는 방법은 사진에 대해 시각적으로 만족스러운 연필 드로잉 효과를 만들어 낸다.

본 연구는 3차원 게임 캐릭터가 지닌 특징 정보를 기반으로 하여 연필 효과를 표현하는 렌더링 기법을 제안한다. 특징 정보를 추출하기 위해서 시선 의존성이 높은 특징은 시선 벡터를 이용하고, 시선 의존성이 낮은 특징은 캐릭터의 주곡률 방향을 이용한다. 노이즈는 캐릭터의 각 면에 다트 던지기 알고리즘을 이용하여 충분한 노이즈를 생성하며, 캐릭터의 기하학적 특성으로 시선의 의존성이 낮은 주요 특징과 카메라의 정보를 통해 시선의 의존성이 높은 주요 특징을 고려하여 검은색 또는 흰색으로 노이즈 값을 결정한 후 이를 영상 공간에 투영한다. 본 논문에서는 투영된 노이즈를 영상에서 벡터를 시각화하기 위해 흔히 사용되는 선적분회선 (line integral convolution, LIC) 기법에 적용함으로써 연필 효과를 구현한다.