본 논문에서는 아이폰을 기반으로 하여 브러시 스트로크 프로파일을 이용한 회화적 렌더링 시스템에 대해 소개한다. 이를 위해 실제 스트로크 데이터와 유사하게 데이터베이스를 구축하고 확장하여 사용한다. 그리고 원본 이미지를 데이터베이스에 있는 스트로크의 조합으로 재생산하여 회화적인 느낌을 표현하였다. 또한, 우리가 소개하는 아이폰 기반 회화적 렌더링 시스템은 PC 기반이 아닌 스마트폰 이라는 한정된 CPU와 메모리를 가진 디바이스에서 빠른 렌더링 속도를 요구한다. 때문에 본 논문에서 우리는 최적화를 위하여 다양한 성능개선 방법을 시도해 보았다.

본 논문에서는 굴절(refractive) 물체의 광학적 현상들을 실시간으로 표현하는 GPU(Graphics Processing Unit) 기반 렌 더링 알고리즘이 제안되었다. 일반적으로 굴절 물체에 대한 광학적 현상들을 렌더링할 때 포톤 매핑(Photon Mapping) 이 널리 쓰이지만, 포톤 매핑 방법은 계산량이 많기 때문에 게임 등과 같은 실시간 응용분야에는 적합하지 않다. 본 논문에서는 굴절 물체의 앞면, 뒷면의 깊이값의 차이와 굴절 레이(ray)를 이용해 탈출지점을 구하며, 탈출지점의 법선 벡터를 근사하여 빛이 굴절 물체를 통과하면서 발생하는 커스틱스(caustics)현상과 굴절현상을 렌더링한다. 굴절 물체의 반사(reflection) 현상은 프레넬 항(Fresnel term)을 근사(approximation)해서 효율적으로 표현하였다. 또한 HDRI(High Dynamic Range Image)로 환경맵을 구성하여 자연광이 굴절 물체를 통해 굴절되어 보이는 현상을 생성하였다.

구면조화함수 조명 기법은 실시간 환경에서 전역 조명을 나들고, 다시 비추거나, 화면에 나타내기 위해, 광원으로부터 3D 모델에서 빛을 계산하는 기술이다. 이 기술은 메모리에 미리 계산해 놓고 적분을 내적에 의해 단순하고 빠르게 수행함으로써 비용이 많이 드는 렌더링을 간단하게 해주기 때문에 PRT(Precomputed Radiance Transfer)라고 불려진다. 본 논문에서는 간단한 베이시스 함수인 르장드르 다항식과 체비체브 다항식을 이용함으로써 구면 조화의 한 종류를 표현하는 방법을 제안한다. 실험을 통해서 르장드르 다항식의 경우에는 베이시스 함수가 함수의 수가 적다면 부장드 르 다항식보다 더 나은 성능을 나따내며 전처리 렌더링 시간을 줄일 수 있다는 것을 확인했다.

워터 렌더링은 오래전부터 연구가 이루어져 왔고, 오늘날 중요한 연구 분야가 되었다. 특히 게임 분야에서 물 렌더 링은 현실 세계와 같은 환경을 나타내는데 중요한 부분이다. 본 논문에서는 바다의 물결을 여러 정현파의 중첩으로 표현할 수 있다는 원리를 기반으로 스펙트럼 모델을 사용한다. 바다의 전체적인 파도의 모습을 나타내는 저해상도의 대역과 작은 파도를 나타내기 위한 고해상도의 대역을 주파수 영역에서 합성함으로서 물 표면을 생성한다. 이전의 연 구에 비해 렌더링 속도는 떨어지지 않으면서 보다 밴드 합성으로 인해 넓은 대역의 주파수 밴드를 갖게 됨으로서 보 다 더 세밀한 바다 표면을 나타낼 수 있는 방법은 연구하였다. 이로서 넓은 대역폭으로 인해 바다의 큰 물결 뿐만 아니라 작은 물결까지도 보다 더 섬세하게 나타낼 수 있다.

고해상도의 지형 데이터는 용량이 크기 때문에 GPU메모리에 데이터 전체를 적재할 수 없다. 따라서 out-of-core기반의 방법이 많이 사용된다. 그러나 보조기억장치의 대역폭 한계로 인하여 실시간으로 지형을 렌더링하기 어렵기 때문에 GPU로 웨이블릿 변환을 수행하여 압축된 DEM 데이터를 전송한 후 압축 해제하여 렌더링 하는 방법이 사용된다. 하지만 이 방법은 텍스처로부터 주기적으로 값을 읽어와 정점을 변환하고 메쉬를 생성해야하므로 비효율적이다. 이 논문에서는 웨이블릿 압축된 근사 계수 값을 정점의 속성으로 저장하고 기하 쉐이더에서 압축을 해제해 지형을 효율적으로 렌더링 하는 기법을 제안한다. 제안하는 방법은 근사 계수 값을 정점의 속성으로 주어 지형 텍스처의 전송량을 줄일 수 있다. 또한 지형 텍스처로부터 별도의 업로드 과정 없이 메쉬의 생성이 가능하므로 오버헤드가 발생하지 않아 효율적인 렌더링이 가능하다.

This paper presents a robotic system that provides telepresence to the visually impaired by combining real-time haptic rendering with multi-modal interaction. A virtual-proxy based haptic rendering process using a RGB-D sensor is developed and integrated into a unified framework for control and feedback for the telepresence robot. We discuss the challenging problem of presenting environmental perception to a user with visual impairments and our solution for multi-modal interaction. We also explain the experimental design and protocols, and results with human subjects with and without visual impairments. Discussion on the performance of our system and our future goals are presented toward the end.

본 논문에서는 장면에 어울리도록 유체를 카툰 스타일로 표현할 수 있는 실시간방법을 제안하고자 한다. 실제로 유체는 석양, 낮, 밤에 서로 다른 색상 톤을 보여주고 있고 수심이 낮은 곳에서의 반사 굴절 정도와 수심이 깊은 곳에서의 정도가 상이하며 색상 조차 다르다. 본 논문에서는 광원 수심 지형 시점 등에 적응적으로 유체를 카툰 스타일로 표현하는 방식을 제안한다. 실험은 기존의 방법을 구현하고 제안된 결과와 비교 분석하였다. 이러한 연구는 기존의 카툰 스타일렌더링 방법과 제안하는 카툰 스타일 방법과 동시에 사용하면 게임을 카툰 스타일로 표현할 수 있는 전체 시스템을 제시할 수 있다.

초고속 인터넷의 광범위한 보급으로 가능해진 클라우드 컴퓨팅 기반 게임 서비스는 클라우드 노드에서 게임을 실행하고 게임의 영상을 원격 사용자의 단말기에 영상 스트림으로 전송함으로써 게임 서비스가 이루어진다. 사용자 입력은 게임에 즉각적으로 전송되고 반영된다. 이러한 서비스가 가능한 이유는 사용자 입력이 반영되고 게임 영상이 사용자에게 전달되는데 걸리는 시간이 최소화되어. 컴퓨터 게임에서 요구되는 반응성을 일반적으로 만족시킬 수 있었기 때문이다. 하지만 이러한 서비스는 고품질 3D 게임을 서비스하는 경우, 서버 구축에 많은 비용이 소요될 수 있다. 클라우드 노드가 탑재하고 있는 일반적인 그래픽 시스템은 동시에 하나의 3D 어플리케이션을 지원하도록 설계되어 있기 때문이다. 하나의 클라우드 노드에서 다수의 3D 게임을 실행하기 위해서는 그 실행에 필요한 실시간 다중 렌더링 기술이 필수적이다. 본 논문은 다수의 컴퓨터 게임을 하나의 클라우드 노드에서 실행시키고 다른 노드에서 각 게임 영상을 획득할 수 있는 이중 서버 구조를 제안한다. 몇가지 실험을 실시하여 기술적 가능성을 알아본다.

본 논문은 실시간 응용 프로그램에서 사실적인 금속 재질을 렌더링하기 위한 효과적인 기법을 제안한다. 제안된 기법은 금속면의 미세한 흡집을 표현하기 위해 법선 벡터를 섭동(perturbation)하는 방법을 사용한다. 법선 벡터를 섭동하는 일반적인 방법은 범프(bump) 매핑이나 법선(normal) 매핑 등의 방법을 사용하는 것이다. 그러나 이러한 방식은 이방성 반사 특성을 갖는 표면에서는 사실적인 빛의 산란을 보이지 못한다. 금속 특유의 반사를 표현하기 위해서는 미세면 분포 함수를 이용하여 이방성 반사 특성을 모델링하는 것이 일반적이므로 일반적 법선 섭동만으로는 만족스런 결과를 얻지 못한다. 본 논문은 법선 벡터의 섭동과 함께 미세면 분포 함수를 변형하는 기법을 통해 매우 사실적인 금속면 재질 렌더링이 가능한 기법을 제안한 다. 제안된 기법은 쉽게 GPU 프로그램으로 구현되며, 실시간 환경에서 동작한다.

본 논문에서는 측정된 양방향 반사 분포 함수(BRDF)와 같은 데이터 없이 사실적인 직물 표면 렌더링이 가능한 효율적인 방법을 제안한다. 제안된 기법은 광선 추적 기반의 오프라인 렌더러와 게임과 같은 실시간 응용에 모두 적용할 수 있다. 제안된 기법은 교호적(alternating) 이방성 반사와 변형된 미세면 분포 함수를 이용하여 직조 표면을 표현한다. 실에 대한 절차적 모델링은 직물의 표면을 효과적이며 효율적으로 표현할 수 있게 한다. 실험결과는 제안된 기법을 통해 상호작용적 응용에서도 다양한 직조물 표면을 사실적으로 렌더링할 수 있음을 보이고 있다.

높이 맵으로부터 지형의 기하구조를 형성하고 그 세부 묘사를 위하여 왕 타일을 이용하여 반복적이지 않는 타일링을 할 수 있다. 타일 내에 색상 정보와 더불어 높이 정보를 추가하여 세부적인 요철의 정보를 담아 시차 맵핑을 통하여 효과적으로 표현 할 수 있다. 본 논문에서는 이를 실시간 렌더링 할 때 문제되는 부분을 해결하였으며, 지형을 위한 시차 맵핑의 보안을 제안한다.

피부, 옷 등 실세계의 대부분의 물질들은 반투명한 재질로 되어있고, 부드러운 외양을 띄고 있다. 본 논문에서는 GPU 기반의 계층화 알고리즘을 통해, 양극 확산 (dipole diffusion) 기법에 기반한 표면 내에서의 빛의 산란에 의한 조명을 근사하여 반투명한 재질을 실시간에 렌더링하는 기법을 제안한다. 무수히 많은 수의 픽셀 빛 입자들은 GPU를 활용하여 쿼드트리로 계층화된다. 렌더링될 각 픽셀마다, 많은 빛 입자를 대신하여 좋은 화질로 근사할 수 있는 집합들을 선택하고, 이것을 사용하여 조명을 계산한다. 우리는 또한, 고해상도 이미지를 효율적으로 렌더링하기 위해 공간적 일관성과 early-z 컬링을 이용한 계층적 화면 보간 기법을 소개한다. 이를 위하여, 화면 정보를 GPU 상에서 계층화한다. 우리는 공간적 유사도가 높은 픽셀들을 하나의 픽셀로 렌더링함으로써 적응적으로 보간한다. 실험을 통해 빛 계층화를 통해 반투명한 물체를 실시간에 렌더링할 수 있음을 확인하였다. 화면 보간 기법은 동급 화질에서 렌더링 비용을 2~4배 정도 감소시켰다. 모든 과정은 GPU를 사용한 이미지 공간 상에서 빠르게 수행되며, 어떠한 긴 전처리과정도 필요하지 않는다.

그래픽스 렌더링 파이프라인 (응용, 기하, 레스터화)은 컴퓨터 게임에서 가장 중요한 기능인 실시간 그래픽스 렌더링의 핵심이다. 일반적으로 그래픽스 렌더링은 CPU와 GPU의 두 장치의 협조에 의해 완성되며 이 협조 과정에서 병목이 발생할 수 있다. 본 논문에서는 CPU와 GPV 사이에 발생하는 병목현상을 줄이는 데 초점을 맞추어, 보통은 하나의 스레드로 처리되는 CPU 연산을 순수 CPU 연산과 GPV와 연관된 연산의 두 가지로 구분하여 서로 독립적인 스레드로 병렬처리 되게 함으로써 실시간 그래픽스 렌더링의 성능을 향상시키는 방법을 제안한다. 이 방법은 CPU와 GPV사이의 협조를 위한 전송 과정에서의 병렬성을 극대화한다. 실험을 통하여 제안하는 방법이 기존의 방법 보다 더 빠르게 그래픽스 렌더링을 수행함을 검증하였다. 또한 본 논문에서는 CPU와 GPU의 협조 과정에서 생기는 병목현상으로 인한 유휴시간을 잘 활용하여 렌더링 파이프라인의 균형을 맞추면서 렌더링의 질을 높이는 방법도 제안한다. 제안하는 방법들을 우리가 개발한 네트워크 게임 엔진에 적용하여 실제 시스템에서도 효과가 있음을 확인하였다.