본 논문은 사진이나 그림을 중첩을 통하여 실시간으로 포토 콜라주를 생성하는 방법을 제안한다. 사용될 영상들을 포토 콜라주 생성에 용이한 상태로 변형하는 과정을 거쳐 데이터베이스를 생성한다. 생성된 데이터베이스에 영상을 기준으로 위치시키기 가장 적절한 위치에 붙인다. 그리고 이것을 반복하여 실시간으로 포토 콜라주가 생성시킨다. 영상을 붙이는 과정은 각각의 영상을 서로 중첩을 통하여 붙여지는데 이 영상들을 지속적으로 갱신하여 명확하게 표현된 포토 콜라주 결과를 보여준다.

본 논문에서는 굴절(refractive) 물체의 광학적 현상들을 실시간으로 표현하는 GPU(Graphics Processing Unit) 기반 렌 더링 알고리즘이 제안되었다. 일반적으로 굴절 물체에 대한 광학적 현상들을 렌더링할 때 포톤 매핑(Photon Mapping) 이 널리 쓰이지만, 포톤 매핑 방법은 계산량이 많기 때문에 게임 등과 같은 실시간 응용분야에는 적합하지 않다. 본 논문에서는 굴절 물체의 앞면, 뒷면의 깊이값의 차이와 굴절 레이(ray)를 이용해 탈출지점을 구하며, 탈출지점의 법선 벡터를 근사하여 빛이 굴절 물체를 통과하면서 발생하는 커스틱스(caustics)현상과 굴절현상을 렌더링한다. 굴절 물체의 반사(reflection) 현상은 프레넬 항(Fresnel term)을 근사(approximation)해서 효율적으로 표현하였다. 또한 HDRI(High Dynamic Range Image)로 환경맵을 구성하여 자연광이 굴절 물체를 통해 굴절되어 보이는 현상을 생성하였다.

고해상도의 지형 데이터는 용량이 크기 때문에 GPU메모리에 데이터 전체를 적재할 수 없다. 따라서 out-of-core기반의 방법이 많이 사용된다. 그러나 보조기억장치의 대역폭 한계로 인하여 실시간으로 지형을 렌더링하기 어렵기 때문에 GPU로 웨이블릿 변환을 수행하여 압축된 DEM 데이터를 전송한 후 압축 해제하여 렌더링 하는 방법이 사용된다. 하지만 이 방법은 텍스처로부터 주기적으로 값을 읽어와 정점을 변환하고 메쉬를 생성해야하므로 비효율적이다. 이 논문에서는 웨이블릿 압축된 근사 계수 값을 정점의 속성으로 저장하고 기하 쉐이더에서 압축을 해제해 지형을 효율적으로 렌더링 하는 기법을 제안한다. 제안하는 방법은 근사 계수 값을 정점의 속성으로 주어 지형 텍스처의 전송량을 줄일 수 있다. 또한 지형 텍스처로부터 별도의 업로드 과정 없이 메쉬의 생성이 가능하므로 오버헤드가 발생하지 않아 효율적인 렌더링이 가능하다.

면광원에 의한 부드러운 그림자의 표현은 가상 장면을 보다 사실적으로 보이도록 한다. 하지만 부드러운 그림자의 계산은 매우 느리게 수행되기 때문에 실시간 3차원 응용 프로그램에 적용하기 위해서는 가속화가 요구된다. 우리는 기존의 실시간 부드러운 그림자 방법들이 가정했던 면광원의 모양과 색상을 보다 일반적으로 확장하여 임의의 모양과 색상을 갖는 면광원에 대한 부드러운 그림자 생성 방법을 제안한다. 그림자 매핑 정보를 획득할 수 있는 그림자 맵은 픽셀과 면광원 간의 가시성 검사를 근사하기 위해 사용되며 픽셀 주변의 그림자 복잡도에 따라 근사의 정도를 결정하였다. 그 결과 보다 일반적인 형태와 색상의 면광원에 대한 부드러운 그림자를 실시간에 표현할 수 있었다.

This paper presents a robotic system that provides telepresence to the visually impaired by combining real-time haptic rendering with multi-modal interaction. A virtual-proxy based haptic rendering process using a RGB-D sensor is developed and integrated into a unified framework for control and feedback for the telepresence robot. We discuss the challenging problem of presenting environmental perception to a user with visual impairments and our solution for multi-modal interaction. We also explain the experimental design and protocols, and results with human subjects with and without visual impairments. Discussion on the performance of our system and our future goals are presented toward the end.

본 논문에서는 장면에 어울리도록 유체를 카툰 스타일로 표현할 수 있는 실시간방법을 제안하고자 한다. 실제로 유체는 석양, 낮, 밤에 서로 다른 색상 톤을 보여주고 있고 수심이 낮은 곳에서의 반사 굴절 정도와 수심이 깊은 곳에서의 정도가 상이하며 색상 조차 다르다. 본 논문에서는 광원 수심 지형 시점 등에 적응적으로 유체를 카툰 스타일로 표현하는 방식을 제안한다. 실험은 기존의 방법을 구현하고 제안된 결과와 비교 분석하였다. 이러한 연구는 기존의 카툰 스타일렌더링 방법과 제안하는 카툰 스타일 방법과 동시에 사용하면 게임을 카툰 스타일로 표현할 수 있는 전체 시스템을 제시할 수 있다.

초고속 인터넷의 광범위한 보급으로 가능해진 클라우드 컴퓨팅 기반 게임 서비스는 클라우드 노드에서 게임을 실행하고 게임의 영상을 원격 사용자의 단말기에 영상 스트림으로 전송함으로써 게임 서비스가 이루어진다. 사용자 입력은 게임에 즉각적으로 전송되고 반영된다. 이러한 서비스가 가능한 이유는 사용자 입력이 반영되고 게임 영상이 사용자에게 전달되는데 걸리는 시간이 최소화되어. 컴퓨터 게임에서 요구되는 반응성을 일반적으로 만족시킬 수 있었기 때문이다. 하지만 이러한 서비스는 고품질 3D 게임을 서비스하는 경우, 서버 구축에 많은 비용이 소요될 수 있다. 클라우드 노드가 탑재하고 있는 일반적인 그래픽 시스템은 동시에 하나의 3D 어플리케이션을 지원하도록 설계되어 있기 때문이다. 하나의 클라우드 노드에서 다수의 3D 게임을 실행하기 위해서는 그 실행에 필요한 실시간 다중 렌더링 기술이 필수적이다. 본 논문은 다수의 컴퓨터 게임을 하나의 클라우드 노드에서 실행시키고 다른 노드에서 각 게임 영상을 획득할 수 있는 이중 서버 구조를 제안한다. 몇가지 실험을 실시하여 기술적 가능성을 알아본다.

높이 맵으로부터 지형의 기하구조를 형성하고 그 세부 묘사를 위하여 왕 타일을 이용하여 반복적이지 않는 타일링을 할 수 있다. 타일 내에 색상 정보와 더불어 높이 정보를 추가하여 세부적인 요철의 정보를 담아 시차 맵핑을 통하여 효과적으로 표현 할 수 있다. 본 논문에서는 이를 실시간 렌더링 할 때 문제되는 부분을 해결하였으며, 지형을 위한 시차 맵핑의 보안을 제안한다.

이 논문에서는 다양한 종류의 응용프로그램에 바로 적용할 수 있는 GPU 레이캐스팅 기법에 기반 하는 효율적인 실시간 지형 렌더링 방법을 제안한다. 여기에서 제안되는 방법은 별도의 메시 구조 없이 이미지(높이맵) 만으로 지형을 표현하는 것이 가능하며, 공중과 지상에서의 활동이 자유로워 가상현실은 물론 게임에 바로 사용할 수 있다. 메시에 기반 하지 않으므로 별도의 LOD조절이 필요하지 않으며, 높이맵과 컬러맵의 해상도에 따라 기하표현의 정밀도와 화질이 결정된다 더욱이 GPU-only 기법은 CPU가 더 일반적인 작업 에 집중할 수 있도록 함으로써 시스템의 전반적인 성능을 향상시킨다. 지금까지 높이맵을 사용한 많은 지형렌더링 관련 연구는 대부분이 상당부분 CPU 의존하거나 그 응용범위를 비행 시뮬레이션 등에 제한하여 왔다. 우리는 기존의 변위매핑 기법을 개선하여 지형 렌더링에 적용함으로써 기존 폴리곤기반 기법에서 나타나던 크랙이나 팝핑 등의 문제점들을 근본적으로 배제하였다. 이 논문이 기여하는 바는 지표면 탐색(walk-through)시의 임의 시선에 대한 효율적 처리와 높이장(height field)의 곡면 재구성을 통한 화질의 획기적인 개선이다. 우리는 재구성된 곡면과 시선의 교차점을 계산하는 효율적인 방법을 제시한다. 우리가 제안하고 있는 알고리듬은100% GPU에서 구현되었으며, 256×226~4096×4096까지의 다양한 해상도에서 실험한 결과 초당 수십~수백 프레임을 얻었다.

물체 내부에서의 빛의 산란 현상 (subsurface scattering)에 기반한 조명 모델은 사실적인 이미지 생성에서 매우 중요하지만, 복잡한 계산으로 인하여 게임, 가상현실 등의 대화형 환경에 적용되기 어려웠다. 우리는 빛의 단일 산란과 다중 산란 현상에 의한 조명을 이미지 상에서 근사하는 보다 실용적인 기법을 제안한다. 먼저 광원 시점에서 렌더링한 이미지의 각 픽셀에 물체 내부로 투과된 조사도 정보를 저장하고, 쉐이딩 단계에서 이 정보를 사용하여 조명을 빠르게 계산한다. 단일 산란은 그림자 매핑과 유사한 알고리즘과 적응적인 결정적 샘플링을 통해 수행 비용을 효율적으로 줄인다. 다중 산란은 빛의 확산 이론에 기반한 계층적인 샘플링을 사용한다. 복잡한 함수의 테이블화은 속도를 보다 향상 시킨다. 실험을 통해 제안된 기법이 초당 수 십에서 수 백 프레임의 빠른 속도로 사실감있는 장면을 렌더링할 수 있으며, 게임과 같은 기존의 대화형 환경에 쉽게 적용될 수 있음을 보여준다.

본 논문은 복잡하고 거대한 도시장면의 빠른 렌더링을 위한 기여도 컬링에 대한 새로운 방법을 제안한다. 시각 절두체 컬링 기술은 복잡한 장면의 빠른 렌더링에 사용된다. LOD를 지원하기 위해 영상 영역을 분할하고 가중치 쿼드트리를 생성한다. 현재 카메라 위치에서 보이는 객체들만 현재 쿼드트리의 요소가 되고 가중치는 쿼드트리의 각 객체에 할당된다. 가중치는 투사된 객체의 영상 영역에 비례하기 때문에 카메라로부터 먼 거리에 있는 큰 구조물들은 가까운 거리에 있는 작은 구조물들보다 컬링될 확률이 적다. 렌더링 시간은 보이는 객체들의 수에 독립적으로 거의 일정하다. 제안된 방법을 현재 개발 중인 새로운 대도시 구역에 적용했다. 제안된 방법은 기존의 방법과 같은 렌더링 질을 보장하며 다각형의 수를 약 9% 감소시킴을 확인하였다. 제안된 렌더링 방법은 복잡하고 거대한 장면의 고품질 실간 렌더링을 위한 응용 시스템에 효과적으로 사용될 수 있음을 확인하였다.

피부, 옷 등 실세계의 대부분의 물질들은 반투명한 재질로 되어있고, 부드러운 외양을 띄고 있다. 본 논문에서는 GPU 기반의 계층화 알고리즘을 통해, 양극 확산 (dipole diffusion) 기법에 기반한 표면 내에서의 빛의 산란에 의한 조명을 근사하여 반투명한 재질을 실시간에 렌더링하는 기법을 제안한다. 무수히 많은 수의 픽셀 빛 입자들은 GPU를 활용하여 쿼드트리로 계층화된다. 렌더링될 각 픽셀마다, 많은 빛 입자를 대신하여 좋은 화질로 근사할 수 있는 집합들을 선택하고, 이것을 사용하여 조명을 계산한다. 우리는 또한, 고해상도 이미지를 효율적으로 렌더링하기 위해 공간적 일관성과 early-z 컬링을 이용한 계층적 화면 보간 기법을 소개한다. 이를 위하여, 화면 정보를 GPU 상에서 계층화한다. 우리는 공간적 유사도가 높은 픽셀들을 하나의 픽셀로 렌더링함으로써 적응적으로 보간한다. 실험을 통해 빛 계층화를 통해 반투명한 물체를 실시간에 렌더링할 수 있음을 확인하였다. 화면 보간 기법은 동급 화질에서 렌더링 비용을 2~4배 정도 감소시켰다. 모든 과정은 GPU를 사용한 이미지 공간 상에서 빠르게 수행되며, 어떠한 긴 전처리과정도 필요하지 않는다.

그래픽스 렌더링 파이프라인 (응용, 기하, 레스터화)은 컴퓨터 게임에서 가장 중요한 기능인 실시간 그래픽스 렌더링의 핵심이다. 일반적으로 그래픽스 렌더링은 CPU와 GPU의 두 장치의 협조에 의해 완성되며 이 협조 과정에서 병목이 발생할 수 있다. 본 논문에서는 CPU와 GPV 사이에 발생하는 병목현상을 줄이는 데 초점을 맞추어, 보통은 하나의 스레드로 처리되는 CPU 연산을 순수 CPU 연산과 GPV와 연관된 연산의 두 가지로 구분하여 서로 독립적인 스레드로 병렬처리 되게 함으로써 실시간 그래픽스 렌더링의 성능을 향상시키는 방법을 제안한다. 이 방법은 CPU와 GPV사이의 협조를 위한 전송 과정에서의 병렬성을 극대화한다. 실험을 통하여 제안하는 방법이 기존의 방법 보다 더 빠르게 그래픽스 렌더링을 수행함을 검증하였다. 또한 본 논문에서는 CPU와 GPU의 협조 과정에서 생기는 병목현상으로 인한 유휴시간을 잘 활용하여 렌더링 파이프라인의 균형을 맞추면서 렌더링의 질을 높이는 방법도 제안한다. 제안하는 방법들을 우리가 개발한 네트워크 게임 엔진에 적용하여 실제 시스템에서도 효과가 있음을 확인하였다.