본 논문은 사진이나 그림을 중첩을 통하여 실시간으로 포토 콜라주를 생성하는 방법을 제안한다. 사용될 영상들을 포토 콜라주 생성에 용이한 상태로 변형하는 과정을 거쳐 데이터베이스를 생성한다. 생성된 데이터베이스에 영상을 기준으로 위치시키기 가장 적절한 위치에 붙인다. 그리고 이것을 반복하여 실시간으로 포토 콜라주가 생성시킨다. 영상을 붙이는 과정은 각각의 영상을 서로 중첩을 통하여 붙여지는데 이 영상들을 지속적으로 갱신하여 명확하게 표현된 포토 콜라주 결과를 보여준다.

본 논문에서는 굴절(refractive) 물체의 광학적 현상들을 실시간으로 표현하는 GPU(Graphics Processing Unit) 기반 렌 더링 알고리즘이 제안되었다. 일반적으로 굴절 물체에 대한 광학적 현상들을 렌더링할 때 포톤 매핑(Photon Mapping) 이 널리 쓰이지만, 포톤 매핑 방법은 계산량이 많기 때문에 게임 등과 같은 실시간 응용분야에는 적합하지 않다. 본 논문에서는 굴절 물체의 앞면, 뒷면의 깊이값의 차이와 굴절 레이(ray)를 이용해 탈출지점을 구하며, 탈출지점의 법선 벡터를 근사하여 빛이 굴절 물체를 통과하면서 발생하는 커스틱스(caustics)현상과 굴절현상을 렌더링한다. 굴절 물체의 반사(reflection) 현상은 프레넬 항(Fresnel term)을 근사(approximation)해서 효율적으로 표현하였다. 또한 HDRI(High Dynamic Range Image)로 환경맵을 구성하여 자연광이 굴절 물체를 통해 굴절되어 보이는 현상을 생성하였다.

고해상도의 지형 데이터는 용량이 크기 때문에 GPU메모리에 데이터 전체를 적재할 수 없다. 따라서 out-of-core기반의 방법이 많이 사용된다. 그러나 보조기억장치의 대역폭 한계로 인하여 실시간으로 지형을 렌더링하기 어렵기 때문에 GPU로 웨이블릿 변환을 수행하여 압축된 DEM 데이터를 전송한 후 압축 해제하여 렌더링 하는 방법이 사용된다. 하지만 이 방법은 텍스처로부터 주기적으로 값을 읽어와 정점을 변환하고 메쉬를 생성해야하므로 비효율적이다. 이 논문에서는 웨이블릿 압축된 근사 계수 값을 정점의 속성으로 저장하고 기하 쉐이더에서 압축을 해제해 지형을 효율적으로 렌더링 하는 기법을 제안한다. 제안하는 방법은 근사 계수 값을 정점의 속성으로 주어 지형 텍스처의 전송량을 줄일 수 있다. 또한 지형 텍스처로부터 별도의 업로드 과정 없이 메쉬의 생성이 가능하므로 오버헤드가 발생하지 않아 효율적인 렌더링이 가능하다.

면광원에 의한 부드러운 그림자의 표현은 가상 장면을 보다 사실적으로 보이도록 한다. 하지만 부드러운 그림자의 계산은 매우 느리게 수행되기 때문에 실시간 3차원 응용 프로그램에 적용하기 위해서는 가속화가 요구된다. 우리는 기존의 실시간 부드러운 그림자 방법들이 가정했던 면광원의 모양과 색상을 보다 일반적으로 확장하여 임의의 모양과 색상을 갖는 면광원에 대한 부드러운 그림자 생성 방법을 제안한다. 그림자 매핑 정보를 획득할 수 있는 그림자 맵은 픽셀과 면광원 간의 가시성 검사를 근사하기 위해 사용되며 픽셀 주변의 그림자 복잡도에 따라 근사의 정도를 결정하였다. 그 결과 보다 일반적인 형태와 색상의 면광원에 대한 부드러운 그림자를 실시간에 표현할 수 있었다.

This paper presents a robotic system that provides telepresence to the visually impaired by combining real-time haptic rendering with multi-modal interaction. A virtual-proxy based haptic rendering process using a RGB-D sensor is developed and integrated into a unified framework for control and feedback for the telepresence robot. We discuss the challenging problem of presenting environmental perception to a user with visual impairments and our solution for multi-modal interaction. We also explain the experimental design and protocols, and results with human subjects with and without visual impairments. Discussion on the performance of our system and our future goals are presented toward the end.

본 논문에서는 장면에 어울리도록 유체를 카툰 스타일로 표현할 수 있는 실시간방법을 제안하고자 한다. 실제로 유체는 석양, 낮, 밤에 서로 다른 색상 톤을 보여주고 있고 수심이 낮은 곳에서의 반사 굴절 정도와 수심이 깊은 곳에서의 정도가 상이하며 색상 조차 다르다. 본 논문에서는 광원 수심 지형 시점 등에 적응적으로 유체를 카툰 스타일로 표현하는 방식을 제안한다. 실험은 기존의 방법을 구현하고 제안된 결과와 비교 분석하였다. 이러한 연구는 기존의 카툰 스타일렌더링 방법과 제안하는 카툰 스타일 방법과 동시에 사용하면 게임을 카툰 스타일로 표현할 수 있는 전체 시스템을 제시할 수 있다.

초고속 인터넷의 광범위한 보급으로 가능해진 클라우드 컴퓨팅 기반 게임 서비스는 클라우드 노드에서 게임을 실행하고 게임의 영상을 원격 사용자의 단말기에 영상 스트림으로 전송함으로써 게임 서비스가 이루어진다. 사용자 입력은 게임에 즉각적으로 전송되고 반영된다. 이러한 서비스가 가능한 이유는 사용자 입력이 반영되고 게임 영상이 사용자에게 전달되는데 걸리는 시간이 최소화되어. 컴퓨터 게임에서 요구되는 반응성을 일반적으로 만족시킬 수 있었기 때문이다. 하지만 이러한 서비스는 고품질 3D 게임을 서비스하는 경우, 서버 구축에 많은 비용이 소요될 수 있다. 클라우드 노드가 탑재하고 있는 일반적인 그래픽 시스템은 동시에 하나의 3D 어플리케이션을 지원하도록 설계되어 있기 때문이다. 하나의 클라우드 노드에서 다수의 3D 게임을 실행하기 위해서는 그 실행에 필요한 실시간 다중 렌더링 기술이 필수적이다. 본 논문은 다수의 컴퓨터 게임을 하나의 클라우드 노드에서 실행시키고 다른 노드에서 각 게임 영상을 획득할 수 있는 이중 서버 구조를 제안한다. 몇가지 실험을 실시하여 기술적 가능성을 알아본다.

본 논문에서는 컨벡스 헐을 이용한 구 좌표계 기반 실시간 렌더링 알고리즘이 제안되었다. OpenGL 렌더링 파이프라인은 물체의 모든 정점들을 고려하지만, 제안된 방법은 물체의 가시 삼각형들을 검사하여 보이는 정점들만을 고려한다. 본 논문에서는 구좌표계 표현에서의 물체의 가시 영역을 결정하기 위하여, 카메라 절두체를 이루는 6개의 평면 방정식과 물체의 경계구와의 기하 관계를 이용한다. 또한 대상 물체의 컨벡스 헐(convex hull)의 최대 측면 성분(maximum side factor)을 고려하여 은면(hidden surface)을 제거하는 효과적인 방법이 구현되었다. 실험결과로부터 결과 영상이 원본 영상과 거의 같고, 렌더링 성능이 크게 개선됐음을 확인하였다.

본 논문에서는 보다 효율적인 렌더링을 위해 물체를 구좌표계(sperical coordinate system) 상에서 표현하는 새로운 렌더링 알고리즘이 제안된다. 먼저 직교 좌표로 표현되어 있는 물체의 정점을 구좌표로 변환하고, 카메라의 가시 절두체(frustum) 영역 내의 정점을 판단하기 위해 삼각형의 무게중심, 색인(index), 메모리 접근(access) 맵 등의 자료구조를 구성한다. 제안된 방법은 카메라에 의해 보여지는 영역, 즉 렌더링되는 물체의 가시 영역에 해당하는 정점만으로 렌더링한다. 따라서 렌더링 파이프라인에서 고려되는 정점의 개수를 크게 줄여 전체적인 시스템 성능이 크게 향상되었음을 실험을 통해서 확인하였다.

높이 맵으로부터 지형의 기하구조를 형성하고 그 세부 묘사를 위하여 왕 타일을 이용하여 반복적이지 않는 타일링을 할 수 있다. 타일 내에 색상 정보와 더불어 높이 정보를 추가하여 세부적인 요철의 정보를 담아 시차 맵핑을 통하여 효과적으로 표현 할 수 있다. 본 논문에서는 이를 실시간 렌더링 할 때 문제되는 부분을 해결하였으며, 지형을 위한 시차 맵핑의 보안을 제안한다.

피부, 옷 등 실세계의 대부분의 물질들은 반투명한 재질로 되어있고, 부드러운 외양을 띄고 있다. 본 논문에서는 GPU 기반의 계층화 알고리즘을 통해, 양극 확산 (dipole diffusion) 기법에 기반한 표면 내에서의 빛의 산란에 의한 조명을 근사하여 반투명한 재질을 실시간에 렌더링하는 기법을 제안한다. 무수히 많은 수의 픽셀 빛 입자들은 GPU를 활용하여 쿼드트리로 계층화된다. 렌더링될 각 픽셀마다, 많은 빛 입자를 대신하여 좋은 화질로 근사할 수 있는 집합들을 선택하고, 이것을 사용하여 조명을 계산한다. 우리는 또한, 고해상도 이미지를 효율적으로 렌더링하기 위해 공간적 일관성과 early-z 컬링을 이용한 계층적 화면 보간 기법을 소개한다. 이를 위하여, 화면 정보를 GPU 상에서 계층화한다. 우리는 공간적 유사도가 높은 픽셀들을 하나의 픽셀로 렌더링함으로써 적응적으로 보간한다. 실험을 통해 빛 계층화를 통해 반투명한 물체를 실시간에 렌더링할 수 있음을 확인하였다. 화면 보간 기법은 동급 화질에서 렌더링 비용을 2~4배 정도 감소시켰다. 모든 과정은 GPU를 사용한 이미지 공간 상에서 빠르게 수행되며, 어떠한 긴 전처리과정도 필요하지 않는다.

그래픽스 렌더링 파이프라인 (응용, 기하, 레스터화)은 컴퓨터 게임에서 가장 중요한 기능인 실시간 그래픽스 렌더링의 핵심이다. 일반적으로 그래픽스 렌더링은 CPU와 GPU의 두 장치의 협조에 의해 완성되며 이 협조 과정에서 병목이 발생할 수 있다. 본 논문에서는 CPU와 GPV 사이에 발생하는 병목현상을 줄이는 데 초점을 맞추어, 보통은 하나의 스레드로 처리되는 CPU 연산을 순수 CPU 연산과 GPV와 연관된 연산의 두 가지로 구분하여 서로 독립적인 스레드로 병렬처리 되게 함으로써 실시간 그래픽스 렌더링의 성능을 향상시키는 방법을 제안한다. 이 방법은 CPU와 GPV사이의 협조를 위한 전송 과정에서의 병렬성을 극대화한다. 실험을 통하여 제안하는 방법이 기존의 방법 보다 더 빠르게 그래픽스 렌더링을 수행함을 검증하였다. 또한 본 논문에서는 CPU와 GPU의 협조 과정에서 생기는 병목현상으로 인한 유휴시간을 잘 활용하여 렌더링 파이프라인의 균형을 맞추면서 렌더링의 질을 높이는 방법도 제안한다. 제안하는 방법들을 우리가 개발한 네트워크 게임 엔진에 적용하여 실제 시스템에서도 효과가 있음을 확인하였다.