실제 환경과 유사한 게임 환경은 사용자의 현실감과 몰입도를 높인다. 특히 현실 세계에서 건물은 사용자에 게 현실감을 부여하는 중요한 요소이다. 위성영상, 항공영상, 360°영상 등 실제 환경 데이터는 이미 디지털화 되어 구글 스트리트뷰나 카카오 로드뷰처럼 서비스되고 있다. 또한 이미지가 아닌 3D 모델로 세상을 구성하 는 것은 이미 진행 중인 작업이다. 그러나 Google 및 기타 업체에서 수행한 작업은 주로 항공 이미지를 모 델의 텍스처로 사용된다. 항공 영상의 특성상 카메라 시점이 낮을 때 왜곡이 심하고 해상도가 높지 않다. 본 연구에서는 기존의 360° 거리 이미지 서비스에서 거리 이미지와 메타데이터를 추출하여 사용자가 이동하 고 상호작용하는 지도를 구성하여 3차원 공간에서 독립된 건물 메쉬를 생성하였다. 스트리트 뷰는 TM 좌표 를 이용하여 3차원 공간에 배치되어 사용자의 움직임에 따라 적절한 스트리트 뷰가 적용된다. 우리는 깊이 데이터를 분석하여 스트리트 뷰에 투영된 구형 화면에 깊이를 적용하고 스트리트 뷰에서 건물을 배경과 분 리하고 각 건물을 별도의 수직 평면에 투영하였다. 또한 각 건물은 사용자를 따라 초기 방향을 유지하도록 회전되어 스트리트 뷰 사이의 전환에서 건물 평면의 연속성이라는 인상을 준다. 본 연구는 기존 디지털 데이 터를 다양한 분야에서 활용할 수 있도록 재가공하여 가치를 높이는 것을 목적으로 한다.

게임에서 배경은 단지 공간적 구성 요소뿐만 아니라 사용자에게 게임 속에서 몰입감을 높여주는 요소이다. 때문에 실제 도심을 모델로 한 배경의 일부 게임들이 인기를 끌고 있다. 도심을 배경으로 하는 게임의 배경은 만드는데 많은 인력과 시간을 필요로 하기 때문에 제작하기 힘들다. 한편 스트리트 뷰와 같은 서비스와 간단한 룰을 이용해서 가상의 체험을 제공해주는 게임들도 존재한다. 스트리트 뷰를 기반으로 배경에서 중요 요소인 건물을 살려 사용자의 몰입감을 높이고 실제에 기반한 맵을 만들 수 있다면 매우 유용할 것이다. 일반적으로 게임에서 깊이 맵은 빛과 그림자 셰이딩 또는 높이 맵으로 지형을 구성하는데 활용된다. 우리는 이 깊이 맵을 스트리트 뷰에 적용하고자 한다. 우리는 이 연구에서 수치지도를 이용해 간단하고 저비용의 깊이 추정 알고리즘을 실험하고자 한다. 건물에 대한 위치 및 메타데이터는 수치지도로 부터 획득하여 깊이 추정을 진행하였다. 스트리트 뷰에 깊이 정보를 더하여 배경 요소에 중요한 건물을 강조하고 또한 건물과 지면, 하늘을 분리하였다. 디지털 지도와 메타 데이터를 기반으로 한 스트리트 뷰 연구는 다양한 방법으로 활용 될 수 있다.

사용자를 360°로 둘러싼 VR 환경은 콘텐츠에 대한 몰입도를 높여준다. 그리고 HMD를 사용할 때 디스플레 이를 통해 볼 수 있는 Field of view(FOV)가 넓을수록 몰입감이 넓어진다. 하지만 사용자가 사람 또는 그래픽 시스템의 FOV에 의해서 360° 환경을 한번에 인식할 수 없기 때문에 VR 환경에서 발생한 이벤트가 시야 밖 에 있다면 사용자는 인식 못할 수 있다. 이런 이벤트가 콘텐츠의 내러티브에 중요할 경우 사용자가 이를 인식할 수 있는 방법을 찾아야한다. 사람의 시야는 인식 가능한 정보가 각도에 따라 제한되므로 마커가 문자 또는 의미있는 형태 인 경우 사용자가 인식 할 수 있도록 화면 중앙에 위치해야 한다. 우리는 움직임에 대한 시각적 인지반응을 통해서 VR 환경에서 사용자에게 시야 밖의 정보를 제공한다. 우리는 고화질 콘텐츠 영상을 활용하기 위해서 EAC 영상을 활용하였다. Equi-angular cubemap(EAC)라 불리는 이 방법은 Cubemap 투영을 개선하여 왜곡을 줄이고 적도 영역에 할당되는 픽셀을 늘려서 질을 높이는 방법이다. 또 구형의 공통 투영면을 사용하고 유도 표지가 시간의 흐름에 따라 투영면을 따라 물결처럼 퍼지도록 하였다. 우리는 움직임을 가지는 약한 표지를 제안한다. 이 표지는 움직임에 대한 시각적 인지반응을 통해서 VR 환경에서 사용자에게 시야 밖의 정보를 제공한다. 이 유도 표지는 사용자의 몰입을 방해하지 않으며 중요 이벤트 또는 Point of interest(POI)에 대한 힌트를 사용자가 제공하며 HMD를 사용하는 VR에 적합하다.

CVR은 실제 환경에서 파노라마 카메라를 이용해 영상을 촬영하여 만들 수 있어 컴퓨터 그래픽 또는 게임 엔진 등을 이용해서 가상환경을 새롭게 구성하지 않고 만들 수 있는 것이 장점이다. 근래 Google Cardboard와 같은 간이형 VR장치의 보급을 통해 사람들은 모바일 폰을 통해서 쉽게 VR을 접하게 되었고 특히 Facebook 또는 Google Youtube 와 같이 다양한 플랫폼들에서 제공하는 360° 영상 콘텐츠를 통해서 사용자는 다양한 CVR 체험을 즐길 수 있게 되었다. 하지만 사람의 제한된 시야 및 디스플레이 장치의 크기 등에 의해 사용자는 VR 환경의 일부분만 보게 된다. 게임의 경우에는 시야 밖의 중요한 적이나 환경 변화가 생길 경우 사용자가 이를 놓치지 않도록 UI나 아바타에 별도의 시각적 표지를 추가하여 사용자의 주의를 환기하지만 CVR에서는 이 방법을 적용하기 힘들다. 우리는 이 연구에서 사용자의 몰입을 방해하지 않으며 POI에 사용자의 포커스를 유도하기 위한 방법을 제안한다. 가상현실 내에서 POI로 부터 발생하는 Halo형태의 가이드 표지는 움직임에 대한 인지반응을 이용하여 CVR 환경에서 사용자의 포커스를 POI로 유도한다. 또한 이 방법은 사용자의 시선에 상관없이 POI를 기반으로 시각적 마커를 생성하므로 추가 메타 정보 및 시선 추적 없이 콘텐츠 이미지를 수정하여 CVR에 적용 할 수 있습니다.