2D 퍼즐은 인기있는 보드게임이다. 2D 퍼즐을 완성하는 기술은 많이 연구되었다. 하지만 2D만으로는 대상 을 효과적으로 표현하기 어렵다는 한계가 있다. 본 연구에서는 영상으로부터 높이를 가진 2D+ 레고 퍼즐을 생성하는 방법을 제안한다. 이를 위해서 본 연구에서는 영상의 높이 맵과 분할 맵의 정보를 활용한다. 우리 는 2D+ 퍼즐에 적용하기위해 다양한 대상의 높이 및 영역 정보를 적절하게 처리해야한다. 이러한 이유로, 우리는 깊이 맵과 분할영역 맵을 추출하기 위해 모델에 심층 학습 모델을 적용한다. 높이 맵을 추출하기 위 해 우리는 CelebAMask-HQ dataset으로 학습한 BiseNet을 채택했다. 그리고 분할 맵을 얻기 위해 NYU Depth V2 dataset으로 학습한 DenseDepth를 사용했다. 입력 영상에 대해서 저해상도 영상 및 높이 맵과 분할 맵을 추출하고, 저해상도 영상을 레고 브릭의 색 팔레트를 적용한 영상에 대해서 높이 맵과 분할 맵 정보를 적용해서 높이를 가진 2D+ 픽셀 아트 영상을 생성한다. 그리고, 이 픽셀 아트 영상에 대해서 같은 높이와 같은 색을 가진 픽셀들에 대해서 최대한 큰 브릭을 적용하는 그리디 알고리즘을 적용해서 2D+ 레 고 퍼즐을 완성한다. 본 연구에서는 다양한 초상화를 대상으로 2D+ 레고 퍼즐을 완성하는 예를 제시하였으 며, 그 중 하나를 직접 제작하여 그 결과를 제시한다.

게임에서 배경은 단지 공간적 구성 요소뿐만 아니라 사용자에게 게임 속에서 몰입감을 높여주는 요소이다. 때문에 실제 도심을 모델로 한 배경의 일부 게임들이 인기를 끌고 있다. 도심을 배경으로 하는 게임의 배경은 만드는데 많은 인력과 시간을 필요로 하기 때문에 제작하기 힘들다. 한편 스트리트 뷰와 같은 서비스와 간단한 룰을 이용해서 가상의 체험을 제공해주는 게임들도 존재한다. 스트리트 뷰를 기반으로 배경에서 중요 요소인 건물을 살려 사용자의 몰입감을 높이고 실제에 기반한 맵을 만들 수 있다면 매우 유용할 것이다. 일반적으로 게임에서 깊이 맵은 빛과 그림자 셰이딩 또는 높이 맵으로 지형을 구성하는데 활용된다. 우리는 이 깊이 맵을 스트리트 뷰에 적용하고자 한다. 우리는 이 연구에서 수치지도를 이용해 간단하고 저비용의 깊이 추정 알고리즘을 실험하고자 한다. 건물에 대한 위치 및 메타데이터는 수치지도로 부터 획득하여 깊이 추정을 진행하였다. 스트리트 뷰에 깊이 정보를 더하여 배경 요소에 중요한 건물을 강조하고 또한 건물과 지면, 하늘을 분리하였다. 디지털 지도와 메타 데이터를 기반으로 한 스트리트 뷰 연구는 다양한 방법으로 활용 될 수 있다.

Multi-view system is one of the auto-stereoscopic displays that allows users to watch 3D images without wearing special glasses. Generating contents for the multi-view display system is often accomplished using Depth-image-based rendering (DIBR) intermediate view generation. DIBR-based intermediate view generation method reconstructs a 3D scene with a color image and depth map information. Then, a virtual camera is put in various view positions to capture intermediate view images. In this research, we tried to improve the quality of the DIBR-based intermediate views by applying non-uniform quantization method for depth map information. This paper describes the intermediate view generation process using DIBR. Then, it discusses the evaluation of multi-view intermediate images generated using uniform and non-uniform depth quantization methods. Finally, the paper describes the future direction and how the muti-view systems can be utilized in computer games.

본 연구에서는 피사체의 깊이와 깊이 표현의 상세레벨(detail level)을 각기 다르게 조정한 깊이맵을 이용하여 2D-to-3D 입체변환을 수행하고, 변환된 입체 이미지를 기반으로 시청자 평가 실험을 진행하여 피사체의 절대적 깊이 변화와 배경간의 깊이 차이에 따라 깊이맵의 상세레벨이 깊이감, 볼륨감, 불편감에 미치는 효과를 분석하였다. 주객체의 깊이는 3 레벨로 조정하였고, 또한, 주객체와 배경과의 상대적 깊이 차이도 하나의 독립변인으로 분석하기 위하여 3 레벨로 조정하였다. 깊이맵의 깊이 표현의 상세레벨을 다시 3레벨로 나누어, 이들 조건을 만족하는 18개의 깊이맵을 정의하고 이를 기반으로 실험을 위한 입체영상을 생성하였다. 18개의 입체영상을 실험참가자에게 보여 주고 설문을 통하여 각 영상별로 실험자들이 느끼는 주관적 입체감, 볼륨감, 불편감을 조사하였다. 그 결과 주 피사체의 절대적 위치와 피사체-배경간의 상대적 거리차이가 달라짐에 따라 깊이맵의 상세도가 깊이감, 볼륨감, 불편감에 미치는 영향력이 달라지는 결과를 얻었다. 단색 깊이맵의 경우는 주객체의 절대적 깊이위치에 상관없이 전반적으로 볼륨감을 크게 훼손하고, 스크린의 안쪽에 객체가 위치하는 경우, 다른 상세레벨의 깊이맵에 비해 깊이감도 크게 저하시키는 효과를 보이기 때문에 주객체의 절대적 위치와 상관없이 사용을 피하는 것이 바람직 한 것으로 분석되었다. 또한, 세밀한 깊이맵과 간략한 깊이맵을 적용하였을 때 실험자가 입체감을 크게 다르게 느끼지 못하는 것으로 나타남에 따라 입체변환시 모든 장면에 너무 과도하게 상세한 깊이맵을 구성할 필요가 없는 것으로 분석되었다.