With the development of augmented reality technology, various related technologies and content production are rapidly increasing. The virtual space in the augmented reality is achieved through the synthesis of the virtual environment composed of 3D models with the background of the real world video. The harmonization of these two environments is an important factor for users enjoying augmented reality contents. In this paper, we introduce a video abstraction technique to solve the problem of mismatch between input video and 3D virtual objects, which is one of the points to be improved in augmented reality. In particular, we created a new virtual space by applying video-based cartoon and pencil stylization to transform the AR background.

최근의 인공 신경망(Neural Network) 기법은 전통적인 분류 문제와 군집화 문제 해결에서 벗어나 이미지 생성 같은 컨텐츠 생성에서도 좋은 성능을 보이고 있다. 본 연구에서는 차세대 컨텐츠 생성 기법으로 인공신경망을 이용한 이미지 생성기법을 제안한다. 제안하는 인공신경망 모델은 두 개의 이미지를 입력받아서 하나의 이미지에서는 색상을, 다른 이미지에서는 모양을 가져와 새로운 이미지로 조합해낸다. 이 모델은 컨볼루션 인공신경망(Convolutional Neural Network)으로 제작되 었으며 각각 이미지에서 색상과 모양을 추출해내는 두 개의 인코더와 각 인코더의 값을 모두 넘겨 받아 하나의 조합이 되는 이미지를 생성해내는 하나의 디코더로 구성이 되어있다. 본 연구의 성과는 저비용으로 게임 개발 프로세스 상 다양한 2차원 이미지 생성 및 보정 작업에 활용될 수 있다.

실 세계 공간에 가상 물체를 사실적으로 합성하기 위해서는 공간 내에 존재하는 조명정보 등을 분석해야 한다. 본 논문에서는 카메라에 대한 사전 교정(calibration)없이 카메라 및 조명의 위치 등을 추정하는 새로운 조명공간 재구성 방법이 제안된다. 먼저, 어안렌즈(fisheye lens)로부터 얻어진 전방향(omni-directional) 다중 노출 영상을 이용해 HDR (High Dynamic Range) 래디언스 맵(radiance map)을 생성한다. 그리고 다수의 대응점으로부터 카메라의 위치를 추정한 다음, 방향벡터를 이용해 조명의 위치를 재구성한다. 또한 대상 공간 내 많은 영향을 미치는 전역 조명과 일부 지역에 국한되어 영향을 주는 방향성을 갖는 지역 조명으로 분류하여 조명 환경을 재구성한다. 재구성된 조명환경 내에서 분산광선추적(distributed ray tracing) 방법으로 렌더링한 결과로부터 사실적인 합성영상이 얻어짐을 확인하였다. 제안된 방법은 카메라의 사전 교정 등이 필요하지 않으며 조명공간을 자동으로 재구성할 수 있는 장점이 있다.