본 논문에서는 시퀀스 상에서 확장 칼만필터(Extended Kalman Filter) 기반의 SLAM(Simultaneous Localization And Mapping) 시스템의 안정적인 카메라 추적과 재위치(re-localization) 방법이 제안된다. SLAM으로 얻어진 3차원 특징점에 들로네(Delaunay) 삼각화를 적용하여 기준(reference) 평면을 설정하며, 평면상에 존재하는 특징점의 BRISK(Binary Robust Invariant Scalable Keypoints) 기술자(descriptor)를 생성한다. 기존 확장 칼만필터의 오차가 누적되는 경우를 판단하여 기준 평면의 호모그래피로부터 카메라 정보를 해석한다. 또한 카메라가 급격하게 이동해서 특징점 추적이 실패하면, 저장된 강건한 기술자 정보를 매칭하여 카메라의 위치를 다시 추정한다.

본 논문에서는 다수의 평면을 가지는 모델기반 카메라 추적 시스템이 제안된다. 상품의 정보를 표기하기 위한 2차원 바코드(barcode)로 널리 사용되는 QR(Quick Response) 코드를 인식하여 해당 물체의 3차원 모델을 임포팅한다. 그리고 관련 기하정보를 이용하여 모델의 주요 정점(vertex)을 추출하고 옵티컬 플로우(optical flow)를 이용하여 추적한다. 클리핑 알고리즘으로 다수의 평면을 가지는 물체의 평면 영역을 구별하고 매칭된 특징으로부터 호모그래피를 계산하여 초기 단계의 대략적인 카메라 움직임 파라미터를 추정한다. 이후 카메라의 움직임에 따라 다양한 평면에 존재하는 특징점과 해당 3차원 정보를 선형 방정식으로 구성하고 DLT(Direct Linear Transform) 방법을 적용한다. 최종 단계에서 번들 조정(Bundle Adjustment) 알고리즘을 이용해 카메라의 움직임 파라미터에 포함된 에러를 최소화 한다.