본 연구에서는 파프리카 수확기 개발의 일환으로 엔드 이펙터의 정확한 제어를 위하여 스테레오 영상으로 파프리카를 인식하고 인식된 파프리카의 공간 좌표를 획득하기 위하여 영상처리 알고리즘을 개발하고자 하였다. 먼저, 색상 정보를 이용하여 파프리카 영상을 추출하기 위하여 히스토그램 분석을 수행하였고 결과에 따른 임계값 을 설정하였다. 임계값에 의해 추출된 파프리카 영역에 대해 스테레오 대응을 수행하기 위해 실험에 사용된 스테레오 영상의 F 행렬을 구하였고 이를 이용하여 에피 폴라선을 구하여 대응을 수행하였다. 대응을 수행 할 때는 색상 영상을 이용하여 강조 마스크와 컨벌루션을 통해 중심 픽셀과 수직, 수평방향 이웃 픽셀에 가중치를 적용하여 강조한 후 최소 자승 오차를 갖는 점을 대응 점으로 추출하였다. 추출 된 대응 점간의 거리를 스테레오 영상의 기하학적인 관계를 이용하여 실제 거리를 계산하였고, 계산된 거리(Z)값을 이용하여 수평(X), 수직 (Y) 방향 공간 좌표를 획득하였다. 그 결과 수평 방향 오차 평균 5.3mm, 수직 방향 오차 평균 18.8mm, 거리 오차 평균 5.4mm로 나타났으며, 거리 400~450mm 구간과 영상의 모서리 부분의 왜곡이 발생하는 부분에서 오차가 다른 구간에 비해 크게 나타나는 것을 확인 할 수 있었다.

Chroma key technique which composes images by separating an object from its background in specific color has restrictions on color and space. Especially, unlike general chroma key technique, image composition for stereo 3D display requires natural image composition method in 3D space. The thesis attempted to compose images in 3D space using depth keying method which uses depth information of Microsoft Kinect. Object was converted into point cloud type in 3D space after separating it from its background according to depth information. The image in which 3D virtual background and object are composed obtained and played stereo 3D images using a virtual camera. The research showed naturally composed stereo 3D images as well as the feasibility of applying stereoscopic 3D mixed reality image technology.

본 논문에서는 입력된 스테레오 영상으로부터 상호관련 있는 견실한 소실점추출 기법을 제안한다. 기존 의 소실점 추출기법들은 단일 영상에 적용하는 방법으로 이를 스테레오 영상에 적용하면 영상 간에 상호관련성이 적은 소실점을 추출하는 문제점이 있다. 이러한 문제를 해결하기 위해 제안한 방법은 입력된 스테레오 영상을 허프 공간으로 변환하고 이 공간상에서 각 영상의 기하특징들을 정합하여 두 영상의 상호관련 있는 기하정보를 추출하도록 하였다. 또한 추출된 기하정보들에 대해서 적절한 범위 내에서 정보를 선택하도록 하여 계산량을 줄였다. 실험을 통해 제안한 방식이 스테레오 영상에서 기존의 소실점 추출 방식에 비해 두 영상사이에 상호관련 있는 기하정보를 얻을 수 있으며, 이 기하정보로부터 보다 견실한 소실점을 추출함을 결과를 통해 알 수 있었다.

Visual odometry is a popular approach to estimating robot motion using a monocular or stereo camera. This paper proposes a novel visual odometry scheme using a stereo camera for robust estimation of a 6 DOF motion in the dynamic environment. The false results of feature matching and the uncertainty of depth information provided by the camera can generate the outliers which deteriorate the estimation. The outliers are removed by analyzing the magnitude histogram of the motion vector of the corresponding features and the RANSAC algorithm. The features extracted from a dynamic object such as a human also makes the motion estimation inaccurate. To eliminate the effect of a dynamic object, several candidates of dynamic objects are generated by clustering the 3D position of features and each candidate is checked based on the standard deviation of features on whether it is a real dynamic object or not. The accuracy and practicality of the proposed scheme are verified by several experiments and comparisons with both IMU and wheel-based odometry. It is shown that the proposed scheme works well when wheel slip occurs or dynamic objects exist.