본 연구에서는 파프리카 수확기 개발의 일환으로 엔드 이펙터의 정확한 제어를 위하여 스테레오 영상으로 파프리카를 인식하고 인식된 파프리카의 공간 좌표를 획득하기 위하여 영상처리 알고리즘을 개발하고자 하였다. 먼저, 색상 정보를 이용하여 파프리카 영상을 추출하기 위하여 히스토그램 분석을 수행하였고 결과에 따른 임계값 을 설정하였다. 임계값에 의해 추출된 파프리카 영역에 대해 스테레오 대응을 수행하기 위해 실험에 사용된 스테레오 영상의 F 행렬을 구하였고 이를 이용하여 에피 폴라선을 구하여 대응을 수행하였다. 대응을 수행 할 때는 색상 영상을 이용하여 강조 마스크와 컨벌루션을 통해 중심 픽셀과 수직, 수평방향 이웃 픽셀에 가중치를 적용하여 강조한 후 최소 자승 오차를 갖는 점을 대응 점으로 추출하였다. 추출 된 대응 점간의 거리를 스테레오 영상의 기하학적인 관계를 이용하여 실제 거리를 계산하였고, 계산된 거리(Z)값을 이용하여 수평(X), 수직 (Y) 방향 공간 좌표를 획득하였다. 그 결과 수평 방향 오차 평균 5.3mm, 수직 방향 오차 평균 18.8mm, 거리 오차 평균 5.4mm로 나타났으며, 거리 400~450mm 구간과 영상의 모서리 부분의 왜곡이 발생하는 부분에서 오차가 다른 구간에 비해 크게 나타나는 것을 확인 할 수 있었다.
본 연구에서는 과수의 형태, 거리에 따라 약대가 항상 적정 살포 거리를 유지하며 작업을 진행할 수 있도록 초음파 센서의 신호를 실시간으로 받아 약대를 제어하였고, 또한 약대의 보호를 위하여 진행 방향에 장애물이 존재할 경우 회피할 수 있도록 프로그래밍 하였다. 제작된 시스템으로 현장에서 비 자동제어 상태와 자동제어 상태로 실험을 수행하였다. 실험은 과수의 기둥과 잎 부위에 감수지를 일정간격으로 설치하고 시스템을 이용하여 분사한 후 감수지의 영상을 스캔하여 영상처리를 통해 분석하는 방법으로 이루어졌다. 상 방향 분사 실험에서는 시스템과 대상의 거리가 0.9m~1.1m로 설정해둔 적정거리를 벗어나지 않았기 때문에 비 자동제어와 자동제어 상태 모두 양호한 결과를 보였다. 하지만 측 방향 분 사 실험에서는 비 자동제어 시 우측 열은 98.09%의 분 사율을 보였으나 좌측 열은 69.25%로 낮게 나타났다. 이는 실험이 수행된 배 과원의 경우 과수의 좌측 열이 수평하게 식재되어 있지 않았기 때문으로 비자동제어 상태에서는 좌측열의 과수에 분사되는 양이 줄어들었으나 자동제어 상태에서는 좌, 우측열의 과수에 분사되는 양이 각각 92.66%, 94.64%로 균일하게 나타났다. 시스템 의 제어 속도를 측정하기 위하여 방향 별 약대의 속도를 측정하였고 각각의 속도는 수직방향 100mm/s, 수평 방향 100mm/s, 각 변화 3o/s로 측정되었다. 초기 목적했 던 바와 같이 과수의 형태, 거리에 따라 약대가 적정 거리를 유지하며 작업을 진행함으로 인해서 균일한 살포량을 유지 할 수 있음을 확인하였다.
This paper introduces a novel approach that can provide the three dimensional information about the movement of a spreader by using two CCD cameras and a laser distance measuring unit in order to derive ALS (Automatic Landing System) in the crane used at a harbor. So far a kind of 2D Laser scanner sensor or laser distance measuring units are used as comer detectors for the geometrical matching between the spreader and a container. Such systems provide only two dimensional information which is not enough for an accurate and fast ALS. In addition to this deficiency in performance, the price of the system is too high to adapt to the ALS. Therefore, to overcome these defects, we proposed a novel method to acquire the three dimensional spreader information using two CCD cameras and a laser distance measuring unit. To show the efficiency of proposed method, real experiments are performed to show the improvement of accuracy in distance measurement by fusing the sensory information of the CCD cameras and a laser distance measuring unit.
This paper proposes a sensor-fusion technique where rho data sets for the previous moments are properly transformed and fused into the current data sets to enable accurate measurement, such as, distance to an obstacle and location of the service robot itself. In the conventional fusion schemes, the measurement is dependent only on the current data sets. As the results, more of sensors are required to measure a certain physical promoter or to improve the accuracy of the measurement. However, in this approach, intend of adding more sensors to the system, the temporal sequence of the data sets are stored and utilized for the measurement improvement. Theoretical basis is illustrated by examples md the effectiveness is proved through the simulation. Finally, the new space and time sensor fusion (STSF) scheme is applied to the control of a mobile robot in the indoor environment and the performance was demonstrated by the real experiments.