본 연구에서는 영상기반 딥러닝 및 이미지 프로세싱 기법을 이용한 볼트풀림 손상검출 기법을 제안하였다. 이를 위해 먼저, 딥러닝 및 이미지 프로세싱 기반 볼트풀림 검출 기법을 설계하였다. 영상기반 볼트풀림 검출 기법은 볼트 이미지 검출 과정 및 볼트풀림 각도 추정 과정으로 구성된다. 볼트 이미지의 검출을 위하여 RCNN기반 딥러닝 알고리즘을 이용하였다. 영상의 원근왜곡 교정을 위해 호모그래피 개념을 이용하였으며 볼트풀림 각도를 추정을 위하여 Hough 변환을 이용하였다. 다음으로 제안된 기법의 성능을 검증을 위하여 거더의 볼트 연결부 모형을 대상으로 볼트풀림 손상검출 실험을 수행하였다. 다양한 원근 왜곡 조건에 대하여 RCNN 기반 볼트 검출기와 Hough 변환 기반 볼트풀림 각도 추정기의 성능을 검토하였다.

본 연구에서는 파프리카 수확기 개발의 일환으로 엔드 이펙터의 정확한 제어를 위하여 스테레오 영상으로 파프리카를 인식하고 인식된 파프리카의 공간 좌표를 획득하기 위하여 영상처리 알고리즘을 개발하고자 하였다. 먼저, 색상 정보를 이용하여 파프리카 영상을 추출하기 위하여 히스토그램 분석을 수행하였고 결과에 따른 임계값 을 설정하였다. 임계값에 의해 추출된 파프리카 영역에 대해 스테레오 대응을 수행하기 위해 실험에 사용된 스테레오 영상의 F 행렬을 구하였고 이를 이용하여 에피 폴라선을 구하여 대응을 수행하였다. 대응을 수행 할 때는 색상 영상을 이용하여 강조 마스크와 컨벌루션을 통해 중심 픽셀과 수직, 수평방향 이웃 픽셀에 가중치를 적용하여 강조한 후 최소 자승 오차를 갖는 점을 대응 점으로 추출하였다. 추출 된 대응 점간의 거리를 스테레오 영상의 기하학적인 관계를 이용하여 실제 거리를 계산하였고, 계산된 거리(Z)값을 이용하여 수평(X), 수직 (Y) 방향 공간 좌표를 획득하였다. 그 결과 수평 방향 오차 평균 5.3mm, 수직 방향 오차 평균 18.8mm, 거리 오차 평균 5.4mm로 나타났으며, 거리 400~450mm 구간과 영상의 모서리 부분의 왜곡이 발생하는 부분에서 오차가 다른 구간에 비해 크게 나타나는 것을 확인 할 수 있었다.