본 논문은 자동계류시스템에 활용 가능한 선박의 6자유도 자세 추정을 위한 기법을 다루고 있다. 일반적으로 계류 중인 선박은 바람, 파도, 화물 적·양하로 인한 흘수의 변화, 기조력에 의한 해수면의 높이 변화 등 선박의 운동을 유발하는 다양한 외력이 존재한다. 이 러한 외력은 선박의 자세를 변경시키는데, 선박의 자세가 안정되도록 제어하는 것이 자동계류시스템의 역할이다. 본 논문은 이러한 상황 을 고려하여 대상 선박에 대하여 비접촉식 방법으로 높은 정확도 및 정밀도를 가지는 6-자유도 자세 추정기법을 제안한다. 제안된 방법은 스테레오 비전을 이용하여 2D 텍스쳐 정보와 3D 깊이 정보를 함께 이용한 기법으로, 2D 특징 추출/표현, 3D 필터링, 특징 매칭, 3D 대응쌍 의 가중치 계산, 자세 파라미터 추정 단계로 구성되어 있다. 본 논문에서는 자세 추정 정확도/정밀도를 더욱 개선하기 위해 기하학적 매칭 기법을 통해 두 단계의 특징 선별 및 가중치 산출 전략을 제안한다. 제안된 방법은 각각의 자유도에 대한 변위에 대해 정확도 및 정밀도 분석을 통해 평가된다.

본 논문에서는 스테레오 비전 센서를 이용한 프리팹 강구조물(PSS: Prefabricated Steel Structures)의 조립부 형상 품질 평가 기법을 소개한다. 스테레오 비전 센서를 통해 모형의 조립부 영상과 포인트 클라우드 데이터를 수집하였으며, 퍼지 기반 엣지 검출, 허프 변 환 기반 원형의 볼트 홀 검출 등의 영상처리 알고리즘을 적용하여 조립부 영역의 볼트홀을 검출하였다. 영상 내 추출된 볼트홀 외곽선 위 세 점의 위치 정보에 대응되는 3차원 실세계 위치 정보를 깊이 영상으로부터 획득하였으며, 이를 기반으로 각 볼트홀의 3차원 중심 위치를 계산하였다. 통계적 기법 중 하나인 주성분 분석 알고리즘(PCA: Principal component analysis) 알고리즘을 적용함으로써 3차 원 위치 정보를 대표하는 최적의 좌표축을 계산하였다. 이를 통해 센서의 설치 방향 및 위치에 따라 센서와 부재 간 평행이 아니더라도 안정적으로 볼트홀 간의 거리를 계측하도록 하였다. 각 볼트홀의 2차원 위치 정보를 기반으로 볼트홀의 순서를 정렬하였으며, 정렬된 볼트홀의 위치 정보를 바탕으로 인접한 볼트홀 간의 각 축의 거리 정보를 계산하여 조립부 볼트홀 위치 중심의 형상 품질을 분석하였 다. 측정된 볼트홀 간의 거리 정보는 실제 도면의 거리 정보와의 절대오차와 상대오차를 계산하여 성능 비교를 진행하였으며, 중앙값 기준 1mm 내의 절대오차와 4% 이내의 상대오차의 계측 성능을 확인하였다.

The purpose of this study is to design and develop integrated game system for experiential walking exercise. Existing walking exercise is performed outside, so it is influenced by external weather, temperature, time, place and other situation information. Therefore, it is necessary to have an experiential walking exercise game that can induce the recommended level of physical activity for the elderly who have a low interest in health care. The experiential exercise game requires a vision - based system to recognize motion and a smart mat that can recognize walking information. We also developed a walking exercise program to improve the sense of balance and cognitive ability of elderly people. There are 4 types of Walking Exercise Games: 5 levels for beginner, intermediate, and advanced difficulty levels.

The camera movement can cause considerable error in the computer vision-based displacement measurement because the camera is generally placed far from the region of interest. The camera movement, which is difficult to avoid particularly in the long-term measurement, hinders real-world applications of the computer vision-based displacement method. This research proposes a practical means of long-term displacement measurement by using a novel camera system. In addition to the conventional camera-based measurement, an auxiliary camera is used to compensate the camera motion-induced error. Experimental validation is conducted in the laboratory environment.

recently, information about buried objects has been needed for redevelopment and reorganization of the complicated urban environment. Accidents caused by pipeline damages, such as gas lines, communication lines and underground electric power lines, are results of loss of people and property. Therefore, information on underground obscured material is essential for safety and construction progress. GPR (Ground Penetrating Radar) investigation has advantages of high resolution, ease of utilization and strong electromagnetic noise when using high frequency. However, the GPR detection data image is not visible and has a problem that it is interpreted differently according to the skill of the inspector. Therefore, this study was conducted to verify the visualization of detection data using computer vision based on GPR detection data. Canny edge and Harris corner detection were applied to the GPR image data to detect the hyperbolic shape. By using this to increase the visibility, it will contribute to the reliable result in the buried detection.

For effective human-robot interaction, robots need to understand the current situation context well, but also the robots need to transfer its understanding to the human participant in efficient way. The most convenient way to deliver robot’s understanding to the human participant is that the robot expresses its understanding using voice and natural language. Recently, the artificial intelligence for video understanding and natural language process has been developed very rapidly especially based on deep learning. Thus, this paper proposes robot vision to audio description method using deep learning. The applied deep learning model is a pipeline of two deep learning models for generating natural language sentence from robot vision and generating voice from the generated natural language sentence. Also, we conduct the real robot experiment to show the effectiveness of our method in human-robot interaction.

In this paper, we propose a new algorithm of the guidance line extraction for autonomous agricultural robot based on vision camera in paddy field. It is the important process for guidance line extraction which finds the central point or area of rice row. We are trying to use the central region data of crop that the direction of rice leaves have convergence to central area of rice row in order to improve accuracy of the guidance line. The guidance line is extracted from the intersection points of extended virtual lines using the modified robust regression. The extended virtual lines are represented as the extended line from each segmented straight line created on the edges of the rice plants in the image using the Hough transform. We also have verified an accuracy of the proposed algorithm by experiments in the real wet paddy.

SHM에서 변위는 구조물의 동적 특성을 파악하는 핵심정보다. 이를 구조물과 직접 접촉하여 자기장 변화를 전기적신호(LVDT), 직접적으로 측정하는 방안으로 LVDT, GPS, LDV Displacement is one of the most fundamental responses, containing useful information regarding dynamic behavior of a structure. Traditional displacement measurement devices such as LVDT have disadvantages in its high-cost and few options on installation place. For the sake of economic reason, vision-based displacement measurement systems using low-cost cameras have been developed, yet these approaches still have difficulties in finding appropriate camera positions; camera should be placed perpendicular to targets. This study presents a new vision-based displacement measurement system using the planar homography method that gives accurate displacement, allowing the camera to have an arbitrary angle toward target. The vision-based system is experimentally verified using a low-cost camera and a target with four circles.

최근 3차원 분야의 지속적인 발전으로 인해 보다 사실적이고 실감나는 영상을 경험할 수 있게 되었고 게임과 같은 다양한 응용분야에서 활용가능하게 되었다. 특히 가상환경에서의 객체들과 상호작용하며 이를 제어하는 증강현실 분야에 많은 발전을 가져왔다. 본 연구는 한 대의 카메라를 활용한 가상 양시점화 방법을 통해 3차원 공간의 객체를 제어하는 3차원 사용자 인터페이스를 제안한다. 이를 위해 임의의 두 카메라 위치 사이의 변환 정보를 담고 있는 호모그래피(homography) 행렬을 계산하고, 한 대의 카메라에서 얻은 2차원 손 좌표, 호모그래피 행렬 그리고 카메라의 투영행렬을 이용하여 3차원 좌표의 복원을 수행한다. 이러한 방법을 통해 보다 정확하고 빠른 3차원 정보를 얻을 수 있게 된다. 이는 두 대의 카메라를 동시에 구동할 때보다 연산량이 감소하여 실시간 처리에 효과적일 수 있으며 경제적인 부담도 줄일 수 있는 장점을 가지고 있다.

This paper presents a localization system using ceiling images in a large indoor environment. For a system with low cost and complexity, we propose a single camera based system that utilizes ceiling images acquired from a camera installed to point upwards. For reliable operation, we propose a method using hybrid features which include natural landmarks in a natural scene and artificial landmarks observable in an infrared ray domain. Compared with previous works utilizing only infrared based features, our method reduces the required number of artificial features as we exploit both natural and artificial features. In addition, compared with previous works using only natural scene, our method has an advantage in the convergence speed and robustness as an observation of an artificial feature provides a crucial clue for robot pose estimation. In an experiment with challenging situations in a real environment, our method was performed impressively in terms of the robustness and accuracy. To our knowledge, our method is the first ceiling vision based localization method using features from both visible and infrared rays domains. Our system can be easily utilized with a variety of service robot applications in a large indoor environment.

Visual odometry is a popular approach to estimating robot motion using a monocular or stereo camera. This paper proposes a novel visual odometry scheme using a stereo camera for robust estimation of a 6 DOF motion in the dynamic environment. The false results of feature matching and the uncertainty of depth information provided by the camera can generate the outliers which deteriorate the estimation. The outliers are removed by analyzing the magnitude histogram of the motion vector of the corresponding features and the RANSAC algorithm. The features extracted from a dynamic object such as a human also makes the motion estimation inaccurate. To eliminate the effect of a dynamic object, several candidates of dynamic objects are generated by clustering the 3D position of features and each candidate is checked based on the standard deviation of features on whether it is a real dynamic object or not. The accuracy and practicality of the proposed scheme are verified by several experiments and comparisons with both IMU and wheel-based odometry. It is shown that the proposed scheme works well when wheel slip occurs or dynamic objects exist.

This paper describes a new method for indoor environment mapping and localization with stereo camera. For environmental modeling, we directly use the depth and color information in image pixels as visual features. Furthermore, only the depth and color information at horizontal centerline in image is used, where optical axis passes through. The usefulness of this method is that we can easily build a measure between modeling and sensing data only on the horizontal centerline. That is because vertical working volume between model and sensing data can be changed according to robot motion. Therefore, we can build a map about indoor environment as compact and efficient representation. Also, based on such nodes and sensing data, we suggest a method for estimating mobile robot positioning with random sampling stochastic algorithm. With basic real experiments, we show that the proposed method can be an effective visual navigation algorithm.

최근 실감형 게임 (augmented game) 이라는 새로운 게임 장르에 대한 연구가 다양하게 시도되고 있으며 실감형 게임이란 사용자가 실제 환경을 돌아다니며 컴퓨터에 의해 만들어진 가상의 적 또는 물체를 이용하여 진행하는 게임이다. 실감형 게임은 게이머에게 새로운 즐거움을 제공할 수 있지만 비싼 가격의 'backpack' 시스템을 이용하기 때문에 일반 게이머에게 저렴한 가격에 게임을 제공하치가 어렵다. 이를 위해 모바일 기기의 카메라를 이용한 실감형 게임들이 다양하게 제안되고 있지만, 가상의 적을 실제 공간에 접목하기 위해 대부분 색상 마커나 패턴 마커를 이용하기 때문에 마커가 미리 설치 되어 있는 장소에서만 게임이 가능한 단점을 가지고 있다. 본 논문에서는 흥미도가 높고 가격 부담없는 게임을 제공하기 위해 기존의 갤러그를 실감형 게임에 접목한 모바일 기기에서의 실감형 갤러그를 소개한다. 실감형 갤러그는 모바일 화면상에서 실제 환경에 가상의 적을 접목하기 위해 실제 환경에 있는 물체를 그대로 이용하여, 크기분변의 특징변환(SIFT)와 유클리디언 거리(Euclidean distance)를 이용하여 물체를 인식한다. 가상의 적은 이식된 특정 물체의 주위에 임의로 출현하며, 게임흥미도를 높이기 위해 여러 개의 특정 물체를 이용하고, 게이머는 가상의 적이 출현하는 특정 물체에 모바일 기기를 직접 움직여 공격한다. 결론적으로 실감형 갤러그는 모바일 카메라에 의해 입력받은 실제 환경 과 모바일 기기에 의해 자동으로 생성원 가상의 적 사이의 상호작용 (interaction) 을 제공하는 새로운 게임 패러다임(paradigm) 을 통하여 게이머에게 가격 부담없는 새로운 즐거움을 제공할 것이다.

This paper deals with a tangible interface system that introduces robot as remote avatar. It is focused on a new method which makes a robot imitate human arm motions captured from a remote space. Our method is functionally divided into two parts: capturing human motion and adapting it to robot. In the capturing part, we especially propose a modified potential function of metaballs for the real-time performance and high accuracy. In the adapting part, we suggest a geometric scaling method for solving the structural difference between a human and a robot. With our method, we have implemented a tangible interface and showed its speed and accuracy test.

플레이어의 움직임을 직접 반영하는 체감형 게임은 키보드와 마우스를 사용하는 일반적인 컴퓨터 게임에서 느낄 수 없는 실감난 조작법과 몰입감을 제공한다. 우리는 플레이어에게 기존의 게임과 다른 재미를 주기 위해 사용자의 스윙이 반영되는 체감형 탁구게임을 제작했다. 이 때, 사용자가 휘두르는 실제 라켓을 가상 공간으로 옮겨서 가상 공간의 공을 칠 수 있게 하기 위해서는 실세계 탁구라켓의 공간정보를 가상세계 공간에 맵핑 해야 한다. 한 대의 카메라를 사용하는 환경에서 오브젝트 추출이나 색깔정보만으로는 체감형 탁구게임에서 요구하는 정확한 공간 정보를 얻을 수 없다. 그래서 Augmented Reality (AR) 기술을 게임 개발에 사용했다. 그리고 시스템이 플레이어의 간단한 제스처를 인식해서 게임에서 필요한 부과적인 입력처리를 가능하도록 했고, 빠르고 간단하게 사용자의 제스처를 인식하기 위해서 스캔라인 방식을 사용했다. 본 논문은 비전기반의 AR과 제스처 인식을 사용하는 실감형 탁구게임을 제안한다.