The purpose of our sensor system is to transparentize the large hydraulic manipulators of a six-ton dual arm excavator from the operator camera view. Almost 40% of the camera view is blocked by the manipulators. In other words, the operator loses 40% of visual information which might be useful for many manipulator control scenarios such as clearing debris on a disaster site. The proposed method is based on a 3D reconstruction technology. By overlaying the camera image from front top of the cabin with the point cloud data from RGB-D (red, green, blue and depth) cameras placed at the outer side of each manipulator, the manipulator-free camera image can be obtained. Two additional algorithms are proposed to further enhance the productivity of dual arm excavators. First, a color correction algorithm is proposed to cope with the different color distribution of the RGB and RGB-D sensors used on the system. Also, the edge overlay algorithm is proposed. Although the manipulators often limit the operator’s view, the visual feedback of the manipulator’s configurations or states may be useful to the operator. Thus, the overlay algorithm is proposed to show the edge of the manipulators on the camera image. The experimental results show that the proposed transparentization algorithm helps the operator get information about the environment and objects around the excavator.

Multi-floor navigation of a mobile robot requires a technology that allows the robot to safely get on and off the elevator. Therefore, in this study, we propose a method of recognizing the elevator from the current position of the robot and estimating the location of the elevator locally so that the robot can safely get on the elevator regardless of the accumulated position error during autonomous navigation. The proposed method uses a deep learning-based image classifier to identify the elevator from the image information obtained from the RGB-D sensor and extract the boundary points between the elevator and the surrounding wall from the point cloud. This enables the robot to estimate the reliable position in real time and boarding direction for general elevators. Various experiments exhibit the effectiveness and accuracy of the proposed method.

Getting on and off an elevator is one of the most important parts for multi-floor navigation of a mobile robot. In this study, we proposed the method for the pose recognition of elevator doors, safe path planning, and motion estimation of a robot using RGB-D sensors in order to safely get on and off the elevator. The accurate pose of the elevator doors is recognized using a particle filter algorithm. After the elevator door is open, the robot builds an occupancy grid map including the internal environments of the elevator to generate a safe path. The safe path prevents collision with obstacles in the elevator. While the robot gets on and off the elevator, the robot uses the optical flow algorithm of the floor image to detect the state that the robot cannot move due to an elevator door sill. The experimental results in various experiments show that the proposed method enables the robot to get on and off the elevator safely.

현재 기존에 상용화 되어 있는 LED 조명기기의 경우, LED 동작 시퀀스가 고정이 되어 있는 상태로 판매되고 있다. 이와 같은 상태로는 외부 환경 요인이 고려되지 않고 오직 장소에만 적용되는 조명 환경 용도로서의 기능만을 수행한다. 현재는 선박 내 외부 환경 요인의 변화에 따른 최적의 조명 환경 조성이 어렵게 되어있다. 그러므로 외부 환경 요인의 변화에 좀 더 유기적이고 능동적으로 적응할 수 있도록 외부 환경 값을 입력받아 실시간으로 최적 조명 값이 반영될 수 있도록 해야 될 필요성이 있다는 결론을 얻게 되었다. 본 논문에서는 마이크로프로세서를 선박 통합관리 시스템으로 활용하여 기존의 외부 환경 요인에 의하여 실시간으로 변동되는 환경 데이터를 다루며, 외부 환경요인을 확인하고 또한 퍼지 추론 시스템을 접목하여 RGB LED 모듈 조명 제어가 가능한 제어기를 구성하였다. 이를 위하여 퍼지 제어 알고리즘을 설계하고, 퍼지 제어 시스템을 구성하였다. 외부 환경 요소인 피사체와의 거리, 조도 값을 센서로 통해 입력 받고 이 값들을 퍼지 제어 알고리즘을 통하여 최적 조명 값으로 변환하여 RGB LED 모듈 조광 제어를 통하여 표현하고 퍼지 제어 시스템의 실질적인 효능을 확인하였다.

Obstacle avoidance is one of the most important parts of autonomous mobile robot. In this study, we proposed safe and efficient local path planning of robot for obstacle avoidance. The proposed method detects and tracks obstacles using the 3D depth information of an RGB-D sensor for path prediction. Based on the tracked information of obstacles, the paths of the obstacles are predicted with probability circle-based spatial search (PCSS) method and Gaussian modeling is performed to reduce uncertainty and to create the cost function of caution. The possibility of collision with the robot is considered through the predicted path of the obstacles, and a local path is generated. This enables safe and efficient navigation of the robot. The results in various experiments show that the proposed method enables robots to navigate safely and effectively.

Recently, the safety in vehicle also has become a hot topic as self-driving car is developed. In passive safety systems such as airbags and seat belts, the system is being changed into an active system that actively grasps the status and behavior of the passengers including the driver to mitigate the risk. Furthermore, it is expected that it will be possible to provide customized services such as seat deformation, air conditioning operation and D.W.D (Distraction While Driving) warning suitable for the passenger by using occupant information. In this paper, we propose robust vehicle occupant detection algorithm based on RGB-Depth-Thermal camera for obtaining the passengers information. The RGB-Depth-Thermal camera sensor system was configured to be robust against various environment. Also, one of the deep learning algorithms, OpenPose, was used for occupant detection. This algorithm is advantageous not only for RGB image but also for thermal image even using existing learned model. The algorithm will be supplemented to acquire high level information such as passenger attitude detection and face recognition mentioned in the introduction and provide customized active convenience service.

게임이 고부가가치 산업으로 인식되면서 급성장을 하게 되고 국내 시장을 시작으로 점차 해외시장으로 까지 온라인 게임이 각광을 받으며 온라인 게임 시장이 성장을 하고 있다. 이로 인해 다양한 온라인 게임이 유저들에게 각광 받고 있으며, 혹은 잊혀 가고 있다. 본 연구는 이러한 차이가 생기는 여러 가지 요인 중에 색감의 차이에 초점을 맞추어 연구를 하였다. 색감을 연구하기 위해 모니터로 출력되는 기본 값인 RGB값의 평균간을 산출하였다. 수치 데이터로 만들어 비교 분석하기 위해 각각 게임의 배경과 캐릭터의 RGB값 차이를 분석하여 유저들이 선호하는 색채를 연구하였다. 이 연구를 기초로 한다면 게임 유저들이 동향을 연구하는데 기여할 수 있을 것입니다.

최근 인공지반녹화에 주로 사용되고 있는 다육식물류는 환경에 따라 다양한 잎색을 나타내고 있다. 다육식물의 광환경 변화에 따른 색상 변화를 조사하는데 있어서, 식물의 색을 표현할 때 사용되는 RHS color chart로 그 값을 조사하고 이를 화상데이터인 RGB 값으로 변환함으로써 일반인의 색상 판단에 용이하도록 색채분석방법과 그 결과를 제시하고자 하였다. 공시된 14종의 다육식물 중 관도변화에 뚜렷한 종은 Sempervivum arachnoideum, Sempervivum rebustum, Sedum reflexum 'Blue Spruce' syn. Sedum rupestre이었다. Sempervivum arachnoideum는 초기 전체 엽색이 183B에서 144B로 변화하였고, Sedum reflexum 'Blue Spruce' syn. Sedum rupestre은 138B에서 182D로, Sempervivum rebustum는 146B에서 187C로 변화되었다. RHS color chart 상의 큰 차이를 보였던 종들의 RGB값의 변화를 알아본 결과 Sempervivum arachnoideum는 녹색은 무려 424.0% 증가하였고, 적색은 21.8% 감소하였으며, 청색은 6.8%의 증가로 거의 변화를 보이지 않았다. Sedum reflexum 'Blue Spruce' syn. Sedum rupestre은 전체적으로 적색을 띄게 되었는데 이 변화는 적색이 43.9% 증가하고, 녹색이 35.9%, 청색은 66.1% 증가함을 통해 색상의 변화가 밝아지고 뚜렷한 색상을 나타냄을 알 수 있었다. Sempervivum rebustum의 기부가 처음에 비해 2개월 후 적색이 녹색으로 변한 것은 녹색이 658.3% 증가되고 적색이 26.0%, 청색이 62.8% 감소된 결과에 기인한 것을 알 수 있었다.