Background: Virtual reality (VR) programs based on motion capture camera are the most convenient and cost-effective approaches for remote rehabilitation. Assessment of physical function is critical for providing optimal VR rehabilitation training; however, direct muscle strength measurement using camera-based kinematic data is impracticable. Therefore, it is necessary to develop a method to indirectly estimate the muscle strength of users from the value obtained using a motion capture camera. Objects: The purpose of this study was to determine whether the pedaling speed converted using the VR engine from the captured foot position data in the VR environment can be used as an indirect way to evaluate knee muscle strength, and to investigate the validity and reliability of a camera-based VR program. Methods: Thirty healthy adults were included in this study. Each subject performed a 15-second maximum pedaling test in the VR and built-in speedometer modes. In the VR speedometer mode, a motion capture camera was used to detect the position of the ankle joints and automatically calculate the pedaling speed. An isokinetic dynamometer was used to assess the isometric and isokinetic peak torques of knee flexion and extension. Results: The pedaling speeds in VR and built-in speedometer modes revealed a significantly high positive correlation (r = 0.922). In addition, the intra-rater reliability of the pedaling speed in the VR speedometer mode was good (ICC [intraclass correlation coefficient] = 0.685). The results of the Pearson correlation analysis revealed a significant moderate positive correlation between the pedaling speed of the VR speedometer and the peak torque of knee isokinetic flexion (r = 0.639) and extension (r = 0.598). Conclusion: This study suggests the potential benefits of measuring the maximum pedaling speed using 3D depth camera in a VR environment as an indirect assessment of muscle strength. However, technological improvements must be followed to obtain more accurate estimation of muscle strength from the VR cycling test.

In this paper, a low-cost dynamic measurement system using the RGB-depth camera, Microsoft Kinect® v2, is proposed for measuring time-varying free surface motion of liquid dampers used in building vibration mitigation. Various experimental studies are conducted consecutively: performance evaluation and validation of the Kinect® v2, real-time monitoring using the Kinect® v2 SDK(software development kits), point cloud acquisition of liquid free surface in the 3D space, comparison with the existing video sensing technology. Utilizing the proposed Kinect® v2-based measurement system in this study, dynamic behavior of liquid in a laboratory-scaled small tank under a wide frequency range of input excitation is experimentally analyzed.

본 연구에서는 건물 실내 공간 정보 획득을 위해 Microsoft사의 Kinect® v2를 활용한 point cloud 기법을 도입하였다. 카메라로 취득한 2차원의 투영 공간 이미지 픽셀 좌표를 각 카메라의 보정을 거쳐 3차원 이미지 변환하며 이를 토대로 공간 정보를 구현하였다. 기준점을 중심으로 360° 회전하여 취득한 3차원 이미지를 통해 거리 측정이 불가한 기존의 2차원 이미지의 한계를 개선하였으며, 이 과정을 통해 얻은 point cloud를 통해 3차원 map을 형성하였다. 형성된 3차원 map은 기존의 공간정보 융·복합을 위한 센서와 비슷한 수준의 측정 효율을 가지면서 동시에 렌즈 왜곡 현상에 대한 후처리 과정을 통해 공간 정보를 정확하게 측정할 수 있도록 하였다. 측정한 결과를 2D 도면과 실제 공간 및 구조부재의 길이 및 위치 등과 비교하여 검증하였다.

본 논문은 깊이 카메라(Creative Senz3D)를 이용하여 호흡률을 측정하는 것에 대한 정확도와 영향을 미치는 요인들 을 분석하였다. 영향 요인 분석에서는 깊이 카메라가 가지는 깊이 값에 대한 오차와 노이즈 그리고 주위 조도의 영향에 대하여 실험 연구를 진행하였다. 그 결과 깊이 카메라와 측정 대상의 거리가 증가함에 따라 깊이 값의 오차가 증가하였 고 깊이 영상의 오른쪽은 실제 거리보다 깊이 값이 크게 측정되고 왼쪽은 실제 거리보다 깊이 값이 작게 측정되었다. 이에 따라 깊이 값이 영상의 영역에 따라 비대칭성을 가지고 있음을 알 수 있었다. 깊이 카메라와 측정 대상의 각도가 틀어짐에 따라서도 깊이 값의 차의 오차가 증가하였으며 깊이 카메라의 노이즈는 측정 거리가 멀어짐에 따라 점점 증가하였고 노이즈를 측정하는 윈도우의 크기가 증가함에 따라 감소하였다. 주위 조도는 깊이 값에 영향을 주지 않았다. 또한 실제 상황에서 사람을 대상으로 20회 호흡을 하게 하여 깊이 카메라를 이용해 호흡률을 측정하였고 호흡률이 제대로 측정됨을 확인하였다.

In this paper, we developed a virtual reality-based contents that can gait analysis and gait training on a treadmill using a depth camera of Kinect. This content was used in the user's step length, step velocity, step count, flexion angle extracted by the Kinect skeleton tracking. Nine male subjects (24.9 years, 173.2cm) performed gait training using avatars to reflect their movements on the treadmill and confirmed result of gait analysis using real-time graphs to display their gait variables. Implemented contents can lead to a cognition reaction that is to avoid collisions with obstacles, as well as to determine the gait movements in a virtual reality. Based on these results, we will be able to make real time gait analysis and gait training, in consider the characteristics and safety of a rehabilitation patient by developing content that we have fun with additional tests for gait analysis.

이 연구에서 우리는 사용자의 동작인식을 이용한 운동 게임 시스템을 제안한다. 이 시스템은 사용자가 몇 종류의 게임을 수행하면 그 동작을 인식하고 피드백을 화면에 제공함으로써 스스로 인식하지는 못하는 동안 자연스럽게 운동을 할 수 있도록 고안되었다. 사용자의 동작은 적외선 시간 지연 측정법을 사용하는 깊이 카메라를 이용하여 인식하였고 인식된 동작은 데이터베이스에 저장되어 있는 모범 동작과 비교를 통하여 그 정확도를 산정하였다. 우리는 이 시스템을 위해 두더지 잡기, 낚시, 스트레칭과 같은 세 종류의 게임을 개발하였다. 개별 동작과 시나리오는 물리치료 전문가들에 의해 개발되었다. 제안된 시스템을 이용하여 사용자는 실내에서도 지루하지 않게, 즐기면서 운동을 할 수 있게 되었다.

Recently, the safety in vehicle also has become a hot topic as self-driving car is developed. In passive safety systems such as airbags and seat belts, the system is being changed into an active system that actively grasps the status and behavior of the passengers including the driver to mitigate the risk. Furthermore, it is expected that it will be possible to provide customized services such as seat deformation, air conditioning operation and D.W.D (Distraction While Driving) warning suitable for the passenger by using occupant information. In this paper, we propose robust vehicle occupant detection algorithm based on RGB-Depth-Thermal camera for obtaining the passengers information. The RGB-Depth-Thermal camera sensor system was configured to be robust against various environment. Also, one of the deep learning algorithms, OpenPose, was used for occupant detection. This algorithm is advantageous not only for RGB image but also for thermal image even using existing learned model. The algorithm will be supplemented to acquire high level information such as passenger attitude detection and face recognition mentioned in the introduction and provide customized active convenience service.

본 논문에서는 노인 및 재활 환자를 대상으로 재활 훈련을 위한 기능성 게임을 제안한다. 제안한 재활 훈련용 기능성 게임은 3D depth 카메라를 이용한 전신 동작 인식 기반의 인터페이스를 제공한다. 사용자가 카메라 앞에서면 배경과 사용자를 구분한 다음 사용자의 전신을 15개의 관절로 인식하고 각 관절이 위치와 방향의 변화를 분석하여 게임에 필요한 제스쳐를 인식한다. 게임 콘텐츠는 상지훈련, 하지훈련, 전신훈련, 밸런스 훈련을 위한 게임으로 구성하였으며 2D 게임과 3D 게임으로 나누어 구현하였다. 본 논문에서 제안된 시스템은 3D depth 카메라를 이용하여 주변 환경 변화에도 안정적으로 작동하며, 별도의 기기를 사용하지 않고도 전신 움직임 기반의 제스쳐 인식을 이용하여 게임을 진행하게 함으로써 재활의 효과를 높일 수 있다.