본 논문에서는 키보드나 마우스를 이용하지 않고 손 포즈나 동작으로 직관적인 사용자 인터 페이스를 제공하기 위한 실시간 손 포즈 인식 방법을 제안한다. 먼저 깊이 카메라 입력영상에서 왼손과 오른손의 영역을 분할 및 잡음 보정 후 각 손 영역에 대하여 손 회전각과 손 중심점을 계산한다. 그리고 손 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절점과 끝점을 검출한다. 마지막으로 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식한 후 다음 프레임을 위하여 손 모델을 갱신한다. 본 방법은 연속된 프레임간의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 통하여 은닉된 손가락의 예측이 가능하다. 양손을 사용하여 은닉된 손가락을 가진 다양한 손 포즈에 대해 실험한 결과 제안 방법은 평균 95% 이상의 정확도로 32 fps 이상의 성능을 보였다. 제안 방법은 프리젠테이션, 광고, 교육, 게임 등의 응용분야에서 비접촉식 입력 인터페이스로 사용될 수 있다.