최근 게임 시장에서 한층 강화된 몰입감을 부여하는 증강현실 기술 기반의 3D 게임들이 등장하고 있다. 본 논문에서는 사용자의 손동작을 인식하여 게임 응용프로그램과 상호작용하는 증강현실 게임의 구현 기법을 제시한다. 웹캠을 통해 입력되는 영상 프레임에서 특징점들을 추출한다. 추출된 특징점들의 움직임을 통해 추적 대상의 움직임을 분석하여 사용자의 의도된 행위를 인식한다. 손동작 추적으로부터의 움직임의 궤적의 형태와 메뉴나 가상객체 위치 관계로부터 사용자의 의도된 움직임을 신뢰성있게 판단하는 기법을 제시한다. 제시한 방법의 우수성 입증을 위해 두 개의 증강현실 응용 시스템을 구현하고 인식의 정확도를 실험하였다. 응용으로 사람의 움직임을 감지해 동작하는 뮤직플레이어와 사용자가 위치한 현실공간에 대응되는 가상공간 내에서 가상농구게임을 개발하였다. 뮤직플레이어에서는 사용자가 손동작으로 다양한 메뉴를 선택할 수 있다. 가상농구게임에서는 가상의 공이 가상공간에 추가되고 이를 사용자가 물리공갈에서 직접 손을 움직여서 가상의 공과 상호작용한다. 사용자의 움직임 인식에 대하여 정상적인 움직임의 사용자에 대해서 평균 94%의 정확도를 보였으며 급격한 움직임의 사용자에 대해서는 약 84%의 정확도를 보였다.