온라인 게임을 비롯한 많은 인터넷 매체 중에 사회적 통제를 요구하는 유해한 동영상이 아무른 재제 없이 무분별하게 배포됨으로서 심각한 역기능이 발생되고 있다. 이는 청소년의 정신 건강에 큰 문제를 발생하게 되면 사회적, 제도적 규제가 절실하다. 본 논문에서는 영상이 가지는 컬러 공간 정보를 이용하여 동영상의 유해성을 판별할 수 있는 대표 프레임 선정 기법을 제안한다. 이 기법을 기존의 히스토그램 정보를 이용한 유해한 대표 프레임 선정 기법과 비교하여 매우 효과적임을 증명하였다. 본 연구 결과는 유해 동영상을 판별하는 도구에 적용하면 매우 효과적일 것이다.