본 연구의 목적은 컴퓨터 기반 문제해결력 평가 과학 문항을 개발하는 것이다. 컴퓨터 기반 평가의 장점을 살려 컴퓨터와의 다양한 상호작용 활동을 통해 문제해결 과정을 반영한 평가 문항을 개발하고자 하였다. 선행 연구를 바탕으로 문제해결 과정을 문제 이해, 계획 수립, 계획 실행, 결과 평가 4단계로 설정하고, 과학과 문제해결력 평가요소를 선정하였다. 평가 대상은 중학교 3학년이며 웹과 플래시를 기반으로 과학적 지식을 문제해결에 활용하는 능력을 평가하는 ‘건강검진 결과 확인 및 처치’ 단위문항과 전략 수립과 탐구활동 수행 능력을 측정할 수 있는 ‘롤러코스터 설계’ 단위문항을 개발하였다. 개발된 문항은 시뮬레이션과 같이 컴퓨터 구현에 효과적인 문제 상황을 사용하였으며, 컴퓨터와의 상호작용을 통해 문제해결 과정 정보를 제공, 평가할 수 있도록 하였다. 또한 도움말 및 적절한 피드백 제공으로 흥미와 동기를 유발할 수 있도록 하였으며, 가능한 한 ICT 활용 능력과 선수 지식의 영향을 최소화 하였다.