이 연구에서는 Rasch 모형을 활용하여 쓰기 채점 방식에 따른 국어 교사의 채점 신뢰도를 비교하고자 하였다. 이를 위해 채점 방식 별로 총체적 채점, 분석적 채점, 주요 특성 채점(1, 2)의 네 집단에 각 4명씩 총 16명의 국어교사에게 고등학생의 비평문 20편을 채점하게 하였다. 그 결과 채점자내 일관성에 있어서는 분석적 채점을 시행한 채점자들이 가장 적합한 일관성을 보였으며 총체적 채점이 중간 정도의 적합성을, 주요 특성 채점 방식이 가장 낮은 적합성을 보였다. 채점자 간 엄격성의 차이를 의미하는 채점자간 신뢰도에 있어서는 총체적 채점에서 매우 높은 신뢰도를 보인 반면 분석적 채점이나 주요 특성 채점 방식에서는 매우 낮은 신뢰도를 보였다. 이를 통해 볼 때, 각각의 채점 방식에서 비롯된 채점 신뢰도의 특성을 이해하고 이를 보완할 수 있는 채점 방안이 마련되어야 할 것으로 보인다.

• 권태현