본 논문에서는 Bachman과 Palmer(1996)에서 제안한 언어 시험의 유용성을 판단하는 기준인 타당도, 신뢰도, 진정성, 영향력, 실용성에 대해 각 개념의 의미를 소개하고 해당 기준으로 판단해 본 수능의 특징을 논하였다. 수능은 읽기 문항에서는 타당도가 높지만 듣기는 입력 자료의 속도가 느리다는 점에서 타당도가 높지 않다. 또한 표현 기능인 말하기와 쓰기를 선택형 문항을 통해 간접적으로 측정하기 때문에 타당도에 치명적인 약점이 있다. 신뢰도 면에서 수능은 막대한 인력과 비용을 들여 점수에 부당하게 영향을 줄 수 있는 요소들을 차단하기 위해 최선을 다한 결과 매우 높은 신뢰도를 지닌 시험이다. 수능의 진정성은 읽기 문항에서는 상당히 우수한 편이지만 듣기에서는 원어민들의 실제 구어 사용의 특징을 제거한 녹음 자료를 사용하기 때문에 좋지 않은 편이다. 또한, 간접 측정 방식의 말하기와 쓰기 문항은 실제 상황에서 말하기나 쓰기 활동과 공통점이 거의 없기 때문에 진정성에 대한 치명적인 약점이 된다. 수능은 영향력이 너무 커서 다른 모든 기준을 압도해 버릴만한 주요 기준이다. 실용성 면에서 수능은 막대한 비용이 드는 시험이지만 정부에서 그 영향력을 인지하고 막대한 비용을 투자하기 때문에 필요한 자원보다 사용 가능한 자원이 더 큰 시험이다. 요약하면, 결국 수능은 타당도나 진정성에서는 그리 우수하지 않지만 시험의 영향력이 너무 큰 탓에 막대한 노력과 비용이 집중되어 신뢰도와 실용성은 상당히 높은 편이다.

This article introduces Bachman and Palmer's(1996) five criteria for evaluating the usefulness or quality of language tests. In terms of each of the criteria, the characteristics of the English section of the College Scholastic Ability Test(CSAT) were analyzed and the quality of the test was evaluated. The construct validity and authenticity of the CSAT cannot be highly evaluated except for the reading items. The indirect measures of production skills and the slow speed of listening input impair the construct validity and authenticity of the test seriously. The reliability of the CSAT is highly evaluated thanks to the enormous efforts made to remove potential sources of measurement errors. The impact of the CSAT is so great that it is the most influential and might overwhelm the quality of the other criteria. Especially, the harmful washback of the CSAT has been getting more and more serious, and it is the time to introduce an updated version of the CSAT or a brand new English proficiency test.

I. 서론
II. 언어 시험의 유용성 기준과 수학능력시험 외국어 영역의 질
1. 타당도(Validity)
2. 신뢰도(Reliability)
3. 진정성(Authenticity)
4. 영향력(Impact)
5. 실용성(Practicality)
III. 결론

• 송민영(고려사이버대학교) | Song Min Young