이 연구의 목적은 영어과 수업실연 평가에서 교사의 수행수준을 구분하는 분할점수를 결정하는 방법으로 문항중심의 수준설정 절차를 제안하는 것이다. 수준설정 방법은 문항중심 방법과 피험자 중심 방법으로 나누어볼 수 있는데, 문항중심 방법의 경우에는 특정한 수행수준의 피험자들이 문항의 정답을 선택할 확률을 기반으로 분할점수를 결정하는 방법이라고 할 수 있다. 이와 같은 수준설정 방법을 사용하여 수행수준을 구분하기 위해서는, 수업관찰 평가도구 개발 단계에서 수업실연에서 중요하게 관찰해야 하는 항목들을 도출하고 각 항목의 중요도에 따라 가중치를 결정하는 것이 필요하다. 이 연구에서는 문항중심의 수준설정 절차를 기반으로 특정 수행수준에 도달한 교사가 각각의 평가항목에서 얻을 것으로 예상되는 점수를 판단하는 절차뿐만 아니라, 수업실연에서 각 항목의 중요도를 함께 판단하도록 하여 평가항목의 가중치도 함께 결정하는 절차도 포함하였다. 수업실연 평가에서 항목에 대한 평가뿐만 아니라 항목에 대한 가중치까지 동시에 결정함으로써 수업실연의 전반적인 수행 수준과 분할점수의 관련성을 높일 수 있을 것으로 보인다. 구체적인 적용사례를 제시하기 위하여 TEE(Teaching English in English) 수업실연 평가의 수준설정 과정과 결과를 제시하였다.

The purpose of this study is to suggest a method of how to set standards on English Teaching Practice Test (ETPT) which has been designed to provide Korean English teachers with certificates of Teaching English in English. This research employed a standard setting method analyzing examinees' performance on the given items to decide cut scores for each performance level. In order to perform a successful standard setting, it is necessary to construct criteria which can evaluate examinees' abilities exactly and to decide weight of criteria from the first step of developing items. In other words, when developing items to evaluate an English teacher's teaching practice, the researchers considered weights on some criteria because some of the criteria were more important than the others. In this context, this research simultaneously determined two factors to decide performance levels of a teacher's teaching practice based on ETPT: One is the minimum score at each of the criteria and the other is an appropriate weight of each of the criteria. To decide weight of criteria, this study compared cut scores with both unweighted criterion and weight criterion. By determining cut scores and weight of each criterion at the same time, this study tried to enhance the validation and accuracy of evaluating English teacher's teaching practice and cut scores. This research also provides a specific process of how to use a standard setting method.

<< 요 약 >>
 Ⅰ. 들어가기
 Ⅱ. 이론적 배경
  1. 수준설정의 개념
  2. 수업실연 평가의 수준설정 방안
 Ⅲ. TEE 수업실연 평가도구의 수준설정 적용 사례
  1. 평가도구
  2. TEE 수행수준기술 정의
  3. 패널 구성
  4. 수준설정 일정
 Ⅳ. TEE 수업실연 분할점수
  1. 패널별 분할점수 제언
  2. ETPT 항목의 가중치 및 분할점수 제언
  3. ETPT 항목의 배점 방법과 분할점수
 Ⅴ. 요약 및 제언
 참 고 문 헌
 Abstract

• 이상하(한국교육과정평가원) | Sang-Ha Lee 교신저자
• 조보경(한국교육과정평가원) | Bo-Kyung Cho
• 진경애(한국교육과정평가원) | Kyung-Ae Jin