이 연구의 목적은 영어과 수업실연 평가에서 교사의 수행수준을 구분하는 분할점수를 결정하는 방법으로 문항중심의 수준설정 절차를 제안하는 것이다. 수준설정 방법은 문항중심 방법과 피험자 중심 방법으로 나누어볼 수 있는데, 문항중심 방법의 경우에는 특정한 수행수준의 피험자들이 문항의 정답을 선택할 확률을 기반으로 분할점수를 결정하는 방법이라고 할 수 있다. 이와 같은 수준설정 방법을 사용하여 수행수준을 구분하기 위해서는, 수업관찰 평가도구 개발 단계에서 수업실연에서 중요하게 관찰해야 하는 항목들을 도출하고 각 항목의 중요도에 따라 가중치를 결정하는 것이 필요하다. 이 연구에서는 문항중심의 수준설정 절차를 기반으로 특정 수행수준에 도달한 교사가 각각의 평가항목에서 얻을 것으로 예상되는 점수를 판단하는 절차뿐만 아니라, 수업실연에서 각 항목의 중요도를 함께 판단하도록 하여 평가항목의 가중치도 함께 결정하는 절차도 포함하였다. 수업실연 평가에서 항목에 대한 평가뿐만 아니라 항목에 대한 가중치까지 동시에 결정함으로써 수업실연의 전반적인 수행 수준과 분할점수의 관련성을 높일 수 있을 것으로 보인다. 구체적인 적용사례를 제시하기 위하여 TEE(Teaching English in English) 수업실연 평가의 수준설정 과정과 결과를 제시하였다.