이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.

이 연구의 목적은 영어과 수업실연 평가에서 교사의 수행수준을 구분하는 분할점수를 결정하는 방법으로 문항중심의 수준설정 절차를 제안하는 것이다. 수준설정 방법은 문항중심 방법과 피험자 중심 방법으로 나누어볼 수 있는데, 문항중심 방법의 경우에는 특정한 수행수준의 피험자들이 문항의 정답을 선택할 확률을 기반으로 분할점수를 결정하는 방법이라고 할 수 있다. 이와 같은 수준설정 방법을 사용하여 수행수준을 구분하기 위해서는, 수업관찰 평가도구 개발 단계에서 수업실연에서 중요하게 관찰해야 하는 항목들을 도출하고 각 항목의 중요도에 따라 가중치를 결정하는 것이 필요하다. 이 연구에서는 문항중심의 수준설정 절차를 기반으로 특정 수행수준에 도달한 교사가 각각의 평가항목에서 얻을 것으로 예상되는 점수를 판단하는 절차뿐만 아니라, 수업실연에서 각 항목의 중요도를 함께 판단하도록 하여 평가항목의 가중치도 함께 결정하는 절차도 포함하였다. 수업실연 평가에서 항목에 대한 평가뿐만 아니라 항목에 대한 가중치까지 동시에 결정함으로써 수업실연의 전반적인 수행 수준과 분할점수의 관련성을 높일 수 있을 것으로 보인다. 구체적인 적용사례를 제시하기 위하여 TEE(Teaching English in English) 수업실연 평가의 수준설정 과정과 결과를 제시하였다.