The present study attempts to provide empirical and qualitative evidence to support the feasibility of rubric-referenced self-assessment to promote learning in a Korean high school EFL context. Over four rubric-referenced self-assessment lessons, with the help of a teacher’s instructions, students wrote a first draft and assessed it using a scoring rubric. Drawing on this self-assessment, they wrote a second draft, also followed by a self-assessment as well as a self-assessment diary. As quantitative data, the scores of the first draft of the first class were compared with those of the second draft of the fourth class. Survey questionnaires, interviews, self-assessment diaries, and essay self-assessments served as qualitative data. The findings are, first, rubric-referenced self-assessment showed positive effects on students’ writing quality. Second, students came to perceive the effectiveness of rubric-referenced self-assessment. Lastly, rubric-referenced self-assessment positively influenced students’ learning strategies and attitudes. These results imply that rubric-referenced self-assessment promotes learning in a Korean high school EFL context, leading students to become self-regulated learners that take responsibility for their own learning.

이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.