본 연구의 목적은 문화간 감수성 함양을 위해 설계된 대학 중국문화수업에 적합한 검사도구를 제안하고자 Rasch의 평정척도모형을 사용하여 양호한 문항을 선별하고 이 문항들로만 구성된 단축판을 구성하는데 있다. 이를 위해 대학생 225명의 응답자료를 분석하여, 응답범주의 적절성, 문항의 내․외적합도, 문항난이도, 피험자 능력 분포 등을 분석하였다. 연구결과, 응답범주는 5점 척도보다 4점 척도로 일 때, 문항 및 피험자 분리지수, 검사 신뢰도가 가장 높았으며, 문항난이도 분포 및 피험자 능력 분포가 적합하였다. 범주확률곡선 분석에서도 응답범주별 경계점수의 차이가 뚜렷하였다. 최종문항 선정과정에서 과적합보다 부적합 문항을 우선 삭제하였으며 해당 문항의 난이도가 그 영역의 다른 문항에 의해 측정되지 않는 문항을 재검토하였다. 최종적으로 선정된 18문항을 대상으로 단축판을 구성하였고 문항난이도를 고려하여 문항의 순서를 재배열하였다. 끝으로 단축판 검사의 활용방안과 본 연구의 제한점을 제시하였다.

This paper aims to analyze the scores assigned to compositions of Korean as a foreign language (KFL) in terms of the many-facet Rasch measurement (MFRM) model. The MFRM computer program Facets has recently been updated and this research uses it in order to investigate the scoring reliability of KFL writing test. For the research data the Korean compositions written by 270 KFL learners were collected and rated by eleven Korean raters. At first a brief theoretical basis for the Facets is introduced based on the MFRM model. Then focusing on the raters’ characteristics such as rating consistency and fitness in terms of the rating scheme of content/organization and language, the collected scores of KFL compositions are analyzed and the analysis results are interpreted. As a result, a few cases of unreliable scoring of Korean raters are identified, but it appears that the ratings of Korean raters for a standardized KFL writing test are generally reliable. Finally it is suggested that the Facets program of MFRM offer many potential advantages for validating the scoring reliability of Korean writing assessment.

본 연구는 예비 국어 교사의 국어 수업 실연 결과를 바탕으로 국어 수업 실연 역량 수준을 분석 하고 수준별 차이를 유발하는 역량 요소를 진단하여, 예비 국어 교사들의 수업 실연에 나타난 문제 양상을 탐색하는 데 목적이 있다. 이를 위해 예비 국어 교사 11명을 대상으로 4인의 현직 국어 교사가 평가한 결과를 바탕으로 평가 기준별 기술통계를 실시하였다. 이어 다국면 Rasch 모형 (Many-Facets Rasch Measurement, Linacre, 1989)으로 평가자, 수업 실연 평가 기준, 피험자 3국면을 적용해 각 국면에서 발생하는 변동성을 조정하여 평가자의 엄격성, 수업 실연 평가 기준별 난이도(difficulty)를 고려한 예비 국어 교사들의 국어 수업 실연 역량을 측정하였다. 다음으로 실 제적인 수업 실연 역량 차이를 유발하는 수업 실연 역량 요소를 진단하기 위해 Rasch을 활용한 객관적 성취 수준 설정(Objective Standard Setting, OSS) 방법을 사용해 국어 수업 실연 역량을 기준으로 예비 국어 교사들을 4개의 수준별 집단으로 분류하였다. 이후 수준별 집단의 차이를 검증해 국어 수업 실연 역량의 차이를 유발하는 역량 요소를 중심으로 수업 실연의 문제점을 탐색하였다. 분석 결과는 다음과 같다. 첫째, ‘8. 매체 활용의 적절성’ ‘2. 국어 학습목표 제시’, ‘5. 설명의 적절성’, ‘12. 교사 화법 및 표현 능력’에서의 수업 실연 역량은 높은 수준이었다. 둘째, 예비 국어 교사들은 ‘13. 학생 반응적 태도’, ‘9. 평가의 적절성’, ‘7. 학생 참여 촉진 및 유도’, ‘1. 국어 수업 동기유발’의 평가 기준에서 낮은 역량 수준을 나타냈다. 셋째, 13, 9, 7, 1번 평가 기준에서 4개의 수준별 집단 간에 유의미한 차이가 검증돼, 해당 평가 기준이 국어 수업 실연 역량의 차이를 유발하는 것으로 밝혀졌다. 결과적으로 예비 국어 교사의 수업 실연에서 학생 중심의 맞춤형 수업 운영 부족, 활동 중심의 국어 수업 운영 미흡, 형성 평가의 시행을 통한 학생의 수업 목표 도달도 점검 부재 등이 주요 문제 양상으로 도출되었다.

이 연구의 목적은 예비 국어 교사의 수업지도안을 평가할 수 있는 평가 준거를 개발하고, 다국면 Rasch 모형을 활용하여 개발된 평가 준거의 타당성과 신뢰성을 검증하는 것이다. 이를 위해 11명의 예비 국어 교사가 작성한 수업지도안에 대하여 개발된 수업지도안 평가 준거를 적용하여 4명의 현직 국어교사가 평가를 실시하였고, 그 결과를 토대로 평가 준거에 대한 타당도를 분석하 였다. 이에 대한 연구 결과를 정리하면 다음과 같다. 첫째, 평가자 간 신뢰도와 평가자 내 신뢰도가 높게 나타났다. 이는 평가자가 수업지도안 설계 과정이나 수업시연을 함께 공유하며, 수업지도안 평가가 이루어졌기 때문으로 해석된다. 둘째, 평가 준거 적합도의 경우 평가 준거 1(국어 학습목표의 명료한 설정)만 1.58 logit으로 부적합한 (misfitting) 평가 준거로 판정되었다. 이에 평가 준거 1은 학습목표의 개수, 학습목표의 설정 및 진술 방식, 교수학습 내용과의 유관함 등을 타당하고 평가할 수 있는 준거 설정이 필요함을 보여준다. 셋째, 평가 준거의 5점 척도 적합도를 분석한 결과, 1점과 2점의 척도 사용이 많지 않았고 4점 척도의 경우 척도의 대표성을 갖추지 못하였다. 수업지도안 평가 준거의 척도 수준을 여기서 제시 한 5점보다 낮춰 상, 중, 하 등의 3점 척도 수준으로 조정할 필요가 있다.

이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.