본 연구의 목적은 문화간 감수성 함양을 위해 설계된 대학 중국문화수업에 적합한 검사도구를 제안하고자 Rasch의 평정척도모형을 사용하여 양호한 문항을 선별하고 이 문항들로만 구성된 단축판을 구성하는데 있다. 이를 위해 대학생 225명의 응답자료를 분석하여, 응답범주의 적절성, 문항의 내․외적합도, 문항난이도, 피험자 능력 분포 등을 분석하였다. 연구결과, 응답범주는 5점 척도보다 4점 척도로 일 때, 문항 및 피험자 분리지수, 검사 신뢰도가 가장 높았으며, 문항난이도 분포 및 피험자 능력 분포가 적합하였다. 범주확률곡선 분석에서도 응답범주별 경계점수의 차이가 뚜렷하였다. 최종문항 선정과정에서 과적합보다 부적합 문항을 우선 삭제하였으며 해당 문항의 난이도가 그 영역의 다른 문항에 의해 측정되지 않는 문항을 재검토하였다. 최종적으로 선정된 18문항을 대상으로 단축판을 구성하였고 문항난이도를 고려하여 문항의 순서를 재배열하였다. 끝으로 단축판 검사의 활용방안과 본 연구의 제한점을 제시하였다.

목적 : 본 연구는 라쉬모델을 적용하여 아동 및 청소년을 위한 참여와 환경평가(Participation and Environment Measure-Children and Youth; PEM-CY)의 평정척도를 개발하고자 하였다. 연구방법 : 5~13세 비장애 및 장애 아동을 양육하는 부모 184명을 대상으로 PEM-CY의 자료를 수집하 였다. 원자료는 라쉬모델을 적용하여 PEM-CY의 가정, 학교 및 지역사회 영역 척도(참여빈도, 몰입도, 환경적 촉진/방해요인)에 대한 평정척도 분석을 실시하였다. 결과 : 참여빈도 7점 척도는 가정 영역에서 3점 척도, 학교 및 지역사회 영역에서 4점 척도가 적합하였다. 몰입도 5점 척도는 가정, 학교 및 지역사회 영역 모두 3점 척도가 적합하였다. 환경적 촉진/방해요인 3점 척도는 모든 영역에서 적합한 것으로 분석되었으나, 4점 척도는 학교 영역에서만 적합하였으며, 가정 및 지역사회 영역에서는 3점 척도가 적합한 것으로 분석되었다. 결론 : 라쉬모델을 적용하여 PEM-CY의 영역별 측정 변수에 따른 평정척도를 개발하였다. 새롭게 개발한 PEM-CY의 평정척도가 평가 과정에서 유용하게 적용되길 기대하며, 향후에는 다양한 대상자 및 인구학적 특성을 고려하여 활동참여 양상 및 환경적 촉진/방해 요인에 대한 연구가 필요하다.

For maintaining adequate psychometric properties when reducing the number of items from an instrument, item level psychometrics is crucial. Strategies such as low item correlation or factor loadings, using classical test theory, have traditionally been advocated. The purpose of this study is to describe the development of a new short form assessing the impact of low back pain on physical activity. Rasch measurement model has been applied to the International Classification of Functioning, Disability and Health Activity Measure (ICF-AM). One hundred and one individuals with low back pain aged 19-89 years (mean age: 48.1±17.3) who live in the community were participated in the study. Twenty-seven items of lifting/carrying construct of the ICF-AM were analyzed. Ten items were selected from the construct to create a short form. Item elimination criteria include: 1) high or low mean square (out of the range: .6-1.4 for the fit statistics), 2) similar item calibrations to adjacent items, 3) person separation value, and item-person map for potential gap in person ability continuum. All 10 items of the short form fit to the Rasch model except one item (i.e., carrying toddler on back). Despite its high infit and outfit statistics (1.90/2.17), the item had to be reinstated due to potential gaps at the upper extreme of person ability level. The short form had a slightly better spread of person ability continuum compared to the entire set of item. The created short form separated individuals with low back pain into nearly 4 groups, while the entire set of items separated the individuals into 6 groups. The findings prompted multidimensional models for better explanation of the lifting/carrying domain. The item level psychometrics based on the Rasch model can be useful in developing short forms with rationally retained items.

This paper aims to analyze the scores assigned to compositions of Korean as a foreign language (KFL) in terms of the many-facet Rasch measurement (MFRM) model. The MFRM computer program Facets has recently been updated and this research uses it in order to investigate the scoring reliability of KFL writing test. For the research data the Korean compositions written by 270 KFL learners were collected and rated by eleven Korean raters. At first a brief theoretical basis for the Facets is introduced based on the MFRM model. Then focusing on the raters’ characteristics such as rating consistency and fitness in terms of the rating scheme of content/organization and language, the collected scores of KFL compositions are analyzed and the analysis results are interpreted. As a result, a few cases of unreliable scoring of Korean raters are identified, but it appears that the ratings of Korean raters for a standardized KFL writing test are generally reliable. Finally it is suggested that the Facets program of MFRM offer many potential advantages for validating the scoring reliability of Korean writing assessment.

본 연구는 예비 국어 교사의 국어 수업 실연 결과를 바탕으로 국어 수업 실연 역량 수준을 분석 하고 수준별 차이를 유발하는 역량 요소를 진단하여, 예비 국어 교사들의 수업 실연에 나타난 문제 양상을 탐색하는 데 목적이 있다. 이를 위해 예비 국어 교사 11명을 대상으로 4인의 현직 국어 교사가 평가한 결과를 바탕으로 평가 기준별 기술통계를 실시하였다. 이어 다국면 Rasch 모형 (Many-Facets Rasch Measurement, Linacre, 1989)으로 평가자, 수업 실연 평가 기준, 피험자 3국면을 적용해 각 국면에서 발생하는 변동성을 조정하여 평가자의 엄격성, 수업 실연 평가 기준별 난이도(difficulty)를 고려한 예비 국어 교사들의 국어 수업 실연 역량을 측정하였다. 다음으로 실 제적인 수업 실연 역량 차이를 유발하는 수업 실연 역량 요소를 진단하기 위해 Rasch을 활용한 객관적 성취 수준 설정(Objective Standard Setting, OSS) 방법을 사용해 국어 수업 실연 역량을 기준으로 예비 국어 교사들을 4개의 수준별 집단으로 분류하였다. 이후 수준별 집단의 차이를 검증해 국어 수업 실연 역량의 차이를 유발하는 역량 요소를 중심으로 수업 실연의 문제점을 탐색하였다. 분석 결과는 다음과 같다. 첫째, ‘8. 매체 활용의 적절성’ ‘2. 국어 학습목표 제시’, ‘5. 설명의 적절성’, ‘12. 교사 화법 및 표현 능력’에서의 수업 실연 역량은 높은 수준이었다. 둘째, 예비 국어 교사들은 ‘13. 학생 반응적 태도’, ‘9. 평가의 적절성’, ‘7. 학생 참여 촉진 및 유도’, ‘1. 국어 수업 동기유발’의 평가 기준에서 낮은 역량 수준을 나타냈다. 셋째, 13, 9, 7, 1번 평가 기준에서 4개의 수준별 집단 간에 유의미한 차이가 검증돼, 해당 평가 기준이 국어 수업 실연 역량의 차이를 유발하는 것으로 밝혀졌다. 결과적으로 예비 국어 교사의 수업 실연에서 학생 중심의 맞춤형 수업 운영 부족, 활동 중심의 국어 수업 운영 미흡, 형성 평가의 시행을 통한 학생의 수업 목표 도달도 점검 부재 등이 주요 문제 양상으로 도출되었다.

이 연구의 목적은 예비 국어 교사의 수업지도안을 평가할 수 있는 평가 준거를 개발하고, 다국면 Rasch 모형을 활용하여 개발된 평가 준거의 타당성과 신뢰성을 검증하는 것이다. 이를 위해 11명의 예비 국어 교사가 작성한 수업지도안에 대하여 개발된 수업지도안 평가 준거를 적용하여 4명의 현직 국어교사가 평가를 실시하였고, 그 결과를 토대로 평가 준거에 대한 타당도를 분석하 였다. 이에 대한 연구 결과를 정리하면 다음과 같다. 첫째, 평가자 간 신뢰도와 평가자 내 신뢰도가 높게 나타났다. 이는 평가자가 수업지도안 설계 과정이나 수업시연을 함께 공유하며, 수업지도안 평가가 이루어졌기 때문으로 해석된다. 둘째, 평가 준거 적합도의 경우 평가 준거 1(국어 학습목표의 명료한 설정)만 1.58 logit으로 부적합한 (misfitting) 평가 준거로 판정되었다. 이에 평가 준거 1은 학습목표의 개수, 학습목표의 설정 및 진술 방식, 교수학습 내용과의 유관함 등을 타당하고 평가할 수 있는 준거 설정이 필요함을 보여준다. 셋째, 평가 준거의 5점 척도 적합도를 분석한 결과, 1점과 2점의 척도 사용이 많지 않았고 4점 척도의 경우 척도의 대표성을 갖추지 못하였다. 수업지도안 평가 준거의 척도 수준을 여기서 제시 한 5점보다 낮춰 상, 중, 하 등의 3점 척도 수준으로 조정할 필요가 있다.

이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.