This study investigated the impact of 26 EFL college students’ familiarity levels with the visual information of TOEIC listening test items on test scores and test performance procedure. Data collected measured students’ degree of familiarity with the visuals via a pre-test and their listening test scores, and responses to the post-test questionnaire were analyzed. To analyze the data, one-way ANOVA was conducted to locate the interdependency between the students’ familiarity levels with visuals and their test scores. Results found that there was no statistically significant differences in test scores regardless of the students’ levels of familiarity with the visuals. Additionally, the correlations between the familiarity with the visuals and the students’ test scores were low. However, the students experienced difficulties with unfamiliar visuals while taking the test. These findings indicate that, although test-takers’ familiarity with visuals does not predict their listening test scores, there is a need to tailor the visuals when developing listening test-items.

본 연구는 기술금융에 사용되는 ‘미래 진보성’ 중심의 기술력 평가모형을 이용 하여 기업의 고활동성 여부에 대한 사전적(Ex-ante) 판별력 검증을 목적으로 한다. 분석 대 상기업을 업종(제조업군/非제조업군)과 업력(창업기업군/非창업기업군)으로 구분한 후 해당 군집의 평균 총자산회전율 2배 이상을 달성한 기업을 고활동성 중소기업으로 정의하였다. 의 사결정나무 모형 중 하나인 C5.0 기법을 적용하여 판별모형을 작성한 결과 모든 업종과 업력 에서 99% 이상의 분류정확도를 보였으며, 모형의 판별력이 안정적임을 확인하였다. 분석 결 과 경영진 전문성, 자본참여도, 자금조달능력 항목은 업종⋅업력과 무관하게 고활동성 중소 기업 여부를 결정하는 중요변수로 확인되었으며, 제조업군에서는 기술경영능력과 기술수명 주기 또한 고활동성 중소기업 여부를 결정하는 평가항목임이 확인되었다. 이를 통해 기술력 평가항목을 이용하여 고활동성 중소기업 여부에 대한 사전적 판별 및 정책적 활용에 대한 가 능성을 일정부분 확인할 수 있었다.

This study examines the effects of text length and question type on Korean EFL readers’ reading comprehension of the fill-in-the-blank items in Korean CSAT. A total of 100 Korean EFL college students participated in the study. After divided into three different proficiency groups, the participants took a reading comprehension test which consisted of 4 reading passages (2 short and 2 long) from the Korean CSAT, followed by multiple-choice fill-in-the-blank questions and open-ended inference questions. The longer version of the passages was made from its originally restored version in which one or two paragraphs were added. The results showed that the college students performed better on the long passages than the short ones. In addition, the college students’ reading comprehension test performance was affected differently depending on the type of questions. The findings of the study provided implications on how to select and construct reading passages for high-stake nationwide examinations, such as the Korean CSAT.

본고는 2015 개정 교육과정이 개발되고 있는 현 시점에서 한문과 교육과정 ‘어휘’ 관련 내용과 적용의 실제 사이에서 발생할 수 있는 간극을 최소화하기 위해, 2010학년도 본수능부터 2016학년도 6월 모의평가까지의 평가 문항을 중심으로 그간 한문과에서 실시된 ‘어휘’ 관련 평가 문항의 내용 요소와 내용 요소별 평가 유형 등을 분석하였다. 그 결과 그간 대학수학능력시험에서 출제된 어휘 관련 평가 문항들은 한자 어휘와 관련된 다양한 평가 요소를 고루 반영하고 있으며, 그 유형도 변화를 거듭하여 다양한 유형으로 안착된 상태였다. 하지만 급변하는 교육 환경 속에서 한문과가 위상을 공고히 하면서 발전해 나가기 위해서는 현재 상태에 안주할 것이 아니라 끝임 없이 새로운 평가 요소를 개발하고 해당 요소에 적합한 유형의 문항을 출제할 필요가 있다.

목적 : 본 연구는 보호자의 인터뷰 없이 환자의 평가를 통해 다양한 인지영역을 빠르게 평가할 수 있고, 경도 인지장애의 치료적 중재 제공을 결정하는 노인 경도 인지장애 선별 검사 항목 개발하고자 한다. 연구방법 : 2014년 10월 23일부터 2014년 12월 16일까지 총 3회에 걸쳐 전문가 패널로 선정된 30명의 참여자에게 전자우편을 통해 델파이 조사를 실시하였다. 이후 경도 인지장애 환자 28명을 포함하여 총 81명의 환자에게 한국판 간이 정신상태 검사(Korean version of Mini-Mnetal State Examination; MMSE-K)와 본 평가도구를 평가하여 타당도를 검증하였다. 결과 : 최종 델파이 조사결과 평균 적합도 4.24와 중요도 4.30으로 분석되어 경도인지장애 선별평가 항목 으로 적절한 것으로 분석되었다. 적합도의 내용타당도 비율 0.84, 중요도의 내용타당도 비율 0.93으로, 적합도와 중요도 모두 내용타당도 비율이 높게 나타났다. 최종적으로 델파이 조사를 통해 노인 경도 인 지장애 선별검사 항목 개발에 관한 24개의 항목이 최종적으로 도출 되었다. MMSE-K와 높은 상관성을 보이고, Cronbach’s α는 .80으로 높은 타당도를 보였다. 결론 : 전문가의 의견을 수렴한 델파이방법을 통해 만들어진 본 평가도구는 기존의 평가도구와 높은 상관 성을 보이고 타당도가 높은 것으로 나타났다. 이에 본 도구는 경도 인지장애를 평가함에 있어 효과적이 라고 사료된다. 주제어 : 경도 인지장애, 노인, 델파이 조사, 선별평가, 항목개발

The demand for test-taking has become an inevitable element of Korean secondary EFL learners’ academic lives in which learners strive to excel in the high-stakes examoriented milieu. However, current knowledge of practitioners, such as those of teachers and administrators, may be insufficient for ascertaining if the learners actually undergo the test-taking process they anticipate and assess what they aim to test. In contrast to the product-oriented view where the primary interest is on the outcome (i.e., scores or stanine levels), the purpose of the present study was to explore 165 Korean high school learners’ test-taking process via questionnaires with proficiency and item type as the grouping variables. There was avid use of conventional reading strategies among the high proficiency learners and test management strategies among the lower proficiency learners. Results present implications for teaching learners not only to become testwise, but also to work consistently towards building reading skills and adopt long-term learning strategies.

The national curriculum for English in Korea emphasizes the development of communicative competence through the use of task-based learning and communicative activities that suit the student’s needs and levels, as well as the integration of the four skills. This not only requires sophisticated teaching skills, but also a high degree of proficiency in English. The English Teacher Selection Test, which is meant to select quality English teachers, has never been free from being criticized for its lack of validity, consistency, and proper feedback. This study thus analyzes the English Teacher Selection Test items from 2004 to 2006 in terms of percentages of different fields of major and suggests some ideas to make the Test more efficient in serving its purpose, which is selecting quality English teachers.

본 연구는 1999 ∼ 2001학년도의 대학수학능력시험에서 지구과학 II 선택 경향 및 선택과목간의 점수를 비교하고, 지구과학 관련 문항의 탐구과정 및 내용 요소별 분포와 각 문항에 대한 학생의 반응을 분석하여 정답률이 낮은 문항에 대한 오답 유형을 추출하였다. 대학수학능력시험의 자연계 응시자는 1995학년도에 43.14%이었으나 최근 2년 동안에 급격히 줄어들어, 2001학년도에는 29.51%이었고, 2002학년도에는 26.92%로 감소하고 있다. 자연계 응시자의 지구과학 II 선택 비율은 약 22%로 생물 II(약 38%), 화학 II(약 28%)에 이어 3번째이다. 탐구과정별로는 공통과학 및 지구과학 II 모두 자료 해석에 대해서 가장 많이 출제되고 다음으로 결론 도출 및 평가에 대해서 많이 출제되었다. 내용별로는 공통과학에서는 ‘지각의 물질과 지각변동’(20.83%)에서 가장 많이 출제되었고, ‘온실효과’와 ‘우주과학’에 대해서는 출제되지 않았으며, 다른 영역에서는 대체로 고루 출제되었다. 지구과학 II에서는 ‘지각의 물질과 변화’ (22.92%)영역에서 가장 많이 출제되었고, 전반적으로 고르게 출제되었으나 ‘환경과 자원’에서 출제되지 않았고, ‘태양계’에 대해서는 비교적 적게 출제되었다. 문항 난이도 분포를 보면 1999학년도는 예상정답률 40 ∼ 59%와 60 ∼ 79%의 문제를 각각 6, 10개 출제하였고, 2000학년도에는 40 ∼ 59% 1문항, 60 ∼ 79% 14문항, 80% 이상 1문항 출제하였으나 2001학년도는 16문항 모두를 60 ∼ 79%에 해당하는 것을 출제하였다. 정답률이 높은 문항은 문제 해결에 지구과학 개념이 요구되지 않고 탐구 과정만 요구되는 문항, 매년 출제되어 학생에게 익숙한 분야, 탐구 능력 없이도 특정 지식만 있으면 해결되는 문항이다. 반면에 정답률이 낮은 문항은 지구와 행성의 운동, 해파에 관한 문항이며, 특히 복합개념이 요구되는 문항의 정답률이 낮다. 학생의 오답 반응 분석 결과 기본 개념에 대한 이해가 미흡한 주요 내용은 공통과학에서는 변환단층 및 부정합에서 지질학적 현상, 혼합층과 수온 약층의 의미, 온대저기압 통과 전후의 날씨 변화이며, 지구과학 II 에서는 달의 위상과 위치변화, 화성암의 구성광물 · 화학조성 · 조직 변화와 마그마 분화 및 풍화와의 관계, 지진파 주시곡선, 대기순환의 종류와 규모, 해파, 혼합층과 수온 약층, 서안강화 현상, 행성의 위치와 운동, H-R도상에서의 별의 특성과 진화 등이다. 탐구 과정에 대한 학생의 성취도는 비교적 높으므로 이해도가 상대적으로 낮은 영역에 대해 학생의 오답 유형을 참고하여 기본 개념 지도에 보다 관심을 기울일 필요가 있다.

The primary objective of this study was to investigate English midterm test items through the application of the Rasch measurement modeling. The teacher-constructed 21 multiple choice test items to which 190 subjects responded as their midterm summative test were submitted to Winsteps 7, a Rasch measurement model program. The Rasch analysis results showed six out of 21 items misfitted the model. The qualitative analysis of those six items revealed that most of those items had more than two correct answers. The other analysis of the equivalency between item difficulties and subjects’ abilities indicated that most items matched only with mid-level ability groups of subjects, lacking items for both upper and lower levels of subjects. It was also found that items related to text organization were among the easiest items, giving support for the efficacy of text-based instruction. The findings of this study also implied that more training of constructing and banking items may be necessary for inservice English teachers, who should take the responsibilities for introducing positive washback effects to their students.

본 연구는 한국형 기본운동기술 평가 시스템을 개발하기 위한 첫 단계로 물체조작운동의 평가 내용을 개발하고 이에 대한 타당성과 신뢰성을 검증하는 것이다. 먼저 TGMD-2(Ulrich, 2000)와 선행 연구의 발달 단계(Seefeldt 등, 1982; Roberton 등, 1984)를 토대로 평가 내용을 구성한 후, 여섯 명으로 구성된 운동학습 및 발달 분야 전문가 회의를 통하여 내용타당도를 확인하여 수정 보완하였다. 수정된 평가 내용은 TGMD-2와의 공인타당도 검증과 기술 수준(상, 중, 하)에 따른 수행 점수의 평균차이검증을 통해 타당도를 확인하였으며, 세 명의 평가자 점수의 일치도를 산출하여 신뢰도를 검증하였다. 이러한 과정을 위하여 초등학생 1학년에서 6학년까지 남녀 아동 총 240명의 여섯 가지 동작(던지기, 받기, 차기, 치기, 드리블, 굴리기) 수행 장면을 촬영하고 이 영상을 편집하여 분석에 사용하였다. 본 연구의 평가 내용에 따른 점수와 TGMD-2 점수간의 상관계수가 .599(2차 평가표)에서 .821(최종 평가표)로 높아지고, 여섯 가지 동작 모두 기술 수준에 따라 수행 점수의 평균 차이가 유의미하게 나타나, 평가 내용의 구성이 취학 후 아동의 물체조작운동기술 수준을 평가하는 데 타당하다는 것을 알 수 있었다. 반면에 세 명의 평가자간 신뢰도 값이 69.46%(2차 평가표)에서 85.91%(최종 평가표)로 높아졌으며, 여섯 가지 동작 모두 85% 내외의 높은 일치도를 보여 평가 내용의 신뢰도가 확보되었음을 알 수 있었다. 이러한 과정에 의해서 최종적으로 구성된 물체조작운동기술의 평가 내용은 현재 진행 중인 한국 아동의 기본운동기술 평가 시스템을 구축하는데 중요한 콘텐츠로 활용될 것이다.