To address the English proficiency of underachieving college students, universities often use in-house language tests. C University lacks specific exams for identification, and relies on students’ English performance in the Korean College Scholastic Aptitude Test (CSAT English). This research explores the potential of the TOEIC Bridge, a standardized English proficiency test developed for middle and high school students, to provide an effective, practical measure for screening underachieving students in English. The study investigates the relationship between TOEIC Bridge and CSAT English performance, evaluating the predictive value of TOEIC Bridge on CSAT outcomes. Analyzing data from 418 students, the study identified (1) a moderate correlation between TOEIC Bridge and CSAT English performance, and (2) predictability of CSAT English performance based on TOEIC Bridge, suggesting that TOEIC Bridge can provide a potential tool to identify underachieving students in English. These findings contribute pedagogical insights for tertiary education.

The purpose of this study was to critically examine the absolute grading system applied to the English section of South Korea’s College Scholastic Ability Test (CSAT), in a departure from a relative grading system, for the first time in 2017. English language instructors as well as English education researchers have somewhat differing understandings of the concept of absolute evaluation/grading. This paper investigated the nature of absolute evaluation/grading as presented in theses and academic papers as well as research reports, English language assessment textbooks, and press releases from the Ministry of Education (MOE). The study identified four different testing contexts in which the term absolute evaluation/grading is applied: criterion-referenced testing; grading based on fixed cut scores; measurement against external criteria; and norm-referenced testing. While retaining the same test structures as in the prior normreferenced testing situation, the CSAT English section corresponds to the second context, that is, interpreting results based on fixed cut scores. Achievement standards essential for producing criterion-referenced tests have so far been undefined, with cut scores being arbitrarily set. The examination concluded that the CSAT English section under an absolute grading scale is essentially a norm-referenced test that produces a significantly larger percentage of higher-level test-takers. There is a fair likelihood that, unlike MOE’s claim, converting to an absolute evaluation/grading system may not bring about the intended positive change.

In Korea, the College Scholastic Ability Test (CSAT) was introduced in 1993 as the official national college entrance examination. Over the 22 years since its inception, the CSAT has gone through numerous changes in its policies regarding the test structure, test administration, test writers, item bank, item difficulty, test materials, score reporting, and the use of test scores. The present study reviewed these policies and policy changes regarding the CSAT, with a focus on the English section ofthe test. The study found that while some of the policies were laudable for beneficial effects on students and the society, some other policies had detrimental effects on the quality of the test and for stakeholders including students, teachers, and parents. More active involvement of testing professionals is suggested for the improvement of policymaking processes and the policies themselves.

본고는 2015 개정 교육과정이 개발되고 있는 현 시점에서 한문과 교육과정 ‘어휘’ 관련 내용과 적용의 실제 사이에서 발생할 수 있는 간극을 최소화하기 위해, 2010학년도 본수능부터 2016학년도 6월 모의평가까지의 평가 문항을 중심으로 그간 한문과에서 실시된 ‘어휘’ 관련 평가 문항의 내용 요소와 내용 요소별 평가 유형 등을 분석하였다. 그 결과 그간 대학수학능력시험에서 출제된 어휘 관련 평가 문항들은 한자 어휘와 관련된 다양한 평가 요소를 고루 반영하고 있으며, 그 유형도 변화를 거듭하여 다양한 유형으로 안착된 상태였다. 하지만 급변하는 교육 환경 속에서 한문과가 위상을 공고히 하면서 발전해 나가기 위해서는 현재 상태에 안주할 것이 아니라 끝임 없이 새로운 평가 요소를 개발하고 해당 요소에 적합한 유형의 문항을 출제할 필요가 있다.

This study analyzed the text readability of the College Scholastic Ability Test (CSAT) and High School English Ⅱ textbooks by focusing on reading and compared the difficulty levels between them. To analyze the readability, the Flesh 2.0 for Windows and the Web VP 1.5 (2003) were used. To find out about high school students’ attitudes and behavior towards English and their preferences of English books, a questionnaire consisting of ten questions was administered. The results revealed that the textbooks are more readable than the CSATs in terms of the Flesch-Kincaid Reading Grade Level (RGL) and Reading Ease Score (RES). The average length per sentence of the textbooks is shorter than that of the CSATs. Furthermore, the CSATs have a higher percent of academic words than the textbooks. The questionnaire results showed that the participants, 228 second-year high school boy and girl students, preferred CSAT prep books, followed by EBS books and textbooks. Based on the findings, the basic directions of the CSAT and the guidelines to write textbooks have been suggested.

본 연구는 앞서 수행하였던 “대학수학능력시험 한문 과목 ‘한자 영역’의 출제 경향 및 문항 유형 분석”의 후속 작업이다. 따라서 본 연구에서의 ‘한자어 영역’에 대한 분석의 방향 역시 ‘출제 경향’과 ‘문항 유형’의 차원으로 그 범주를 설정하였 다. 본 연구에서는 2005학년도 6월 모의평가부터 2010학년도 9월 모의평가까지 총 17회의 문항을 검토 대상으로 하여 분석을 진행하였다. 먼저 출제 경향의 차원에서 살펴본 결과, 한자어 영역의 문항 수는 전체 문항 수의 30%인 9문항이 출제되어 출제 매뉴얼에서 제시한 시행 지침과 일치하고 있다. 그러나 배점으로 보면 ‘12점(24%)～15점(30%)’로 구성되어 ‘한자어’의 비 중이 최고 6% 정도 낮게 나타나고 있다. 문항의 평가 요소를 살펴보면 한자어 영역의 학습 요소를 고르게 반영하고 있으며, 문항의 유형 역시 다양하게 변화를 거 듭하고 있다. 이러한 유형의 변화는 내용상 타당성을 높이거나 변별도를 제고하거 나 정답률을 조정하기 위한 노력의 일환인 동시에 기출 문항에 저촉되지 않기 위 한 것이기도 하다. 또한 삽화를 적극 활용하고 있는 것도 특징 중의 하나라 할 수 있다. 본 연구에서는 대학수학능력시험 한문 과목 ‘한자어 영역’에 대한 분석을 ‘출제 경향’과 ‘문항 유형’의 차원에 국한하여 수행하였다. 차후로 ‘한문 영역’에 대해서 도 이와 같은 분석 작업이 계속되어야 할 것이다. 이를 통해 대학수학능력시험 한 문 과목의 전체적인 출제 경향 및 문항 유형 분석 작업이 마무리되면 한 단계 더 나아가 ‘문항의 양호도’에 관한 연구를 수행할 필요가 있다. 이러한 일련의 작업은 앞으로의 과제로 남긴다.

본 연구에서는 대학수학능력시험[College Scholastic Ability Test] 한문 과목 [Chinese Characters] ‘한자 영역’에 대한 분석의 방향을 크게 ‘출제 경향’과 ‘문 항 유형’의 차원으로 그 범주를 설정하였다. 이 연구는, 한문 과목이 대학수학능력 시험 제2외국어/한문 영역에 포함되어 시행되기 시작한 2005학년도 6월 모의평가 부터 2009학년도 9월 모의평가까지 총 14회에 걸친 모의평가 및 대학수학능력시 험 문항을 검토 대상으로 하여 분석을 진행하였다. 먼저 출제 경향의 차원에서 살펴본 결과, 한자 영역의 문항 수는 전체 문항 수 의 20%인 6문항이 출제되어 출제 매뉴얼에서 제시한 시행 지침과 일치하고 있 다. 그러나 배점으로 보면 ‘6점(12%)～10점(20%)’로 구성되어 ‘한자’의 비중이 상대적으로 낮게 나타났다. 문항의 평가 요소를 살펴보면 한자 영역의 학습 요소 를 고르게 반영하여 내용상 타당성이 높은 문항을 출제하기 위해 노력하고 있었 다. 다음으로 문항의 유형을 살펴본 결과 다양한 유형의 문항을 출제하고 있다. 변별도를 제고하고 정답률을 조정하기 위해 문항의 유형에 계속 변화를 주고 있 으며, 또한 기출 문항에 저촉되지 않기 위하여 새로운 문항 형식을 도입하였고 삽 화를 적극 활용하고 있었다. 본 연구에서는 대학수학능력시험 한문 과목 ‘한자 영역’에 대한 분석을 ‘출제 경 향’과 ‘문항 유형’의 차원에서 수행하였다. 차후로 측정․평가의 통계적 원리와 기 법을 활용하여 ‘문항의 양호도’에 관한 연구를 수행할 필요가 있다.

The purpose of this study is to investigate some problems about College Scholastic Ability Test(CSAT) on English listening and suggest its new approaches in the future. A survey, which was composed of 48 English teachers and 63 college students, was conducted to know about their opinions of the listening test. The results are as follows. First, the listening test is very important in learning English language, but it is not required to spend much time and efforts in listening class on account of its unvaried question pattern and lack of transferring into speaking ability. Second, the test should increase the number of the question and its total score. Third, it is necessary to provide the various questions related to the real life of English speaking countries implying not only linguistic knowledge but also non-linguistic knowledge like situation, socio-cultural background, and world knowledge. Fourth, sound phenomena may also be an important part in the listening test.

The purpose of this study was to develop a statistical model of predicting item difficulty of the English reading test of College Scholastic Ability Test(CSAT). At the initial phase, the study investigated variables that were significantly correlated to item difficulty of English reading test. Using the correlated variables an instrument was designed to gather the data on item difficulty of each item of the English reading tests of 2002 and 2003 CSAT. Correlation analysis was done to get models which could predict item difficulty of the tests. To validate the results of the analysis, the models were applied to the September Tests of 2003 and 2004 CSAT. It was found that the 2003 linear regression equation model showed the acceptable level of stability and predictability. The study also revealed that statistically significant predictors were grammar, inference and options. It was also found that the proportion of variance accounted by the predictors was different. Some implications for CSAT design and further research were drawn from the findings.

본 연구는 1999 ∼ 2001학년도의 대학수학능력시험에서 지구과학 II 선택 경향 및 선택과목간의 점수를 비교하고, 지구과학 관련 문항의 탐구과정 및 내용 요소별 분포와 각 문항에 대한 학생의 반응을 분석하여 정답률이 낮은 문항에 대한 오답 유형을 추출하였다. 대학수학능력시험의 자연계 응시자는 1995학년도에 43.14%이었으나 최근 2년 동안에 급격히 줄어들어, 2001학년도에는 29.51%이었고, 2002학년도에는 26.92%로 감소하고 있다. 자연계 응시자의 지구과학 II 선택 비율은 약 22%로 생물 II(약 38%), 화학 II(약 28%)에 이어 3번째이다. 탐구과정별로는 공통과학 및 지구과학 II 모두 자료 해석에 대해서 가장 많이 출제되고 다음으로 결론 도출 및 평가에 대해서 많이 출제되었다. 내용별로는 공통과학에서는 ‘지각의 물질과 지각변동’(20.83%)에서 가장 많이 출제되었고, ‘온실효과’와 ‘우주과학’에 대해서는 출제되지 않았으며, 다른 영역에서는 대체로 고루 출제되었다. 지구과학 II에서는 ‘지각의 물질과 변화’ (22.92%)영역에서 가장 많이 출제되었고, 전반적으로 고르게 출제되었으나 ‘환경과 자원’에서 출제되지 않았고, ‘태양계’에 대해서는 비교적 적게 출제되었다. 문항 난이도 분포를 보면 1999학년도는 예상정답률 40 ∼ 59%와 60 ∼ 79%의 문제를 각각 6, 10개 출제하였고, 2000학년도에는 40 ∼ 59% 1문항, 60 ∼ 79% 14문항, 80% 이상 1문항 출제하였으나 2001학년도는 16문항 모두를 60 ∼ 79%에 해당하는 것을 출제하였다. 정답률이 높은 문항은 문제 해결에 지구과학 개념이 요구되지 않고 탐구 과정만 요구되는 문항, 매년 출제되어 학생에게 익숙한 분야, 탐구 능력 없이도 특정 지식만 있으면 해결되는 문항이다. 반면에 정답률이 낮은 문항은 지구와 행성의 운동, 해파에 관한 문항이며, 특히 복합개념이 요구되는 문항의 정답률이 낮다. 학생의 오답 반응 분석 결과 기본 개념에 대한 이해가 미흡한 주요 내용은 공통과학에서는 변환단층 및 부정합에서 지질학적 현상, 혼합층과 수온 약층의 의미, 온대저기압 통과 전후의 날씨 변화이며, 지구과학 II 에서는 달의 위상과 위치변화, 화성암의 구성광물 · 화학조성 · 조직 변화와 마그마 분화 및 풍화와의 관계, 지진파 주시곡선, 대기순환의 종류와 규모, 해파, 혼합층과 수온 약층, 서안강화 현상, 행성의 위치와 운동, H-R도상에서의 별의 특성과 진화 등이다. 탐구 과정에 대한 학생의 성취도는 비교적 높으므로 이해도가 상대적으로 낮은 영역에 대해 학생의 오답 유형을 참고하여 기본 개념 지도에 보다 관심을 기울일 필요가 있다.