The purpose of this study was to critically examine the absolute grading system applied to the English section of South Korea’s College Scholastic Ability Test (CSAT), in a departure from a relative grading system, for the first time in 2017. English language instructors as well as English education researchers have somewhat differing understandings of the concept of absolute evaluation/grading. This paper investigated the nature of absolute evaluation/grading as presented in theses and academic papers as well as research reports, English language assessment textbooks, and press releases from the Ministry of Education (MOE). The study identified four different testing contexts in which the term absolute evaluation/grading is applied: criterion-referenced testing; grading based on fixed cut scores; measurement against external criteria; and norm-referenced testing. While retaining the same test structures as in the prior normreferenced testing situation, the CSAT English section corresponds to the second context, that is, interpreting results based on fixed cut scores. Achievement standards essential for producing criterion-referenced tests have so far been undefined, with cut scores being arbitrarily set. The examination concluded that the CSAT English section under an absolute grading scale is essentially a norm-referenced test that produces a significantly larger percentage of higher-level test-takers. There is a fair likelihood that, unlike MOE’s claim, converting to an absolute evaluation/grading system may not bring about the intended positive change.

In Korea, the College Scholastic Ability Test (CSAT) was introduced in 1993 as the official national college entrance examination. Over the 22 years since its inception, the CSAT has gone through numerous changes in its policies regarding the test structure, test administration, test writers, item bank, item difficulty, test materials, score reporting, and the use of test scores. The present study reviewed these policies and policy changes regarding the CSAT, with a focus on the English section ofthe test. The study found that while some of the policies were laudable for beneficial effects on students and the society, some other policies had detrimental effects on the quality of the test and for stakeholders including students, teachers, and parents. More active involvement of testing professionals is suggested for the improvement of policymaking processes and the policies themselves.

This study analyzed the text readability of the College Scholastic Ability Test (CSAT) and High School English Ⅱ textbooks by focusing on reading and compared the difficulty levels between them. To analyze the readability, the Flesh 2.0 for Windows and the Web VP 1.5 (2003) were used. To find out about high school students’ attitudes and behavior towards English and their preferences of English books, a questionnaire consisting of ten questions was administered. The results revealed that the textbooks are more readable than the CSATs in terms of the Flesch-Kincaid Reading Grade Level (RGL) and Reading Ease Score (RES). The average length per sentence of the textbooks is shorter than that of the CSATs. Furthermore, the CSATs have a higher percent of academic words than the textbooks. The questionnaire results showed that the participants, 228 second-year high school boy and girl students, preferred CSAT prep books, followed by EBS books and textbooks. Based on the findings, the basic directions of the CSAT and the guidelines to write textbooks have been suggested.

본 연구는 앞서 수행하였던 “대학수학능력시험 한문 과목 ‘한자 영역’의 출제 경향 및 문항 유형 분석”의 후속 작업이다. 따라서 본 연구에서의 ‘한자어 영역’에 대한 분석의 방향 역시 ‘출제 경향’과 ‘문항 유형’의 차원으로 그 범주를 설정하였 다. 본 연구에서는 2005학년도 6월 모의평가부터 2010학년도 9월 모의평가까지 총 17회의 문항을 검토 대상으로 하여 분석을 진행하였다. 먼저 출제 경향의 차원에서 살펴본 결과, 한자어 영역의 문항 수는 전체 문항 수의 30%인 9문항이 출제되어 출제 매뉴얼에서 제시한 시행 지침과 일치하고 있다. 그러나 배점으로 보면 ‘12점(24%)～15점(30%)’로 구성되어 ‘한자어’의 비 중이 최고 6% 정도 낮게 나타나고 있다. 문항의 평가 요소를 살펴보면 한자어 영역의 학습 요소를 고르게 반영하고 있으며, 문항의 유형 역시 다양하게 변화를 거 듭하고 있다. 이러한 유형의 변화는 내용상 타당성을 높이거나 변별도를 제고하거 나 정답률을 조정하기 위한 노력의 일환인 동시에 기출 문항에 저촉되지 않기 위 한 것이기도 하다. 또한 삽화를 적극 활용하고 있는 것도 특징 중의 하나라 할 수 있다. 본 연구에서는 대학수학능력시험 한문 과목 ‘한자어 영역’에 대한 분석을 ‘출제 경향’과 ‘문항 유형’의 차원에 국한하여 수행하였다. 차후로 ‘한문 영역’에 대해서 도 이와 같은 분석 작업이 계속되어야 할 것이다. 이를 통해 대학수학능력시험 한 문 과목의 전체적인 출제 경향 및 문항 유형 분석 작업이 마무리되면 한 단계 더 나아가 ‘문항의 양호도’에 관한 연구를 수행할 필요가 있다. 이러한 일련의 작업은 앞으로의 과제로 남긴다.

The purpose of this study is to investigate some problems about College Scholastic Ability Test(CSAT) on English listening and suggest its new approaches in the future. A survey, which was composed of 48 English teachers and 63 college students, was conducted to know about their opinions of the listening test. The results are as follows. First, the listening test is very important in learning English language, but it is not required to spend much time and efforts in listening class on account of its unvaried question pattern and lack of transferring into speaking ability. Second, the test should increase the number of the question and its total score. Third, it is necessary to provide the various questions related to the real life of English speaking countries implying not only linguistic knowledge but also non-linguistic knowledge like situation, socio-cultural background, and world knowledge. Fourth, sound phenomena may also be an important part in the listening test.

The purpose of this study was to develop a statistical model of predicting item difficulty of the English reading test of College Scholastic Ability Test(CSAT). At the initial phase, the study investigated variables that were significantly correlated to item difficulty of English reading test. Using the correlated variables an instrument was designed to gather the data on item difficulty of each item of the English reading tests of 2002 and 2003 CSAT. Correlation analysis was done to get models which could predict item difficulty of the tests. To validate the results of the analysis, the models were applied to the September Tests of 2003 and 2004 CSAT. It was found that the 2003 linear regression equation model showed the acceptable level of stability and predictability. The study also revealed that statistically significant predictors were grammar, inference and options. It was also found that the proportion of variance accounted by the predictors was different. Some implications for CSAT design and further research were drawn from the findings.

본 연구는 1999 ∼ 2001학년도의 대학수학능력시험에서 지구과학 II 선택 경향 및 선택과목간의 점수를 비교하고, 지구과학 관련 문항의 탐구과정 및 내용 요소별 분포와 각 문항에 대한 학생의 반응을 분석하여 정답률이 낮은 문항에 대한 오답 유형을 추출하였다. 대학수학능력시험의 자연계 응시자는 1995학년도에 43.14%이었으나 최근 2년 동안에 급격히 줄어들어, 2001학년도에는 29.51%이었고, 2002학년도에는 26.92%로 감소하고 있다. 자연계 응시자의 지구과학 II 선택 비율은 약 22%로 생물 II(약 38%), 화학 II(약 28%)에 이어 3번째이다. 탐구과정별로는 공통과학 및 지구과학 II 모두 자료 해석에 대해서 가장 많이 출제되고 다음으로 결론 도출 및 평가에 대해서 많이 출제되었다. 내용별로는 공통과학에서는 ‘지각의 물질과 지각변동’(20.83%)에서 가장 많이 출제되었고, ‘온실효과’와 ‘우주과학’에 대해서는 출제되지 않았으며, 다른 영역에서는 대체로 고루 출제되었다. 지구과학 II에서는 ‘지각의 물질과 변화’ (22.92%)영역에서 가장 많이 출제되었고, 전반적으로 고르게 출제되었으나 ‘환경과 자원’에서 출제되지 않았고, ‘태양계’에 대해서는 비교적 적게 출제되었다. 문항 난이도 분포를 보면 1999학년도는 예상정답률 40 ∼ 59%와 60 ∼ 79%의 문제를 각각 6, 10개 출제하였고, 2000학년도에는 40 ∼ 59% 1문항, 60 ∼ 79% 14문항, 80% 이상 1문항 출제하였으나 2001학년도는 16문항 모두를 60 ∼ 79%에 해당하는 것을 출제하였다. 정답률이 높은 문항은 문제 해결에 지구과학 개념이 요구되지 않고 탐구 과정만 요구되는 문항, 매년 출제되어 학생에게 익숙한 분야, 탐구 능력 없이도 특정 지식만 있으면 해결되는 문항이다. 반면에 정답률이 낮은 문항은 지구와 행성의 운동, 해파에 관한 문항이며, 특히 복합개념이 요구되는 문항의 정답률이 낮다. 학생의 오답 반응 분석 결과 기본 개념에 대한 이해가 미흡한 주요 내용은 공통과학에서는 변환단층 및 부정합에서 지질학적 현상, 혼합층과 수온 약층의 의미, 온대저기압 통과 전후의 날씨 변화이며, 지구과학 II 에서는 달의 위상과 위치변화, 화성암의 구성광물 · 화학조성 · 조직 변화와 마그마 분화 및 풍화와의 관계, 지진파 주시곡선, 대기순환의 종류와 규모, 해파, 혼합층과 수온 약층, 서안강화 현상, 행성의 위치와 운동, H-R도상에서의 별의 특성과 진화 등이다. 탐구 과정에 대한 학생의 성취도는 비교적 높으므로 이해도가 상대적으로 낮은 영역에 대해 학생의 오답 유형을 참고하여 기본 개념 지도에 보다 관심을 기울일 필요가 있다.