This study aimed to develop a questionnaire that is suitable for the resident-participatory ODA evaluation to minimize the bias and insufficient scientific rigor in the self-made questionnaire developed by evaluators. A modified Delphi survey was conducted twice with 16 ODA experts who had experience in international cooperative development in the fields of rural development, education, health, and poverty. Sixty-two questions were finally selected for resident-participatory ODA evaluation: 7 questions on relevance, 8 questions on efficiency, 9 questions on effectiveness, 11 questions on impact, questions on for sustainability, 4 questions on gender mainstreaming and environmental impact, and 17 questions on spillover effect on the community. A resident survey with the newly developed questionnaire will generate high-quality data that can empirically analyze the causal-effect relationship between ODA activities and performance, and community changes, and it can also contribute to the development of a quantitative ODA evaluation tool at a local level of recipient countries.

The purpose of this study is to develop guidelines for a Hindi A0 level evaluation test with its standardized Hindi curriculum. The development of a Hindi A0 level evaluation test is a basic requirement for ensuring internal stability of school education, because languages that uses special or unique characters that are not based on Roman alphabets, such as Hindi, Thai, and Persian, require a separate learning process or curriculum as well as their evaluation tests. This is not only in line with the purpose of the ‘Act on the Promotion of Education of Critical Foreign Languages’ enacted on August 2, 2016, but also because it can promote the substantiality of education in other critical foreign languages including Hindi, which had been conducted without a standardized curriculum. In other words, this study explores the concept of the A0 level that is not included in the CEFR, as a first step toward the realization of the ‘Common Asian Framework of Reference for languages’, the letters and pronunciations of which require a lot of time to learn. To this end, a guideline of an evaluation test for Asian languages is also proposed.

목적 : 본 연구는 학령기 아동을 대상으로 학교에서의 활동에 기초한 감각처리능력을 알아보기 위한 평가 도구의 문항을 개발하는 예비연구로 진행되었다. 연구방법 : 연구 과정은 예비 문항 구성과 본 문항 구성을 통해 이루어졌다. 예비 문항 구성은 문헌고찰을 통한 문항 수집 후 감각통합 교육 경험이 있는 초등교사 3명과 학교 작업치료 경험이 있는 작업치료사 4명에게 문항 적절성 조사 및 신규 문항 수집을 하였다. 본 문항 구성은 초등교사 24명에게 내용 타당 도 지수(Content Validity Index; CVI)를 이용한 문항 적절성 조사, 작업치료사 19명에게 내용 타당도 지수(CVI)를 이용한 문항 적절성 조사 및 감각의 종류, 감각처리장애의 분류에 대한 조사를 하였다. 결과 : 문헌고찰을 통해 179문항이 수집되었고, 이후 예비 문항 구성 단계에서 93개 문항 삭제, 23개 문 항 추가되어 105개 문항이 구성되었다. 본 문항 구성 단계에서는 내용타당도 지수 값이 단계에 따라 70-80%가 만족될 때 선정하여 19개 문항 삭제, 1개 문항 추가되어 87개 문항이 구성되었다. 최종적으 로 학교에서의 활동에 기초한 감각처리 문항으로 분류하면, 일반적 학습 활동은 45개 문항, 예체능 활동 은 17개 문항, 식사 시간 및 쉬는 시간 활동은 25개 문항으로 총 87개 문항이 개발되었다. 결론 : 본 연구는 국내 학교의 활동 영역을 바탕으로 감각처리능력을 평가 할 수 있는 평가도구의 문항을 개발하였다는 데 의의가 있다. 본 평가도구의 임상적, 연구적 사용을 위해서는 추후 본 평가도구의 다양 한 타당도를 검증하기 위한 연구가 진행되어야 할 것이다.

In this study, we developed a learning progression for the structure of the solar system using multi-tier supply form items and validated its appropriateness. To this end, by applying Wilson’s (2005) construct modeling approach, we set up ‘solar system components,’ ‘size and distance pattern of solar system planets,’ and ‘solar system modeling’ as the progress variables of the learning progression and constructed multi-tier supply form items for each of these variables. The items were applied to 150 fifth graders before and after the classes that dealt with the ‘solar system and star’ unit. To describe the results of the assessment, the students’ responses to each item were categorized into five levels. By analyzing the Wright map that was created by applying the partial credit Rasch model, we validated the appropriateness of the learning progression based on the students’ responses. In addition, the validity of the hypothetical pathway that was established in the learning progression was verified by tracking changes in the developmental level of students before and after the classes. The results of the research are as follows. The bottom-up research method that used multi-tier supply form items was able to elaborately set the empirical learning progression for the conceptualization of the structure of the solar system that is taught in elementary school. In addition, the validity of the learning progression was high, and the development of students was found to change with the learning progression.

한문과와 같이 학습자에 따라 또는 한문 교과 이수 정도에 따라 학업 성취 수준이 크게 차이가 나는 특수한 경우에는 학생 개개인의 특성 및 차이, 숙달 및 미숙 등에 따라 개별적으로 평가 결과 를 분석하거나 보고(reporting)한다면, 이러한 자료들을 통해서 학생들은 더 나은 학습을 수행 (performance)할 수 있고 교사들은 더욱 효율적인 교수 ‒ 학습을 진행할 수 있다. 이러한 관점 하에 서 최근 교육 평가 분야에서 새롭게 주목하고 있는 인지진단모형(cognitive diagnostic model)을 소 개하고 한문과 평가에 적용해 볼 필요가 있을 것으로 판단하였다. 따라서 이번 연구에서는 최근에 새롭게 주목받고 있는 인지진단모형을 한문과 평가 연구자들에게 간단히 소개하고, 한문과 수능 문 항과 문항의 특정 속성과의 관계를 규명하여 Q행렬을 구성해봄으로써 인지진단모형의 한문과 적용 에 대한 적절성과 적용 가능성을 탐색해보고자 한다.

본 연구는 전문대학의 수업특성을 반영한 강의평가 문항개발을 목적으로 한다. 문항개발은 일련의 사전작업을 거쳐 전문가집단 의견조사를 기반으로 하는 델파이조사를 주요 방법으로 이루어졌다. 본 연구에서 제안된 강의평가 문항은 이론․강의식 수업용 문항과 실습․실기식 수업용 문항으로 자기평가 항목(3문항), 수업만족도 평가항목(8문항), 수업특성별 항목(3문항) 자유기술 항목(2문항)으로 구성되었다. 본 연구의 과정이 가지는 의의는 대학 수업의 주체인 교원들의 의견을 반영할 기회를 마련하고자 전문가 집단을 구성하고, 연구결과발표를 통한 의견 수렴 등의 과정을 통해 도출된 안이라는 점을 들 수 있다. 아울러 대학 수업의 특성을 반영하여 수업방법에 따른 강의평가 문항개발을 시도하였다는 점도 의미를 가진다고 할 수 있다. 향후, 학생들의 응답특성 및 유형에 따른 강의평가 결과 활용에 대한 연구가 추가적으로 요구되며, 그보다 앞서 운영적 측면에서 볼 때 신뢰로운 제도가 될 수 있도록 운영방안에 대한 연구가 필요하다.

본 연구의 목적은 각 대학의 특성과 수업의 특성에 적합한 강의평가 문항을 개발하는데 기초가 되는 자료를 제시하는 것을 목적으로 하였다. 이를 위하여 선행연구 및 여러 대학에서 현재 실시되고 있는 강의평가문항을 분석하여 강의평가문항 풀을 구성하였고, 이를 기초로 서울과 수도권에 위치한 4개 대학 600여명 학생들을 대상으로 설문조사를 실시하였다. 본 연구에 사용된 설문지는 공통형 문항과 수업특성별 선택형 문항으로 구성되며, 전체적 만족도, 학생에 대한 태도, 수업내용 및 진행, 시험․과제․평가, 수업성과 및 적절성, 이론중심 교수법, 실험․실습․실기중심 교수법 영역에서 총 109개 문항이 선정되었다. 설문조사의 분석방법은 내용 분석 및 빈도 분석이었다. 분석 결과, ‘성실’, ‘존중’, ‘열의’, ‘분명한 수업 목적’, ‘주의 깊은 답변’이 강의평가문항으로 구성되어야 하는 가장 기초적인 요소로 분석되었다. 이는 대학의 특성과 관계없이 연구에 참여한 모든 학생들의 공통적인 의견으로 강의평가 문항을 개발할 때, 가장 크게 고려해야 할 요소라고 할 수 있다. 이런 점을 고려하여, 각 대학에서는 본 연구에서 제안한 강의평가 문항의 풀을 활용하되 각 대학의 특성과 규모를 고려한 평가 문항이 개발되어야 할 것이다.

The purpose of this study is to present underlying principles and criteria for designing and developing National English Ability Test (NEAT). To this end, this study presents 5 principles (i.e., Connection, Authenticity, Interactiveness, IBT Compatibility, Washback Effectiveness) which play guiding and controlling roles in developing and selecting item types appropriate for the listening and the reading test of NEAT derived from test usefulness (Bachman & Palmer, 1996). Also, it proposes 4 criteria (i.e., Complementarity, Integration, Pivotality, and Hierarchicality) which function levering roles in designing and developing the two tests of NEAT on the basis of the empirical data of the item analyses of Foreign (English) domain of College Scholastic Ability Tests (2005~2010 school year). Finally, it discusses some implications and applications of the principles and the criteria to a theoretical blueprint for establishing an item developing system and a test implementation system, setting up the criteria of validating item types, designing a modular type of test specifications, and specifying a complementary type of test specifications for the two ability-level listening and reading tests (the 2nd and the 3rd rank) of NEAT.

2007년 개정 한문과 교육과정은 7차 교육과정에 비하여 내용체계에 있어서 큰 변화가 있었다. 이 때문에 새롭게 추가된 내용 영역의 학습 요소에 해당하는 목표 를 세부적으로 진술하고 이 영역에 맞는 평가 문항의 다양한 개발이 필요하다. 한문과 평가문항에서 목표를 이원적으로 분류하는 근거는 무엇인가? 새로운 교 육과정에서 새롭게 추가된 내용을 평가문항에 어떻게 반영하고 문항화할 것인가? 이 두 가지 논의를 기초로 각 요소별 실제 문항의 유형을 정리하고자 하였다. 연구자는 평가 문항을 제작하기 이전에 교육과정의 내용 영역과 Bloom이 제시 한 인지적 영역의 단계별 행동 영역, 다양한 문항 형식을 잘 조화하는 것이 새로 운 학습 요소에 적절한 문항 유형을 만드는 이론적인 기초라고 판단하였다. 즉, 새롭게 제시된 학습 요소를 Bloom이 제시한 지식, 이해, 적용, 분석, 종합, 평가의 각 단계로 목표를 세분화하고 이에 해당하는 문항을 기존에 개발된 문항과 자체 개발한 문항으로 예시하였다. 이를 통해 새로운 학습 요소에 어울리는 평가 문항 을 유형별로 정리하여 평가의 전문성을 향상시키고자 하였다.

자동차 시트의 만족도 평가방법은 디자인을 평가하는 방법에서부터 출발하여 완충시스템과 재료를 평가하는 기계적 방법을 지나 인간의 주관적인 감정을 평가하는 현재까지 이르렀다. 국외에서는 지난 10여 년간 자동차 시트의 만족도 평가를 위한 수많은 연구가 진행 되었고, 2006년에 설문지에 기반을 둔 통계적으로 신뢰할 만한 평가방법이 만들어져 외국에서 널리 사용되고 있다(Baba 등, 2008). 그러나 우리나라에서는 아직까지 이 방법이 활용되지 못하고 있는 실정이다. 따라서 본 연구에서는 Smith 등 (2006)의 연구방법을 중심으로 기존 연구를 분석하여 한국인에 적합한 평가 설문지를 새로 개발하였다. 6명의 자동차회사 및 시트 전문회사의 전문가들의 의견을 반영하여 기존연구에서 감성평가 항목이 중복되어 있거나 우리나라에는 적합하지 않는 항목은 제외시키고 유사한 항목들은 통합 하여 36개의 평가항목을 새로 개발하였다. 이들 항목은 유사성을 고려하여 대분류, 중분류, 소분류로 분류하였다. 36개 평가항목은 중요도가 다르기 때문에 계층화분석법(AHP)을 사용하여 평가 항목의 중요도를 결정하였다. 본 연구에서 개발된 자동차 시트 만족도 설문지는 우리나라에서 생산되는 자동차 시트의 주관적 감성 평가에 널리 활용될 수 있을 것이다.

A large number of foreign students enroll at Korean universities each year. Although a good command of the Korean language is crucial for them to be successful in their studies, and both university authorities and teaching staff now agree that students’ language ability needs to be tested before their admission, a valid and reliable test of academic Korean is still to be developed. The aim of this paper was twofold: to determine the Korean language proficiency level and language task types that are necessary to succeed at the university level in Korea; and to determine test specifications that could be used by examiners to appraise university candidates’ language skills. To develop such specifications, Common European Framework (CEF) descriptors of language proficiency were used. These descriptors can be used as indicators showing which language tasks a candidate should be able to do at a certain level. To create test specifications, academically relevant descriptors were selected and task types associated with each were analyzed. Many descriptors associated with the B2 level of the CEF were used to determine the language achievement level necessary for university students in Korea. Information about linguistic input and output associated with each language task type was also gained and applied from CEF descriptors.

본 연구에서는 지구과학 지식과 창의력을 동시에 적용해야 해결할 수 있는 지구과학 창의력을 평가할 수 있는 문항의 개발 방법을 제시하고자 하였다. R&D과정을 거친 본 연구의 결과는 첫째, 조작적 정의를 통해 창의력과 과학창의력간의 인지능력 차이를 명료화하였고 둘째, 과학창의력을 구성하는 하위 요소들 중에서 문항 개발이 가능하다고 판단된 유창성, 융통성, 정교성, 독창성을 선정하여 각각에 대한 조작적 정의를 내린 후 각 요소들에 대한 평가와 채점의 준거를 제시하였다. 셋째, 평가도구의 구비 조건인 타당도, 신뢰도, 변별도, 난이도를 검증하기 위하여 3번의 현장검증을 실시하였으며, 본 연구에서 개발한 지구과학창의력 평가도구는 각 하위 요소별로 2문항씩 총 8문항으로 구성되어 있다. 넷째, 문항합치도 지수 평균은 .99, 문항 내적 합치도 지수인 Cronbach α값은 .79, 각 문항별 평가자간 신뢰도는 0.78,각 하위 요소별 평가자간 신뢰도는 0.75, 변별도 지수인 점이연상관 지수는 .19, 문항 난이도 지수는 .00이었다. 이와 같이 평가도구의 구비조건들이 허용 범위 내에 있는 것으로 볼 때 본 연구에서 개발한 지구과학 창의력 평가도구는 유용한 것으로 판단할 수 있다.

본 연구의 목적은 컴퓨터 기반 문제해결력 평가 과학 문항을 개발하는 것이다. 컴퓨터 기반 평가의 장점을 살려 컴퓨터와의 다양한 상호작용 활동을 통해 문제해결 과정을 반영한 평가 문항을 개발하고자 하였다. 선행 연구를 바탕으로 문제해결 과정을 문제 이해, 계획 수립, 계획 실행, 결과 평가 4단계로 설정하고, 과학과 문제해결력 평가요소를 선정하였다. 평가 대상은 중학교 3학년이며 웹과 플래시를 기반으로 과학적 지식을 문제해결에 활용하는 능력을 평가하는 ‘건강검진 결과 확인 및 처치’ 단위문항과 전략 수립과 탐구활동 수행 능력을 측정할 수 있는 ‘롤러코스터 설계’ 단위문항을 개발하였다. 개발된 문항은 시뮬레이션과 같이 컴퓨터 구현에 효과적인 문제 상황을 사용하였으며, 컴퓨터와의 상호작용을 통해 문제해결 과정 정보를 제공, 평가할 수 있도록 하였다. 또한 도움말 및 적절한 피드백 제공으로 흥미와 동기를 유발할 수 있도록 하였으며, 가능한 한 ICT 활용 능력과 선수 지식의 영향을 최소화 하였다.