본 연구의 목적은 융합적 문제해결력을 검사할 수 있는 도구를 개발하는 것이다. 이를 위해 먼저 선행연구에서 다양하게 정의된 융합적 문제해결력의 영역들을 융합적 성향, 융합적 사고, 융합적 소양 영역 측면으로 정의하였다. 37 개의 예비문항은 문제해결과 융합적 사고, 창의적 사고, 개인적 성향과 사회적 성향, 그리고 융합적 소양을 포함한 각 영역에 대한 선행연구에 근거하여 정의된 하위 영역에 근거하여 개발되었다. 탐색적 요인분석을 통해 30개의 예비 문 항이 확정 되었다. 확인적 요인 분석 결과는 확정된 5개 요인 모델이 문항수준에서 적합한 요인구조를 가지고 있다는 것을 보여준다. 측정된 모든 문항과 요인에 대한 신뢰도 검정 결과 검사도구 전체의 Cronbach’s α값은 .963으로 매우 양호한 것으로 나타났다. 따라서 본 연구에서 개발된 융합적 문제해결 검사 도구는 통계적으로 신뢰롭다고 할 수 있다.

In the first part we aim to present a new tool to better understand implicit consumer associations, perceptions and impact. The second one is to show how this tool uncovers new and often counterintuitive insights regarding emotional percepts of soccer megastars, including Lionel Messi. BIOCODE™ is a reaction time based method, determines the strength of implicit, i.e. instinctive, immediate, automated or emotional conviction people have to things they say, such as perceptions of a brand or a celebrity, reactions to an ad, liking of a product or intent to vote for a political candidate. It captures how consumers are impacted by brands, ads, products, packages and concepts in contrast to what they overtly say in a declarative, more considered, explicit realm. In essence, we ask to answer (on-line or central location) simple questions about a brand, a person or a product. Consumers’ explicit and rational statements are important but assessing those responses in the context of the time their brains need to produce an answer gives a new perspective and competitive edge. The standardized reaction time index reveals consumers’ true and unbiased reactions. Importantly, these implicit emotional reactions tend to predict actual behavior closer than explicit rational declarations. The Implicit Association Test (IAT) - the first method based on assessing reaction times - was developed in 1998 by Anthony Greenwald to finally capture racial prejudice and other sensitive issues. Before IAT traditional paper & pencil questionnaires due to overt or hidden distortions had hard time proving the existence of racism. What is the cognitive mechanism beyond reaction time based methodology? By recording how much time a consumer’s brain needs to produce an indication of an attitude or preference we discover how easily accessible (and thus how instrumental) such emotion is. The quicker the indication is, the more accessible it gets. The foundations of this neuropsychological phenomena were first described by Donald Hebb in his ‘Consolidation of the Memory Trace’ theory (1948) and then refined by Russell Fazio in his ‘Attitude Accessibility’ model (1989), Daniel Schacter’s ‘Implicit Memory’ theory (1992) as well as Mahzarin Banaji & Anthony Greenwald in their concept of ‘Implicit Social Cognition’ (1994). Rafal Ohme and his team began working with the original, academic form of IAT. Their goal was to bridge the use of the tool to market research applications. Now with over 15 years of subsequent R&D in this area, they have created simplified, user friendly research applications that are unequaled in their ability to measure previously unanswerable questions about the degree of emotional valence or “felt intensity” that is associated with what people say. BIOCODE™ is the second generation of latency measures. Comparing with IAT - the first generation of academic reaction time methods it is: easier, simpler, clearer, looks better and there is no need for repetitions which saves a lot of precious on-line time. BIOCODE™ is based upon highly refined technology that calibrate individual response speeds and eliminate biasing variables. The technology includes: noise reduction algorithm; quality control module; context procedures; calibration. It secures the highest validity of measurements. In the test – retest validation conducted on 11 studies held internally and externally in 2009-2013 the correlations obtained ranged from r = 0,840 to r = 0,960 (conducted on various target groups of high incidence that met all the criteria for the test; demographic characteristics were controlled and groups were homogenous. Together with Manabu Mori from Rakuten Research - one of the top on-line research company – Rafal Ohme have designed the first ever cross-cultural reaction time test on soccer celebrities. Nearly 900 on-line respondents from three continents: South America, Europe and Asia were asked to indicate (on a computer screen, using a regular mouse or a key-pad) whether they agree or disagree (5-point Likert’s scale) with the attitudinal statements on specific personality traits of soccer celebrities, eg. hard working, talented, famous, loving their country. This explicit rational response has been accompanied by implicit emotional reaction. The aim of the study was to by-pass the “rationality bias” and reveal true emotional reactions about soccer celebrities including: Leo Messi, Christiano Ronaldo, Wayne Rooney, Neymar jr, Shinji Kagawa. The selected findings will be disclosed during the presentation. Concluding, BIOCODE™ is a sensitive detector of consumer ‘lip service’ that is often driven by benefit of the doubt, political correctness and simple deference to leadership brands. If we want to understand consumers, it serves to know the gap between what people say and how they feel. It is a very promising, fast growing method with established advanced applications for copy testing, tracking, brand strategy, political polling, product, package and concept testing worldwide. Moreover it is effective as a module embedded within more traditional surveys for providing a seamless integrated perspective on both explicit and implicit aspects of consumer behavior to enrich our understanding of what consumers truly feel and what drives their behavior.

본 연구에서는 고등학생들의 천문학적 공간개념 수준을 측정하기 위한 검사도구를 개발하였다. 이 검사도구는 천문학적 공간개념을 이루고 있는 기본적인 하위 요소들 (공간위치, 공간추리, 공간변화)을 평가할 수 있는 평가문항으로 구성되어있다. 개발된 검사도구는 274명의 고등학생들에게 투입되어 검증되었다. 문항 분석결과, 본 검사도구의 내용타당도는 98%였으며, 신뢰도(K-R 20)는 0.84, 정답율 52%, 변별도 지수 0.27로 나타났다. 따라서 이러한 결과는 본 검사도구가 고등학생들의 천문학적 공간개념 수준을 측정할 때 활용 가능함을 의미한다.

이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.

최근 국내에 유입하는 이민자들이 급속도로 증가하면서 국가는 잠재적인 시민을 선별하고자 이들에게 언어시험을 요구하고 있다. 그럼에도 불구하고 다문화․다 언어 분야에서 제2언어 평가나 특정 목적을 위한 한국어 평가에 관한 연구물은 많이 축적되지 않은 편이다. 본 연구의 목적은 국내에서 시행되는 귀화시험이 이주자의 한국어 능숙도, 사회 적응능력, 혹은 사회문화적 지식을 평가하기 위한 중립적인 도구로 사용되고 있는지, 아니면 사회정치적 문지기의 역할이 더 강조되고 있는지 탐색하는 것이다. 이를 위해 관련 대중매체, 정책 문서자료 등을 기반으로 이민귀화적격시험(KINAT)의 목적, 내용과 과정을 분석하고, 시험 수행에 대한 수험자들의 태도를 살펴보았다. 그 결과 귀화시험은 한국 공동체에 참여하기 위해 요구되는 언어적, 사회문화적 지식을 평가하기 보다는 사회통합과 안녕이라는 미명 하에 적격한 이민자를 선별해 내기 위한 목적으로 사용되고 있음을 확인할 수 있었다. 본 연구 결과를 토대로 향후 귀화시험의 운용과 개발에 대한 시사점을 제시하였다.