HNS(Hazardous and Noxious Substances)는 해양환경에 유입될 경우 인간 및 해양생물에게 해를 끼치거나, 해양시설에 부식 등의 손상을 입히거나 기타 해역의 이용을 방해할 수 있다. HNS의 규제나 관리를 위해서는 과학적인 방법을 통하여 우선순위 대상의 선정이 필요하며 이러한 방법론으로 CRS(Chemical Ranking and Scoring)기법이 전세계적으로 개발되어 사용되고 있다. 본 연구에서는 해양산업시 설로부터 해양환경으로 배출되는 HNS의 체계적 관리를 목적으로 국내외 CRS 체계를 비교 분석하였으며, 이를 통하여 우선순위 선정 도 출체계를 확립하고 연구대상 지역 및 대상시설을 선정하고 우선순위 선정체계 주요인자를 도출하였다. 또한 주요인자별 세부인자 및 정 량적 배점체계를 구축하였다. 주요인자는 각각 사회적 관심과 이슈(20점), 물질거동(10점), 노출가능성(30점), 독성(35점), 해양이용에의 영 향(5점)을 상대적으로 부여하였으며, 독성과 물질거동 세부인자의 곱을 통하여 100점만점으로 환산가능하도록 적용하였으며, 불확실성점 수(Uncertainty score)와 불확실성 비율(Uncertainty ratio)와 혼합물에 대한 고려방안을 제시하였다. 본 연구결과는 해양산업시설로부터 배출/ 유출되는 HNS 관리를 위하여 우선순위 선정시 활용될 수 있을 것으로 기대된다.

Studies on automatic scoring systems in writing assessments have also evaluated the relationship between human and machine scores for the reliability of automated essay scoring systems. This study investigated the magnitudes of indices for inter-rater agreement and discrepancy, especially regarding human and machine scoring, in writing assessment. The mean of the overall population correlation between automated and human scoring in essay writing was .78. The overall common d effect size was 0.001. Results from this meta-analysis indicated a strong relationship with no discrepancies between automated and human scoring. Both the I2 and Q values suggested that the population correlation values studied seemed to be heterogeneous, in contrast to homogenous d effect sizes. Therefore, it is necessary to investigate the sources of the between-studies variations for r correlations. Practical implications for ways of reporting results of automatic-scoring systems research and limitations of the study are also discussed.

This study investigated the feasibility of adopting an automatic scoring system (ASS) in a domestic English-speaking education context. Scope, test items, assessment criteria, scoring methods, and reporting strategies of six overseas English-speaking tests utilizing ASSs were examined. Moreover, a comparative analysis was conducted to identify disparities between ASS-based and non-ASS-based speaking tests. Findings were: 1) some ASS-based tests utilized ASS technology throughout the assessment, while others adopted a hybrid scoring system involving human raters; 2) compared to non-ASS-based tests, ASS-based tests used more test items targeting low-level skills such as sound and forms but fewer test items targeting conversation and discourse level skills; 3) pronunciation, fluency, and vocabulary were widely employed as evaluation criteria with sparse use of organization, content, and task completion in most ASS-based tests; 4) differences were minimal in assessment criteria application and score calculation between ASS-based and non-ASS-based tests; and 5) some ASS-based tests provided criteria-specific results and feedback with total scores and proficiency levels.

본 연구에서는 동력수상레저기구 조종면허의 기존 수기채점방식을 전자채점방식으로 전환할 수 있도록 실기시험항목을 분석하여 현재의 실기시험 시스템의 개념을 해치지 않는 범위 내에서 디지털화할 수 있는 방안을 모색하고, LiDAR센서와 WAVE통신을 통한 전자채점 시스템을 개발했다. 연구를 통해 얻은 결과는 다음과 같다. 첫째, 시험선에서는 LiDAR 및 시험관 평가입력장치를 통해 입력된 채점 데이터가 통합처리장치에서 WAVE통신을 통해 육상 관제센터로 전송되어 응시자의 데이터를 저장/관리할 수 있는 시스템을 구축 및 검증했다. 둘째, 사행 과제를 평가함에 있어서 기존에 목시관측 또는 막대기를 사용한 것을 대신하여 LiDAR를 이용함으로써 정확한 거리측정이 가능해졌고, 정확한 거리정보를 시험선 통합처리장치를 통해 시험관 평가입력장치에 신속하게 표출했다. 셋째, 시험선에서 취 득한 평가점수 데이터를 육상 관제센터로 유실없이 고속으로 전송하기 위해 활용한 WAVE통신에서 원활한 전송 및 처리가 가능함을 확인했다.

This paper aims to analyze the scores assigned to compositions of Korean as a foreign language (KFL) in terms of the many-facet Rasch measurement (MFRM) model. The MFRM computer program Facets has recently been updated and this research uses it in order to investigate the scoring reliability of KFL writing test. For the research data the Korean compositions written by 270 KFL learners were collected and rated by eleven Korean raters. At first a brief theoretical basis for the Facets is introduced based on the MFRM model. Then focusing on the raters’ characteristics such as rating consistency and fitness in terms of the rating scheme of content/organization and language, the collected scores of KFL compositions are analyzed and the analysis results are interpreted. As a result, a few cases of unreliable scoring of Korean raters are identified, but it appears that the ratings of Korean raters for a standardized KFL writing test are generally reliable. Finally it is suggested that the Facets program of MFRM offer many potential advantages for validating the scoring reliability of Korean writing assessment.

This study identified problems of the existing ecosystem-based fisheries assessment approach, and suggested new methods for scoring risk and for the estimation of fishery risk index. First, risk scores of zero to two for target and limit reference points for each indicator were replaced by those of zero to three, and the risk scores were calculated from new formulae which were developed in this study. Second, a new method for estimating fishery risk index (FRI) was developed in this study, considering the level of indicators. New method was applied to the Korean large purse seine fishery, large pair trawl fishery and drag net fishery. More precise and detailed risk scores were obtained from the new method, which can explain the risks by the wider range of both risk levels for 'better than target' and 'beyond limit'. The new method for estimating FRI could avoid the basic problem related with duplicated computations of fishery-level indicators, which improved the estimated FRI to be more accurate. Also, a method for estimating variance of FRI using the bootstrap was proposed in this study.

Improve motivation for physical education classes physical education as a way to encourage active participation in class, cause to apply a improve Scoring system to determine on the academic achievement, seeing that purpose. To this end, the third year of

The primary purposes of this study are to identify the characteristics of modeling a rater training program and to develop an efficient training model at the University of Illinois at Urbana-Champaign. For these purposes, this study proposes that a rater training program should be standardized by accomplishing innovative systematic changes that consider multiple aspects. This study utilized a modified version of Lynch’s program evaluation model (1996, 2003) to collect evidence from different sources, including data drawn from the entire evaluation process ranging from needs analysis to a feedback system based on the final product of the evaluation. Mixed methods were proposed for the data analysis. Quantitative data analysis was proposed for analyzing the surveys, and the rating corpus. Qualitative and document analysis were also essential for analyzing relevant training materials and workshop observation as well as exploring the degree of change in the perceptions of the raters. The results of this study provide educational implications for language testing. The salient value of this study is the collaboration with stakeholders in a test administration situation. Raters’ concerns and challenges were clearly identified, shared, and resolved with the practitioners.

현재 한국에서는 거짓말탐지검사의 채점과정에서 '일관성' 기준을 사용하고 있다. 본 연구에서는 현재 한국에서 사용하고 있는 거짓말탐지검사 기법의 채점 기준 중 '일관성' 기준의 실증적 타당성을 검증하고자 하였다. 구체적으로는 한국에서 이루어지고 있는 거짓말탐지검사의 채점과정에서 '일관성'을 실제로 고려하고 있는지의 여부를 검증한 후 '일관성'을 고려하여 채점하는 경우와 그렇지 않은 경우에서 거짓말탐지검사 결과의신뢰도(Cronbach' α)와 정확성이 어떻게 달라지는지를 파악하였다. 본 연구는 실제 현장에서 '일관성'을 고려하여 채점 한 원채점자료와 '일관성'을 고려할 수 없도록 가공하여 채점한 실험채점자료를 분석하였다. 원채점자료와 실험채점자료는 동일한 검사관들이 채점하도록 하였다. 그 결과 현재 한국에서는 거짓말탐지검사의 채점과정에서 '일관성'을 고려하고 있는 것이 확인되었다. 신뢰도는 원채점자료가 .93, 실험채점자료가 .91로 비슷한 수준이었다. 정확성은 검찰의 기소 여부와 거짓말탐지검사 점수에 의한 판정을 지표로 사용한 잠재계층분석(N=182)의 결과를 실제 거짓말 여부를 판단하는 기준으로 사용했을 때 원채점자료에서 76.9%, 실험채점자료에서 61.5%로 나타났다. 논의에서는 이러한 결과가 나타난 원인과 한국에서 사용하고 있는 '일관성' 기준이 거짓말탐지검사 채점에서 갖는 유용성에 대하여 논의하였다.

Various studies have been conducted to minimize the subjectivity and increase the accuracy in assessing written texts, and the present study focused on the scoring rubrics which were the basic criteria for evaluating writing. Three different scoring rubrics (holistic, analytic and multiple-trait scoring method) were compared in evaluating argumentative essays written by Korean high school students. The present study aims to investigate the rater-reliability of the three scoring methods, holistic, analytic, and multiple-trait scoring methods. Scores of the five raters which were obtained from using the three scoring methods were compared. It was found that there were significant mean differences in the three scoring methods. Raters gave the relatively low scores when they used the holistic scoring. Next, the highest inter-rater reliability was found in the multiple-trait scoring. All the three scoring methods showed an acceptable level of reliability above .07. However, raters showed the highest reliability when they used a multiple-trait scoring rubric. Also, high correlation was found among components of analytic and multiple-trait scoring methods, indicating that the multiple-trait scoring rubric can replace the analytic scoring rubric. Finally, raters expressed a favor over the multiple-trait scoring. The result of this study suggests some implications for writing assessment in Korean secondary English classes.

이 연구의 목적은 마인드 맵의 채점 기준을 개발하는 것이다. 이 연구에는 평택시 소재 한 초등학교 4학년 2개 학급 학생들이 참여하였다. 학생들은 마인드 맵 작성 기초 훈련을 받고, 과학 단원 2개를 배우는 동안 마인드 맵 4개를 작성하였다. 마인드 맵을 채점하기 위해서 채점기준을 개발하였다. 채점기준의 채점자간 신뢰도를 검증하기 위하여 표집한 마인드 맵을 초등 현직 교사 3인이 채점하고, 채점자간 상관계수를 산출하였다. 연구 결과 중심원, 가지, 표현의 세 영역으로 구성된 마인드 맵 채점 기준을 개발하였다. 채점 기준의 신뢰도는 높음에서 매우 높음의 범위를 보였다.

The problem of system reliability is very important issue in the digitalized nuclear power plant, because the failure of its system brings about extravagant economic loss, environment destruction, and fatal damage of human. Therefore the purpose of this s

본 연구는 갑상샘 초음파에서 K-TIRADS 분류와 K-TIRADS 분류에 따른 Different risk group의 조합을 이용한 방법이 양성과 악성 결절의 감별진단에 유용한지를 평가하였다. 갑상샘 초음파를 시행한 210명을 대상으로 하였으며, 세침흡인세포검사 결과를 바탕으로 후향적인 분석을 하였다. 갑상샘 결절의 양성과 악성에 따른 K-TIRADS와 Different risk group의 점수체계의 차이 분석은 카이제곱 검정을 하였다. ROC 곡선 분석을 통해 악성 결절의 예측을 위한 K-TIRADS 점수와 Different risk group의 최적 cut off 값을 결정하였다. 양성과 악성 결절 군의 분류에 따른 K-TIRADS와 Different risk group의 차이검증 결과에서 각각 통계적으로 유의한 차이를 보였다(p=.001). ROC 곡선 분석에서 양성과 악성 결절의 예측을 위한 K-TIRADS에 따른 점수분류에서는 AUC 0.786, Cut-off value> 2를 나타내었으며, Different risk group에서는 AUC 0.640, Cut-off value> 2로 결정되었다(p=.001). 갑상샘 초음파에서 결절을 발견했을 때 양성과 악성 갑상샘 결절을 감별하는 데 도움을 주는 K-TIRADS에 따른 분류체계가 Different risk group에 따른 분류체계보다 갑상샘 결절의 감별진단에 도움을 줄 것으로 생각하며 K-TIRADS에 따른 분류체계를 적용하면, 불필요한 세포 검사를 줄일 수 있고, 악성 결절의 조기발견에 도움이 될 것으로 생각된다.

이 연구의 목적은 다국면 Rasch 모형을 활용하여 타당성과 신뢰성을 갖춘 국어과 수업 실연 평가 도구를 개발하는 것이다. 수업 실연 평가의 준거는 수업 전문성에 대한 개념과 수업 평가 관련 선행 연구들을 토대로 하여 ‘학습 목표와 교수-학습 과정의 연계성’, ‘교실 상호작용’, ‘교사의 언어· 행동 자질’의 3가지 하위 요인을 선정하고 그에 따른 14가지 준거의 5점 척도 평가 도구를 개발하였다. 중등 예비 국어 교사 대상의 수업 실연 평가 도구의 타당성을 검증하기 위해 국어교육과 2학년 재학생 11명을 대상으로 현직 국어 교사 4인이 수업 실연에 대한 평가를 실시하였다. 평가 결과는 다국면 Rasch 모형을 근거로 제작된 Facets Minifac을 활용하여 분석하였다. 연구 결과, 수업 실연 평가에 나타난 평가자의 엄격성 차이는 –1.34 ～ -.99 logit까지로 통계적으로 유의했으며 평가자간 신뢰도가 높은 것으로 드러났다. 또한 평가자 내 일관성은 내적합도 기준(0.5～1.5 logit)에 따라 적절한 점수를 부여하고 있음을 보였다. 수업 실연 평가 범주별 타당성에 대한 분석 결과, 난도의 차이는 통계적으로 유의하였으며(p<0.04) 피험자가 느끼는 곤란함은 모든 평가기준에서 동일하였다. 평가자와 평가기준의 편향을 분석한 결과 유의미한 편향은 도출되지 않아 평가 기준을 해석 및 적용하는 기준이 신뢰할 수 있음을 밝혔다. 평가 도구 5점 척도 적합도를 분석한 결과 2점 척도의 적합도에 다소 문제가 있으나 피험자와 평가자 수가 극히 제한적이었으므로 추후 피험자 수를 확대하여 추가 검증을 수행할 필요가 있다. 본 연구는 국어 수업 실연의 신뢰할 수 있는 객관적이고 정량적인 수업 실연 평가 도구를 개발하고 타당화함으로써 예비 국어 교사의 수업 전문성을 신장하고 학교 교육의 질적 제고를 가능하게 한다는 점에서 의의를 지닌다.

This study was conducted to establish scores according to the importance levels of each HACCP evaluation item in cattle farm. The importance levels and score of each HACCP evaluation item was derived through the non-compliance rate and severity levels of hazard. In order to change the score criteria according to the importance of each HACCP evaluation item, we analyzed the importance of each HACCP evaluation item by using the portfolio mapping method according to the occurrence frequency and severity levels of hazard. The scores were classified into 3 point, 2 point, and 1 point, respectively, by classifying the importance of each category as ‘high’, ‘middle’ and ‘lower’. Accordingly, we have established a now scoring system of each HACCP evaluation item through this study. Through the result of this study, the objectivity of the comparative evaluation was verified by implementing the currently used HACCP evaluation item to the cattle farm. In conclusion, Implementation of the result of this study to cattle farm may help to increase the objectivity and also improve more safety and hygienic cattle management and raw milk production.

Recently many administrative institutes try to improve the viability of rural villages. For increasing the viability, not only infrastructures but internal vitality is necessary in rural villages. Nonetheless, most of governmental projects have been focused on infrastructures. For this reason, RDA(Rural Development Administration) designed and performed the RHL(Rural Healthy and Longevity village) project. This RHL project is not easy to evaluate the outcome because it consists of very intangible project items. In this paper, we developed a scoring model to evaluate the result of the RHL project. The scoring model based on DEA(Data Envelopment Analysis) was suggested to evaluate the quantity of personal activities in each village. Personal activities are classified into five categories: regional life, social life, productive life, outdoor life and indoor life. Evaluating indices of each category are developed and weighting values are evaluated by AHP(Analytic Hierarchy Process). The developed model was applied to Kumsan village and examined its applicability.