해양사고의 감소를 위하여 국제해사기구(IMO) 체약국 정부에서 IMO 협약 및 규정에 대한 이행은 필수적이다. IMO 협약이행코 드(III Code)에서는 각 주관청에게 협약이행을 주기적으로 점검 및 평가하여 개선하는 체계를 갖추도록 요구하고 있으며 성과지표를 평가방 법에 포함하도록 요구하고 있음에 따라 회원국은 자국의 협약이행 평가를 위한 성과지표를 개발할 필요가 있다. 이에, 본 논문의 목적은 주관청의 협약이행 수준을 계량화하여 평가할 수 있도록 대표적인 평가측정 기법인 균형성과표(BSC) 및 핵심성과지표(KPI)를 활용한 평가 모델을 개발하여 제시하는 것이다. 논문의 결과로서, III Code 요건에 BSC 개념을 적용한 III-BSC 관점에서 수립된 비전의 달성을 위해 반드 시 확보해야 하는 핵심성공요인(CSF)을 도출하고, 도출된 CSF를 측정할 수 있도록 평가영역별 후보 KPI를 개발하여 4계층의 초기 연구모형 을 설계하였으며, SMART 기법을 활용한 조사설계를 통해 KPI의 타당성을 검증하여 연구모형을 완성하였다. 또한, 개발한 연구모형을 기반 으로 AHP 분석을 통해 각 계층별 요소의 가중치를 도출하여 BSC 기반 IMO 협약이행에 대한 평가모델을 개발하여 제시하였다. 개발된 평 가모델이 정량적으로 IMO 협약이행 수준을 파악하는 도구로 활용될 수 있으며, 이를 통해 IMO 회원국들의 협약이행 수준 개선에 기여할 수 있을 것으로 기대한다.