Structural Risks of AIpowered Public Services and Developing Human Rights–Based Governance : A Case Study of SyRI and Robodebt
본 연구는 공공서비스 AI가 인권을 침해하는 구조적 메커니즘을 분석하고, 인권기반 거버넌스 모델을 제시하는 것을 목적으로 한다. 공공서비스 AI의 권리 침해는 단순한 기술 결함이 아닌 제도 설계와 운영 과정에서 구조적으로 발생한다. 이에 본 연구는 인권기반접근(HRBA)을 이론적 토대로 삼아, 네덜란드 SyRI와 호주 Robodebt 사례를 비교 분석하였다. 분석 결과, 공공서비스 AI의 인권 침해는 3단계 메커니즘 을 통해 형성되고 누적된다. 첫째, 설계 단계에서 행정 효율성 중심의 목표가 우선되면서 권리 보호 장치가 충분히 내장되지 못한다. 둘째, 운영 단계에서 자동화된 판단이 알 권리와 이의제기권을 실질적으로 약화 시킨다. 셋째, 결과 단계에서 사회경제적 취약 집단에 감시와 제재가 불균형하게 집중된다. 이러한 발견에 기초하여 본 연구는 공공서비스 AI를 국가 권력 행사의 새로운 인프라로 재정의하고, 인권영향평가(HRIA) 를 핵심으로 하는 거버넌스 체계를 제안한다. 이는 기존의 위험기반 규제가 간과한 절차적 권리 보장과 구조적 차별 통제를 통해 공공서비스 AI 거버넌스의 인권적 공백을 보완하는 데 기여한다.
This study examines how the artificial intelligence (AI) in certain public sectors might have an impact on human rights through its interactions with administrative procedures, data structures, and oversight arrangements. By drawing on and analyzing the cases of SyRI in the Netherlands and Robodebt in Australia, the study identifies three recurring mechanisms: limited normative considerations at the design stage, constraints on procedural rights during system operation, and the reinforcement of existing vulnerabilities at the outcome stage. The findings suggest that risks associated with the AI in public sectors go beyond technical biases and may emerge cumulatively through institutional and procedural dynamics. Based on these insights, the study proposes a human rights-based governance framework that incorporates HRBA principles across the design, implementation, oversight, and remedy dimensions of the AI in public sectors.