인공지능은 학습, 추론, 판단, 이해, 행동 등 인간의 지적 능력의 일부 또는 전체가 컴퓨터 프로그램을 통하여 구현된 것을 말한다. 따라서 소프트웨어가 매우 중요하다고 할 것이다. 그럼에도 불구하고 인공지능의 소프트웨어와 관련하여서는 많은 연구가 이루어지지 않고 있다. 지원이 종료된 운영체제가 적용된 인공지능을 사용하다가 사고가 나는 것을 방지하기 위하여 운영체제의 지원이 종료되기 전 최신 운영체제로 업데이트해주는 것이 필요하다. 이러한 자동업데이트가 가능하도록 하기 위해서는 사전에 소비자에게 자동업데이트에 관한 동의를 얻어야 한다. 이러한 동의는 자유롭게 이루어져야하며, 구체적이고, 충분한 정보를 제공받았어야 하며, 명백한 표시여야 한다. 또한 이러한 자동 업데이트를 위한 동의는 사전에 포괄적으로 이루어질 수밖에 없을 것으로 보이고, 이러한 방식으로 동의를 얻는 것은 ‘약관’에 해당한다고 할 수 있다. 따라서 약관법의 적용을 받는다. 뿐만 아니라 소프트웨어의 안전을 위하여 지속적인 업데이트는 필요하기 때문에 자동업데이트에 반대한 경우라도 업데이트가 있을 때마다 개별적인 동의를 받는 등의 해결방법이 필요할 것으로 보인다. 만약 개별적인 동의를 얻는 과정에서 업데이트를 거부하여 업그레이드되지 않은 소프트웨어의 오류로 인하여 인공지능 등이 손해를 발생시키는 경우 그 손해에 대한 배상책임은 소유자가 지도록 하는 것이 타당하다. 제조자가 업데이트를 하지 않는 경우 소비자가 매도인에게 하자담보책임에 기하여 업데이트를 청구할 수는 있다. 그러나 단순 매매만을 한 매도인에게 업데이트를 청구하는 것은 바람직하지 않고, 소프트웨어에 관하여 가장 잘 알고 있는 것이 제조업자이기 때문에 제조업자에게 업데이트를 청구하는 것이 가장 바람직할 것이다. 그러나 인공지능의 소프트웨어는 이제 막 발전하고 있는 단계로 제조업자가 제조물을 공급한 당시의 과학·기술 수준으로는 결함의 존재를 발견할 수 없었다는 이른바 ‘개발위험의 항변’을 주장할 가능성이 크다. 이러한 점에서 더욱이 제조물관찰의무의 필요성이 대두된다. 그러나 우리나라의 제조물책임법은 제조물관찰의무 위반의 효과에 관해서만 규정하고 있을 뿐 의무의 이행방법에 관하여는 규정하고 있지 않다. 따라서 이러한 부분의 구체화가 필요할 것으로 보인다. 따라서 적극적 제조물관찰의무의 구체적인 이행방법에 관한 규정이 필요할 것으로 보이고, 이러한 적극적 제조물관찰의무의 이행 방법으로 설계의 변경과 회수의무의 법제화가 필요할 것으로 보인다. 또한 제조물책임법은 무과실책임을 그 원칙으로 하고 있어 제조자에게 큰 부담을 지우고 있다. 게다가 전술한 바와 같이 제조물관찰의무의 이행방법 중 하나인 회수의무와 설계의 변경을 의무화하는 경우 그 부담은 더욱 커질 것으로 보인다. 이러한 부담은 결국 제조물 즉, 인공지능의 가격을 높이게 만들 것이며 이는 소비자의 부담으로 이어질 것이다. 이러한 문제를 해결하기 위하여 제조물배상책임보험의 의무화가 필요하다.

인공지능 시대가 점점 다가오고 있다. 각국 정 부와 기업이 앞다투어 투자하고 다양한 인공지능 제품 및 서비스를 선보이면서, 인공지능 알고리즘의 오작동, 데이터로 인한 차별행위 발생 등으로 인한 사고가 등장하기 시작하였다. 이런 사고는 앞으로 더 많이, 더 자주 일어날 것이다. 문제는 인공지능 사고에 대한 손해배상책임을 묻기 쉽지 않다는 것이다. 인공지능 사고는 데이터를 활용하여 스스로 수많은 학습 과정을 통해 결과를 도출하는 기계학습 및 딥러닝의 특성상 피해자가 사고 원인을 파악하여 가해 행위를 특정하고 그 손해를 입증하기 쉽지 않다. 기업의 알고리즘 비공개 및 분산된 소프트웨어 개발 방식 은 손해 원인의 입증을 한층 더 어렵게 만든다. 또한 피해자가 손해의 원인을 밝힌다고 하더라도 데이터로부터 정보를 추출하고 확률적인 판단을 내리는 인공지능 기술의 특성상 정확한 결과 예측이 어려워 개발자의 과실 및 과실과 손해 사이의 인과관계가 부정될 가능성이 높다. 이와 같은 이유로 인공지능 사고의 피해자가 그에 대한 보상을 받기 어렵다면, 이는 결국 기술에 대한 불신으로 이어져 인공지능 기술의 확산이 저해될 것이다. 지속 가능한 인공지능 시대를 위해서 는 개발자 등 관련자가 인공지능 동작에 대한 설명 가능성 및 투명성을 제고하도록 그들에게 일정한 의무와 책임을 부과하여야 한다. 일반적으로 인공 지능의 예측 정확도와 설명가능성은 반비례하기 때문에, 성능뿐만 아니라 설명가능성을 위한 연구개발 역량을 배분하도록 제도를 마련할 필요가 있다. 따라서 GDPR과 같이 개발자등에게 인공지능 동작을 설명할 행정 의무를 부과하거나 인공지능 사고에 대해서 손해배상 청구 시 증명책임을 전환하는 방안을 고민할 시점이다. 이와 같은 법제 방향은 개별적 사고에서 손해를 공평하고 타당하 게 분담하게 할 뿐 아니라, 제조자등이 본인에게 부과된 입증을 다하기 위해 인공지능의 판단 과정 및 근거를 설명하기 위한 기술을 모색하게 함으로써 결과적으로 인공지능의 불투명성을 완화 하고 설명가능성을 높일 것이다. 실제로 GDPR에서 인공지능 동작에 대한 설명요구권이 논의되기 시작하면서 설명가능 인공지능에 대한 연구가 활 발히 진행되기 시작하였다. 인공지능 사고에 대한 책임을 어떻게 분담하여야 혁신은 장려하면서 위험을 방지할 수 있을지, 인공지능이 사회에서 신뢰를 쌓을 수 있으려면 어떠한 기준을 설정해야 할지 앞으로 계속 찾아가야 할 것이다.

인공지능의 형사책임에 대해서는 긍정설과 부정설이 대립하지만, 현재의 약한 인공지능 단계에서는 인공지능의 형사책임은 인정되지 않는다. 사용자가 인공지능에게 범죄를 지시한 경우에는 그 사용자가 고의범으로 책임을 져야 할 것이고, 인공지능의 오작동이나 예상치 못한 행동에 대해서는 인공지능 설계, 제조자가 과실범으로 책임을 져야 할 것이다. 이를 면하기 위해서는 인공지능 설계, 제조자는 그러한 해악을 회피하기 위한 제조물책임 법리에 따른 자신의 주의의무를 다하여야 한다. 그러나, 강한 인공지능이 범죄를 저지른 경우, 우리는 인공지능에게 형사책임을 지우는 것을 생각해 보아야 할 것이다. 이를 위해서는 인간의 의사자유를 전제로 하는 비난가능성이라는 전통적 책임개념의 수정을 고려하여야 한다. 인간으로 하여금 행위를 하게 하는 것은 인간의 의사가 아니라 뇌의 활동(준비전위)이라는 21세기 뇌과학 연구 성과는 인간 중심의 전통적 책임개념에 대한 수정을 제안하였는데, 인간의 의사자유라는 허구적 가정을 제거하고 뇌과학적 사후진단방법을 통해 행위자의 특성과 환경을 고려한 책임과 형벌을 정해야 한다는 것이다. 이는 인간이 아닌 인공지능의 책임과 관련하여 중요한 시사점을 줄 수 있다. 뇌과학에 기초한 새로운 책임이론 하에서, 의사자유가 인정되지 않는 인공지능에게도 책임을 물을 수 있고, 처벌, 응보가 아닌 치료, 개선에 목적을 둔 실효성 있는 형벌제도의 고안이 가능하다. 한편, 인간에 적용되는 기존의 형벌제도의 존엄성을 보존함으로써 인간과 인공지능이 형사사법 체계 하에서 상호 공존할 수 있게 한다.