인공지능은 학습, 추론, 판단, 이해, 행동 등 인간의 지적 능력의 일부 또는 전체가 컴퓨터 프로그램을 통하여 구현된 것을 말한다. 따라서 소프트웨어가 매우 중요하다고 할 것이다. 그럼에도 불구하고 인공지능의 소프트웨어와 관련하여서는 많은 연구가 이루어지지 않고 있다.
지원이 종료된 운영체제가 적용된 인공지능을 사용하다가 사고가 나는 것을 방지하기 위하여 운영체제의 지원이 종료되기 전 최신 운영체제로 업데이트해주는 것이 필요하다. 이러한 자동업데이트가 가능하도록 하기 위해서는 사전에 소비자에게 자동업데이트에 관한 동의를 얻어야 한다. 이러한 동의는 자유롭게 이루어져야하며, 구체적이고, 충분한 정보를 제공받았어야 하며, 명백한 표시여야 한다. 또한 이러한 자동 업데이트를 위한 동의는 사전에 포괄적으로 이루어질 수밖에 없을 것으로 보이고, 이러한 방식으로 동의를 얻는 것은 ‘약관’에 해당한다고 할 수 있다. 따라서 약관법의 적용을 받는다. 뿐만 아니라 소프트웨어의 안전을 위하여 지속적인 업데이트는 필요하기 때문에 자동업데이트에 반대한 경우라도 업데이트가 있을 때마다 개별적인 동의를 받는 등의 해결방법이 필요할 것으로 보인다. 만약 개별적인 동의를 얻는 과정에서 업데이트를 거부하여 업그레이드되지 않은 소프트웨어의 오류로 인하여 인공지능 등이 손해를 발생시키는 경우 그 손해에 대한 배상책임은 소유자가 지도록 하는 것이 타당하다.
제조자가 업데이트를 하지 않는 경우 소비자가 매도인에게 하자담보책임에 기하여 업데이트를 청구할 수는 있다. 그러나 단순 매매만을 한 매도인에게 업데이트를 청구하는 것은 바람직하지 않고, 소프트웨어에 관하여 가장 잘 알고 있는 것이 제조업자이기 때문에 제조업자에게 업데이트를 청구하는 것이 가장 바람직할 것이다.
그러나 인공지능의 소프트웨어는 이제 막 발전하고 있는 단계로 제조업자가 제조물을 공급한 당시의 과학·기술 수준으로는 결함의 존재를 발견할 수 없었다는 이른바 ‘개발위험의 항변’을 주장할 가능성이 크다. 이러한 점에서 더욱이 제조물관찰의무의 필요성이 대두된다. 그러나 우리나라의 제조물책임법은 제조물관찰의무 위반의 효과에 관해서만 규정하고 있을 뿐 의무의 이행방법에 관하여는 규정하고 있지 않다. 따라서 이러한 부분의 구체화가 필요할 것으로 보인다. 따라서 적극적 제조물관찰의무의 구체적인 이행방법에 관한 규정이 필요할 것으로 보이고, 이러한 적극적 제조물관찰의무의 이행 방법으로 설계의 변경과 회수의무의 법제화가 필요할 것으로 보인다.
또한 제조물책임법은 무과실책임을 그 원칙으로 하고 있어 제조자에게 큰 부담을 지우고 있다. 게다가 전술한 바와 같이 제조물관찰의무의 이행방법 중 하나인 회수의무와 설계의 변경을 의무화하는 경우 그 부담은 더욱 커질 것으로 보인다. 이러한 부담은 결국 제조물 즉, 인공지능의 가격을 높이게 만들 것이며 이는 소비자의 부담으로 이어질 것이다. 이러한 문제를 해결하기 위하여 제조물배상책임보험의 의무화가 필요하다.