2026년 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 '인공지능기본법')이 시행되면서 AI 시스템의 개발·서비스 제공에 관한 국내 최초의 기본법적 규율 틀이 갖추어졌습니다. 그러나 AI가 이용자에게 실제로 손해를 입혔을 때 누구에게, 어떤 법리로 책임을 물을 수 있는지는 아직 많은 부분이 열려 있습니다. 이 법이 설정한 책임 구조의 현재와 한계를 짚어봅니다.

인공지능기본법이 새로 만든 규율 틀

고위험 AI와 일반 AI의 구분

인공지능기본법은 AI 시스템을 위험 수준에 따라 분류하고, 고위험 AI에 대해서는 개발자·사업자에게 더 강화된 의무를 부과하는 구조를 채택하였습니다. 고위험 AI는 사람의 생명·신체, 기본권, 핵심 인프라, 핵심 의사결정 등에 중대한 영향을 미칠 수 있는 AI를 의미합니다. 의료 진단 AI, 채용 심사 AI, 신용평가 AI, 자율주행 시스템 등이 고위험 AI의 예시로 논의됩니다.

고위험 AI 사업자에게는 투명성 확보 의무, 인간 감독(human oversight) 체계 유지 의무, 신뢰성·안전성 기준 충족 의무가 부과됩니다. 이러한 의무를 이행하지 않으면 과태료 등 행정 제재를 받을 수 있습니다. 다만 이 법이 직접 피해자의 손해배상 청구권을 규율하는 조항을 두고 있는지는 사안에 따라 검토가 필요하며, 현재로서는 손해배상 청구를 위해서는 민법 일반 법리에 의존하는 부분이 큽니다.

이용자 보호와 알고리즘 설명 의무

인공지능기본법은 AI 시스템 이용자가 자신에게 AI가 적용되고 있다는 사실을 고지받을 권리와, 중요한 결정에 대해 설명을 요청할 수 있는 권리를 규율의 방향으로 설정하고 있습니다. AI 챗봇이 사람인 척 대화하거나, 딥페이크 콘텐츠임을 표시하지 않는 행위에 대한 규제 근거도 이 법에 포함되어 있습니다.

그러나 '설명 요청권'이 실효적으로 작동하려면, 이용자가 설명을 요구할 때 사업자가 어느 수준까지 알고리즘 작동 원리를 공개해야 하는지가 명확해야 합니다. 영업비밀·기술 비밀과의 충돌 문제가 생길 수 있고, 현 단계에서는 그 경계가 법령과 하위 규정에서 충분히 구체화되어 있다고 보기 어렵습니다.

AI 손해배상 책임의 현재 — 민법과의 접점

제조물 책임과 AI

AI가 자율적으로 결정을 내려 이용자나 제3자에게 손해를 입혔을 때, 현행 법 체계에서 가장 먼저 검토되는 것은 민법상 불법행위 책임(민법 제750조)과 제조물 책임법입니다. 제조물 책임법은 '제조물의 결함'으로 인한 손해에 대해 제조업자의 무과실 책임을 규정합니다. 다만 AI 소프트웨어가 제조물 책임법상 '제조물'에 해당하는지는 아직 국내에서 명확히 정립된 판례가 없습니다. 소프트웨어를 유체동산과 동일하게 취급하기 어렵다는 점에서, AI가 일으킨 손해에 제조물 책임을 곧바로 적용하는 것은 현시점에서 한계가 있습니다.

결국 피해자 입장에서는 AI 개발자 또는 서비스 사업자가 시스템 설계·운영상 주의의무를 게을리하였다는 과실을 입증하는 민법 제750조의 경로로 청구하는 것이 가장 현실적인 방법입니다. 그런데 AI의 작동 원리가 복잡하고 불투명한 '블랙박스' 구조일 때, 어떤 설계 단계에서 어떤 결함이 있었는지를 이용자가 직접 입증하기란 매우 어렵습니다.

입증 부담과 책임 귀속의 어려움

AI 손해 사건에서 피해자가 직면하는 가장 큰 장벽은 인과관계와 과실의 입증입니다. AI 의료 진단 보조 시스템이 오진을 유도했다고 주장하는 경우, 의료진이 AI 결과를 그대로 따른 것인지 독자적으로 판단한 것인지, AI의 오류가 어느 단계에서 발생했는지를 피해자가 밝혀야 합니다. AI 개발사는 시스템 구조의 공개를 영업비밀 등을 이유로 거부할 수 있어, 피해자가 증거를 수집하는 데 현실적인 장벽이 존재합니다.

인공지능기본법이 사업자에게 투명성·설명 의무를 부과한 것은 이 장벽을 일부 낮추는 데 기여할 수 있습니다. 사업자가 법상 의무를 이행하지 않아 피해자의 입증이 어려워졌다는 사실은, 법원이 인과관계 추정이나 과실 인정에 있어 피해자에게 유리한 판단을 내릴 근거가 될 수 있습니다. 다만 이는 아직 국내 판례가 충분히 축적되지 않은 영역이므로, 법리가 어떤 방향으로 형성될지는 앞으로의 사건들이 결정할 것입니다.

자율주행·AI 로봇 사고에서의 책임 분산

자율주행 자동차나 AI 로봇이 사고를 낸 경우, 책임이 차량·로봇 소유자, 운행자, 제조사, AI 시스템 개발사 사이에 어떻게 배분되는지가 복잡한 문제로 떠오릅니다. 현행 자동차손해배상 보장법은 자동차를 '운행한 자'에게 책임을 지우는 구조인데, 완전 자율주행 단계에서 '운행자'가 누구인지를 판단하는 기준이 아직 명확하지 않습니다. 인공지능기본법 역시 이 문제를 직접 해결하는 조항을 두고 있지 않습니다.

입법론적으로는 EU AI법(EU AI Act)이 도입한 것처럼 고위험 AI에 대해 개발자의 엄격 책임(strict liability) 또는 증명책임 전환 규정을 두는 방향이 논의되고 있습니다. 인공지능기본법의 시행은 그 첫 단추이지만, 손해배상 책임의 귀속과 입증 부담 배분에 관한 구체적인 규정은 앞으로 추가 입법이나 판례 형성을 통해 채워져야 할 부분이 많습니다. 이용자 입장에서는 AI 서비스 이용 과정에서 발생한 손해에 대해 현 단계에서도 민법 일반 원칙에 따른 청구가 가능하지만, 입증 과정의 어려움을 감안하여 피해 발생 직후부터 사용 로그·출력 결과물·고지 내용 등 증거를 철저히 보전해 두는 것이 중요합니다.