생성형 인공지능(AI)이 틀리면 화면을 닫으면 그만이다. 로봇이 틀리면 누군가의 몸이 먼저 대가를 치른다.
2016년 6월 18일, 미국 앨라배마주 쿠세타(Cusseta)의 자동차 부품 공장. 스무 살의 레지나 앨런 엘시아(Regina Allen Elsea)는 결혼을 2주 앞두고 있었다. 그날 조립 라인 센서 이상을 점검하러 로봇 구역 안으로 들어갔다가 갑자기 재가동된 기계에 끼어 이튿날 숨을 거뒀다. 미국 법무부(DOJ·Department of Justice) 공식 발표에 따르면, 기계를 멈추는 잠금장치(Lockout/Tagout) 절차는 사고 당일에도 감독자 앞에서 이미 다섯 차례나 무시됐다. 절차는 있었다. 다만 지켜지지 않았다. 로봇이 사람을 죽인 것이 아니었다. 로봇을 둘러싼 무책임이 사람을 죽였다.
레지나의 죽음이 예외였다면 그나마 나았다. 2024년 미국 직업안전보건청(OSHA·Occupational Safety and Health Administration)의 중대재해 보고서를 분석한 연구가 이를 뒷받침한다. 노스캐롤라이나주립대학교 샌더스(Sanders)·세네르(Sener)·첸(Chen) 연구팀은 2015년부터 2022년까지 발생한 로봇 관련 사고 77건을 분류한 결과, 가장 빈번하게 확인된 사고 패턴이 '예상치 못한 갑작스러운 작동(unexpected activation)'임을 밝혔다. 멈췄다고 믿은 기계가 움직이는 것. 8년에 걸쳐, 같은 이유로, 반복됐다. 연구팀은 이 사고들이 기술의 결함이 아니라 안전 절차의 부재와 운영 구조의 허점에서 비롯됐음을 일관되게 지적한다.
문제는 지금부터 더 복잡해진다. 지금까지의 로봇 사고는 그나마 책임 소재가 단순했다. 정해진 동작을 반복하는 기계가 잘못됐으면 제조사나 운영사를 특정할 수 있었다. 그러나 스스로 환경을 읽고 판단하며 경로를 결정하는 피지컬 AI가 사고를 냈을 때는 다르다. AI가 스스로 내린 판단이 개입된 순간, 책임의 회로는 개발사와 배포사와 운영사 사이를 끊기지 않은 채 떠돈다. 유럽연합(EU)은 이 공백을 메우기 위해 2024년 12월 새 제조물책임법을 발효시켰다. 회원국들은 2026년 12월까지 이를 국내법으로 전환해야 한다. '소프트웨어도 제품'이라는 선언이 그 핵심이다. 로봇에 탑재된 AI가 스스로 판단해 사고를 냈더라도 그 결함에 대한 책임을 제조·공급 체인 전체에 물을 수 있게 됐다. 40년 된 법이 처음으로 피지컬 AI의 언어로 다시 쓰인 것이다. 그러나 법이 현장에 뿌리내리기까지는 시간이 걸린다. 그 빈자리를 먼저 채워야 하는 것은 제도가 아니라 우리 자신이다.
우리에게 필요한 것은 세 가지다.
첫째, 피지컬 AI의 사고를 '불가항력'으로 받아들이는 관성을 버려야 한다. 로봇이 오작동했을 때 "기계가 그런 것을 어쩌겠냐"는 말은 이제 통하지 않는다. 샌더스 연구팀의 분석이 보여주듯 반복되는 사고의 원인은 기술의 한계가 아니라 구조적 무책임이었다. 사고가 날 때마다 원인을 기술 탓으로 돌리는 언어 자체가 책임 공백을 정당화하는 도구가 된다.
둘째, 피지컬 AI가 만들어낼 수 있는 사고의 유형을 도입 전에 공론화해야 한다. 의료 현장의 수술 보조 로봇, 물류 창고의 자율 이동 로봇, 도심을 누비는 배달 로봇. 각각의 공간에서 이 AI가 어떤 방식으로 사람에게 위해를 가할 수 있는지를 사회가 미리 따져야 한다. 성능 검증이 아니라 위해 시나리오 검증이 먼저다.
셋째, 사고 발생 직후의 기록을 시민의 권리로 인식해야 한다. EU의 새 제조물책임법은 피해자의 입증 부담을 완화하고 제조사·운영사가 기술 문서와 데이터를 공개하도록 의무화했다. 그러나 이 권리는 청구하지 않으면 작동하지 않는다. 로봇이 오작동한 순간의 상황, 동작, 환경을 즉각 기록하고 데이터를 요구하는 것이 이제는 시민이 갖춰야 할 피지컬 AI 시대의 기본 감각이다.
레지나는 스무 살이었고, 결혼을 2주 앞두고 있었다. 그가 돌아오지 못한 이유는 기술이 아니라 무책임이었다. 피지컬 AI 시대, 오타는 없다. 처음부터 재해일 뿐이다.
최홍규 연구위원(EBS) / 미디어학 박사
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지