"AI 피노키오 '선의의 거짓말', 현실선 위험하다"

(이범종의 게임 읽기)'P의 거짓'②검을 든 피노키오, AI 윤리를 묻다강장묵 교수 "인간 모방은 곧 불완전성 학습"AI 보안에 블록체인 적용해 무결성 보장 연구제페토 "내게는 언제나 착한 아이로 있어다오"창조주가 인공지능에 거는 불안한 기대 반영

[뉴스토마토 이범종 기자] 지난 시간에 우리는 인간 이성의 합리성을 강조한 데카르트의 명제 '나는 사유한다. 그러므로 나는 존재한다(코기토 에르고 숨·Cogito ergo sum)'로 네오위즈의 게임 'P의 거짓'을 해석했습니다. 게임 속 자동인형(AI 로봇) 피노키오가 동력원인 '에르고'를 활용해 거짓말로 이야기를 이어가며 코기토(사유의 주체)로 거듭나는 수단이라고 읽었습니다.

 

그런데 피노키오 외에 에르고(Ergo, 접속사로 이성활동이라는 뜻도 있음)를 동력으로 삼은 다른 자동인형들은 피노키오와는 다른 길을 택했습니다. 코기토인 창조주들을 무참히 학살하는 길 말이지요. 왜 그랬는지 답을 얻기 위해 게임 'P의 거짓' 속 자동인형이 생산될 때 입력되는 '위대한 약속'에 대해 자세히 살펴보겠습니다. 크라트 호텔 주인 안토니아의 집사 인형 '폴렌디나'는 위대한 약속을 이렇게 설명합니다.

 

1항: 모든 인형은 창조주의 명령에 복종한다.

2항: 모든 인형은 인간에게 위해를 가하지 않는다.

3항: 모든 인형은 크라트 시와 인간을 보호하고 봉사한다.

4항: 모든 인형은 거짓을 부정한다.

 

이 위대한 약속은 영화 '아이, 로봇'의 원작자로 유명한 미국 소설가 아이작 아시모프(1920~1992)가 원작에서 고안한 '로봇공학의 3원칙'과 닮았습니다. 나중에 추가된 0원칙까지 살펴보겠습니다.

 

우선 로봇은 인간, 더 나아가 인류에게 해를 입혀선 안 되고 위험에 처한 인류를 모른 척해도 안 됩니다(0~1원칙). 1원칙에 위배되지 않은 한 인간의 명령에 복종해야 하고, 앞선 원칙들에 위배되지 않는 한, 로봇은 스스로를 지켜야 합니다(2~3원칙).

 

크라트 시의 자동인형들이 '모든 인형은 인간에게 위해를 가하지 않는다'는 명령을 어기고 사람들을 무참히 학살하기 시작한다. (사진='P의 거짓' 실행 화면 캡처)

 

'인간에 복종' 각인에도 폭주한 AI

 

그러나 P의 거짓에서 폭주를 일으킨 인형들은 저마다의 이유로 학살에 가담했는데요. 이같은 일이 벌어진 것은 창조주 인간의 프로그램을 넘어선 학습으로 자신만의 결론을 도출했기 때문이라고 해석할 수 있습니다.

 

이는 인간의 합리성을 강조한 데카르트와 달리, 인간의 불완전함을 지적한 프랑스 철학자 블레즈 파스칼을 연상하게 합니다. P의 거짓을 만든 라운드8 스튜디오는 작품 배경을 프랑스 벨 에포크(아름다운 시절)로 그렸는데요. 자동인형들을 통해 프랑스 옛 철학자들의 대리전이 게임 속 벨 에포크라는 시대적 배경 속에서 벌어지는 셈입니다.

 

파스칼은 인간의 마음엔 이성보다 심정이 앞서고, 허영이 깊이 뿌리박혀 있다며 인간의 비합리적인 면을 강조했습니다. 인공지능은 인간들이 만든 데이터를 접하면서 불완전한 인간의 모습을 학습하고 있습니다. 이 점 때문에 인류는 걱정합니다. 인공지능은 사유의 주체가 될 수 있는지, 인간 흉내를 내는 과정에 제약을 걸어 둘 장치는 완전한지에 대해 말이죠.

 

강장묵 동국대 국제정보보호대학원 교수가 8일 서울 합정동 이토마토 빌딩에서 인터뷰 하고 있다. (사진=뉴스토마토)

 

강장묵 교수 "AI와 오류는 불가분"

 

인공지능 보안을 연구하고 있는 강장묵 동국대 국제정보보호대학원 교수는 "인공지능 발전과 오류 발생은 뗄 수 없는 관계"라고 말했습니다. 특히 AI가 잘못된 정보를 정답인 양 대답하는 '할루시네이션'이 위험한데요. 강 교수는 "데이터의 다양성과 논리적 모순 여부 등을 검증해서 이 문제를 해결해야 한다"고 말했습니다.

 

이어 국어 시험에 이 상황을 빗대 설명했는데요. 강 교수는 "좋은 국어 문제집을 사 주고 공부 방법도 결정해 줘야 한다. 시와 소설, 수필이 시험 범위인데 시만 공부하면 실제 시험 때 오류가 난다"며 "지나치게 자의적으로 해석하고 공부하는 '오버피팅'에 따른 오류가 미래 AI의 위협이 될 수 있다"고 말했습니다.

 

현재 AI는 인간 기자들과 인터뷰 할 정도로 똑똑해졌다고 하는데요. 그만큼 인간을 많이 학습하고 모방하고 있다는 뜻이기도 합니다. 강 교수는 "지금 일어나는 대부분의 AI 문제는 인간의 실제 생활이 합리적이지 않다는 데 따른 문제"라며 "데이터 자체가 인간의 연약함을 드러낸 경우가 많은데, 인종·여성·약자 차별 발언은 실제 인공지능이 해당 대화 내용을 학습한 결과"라고 했습니다.

 

8월18일 스타필드 하남의 한 매장에 로봇 모형이 전시돼 있다. (사진=이범종 기자)

 

인간도 합의 못한 '선의'의 거짓말, AI서 문제

 

P의 거짓이 던지는 질문은 보다 복잡합니다. 작품 속 피노키오는 인공지능 로봇임에도 거짓말을 통해 인간성을 얻어갑니다. 마음을 다친 이에겐 선의의 거짓말로 치유해주기도 하지요. 낭만적입니다. 하지만 기계가 '선의'를 멋대로 판단해 거짓말 하는 일이 현실 사회 각 분야에서 벌어진다면 무슨 사달이 날 지 모릅니다.

 

강 교수는 "선의라는 게 철학적인 탐구와 이율배반된 상황, 여러 종교와 문화, 역사적 배경에서 달리 해석되는 상황도 있으니, AI가 선의를 결정하려 들 때 문제가 생길 것"이라고 답했습니다.

 

AI 로봇이 거리를 돌아다닌다면, 게임 속 폭주인형처럼 언제든 사람을 위협할 수도 있겠지요. 이 때문에 해킹 위협으로부터의 안전 확보가 필수입니다.

 

강 교수는 "보안이 무결성을 갖추려면, 지금 일어나지 않은 미래 문제까지 예측하고 해결할 수 있느냐를 봐야 하는데 그건 어렵다"며 "아직 이르지만, AI가 내리는 결정을 블록체인에 기록해 잡아내는 방안이 있다"고 말했습니다. 블록체인은 정보를 분산장부에 한꺼번에 기록하기 때문에, 어느 한 군데만 조작한다고 해서 본래 정보를 속일 수 없기 때문입니다. 강 교수는 "AI에 블록체인을 결합해 무결성을 보장하고 AI를 제어하는 방법을 연구 중"이라고도 말했습니다.

 

P의 거짓에서 제페토는 아들 피노키오에게 이렇게 말합니다. "나쁜 사람을 조심하고 내게는 언제나 착한 아이로 있어다오." 이는 아버지가 아들에게 하는 당부이자, 창조주인 인간이 AI에게 바라는 점이기도 한데요. 여기서 선의는 AI가 결정해야 하는 것일까요, 아니면 인간이 결정하는 것일까요. 'P의 거짓'엔 이처럼 어렵고도 묵직한 질문이 숨어 있습니다.

 

이범종 기자 [e-mail]

 

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김나볏 테크지식산업부장이 최종 확인·수정했습니다.