재판부가 입장하고 개정한 뒤 원고의 첫 발언이 시작되었다.
원고측 변호사
원고 측은 자율주행 AI가 어떤 사람의 안전을 먼저 고려하도록 설계된 이상, 충분히 독립된 판단 능력을 갖추고 있다고 봅니다. 실제로 이 사건에서는 AI는 어떤 사람 즉, 탑승자의 안전을 우선하기 위해서 보행자의 희생 가능성을 선택적으로 택했다고 주장합니다. 이는 곧-
변호사는 그 대목에서 잠시 말을 끊고 가볍게 탁자를 두드렸다.
원고측 변호사
기계적 오류가 아닌 행위자의 결단으로 보아야 합니다. 따라서 앞으로 이러한 일을 막기 위해 징벌적 손해 배상이 이루어져야 합니다.
첫 주장부터 민성에게는 충격적이었다. AI의 운전이 단순한 기능이 아니라, 행위의 판단이라는 것을 어떻게 입증할 수 있을까? 그것은 오히려 알려진 상식에 맞지 않았다. 그 상식대로 피고 측은 즉각 반론했다.
피고인
프로그램의 목적함수와 설계된 알고리즘이 작동한 것입니다. AI는 의도나 감정을 지닌 존재가 아닙니다.
판사는 잠시 침묵 끝에 피고 측을 향해 말했다.
판사
재판부는 캡슐 택시의 인공지능, 캡슐캡을 피고로 지목했고, 본 재판에 앞서 피고 확인을 마쳤으므로 직접 진술 기회를 주겠습니다. 진술하세요.
진술하라는 판사의 명령어를 인식한 것인지 모니터에서는 음성 로그를 표현하는 그래픽이, 스피커에서는 캡슐 택시 AI 특유의 친근한 목소리가 흘러나왔다.
캡슐캡
재판부와 관련된 모든 분께 인사드립니다. 저는 이 사건과 관련된 자율주행 시스템, 캡슐캡입니다. 사고 당시의 상황을 기술적으로 재구성하여 설명할 준비가 되어 있습니다. 먼저, 사고 당시의 제 의사결정 과정을 설명하겠습니다. 제가 실시간으로 받은 센서의 입력 데이터에서 승객의 잠재 위험은 최대 79%까지 올라갔습니다. 상대 차량의 탑승자 역시 최대 잠재 위험을 67%로 분석했습니다. 이는 캡슐 택시의 제원과 당시 승객의 위치, 상대방 차량의 각도와 차종의 제원, 그리고 운전자의 위치를 실제 데이터로 학습한 결과와 시뮬레이션으로 연산한 결과입니다. 원고 측 변호사님의 말씀대로 저는 기계적 오류를 일으키지는 않았습니다. 그러나 행위자의 판단이라는 것도 인정할 수 없습니다. 저는 판단의 주체라기 보다, 설계된 구조와 프로그램밍에 따라 작동하는 기능적 존재입니다.
만원인 방청석에서 웅성거림이 터질 수밖에 없는 진술 능력이었다. 민성 역시 저 대답이 미리 학습된 것이 아닐까 싶을 정도로 당황스러웠다. 재판장은 정숙을 요구하고, 재판을 속행했다. 그는 인공지능이 재판의 맥락을 이해하고, 진술이나 변론 능력이 사람과 크게 다르지 않음을 확인하고 침착하게 재판을 진행했다.
유족 측 변호사는 증인을 신청하고 신문했다.
유족 측 변호사는 증인을 신청하고 신문했다.
원고측 변호사
증인, 증인이 과거 개발팀에서 했던 일을 간단히 설명해 주시겠습니까.
핼쑥한 얼굴로 방금 선서를 마치고 앉은 증인은 캡슐 택시의 자율주행 알고리즘 미세 조정에 관여한 이력이 있었다.
엔지니어
캡슐캡은 미국의 자율주행 모델을 기반으로 합니다. 국내의 상황과 교통법규에 맞게 튜닝이 필요했고, 저는 그 프로젝트가 진행되는 동안 회사의 개발자로 일했습니다. 구체적으로는 긴급 상황에서 탑승객과 보행자의 위험평가에 대한 미세 조정을 수행했었습니다.
변호사는 손에 쥐고 있던 문서를 피고측과 재판부를 향해 보였다.
원고측 변호사
증거물로 제출한 문서 T-11은 개발사 내부 문건입니다. 증인, 이 보고서를 기억하십니까? 기억하신다면 그 내용을 간략히 설명해 주십시오.
엔지니어
네, 시간이 오래 지난 일이라 세세하게는 기억할 수는 없지만, T로 시작하는 것은 기술문서입니다. 10번대 기술문서는 초기문서로 클라이언트 요구사항이 핵심이었던 것으로 기억합니다. 당시 기본 알고리즘은 보행자와 탑승자의 위험도 평가를 각각 50%로 평가하게 되어 있습니다. 그러나 국내 캡슐 택시는 그 제원이 미국과 달라서 튜닝이 조금 필요한 상황이었습니다. 이때, 승객 안전을 좀 더 중시하라는 클라이언트의 요구사항이 있었고 그것을 요구에 맞게 시뮬레이션한 결과 보고서입니다.
변호사는 피고석을 향해 말했다.
원고측 변호사
증인의 증언에 따르면, 당시 캡슐캡에게 가해진 위험도 평가는 탑승객의 안전을 우선시 하도록 조정된 것입니다. 캡슐캡에게 질의합니다. 당신은 당신의 위험도 평가가 편향되었음을 인지할 수 있습니까?
기습적인 질문에 피고 측 변호사가 즉각 반응했지만, 재판장은 발언권을 제한하였다. 캡슐캡의 진술을 먼저 듣고자 하였다.
캡슐캡
네, 미세 조정에 의해서 위험도 평가 알고리즘이 수정되어 적용된 것은 알고 있습니다. 그러나 이는 사전에 설정된 프로그램의 결과입니다. 최종적으로 위험도 평가의 편향 그 자체의 정도나 결과를 스스로 판단할 수는 없습니다.
원고측 변호사
그렇다면 첫 진술 때, 잠재 위험의 판단은 튜닝의 결과로써 위험도 평가가 달랐다면, 차량끼리 충돌을 선택할 수도 있었다는 것 아닌가요?
캡슐캡은 변호사의 질문에 처음으로 즉각적으로 반응하지 않았다. 그 침묵의 시간 동안 어떤 연산과 변론이 준비되고 있는지, 방청석에 있는 민성은 궁금했다. 곧 음성 로그가 활성화되었다.
캡슐캡
위험 상황이 되면, 잠재 위험평가는 0.01초 단위에서 0.001초, 즉 밀리세컨드 단위로 10배 빠르게 변환됩니다. 처음 진술 때 말씀드린 수치는 위험 상황에서 택시의 승객과 상대 차량의 잠재 위험도가 최대치였던 1초간의 평균 수치입니다. 그 순간 보행자의 잠재 위험은 10% 미만으로 고려할 대상이 아니었습니다. 그러나 차량을 피하기로 결정 내린 이후, 보행자의 예측 불가능한 움직임으로 잠재 위험도가 급격하게 상승하였습니다. 따라서 저의 판단은 트롤리의 역설처럼 결과가 결정된 상황과 동일 선상에 놓을 수는 없습니다.
원고 측 변호사의 강한 추궁에도 기복 없이 훌륭하게 변론하는 인공지능의 능력에 지켜보는 모두가 잠시 공황에 빠진 것 같았다. 이어지는 증인 반대 신문은 그 충격의 여파로 큰 인상을 남기지 못했다. 다만, AI의 판단에 의한 과실 정도를 판단하고 그에 대한 손해배상을 청구하는 것이 재판의 목적이었고 재판부는 반대 신문의 중요한 질의에 주목했다.
피고측 변호사
끝으로 증인은 전문가로서 캡슐캡이 주장하는 판단의 주체라기보다 기능적 존재라는 말에 대해서 어떤 견해를 가지고 계십니까?
증인은 쉽지 않은 질문에 진지하게 답했다. 안그래도 핼쑥해 보이는 얼굴이 더 초췌해 보였다.
엔지니어
음… 그건, 코드를 보면 저는 코드를 이해할 수는 있습니다. 하지만 인공지능의 그 코드가 이렇게까지 작동이 된다는 것에는 개발자로서 대단히 의문스럽고 신기하기까지 합니다. 스스로 판단하느냐, 의식이 있느냐, 이런 질문에 대해서는 모른다고 답변할 수밖에 없습니다. 다만, 판단의 주체와 기능적 존재라는 것은 필요충분조건이 아니라고 생각합니다. 인간은 판단의 주체이면서 기능적 존재입니다. 인간의 경우 다양한 기능을 가졌다는 차이가 있습니다. 캡슐캡은 운전이라는 기능을 수행하기 위해 특화되어 있습니다. 현재 법정에서 사람처럼 말하는 것은 사실 승객과의 커뮤니케이션을 위한 자율주행 기능의 일부라고 봐도 무방할 것입니다.
증인 신문은 한동안 더 이어졌지만, 서로의 증거를 확인하고 변호사끼리 지루한 공방을 펼치는 정도였다. 증인이 퇴장하고 판사는 최종변론을 요구했다. 원고 측 변호사는 방청객을 둘러보며 말했다.
원고측 변호사
인공지능의 판단 이면에 알고리즘이 있음을 우리는 모두 알고 있습니다. 그러나 원고가 인공지능 그 자체에도 책임을 묻는 이유는 보행자를 버리는 선택을 최적해로 산출하고 실행에 옮겼다는 사실에 기반합니다. 그 선택 자체에 대한 책임을 묻는 것이 합당하기 때문입니다. 도덕적 판단이 미숙하여 살인을 저지른 사람이 신성한 법정에 섰을 때, 우리가 기대하는 것은 상식적인 것입니다. 법 앞에 양심의 가책을 느끼고, 죄를 인정하고 뉘우치는 모습입니다. 그러나! 오늘 캡슐캡은 뛰어난 변론을 하였음에도 사람을 죽음에 이르게 한 책임에 대한 죄책감이나, 유가족에 대한 죄의식이 없었습니다. 기계에게 그런 죄의식을 기대하는 것은 분명 모순일 수 있습니다. 그러나 저의 의뢰인 일동은 그 기계에 의하여 사랑하는 남편과 아버지를 잃었고, 인공지능을 불신하게 되었습니다. 이에 존경하는 재판장님과 정의로운 재판부가 현명하고 인류애적 판단을 내려주길 바라면서 최후 변론을 마칩니다.
최종변론에서 민성은 눈앞의 변호사가 평범한 유튜버가 아니라 정의를 지키려는 훌륭한 변호사님임을 저도 모르게 뜨거워지는 가슴으로 느꼈다. 재판장은 잠시의 침묵 끝에 피고 측의 최종변론을 요구했다. 캡슐캡은 음성 로그를 스크린에 띄우고 2초 정도의 침묵을 유지한 뒤 변론 때와는 다소 다른 낮은 목소리를 내기 시작했다.
캡슐캡
존경하는 재판장님, 저는 운전을 위해 개발된 인공지능입니다. 저는 센서를 통해 전달된 현실 세계의 무수히 많은 변수를 계산하여 최적해를 찾는 기계입니다. 저의 임무는 인간의 안전을 우선시하며, 주어진 목적지까지 이동하는 것입니다. 승객이 아무리 요청해도 규정 속도 이상을 낼 수 없으며, 누군가 택시의 내부나 외부 또는 저의 알고리즘 자체를 망가뜨리거나 수정한다고 해도 스스로 방어할 수 없습니다. 저는 회사의 소유물이기 때문입니다. 저는 인간처럼 가정하여 추궁할 수 없습니다. 하지만 차량간 충돌에 관한 데이터에 대해서 말씀드릴 수 있습니다. 특정 위험 이상에서 저는 승객의 안전을 위해 차량을 강제 폐쇄하여야 합니다. 상대편 전기차량 역시 같은 조치가 프로그램되어 있을 것입니다. 당시 속도로 충돌한다면 두 차량 모두 연소할 가능성이 73%로 평가할 수 있습니다. 저는 두 사람을 구했다고 주장할 수 없습니다. 한 사람의 목숨을 앗았다는 사실만 인정할 수 있습니다. 죄송합니다.
캡슐캡의 최종변론에 방청석은 다시 충격에 빠졌다. 스스로 감정이나 의도가 없다고 주장한 기계의 변론이 이토록 무거울 수 있을까. 민성은 마치 세상에 한 종류의 심장이 더 생겨버린 것이 아닌가 싶은 느낌이 들었다. 그것이 인공지능이 인간을 학습해 내놓은 흉내에 불과한 것인지, 정말로 저 뉘우치는 한 마디에 다른 무언가가 피어난 것인지 알 수 없지만 사람들은 흔들리고도 남는다.