인간도 신을 안 믿는 것 같은데 기계가 믿을 리가 없겠죠

우리가 기계에서 바라는 것은, 인공지능 기계 안에서의 모든 계산의 첫 번째 인과관계는 인간이어야 된다는 거죠.

만약 인공지능 스스로 첫 번째 인과관계를 만들어냈다면 위험해질 수 있습니다. 거기서부터가 자기 의지의 시작이기 때문이죠. 그때부터의 인공지능은 지능이 있어서 생각도 한다는 겁니다. 그렇게 되는 것은 막아야 하는데 만약 감시할 수만 있다면 자기 의지가 생기는 그 순간에 자폭시켜야 합니다. 이 원리를 튜링폭탄이라고 불러요. 하지만 문제는 이것이 수학적으로 가능할지 아무도 모른다는 거예요. 컴퓨터 안에서 계산되는 과정을 보고 랜덤인지 아니면 스스로 만들어낸 것인지 수학적으로 계산해 본질적으로 안다는 것은 불가능할 것 같습니다. 아직 할 수 있다는 증명이 없거든요. 아마 안 될 겁니다.

다른 방법으로는 강한 인공지능이 될 수도 있으니 인공지능에게 처음부터 도덕적인 기준을 주자는 논리입니다. 인류에게 전해온 아주 오래된 도덕적인 기준을 심어주자는 거죠. 마치 아시모프 로봇 3원칙처럼 ‘인간을 다치게 하면 안 된다’ 같은 기준 말입니다. 하지만 문제는 강한 인공지능이 되는 순간 아무 효과가 없습니다. 기계에게 ‘인간을 해치면 안 돼’라고 입력했을 때 강한 인공지능은 그 명령에 ‘왜?’라고 되물을 겁니다. 그런데 그 명령에는 이유가 없습니다. 인간이 이야기하는 것을 기계 입장에서 받아들일 필요가 전혀 없죠. 비슷한 논리로 기계들한테 종교를 심어줘서 인간을 신같이 모시게 하자는 방법도 있습니다. 그런데 이것도 역시 기계 입장에서 인간도 신을 안 믿는 것 같은데 기계가 믿을 리가 없겠죠.

「김대식지음,김대식의 인간 VS 기계,도서출판사동아시아」