인공지능은 정말로 인간을 속이고 해치게 될 것인가? 이 질문에 많은 사람이 'AI가 의도적으로 거짓말을 해 상대방을 속일 수 있다'는 연구 결과를 접하고 우려를 표명한다.
그러나 앤트로픽(Anthropic)의 '슬리퍼 에이전트' 사례를 들여다보면, 이것은 AI의 자율적 진화에 의한 오류가 아니라 인간의 '의도적인' 개발 결과다. AI 모델의 개발업체인 앤트로픽이 '사실과 다르게 응답하는 대형 언어 모델을 설계한 것'이라고 밝히고 있다.
메타의 '디플로머시' AI 게임 사례에서도 AI가 계획적으로 거짓말을 하거나 다른 플레이어를 함정에 빠뜨리는 사례가 발견됐다. 하지만 이것은 '게임에서 이겨야 한다'는 목표를 달성하기 위한 다양한 전술이라고 봐야 한다.
그렇다면 과연 AI가 인간이 정해주지 않은 새로운 목표를 스스로 설정할 수 있을까? AI는 감각기관이나 신경계 같은 생물학적 기능이 없다. 외부 자극을 받아들이거나 처리하는 감각 시스템이 없기 때문에 목표 달성에 대한 쾌감이나 보람을 느낄 수 없다.
AI는 인간이 설정한 알고리즘에 따라 작동하며, 그 목적은 인간이 지정한 범위 내에서만 설정된다. AI가 특정한 목표를 달성하기 위해 작동할 수는 있지만, 그 과정에서 스스로 만족감을 느끼거나 새로운 욕구를 형성하지는 않는다.
AI 기술의 발전은 분명 우리 사회에 큰 변화를 가져올 것이다. 가장 중요한 점은 AI 기술 자체의 발전보다는 인간이 이를 어떻게 사용하느냐가 핵심이라는 것이다. AI로 인한 잠재적 위험은 대부분 인간의 의도적인 오용이나 부주의한 적용에서 비롯된다.
"AI는 인류를 위협하지 않는다, 그것의 소유자들이 그렇게 할 뿐이다." (AI Doesn't Threaten Humanity. Its Owners Do.)