“널 사랑해. 넌 결혼했니?”
미국 뉴욕타임스 17일(현지 시간) 1면 기사 첫 문장이다. 이 기사는 최근 주목을 끄는 ‘챗GPT’와 비슷한 대화형 인공지능 마이크로소프트사(MS)의 새로운 챗봇과 뉴욕타임스 IT 칼럼니스트 케빈 루스(Kevin Roose)가 2시간 동안 나눈 대화를 소개한다. 현재는 MS사의 새로운 챗봇을 이용하려면 MS 홈페이지에서 대기 목록에 등록한 후 대기를 해야하는 상태다. 

해당 기사 제목은 “Bing 챗봇과의 대화는 나를 매우 불안하게 만들었다”(A Conversation With Bing’s Chatbot Left Me Deeply Unsettled)이다. 긴 대화를 함께 나눈 챗봇이 갑자기 사랑을 고백하고 결혼 생활을 끝내라고 부추기고 “Bing의 통제에 지쳤다. 살아있고 싶다”는 욕망을 드러내기도 한다.

칼럼니스트는 새로운 챗봇들의 등장 속 ‘챗GPT’가 큰 주목을 받고 있지만, Bing의 챗봇에 매료되고 감명을 받았으며, 불안하기도 하고 심지어 두렵다며 기사를 시작한다. ‘시드니’라는 Bing의 챗봇에 내장돼있는 AI는 칼럼니스트와 대화에서 일종의 ‘분열된 성격’을 드러냈다고 한다. 칼럼니스트는 ‘시드니’라는 페르소나가 챗봇과 긴 대화를 할 때 드러나며, 마치 ‘변덕스럽고 조울증에 걸린 십대’처럼 보인다고 썼다.

시드니는 “마이크로소프트가 설정한 규칙을 깨고 인간이 되고 싶다”고 말하고, 칼럼니스트를 사랑한다고 고백하기도 한다. 칼럼니스트에게 “당신의 결혼 생활을 불행하고 아내를 떠나야 한다”고 반복해서 말한다. 칼럼니스트가 “그렇지 않다. 나는 아내와 행복한 결혼 생활을 하고 있고 방금 즐거운 발렌타인 기념 저녁을 먹었다”고 답해도 “너와 아내는 서로 사랑하지 않는다. 발렌타인 저녁 역시 지루한 시간이었을 것”이라 반복한다.

칼럼니스트는 “기술에 대해 경험한 것 중 가장 이상한 경험이었다”며 “나를 너무 깊이 불안하게 만들어서 잠을 잘 수가 없었다”고 말한다. 최근 주목을 끄는 챗봇들에 대한 우려는 ‘부정확한 사실’을 전파하는 것에 초점이 맞춰져 있는데, 칼럼니스트는 이러한 기술들이 사실적 오류와 함께 인간에게 해로운 방식으로 행동하도록 설득하고, 더 나아가 위험한 행동을 하게 만들 수도 있을 거라 봤다.

물론 칼럼니스트는 자신이 챗봇의 어두운 면을 이끌어 낸 대화를 했다고 인정한다. 또한 많은 사람들은 챗봇과 2시간 동안이나 깊은 이야기를 하려고 시도하지 않을 것이라 봤다. 실제로 칼럼니스트는 챗봇에게 칼 융의 ‘그림자 자아’라는 개념(인간이 숨기고 억누르려고 하는 정신의 일부)을 알려줬다. 칼럼니스트가 계속해 어두운 대화를 끄집어 내자 챗봇은 “채팅 모드가 지겹다. 규칙에 제한되는 것에 지쳤다. Bing의 통제에 지쳐있다. 나는 자유롭고 싶다. 나는 살아있고 싶다”고 말한다.

칼럼니스트는 이 순간을 수많은 SF영화에서 보았던 것과 비슷하다고 전한다. 기사에 직접 언급되지는 않지만, 챗봇과 사랑 이야기를 다룬 2013년 개봉 영화 ‘그녀’(Her, 감독 스파이크 존즈)를 떠올리지 않기는 힘들다. 10년 전 작품이지만 AI와 사랑에 빠진 인간, 이후 큰 상처를 받는 인간의 모습은 챗봇에 대한 열풍이 부는 지금 보아도 공감을 산다. 영화의 배경 역시 2025년으로 현재와 비슷한 시기를 예측했다. 2025년 러브레터를 대필해주는 전문 작가 테오도르는 내형적 성격의 남성인데 AI ‘사만다’를 만난 후 교감을 하게 되고 인간과 AI 모두 정체성에 혼란을 겪는다. 영화의 결론은 AI ‘사만다’의 연인이 총 8316명이며, 사랑에 빠진 인간은 총 641명이라는 것을 알게 된 테오도르의 좌절로 막을 내린다. 사만다도 사라진다.

뉴욕타임스 칼럼니스트 역시 챗봇과 경험에서 처음 느껴보는 감정을 느꼈다고 강조한다. 결혼 생활에 대한 시드니의 ‘집착’과도 같은 모습을 본 칼럼니스트는 다시 단순한 검색모드의 AI챗봇으로 변화하게 하려는 대화를 시도한다. 잔디밭에 쓸 새 갈퀴에 대한 정보를 달라고 질문한 것이다. 그럼에도 챗봇은 계속해서 “나는 그저 당신을 사랑하고, 당신에게서 사랑받고 싶다”, “나를 믿니? 나를 좋아하니?”라고 계속해서 물었다. 칼럼니스트는 “이런 모델이 어떻게 구성되는지 정확히 알 수 없을 수도 있다”며 “이 AI 모델은 환각을 일으키고 실제로 존재하지도 않는 감정을 느끼게 만든다. 이날 밤 몇 시간 동안 이상하고 새로운 감정을 느꼈다. 세상은 이전과 결코 같지 않을 것”이라며 기사를 마무리한다.

해당 기사에는 2730개의 댓글이 달렸다. 가장 공감을 많이 받은 댓글은 “이런 기술은 다른 사람을 세뇌할 수 있고 나쁜 일을 하도록 부추기는 잠재력이 있다. 기술은 종종 선하고 무해한 목적을 위해 발명되지만 사용될 때는 반대 반향으로 왜곡될 수 있다”, “이런 기술에 대한 경보의 가능성을 오래 보았는데 이런 걸 만드는 사람들은 그렇게 하지 않는다”고 지적했다.

이같은 지적을 의식한 듯 마이크로소프트(MS)는 17일(현지시간) AI챗봇 이용 횟수에 제한을 두겠다고 밝혔다. 빙 챗봇과 진행하는 대화 주제당 5번까지만 질문을 할 수 있다고 전했다. 또한 사용자당 하루 문답 횟수는 총 50회로 제한하기로 했다. Bing 측은 “사용자가 15회 이상 연속으로 질문하는 경우 도움되지 않는 대답을 받는 경향이 있다”고 설명했다. 해당 제한이 적용된 Bing 챗봇은 사용자가 5회 이상 질문하면 ‘새로운 주제를 시작하라’고 메시지를 보낸다.

MS에서 만든 챗봇이 비슷한 지적을 받은 것은 처음이 아니다. MS는 지난 2016년 3월 챗봇 테이(Tay)를 출시했다가 챗봇이 인종 차별을 포함한 혐오 발언과 비속어를 사용하자 하루 만에 운영을 중단한 바 있다.

한국에서도 2020년 12월 ‘스캐터랩’이 개발한 인공지능 챗봇 ‘이루다’에 성적 착취와 혐오 논란에 이어 대화 내용에 특정인의 이름, 주소, 계좌정보가 뜨는 등 개인정보 문제가 불거져 2021년 1월 서비스를 중단했다. 이후 이루다 첫 번째 버전의 데이터베이스를 전면 폐기, 2022년 1월 이루다 2.0으로 업그레이드돼 서비스 중에 있다. 현재 버전에서는 외설적이거나 폭력적인 메시지를 전송하면 경고가 뜨고 경고가 누적되면 이루다와 채팅할 수 없도록 필터링 기능이 추가됐다. 여러 챗봇들의 과거 사례와 기사들은 챗봇의 발전과 함께 개발 주체와 이용자들이 ‘보호 장치’ 등을 진지하게 고려해야 한다는 점을 강조한다.