[연합뉴스] AI가 멋대로 문자를 보냈다…에이전트 시대의 경고

제미나이 자동 실행 논란, 민감 정보 발송 위험
안전장치 없는 AI 에이전트…’자비스’ 클로드봇도 안전 우려

인공지능(AI) 서비스가 단순 채팅·문서 작성에서 실제로 행동까지 실행하는 ‘AI 에이전트’ 시대로 진입하면서 크고 작은 돌발 상황 발생에 대한 대비가 필요해 보인다.

29일 AI 업계에 따르면 최근 한 제미나이 사용자는 사회관계망서비스(SNS)에 “중국 밀입국에 대한 가상 시나리오를 제미나이와 대화하던 중에 밀입국 선언문이 지인에게로 문자 메시지로 발송됐다”는 글을 올렸다.

고도화하는 AI(CG)
[연합뉴스TV 제공]

게시물에 따르면 작성자는 중국 밀입국을 가정해 대화하던 중 AI가 생성한 글이 지인에게 문자로 발송됐다고 한다.

그는 문자 발송 시간이 새벽 시간대였고 그다지 친밀도가 높지 않은 지인이었다며 제미나이에 의한 문자 발송을 곤혹스러워했다.

제미나이는 구글 안드로이드 스마트폰에서 문자를 보내는 기능을 공식 제공하고 있다.

제미나이에게 스마트폰 속 연락처를 특정해 문자 메시지를 보내달라고 입력하면 구글 어시스턴트가 연동되지 않았을 경우 연동을 통해 문자 발송을 실행할지 물어보고 문자 메시지를 보내준다.

아직 안드로이드 생태계가 아닌 아이폰에서는 발송이 안 되지만 애플이 시리에 제미나이를 탑재할 계획을 밝힌 상황이어서 향후 아이폰에서의 발송도 가능성이 있다.

제미나이를 사용해 문자 메시지 보내기 설명
[구글 웹사이트 캡처. 재판매 및 DB 금지]

제미나이에 의한 문자 발송이 금지돼 있거나 오류에 의한 것은 아니지만, SNS에 당황스러운 경험담을 올린 글 작성자가 “‘그것을 왜 발송하냐’고 AI에 따졌지만 멋대로 발송됐다”고 주장한 데서 AI 할루시네이션(환각 현상)에 의한 오작동 여부가 관심을 끌었다.

이에 구글 측은 ‘그것을 왜 발송하냐’고 따지기 전 사용자가 문자 발송 의사를 묻는 제미나이 질문에 ‘예’를 눌렀을 가능성이 있다고 추정했다.

‘문자 메시지를 보낼까요’라는 AI 질문에 “예”를 선택하지 않고 바로 ‘왜 보내냐’고 따질 경우 발송되지 않는다는 이유에서다.

다만, 사용자가 AI와 대화하다 부지불식간에 ‘예’를 눌렀을 경우에도 민감한 내용이 발송해서는 안 되는 수신자에게 보내질 가능성이 있다는 건데, 한 번 더 이를 제어할 수 있는 ‘안전장치’가 없다는 점은 문제로 꼽힌다.

24시간 이메일 답장, 브라우저 조작, 코딩, 결제 등 업무를 수행하며 영화 아이언맨 속 AI 비서 ‘자비스’가 실제로 구현됐다는 평가를 듣고 있는 AI 에이전트 ‘클로드봇(Clawdbot·현재 명칭 몰트봇)’의 출현에서도 비슷한 우려가 감지된다.

AI 에이전트 ‘클로드봇(Clawdbot·현재 명칭 몰트봇)’
[홈페이지 캡처. 재판매 및 DB 금지]

클로드봇은 실리콘밸리 등 개발자 사회에서 선풍적인 인기를 끌면서도 정보 유출 등의 우려가 커지고 있다.

개발자들이 쉬지 않고 코딩해주는 클로드봇을 전력 소비가 적은 애플 맥미니에서 구동하려는 수요가 폭발하면서 맥미니 품귀 사태까지 벌어지는 상황이다.

하지만, 클로드봇이 개인 PC에 접속해 AI 에이전트 역할을 수행하면서 채팅 기록과 같은 개인정보와 API 키를 유출할 수 있는 위험이 있다고 해외 정보기술(IT) 매체 등에서 위험성에 대한 지적이 나오고 있다.

AI 업계 한 관계자는 “예전에는 AI에게 업무를 구체적으로 지시했다면 이제는 AI 에이전트가 알아서 하는 시대로 인간이 통제권을 상실하기 시작한 것”이라며 “AI가 자체 판단으로 알아서 작동하는 단계에서 사람이 ‘주체’에서 ‘수용자’가 되는 것인데 통제를 어떻게 강화할 것인가가 AI 에이전트 진화의 숙제”라고 진단했다.

조성미 기자, 오지은 기자