AI 가짜뉴스 집어낸다는 워터마크, 아직은 뻥뻥 뚫린다

창과 방패처럼…쫓고 쫓기는 ‘AI 탐지 전쟁’

해외선 기계만 아는 코드 심고
콘텐츠 학습 못하게 막는 기술도

생성형 인공지능(AI)으로 만든 사진, 영상 등으로 인한 사회적 부작용이 커지면서 각국 정부와 빅테크를 중심으로 AI 생성물을 구분할 수 있는 ‘워터마크’ 도입 움직임이 빨라지고 있다. 한국 정부도 워터마크 법제화를 검토 중이다. 백신을 피하기 위해 바이러스가 진화하고, 이에 맞춰 백신이 개량되는 것처럼 AI 생성물을 둘러싼 ‘창과 방패의 싸움’의 막이 올랐다는 분석이다.

12일 정보기술(IT)업계에 따르면 과학기술정보통신부는 AI 생성물에 대한 표시 도입 등 AI 위험성 완화 방안을 이달부터 검토할 계획이다. 국회와 함께 법제화 방안을 논의하는 동시에 사업자에게 이용자 보호를 위해 가시적 워터마크 도입을 권고하고 나섰다. 최근 영국에서 열린 주요 28개국 ‘AI 정상회의’에서도 AI의 부작용을 막기 위해 워터마크를 도입하는 논의 등이 이뤄졌다.

정부가 권고한 가시적 워터마크는 단어 그대로 사람이 눈으로 볼 수 있는 워터마크를 디지털 콘텐츠에 삽입하는 것을 의미한다. 기존에도 저작권이 있는 이미지 위에 도용을 막기 위해 회사 이름이나 로고를 넣는 방식의 워터마크가 쓰였다. 오픈AI의 달리(Dall-e)나 SK텔레콤의 에이닷 포토 등에서 이미지를 만들면 한쪽 구석에 AI가 제작했다는 사실을 알려주는 문구나 서비스 로고 등을 볼 수 있다.

이 방법은 만들기 쉽고 이용자도 AI 생성 여부를 쉽게 확인할 수 있다. 하지만 무력화하는 것도 간단하다. 구석에 로고가 있을 경우 이미지 일부를 잘라내면 되고, 화면 위에 이미지를 덮더라도 간단한 프로그램으로 삭제할 수 있다.

눈에 보이지 않는 비가시적 워터마크에 대한 연구도 활발하다. 겉으로는 알 수 없지만, 기계가 알 수 있는 코드를 삽입하는 방식이다. 구글이 지난 8월 공개한 ‘신스 아이디(Synth ID)’는 AI만 인식할 수 있는 픽셀 단위의 흔적을 남겨 AI 생성물 여부를 확인할 수 있다.

이미지나 영상은 물론 생성 AI가 만든 텍스트에 대한 워터마크도 연구되고 있다. AI가 텍스트를 만들 때 특정 단어의 빈도나 배열하는 규칙을 정해 AI 생성물을 알아채는 방식이다. 하지만 약간의 수정만으로도 무력화할 수 있어 이미지, 영상 등과 비교해 실용성이 떨어진다. 실제로 오픈AI는 올해 초 챗GPT가 만든 텍스트를 구분하는 AI 서비스를 내놨지만 낮은 탐지 확률을 개선하지 못하고 지난 7월 서비스를 중단했다.

최근에는 AI가 자신의 콘텐츠를 학습할 수 없도록 방지하는 기술도 나왔다. 미국 시카고대 연구진이 최근 공개한 ‘나이트셰이드’는 이미지에 ‘오염된 학습 데이터’를 주입할 수 있다. 강아지가 그려진 사진에 고양이라는 데이터를 넣는 식이다.

이런 이미지를 학습한 AI에 강아지를 그려달라고 하면 고양이와 강아지가 섞인 이미지를 만들게 된다. 무단으로 이미지를 가져다 쓰면 AI의 학습 알고리즘 전체가 망가진다.

업계에선 워터마크가 생성 AI의 부작용을 원천 방지할 수는 없을 것으로 보고 있다. 바이러스와 백신의 관계처럼 워터마크를 무력화하기 위한 기술이 끊임없이 나올 것이기 때문이다. 한 업계 관계자는 “문에 자물쇠를 채우더라도 도둑을 완전히 막을 수 없지만, 대부분 범죄는 방지할 수 있다”며 “AI의 부작용을 막는 최소한의 안전장치 역할을 할 것”이라고 말했다.

출처 : https://n.news.naver.com/mnews/article/015/0004913098?sid=105