“가짜 동영상 그 이상”··· ‘딥페이크’가 위험한 이유

딥페이크(Deepfake)는 실제처럼 보이고 들리는 가짜 동영상 또는 오디오 녹음본이다. 한 때는 CIA, GCHQ의 JTRIG 등 할리우드 특수효과 업체나 정보기관 정도만 만들 수 있었지만, 지금은 누구든 딥페이크 소프트웨어를 다운로드해 진짜처럼 보이는 가짜 동영상을 쉽게 만들 수 있다.

Credit: Getty Images Bank

현재까지 딥페이크는 유명인의 얼굴을 포르노 스타의 몸에 합성하는 장난 같은 것이 대부분이었다. 그러나 전쟁이 임박했다는 경고 딥페이크를 만들거나 가짜 성관계 동영상으로 누군가의 결혼을 망치거나, 투표가 시작되기 수 일 전에 특정 후보자의 가짜 동영상 또는 오디오 녹화본이라며 선거에 영향을 주는 것이 점점 더 쉬워졌다.

플로리다의 공화당 상원의원이자 2016년 대선 후보였던 마르코 루비오는 딥페이크를 핵무기에 비교하기도 했다. 그는 얼마전 한 강연에서 “과거에는 미국을 위협하려면 항공모함 10대와 핵무기 그리고 장거리 미사일이 필요했다. 그러나 지금은 인터넷 시스템과 뱅킹 시스템, 전기 그리드, 인프라를 해킹하면 된다. 진짜 같은 가짜 동영상을 만들어 선거를 망치고 엄청난 위기를 조장하며 우리 사회를 혼란하게 할 수 있다”라고 말했다.

이 발언은 대선 경선 패배로 정치적 야심이 좌절된 사람의 왜곡된 정치적 과장법일까? 아니면 딥페이크가 정말로 핵무기보다 더 위협적일까? 그의 말 대로라면 세상은 아마겟돈(Armageddon)으로 치닫고 있다. 하지만 모두가 이에 동의하는 것은 아니다. BKC(Berkman-Klein Center)와 MIT 미디어 랩(MIT Media Lab)의 윤리 및 AI 계획 관리 이사 팀 황은 “딥페이크가 핵폭탄만큼 위험하다고 생각하지 않는다. 몇몇 사례는 분명 충격적이지만, 딥페이크가 의도한 대로 사람들이 휩쓸리지는 않을 것이다”라고 말했다.

딥페이크의 원리
사실 인간은 믿는 대로 보는 측면이 있다. 자신이 믿고 싶은 것을 뒷받침하는 정보를 찾고 나머지는 무시한다. 악당은 노리는 것도 이런 성향이다. 의도적으로 거짓 정보(이른바 ‘가짜 뉴스(fake news)’)를 만든 후 진실이라는 이름으로 확산한다. 피자게이트(#PizzaGate)가 그랬던 것처럼 사람들이 비판할 때는 이미 늦은 후다.

딥페이크는 서로 대립하는 머신러닝(ML) 모델 2개를 활용하는 생성적 적대 신경망(Generative Adversarial Network, GAN)을 이용한다. 한쪽 ML 모델이 가짜 동영상을 만들고 다른 하나는 가짜 동영상을 잡아낸다. 첫번째 ML은 두번째 ML이 가짜임을 알아차리지 못할 때까지 계속해서 더 진짜 같은 가짜 동영상을 만든다. 학습 데이터가 많을수록 더 진짜 같은 딥페이크를 만들 수 있다. 초기 딥페이크가 주로 전 대통령과 할리우드 유명인의 동영상인 것도 이 때문이다. 학습에 사용할 수 있는 동영상이 넘쳐난다.

본래 GAN은 가짜 성관계 동영상을 만들고 정치인을 희화화하는 것 외에 다른 영역에서 더 활발하게 사용되고 있다. 특히 ML 모델이 스스로 학습하는 ‘비감독 학습’ 부문에서 주목받는 알고리즘이다. 이를 통해 자율주행 자동차가 행인과 자전거를 식별하고, 알렉사(Alexa)와 시리(Siri) 같은 음성 디지털 비서의 대화 능력을 개선한다. 이 때문에 일부에서는 GAN이 ‘AI에 대한 상상’을 현실화했다고 평가하기도 한다.

누가 누구를 흔드는가
데이비드 마멧의 심술궂도록 재미있는 1997년의 영화 ‘왝더독(Wag the Dog)‘은 재선을 위해 특수 효과로 가짜로 전쟁을 벌여 섹스 스캔들을 덮으려는 한 대통령이 등장한다. 당시에는 ‘가짜 TV 뉴스’를 만드는 데 많은 시간과 노력이 필요했지만 지금은 노트북 1대만 있으면 누구든 쉽게 만들 수 있다. 일반 사용자는 페이크앱(FakeApp)을 다운로드해 바로 딥페이크를 만들 수 있다. 사용법이 매우 간단하고, 일정 수준의 IT 지식이 있다면 더 쉽다.

그러나 황에 따르면, 딥페이크는 그리 효과적인 거짓 정보 확산 방법이 아니다. 그는 “현재도 딥 러닝(Deep Learning)이나 ML을 활용하지 않고 대중을 기만하고 여론을 왜곡하는 더 저렴한 방법이 많다”라고 말했다. 예를 들어, 거리에서 사람들이 누군가를 폭행하는 동영상을 촬영한 후 공격자가 미국 이민자라고 가짜 설명을 달면 된다. 어렵고 번거로운 ML 알고리즘이 필요 없다. 가짜 설명과 그럴 듯한 동영상만 있으면 된다.

딥페이크를 감지하는 방법
딥페이크를 감지하는 것은 어렵다. 물론, 아마추어 딥페이크는 한 눈에 알아볼 수 있다. 눈 깜빡임이 없거나 잘못된 그림자가 있는 영상 등은 자동으로 딥페이크로 분류할 수도 있다. 그러나 딥페이크를 생성하는 GAN이 계속 개선되고 있으므로, 머지않아 딥페이크를 판별하는데 디지털 포렌식 기술을 사용해야 할 수도 있다.

이 문제를 풀기 위해 DARPA는 연구원이 진짜임이 입증된 동영상을 잘 찾을 수 있도록 투자하고 있다. 하지만 GAN은 자체 학습을 통해 이런 포렌식을 회피하는 방법까지 배우기 때문에 궁극적으로 이 싸움의 승자가 누구일지는 여전히 알 수 없다. DARPA에서 이 프로그램을 담당하는 데이비드 거닝은 MIT 테크놀로지 리뷰(MIT Technology Review)와의 인터뷰에서 “모든 가짜 동영상 감지 기법을 GAN에 학습시키면 이론적으로 이들 감지 기법을 모두 회피할 수 있다. GAN의 학습 능력에 한계가 있는지도 확실하지 않다”라고 말했다.

전문가들은 가짜 동영상이 감지할 수 없는 수준까지 발전한다면 우리가 보고 듣는 모든 것을 신뢰할 수 없게 될 것이라고 우려한다. 인터넷이 우리 삶의 모든 측면에 영향을 주는 상황에서, 우리가 눈에 보이는 것을 신뢰할 수 없게 된다면 이른바 “진실의 종말”로 이어질 수 있다. 이로 인해 정치적인 시스템에 대한 신뢰가 위협받는 것은 물론 장기적으로 ‘객관적 현실에 대한 공통의 신뢰’가 손상될 수 있다. 실제로 무엇이 진실인지 합의할 수 없는 상황에서는 정책 문제를 논의한다는 것이 불가능하다.

하지만 황은 이런 우려가 다소 과장됐다고 지적했다. 그는 “가장 위험한 것이 과장된 비관이다. 딥페이크가 우리가 진실을 판단할 수 없는 수준에 다가가고 있다고 생각하지 않는다”라고 말했다. 결국 딥페이크가 무엇인지에 대해 널리 알리는 것이 진실을 보호하는 가장 좋은 방법일 수 있다. 동영상이 어떻게 그럴 듯하게 거짓을 말할 수 있는지 제대로 이해하고 경고하면 그 부작용도 최소화할 수 있다. 

원문보기: 
http://www.ciokorea.com/t/22000/AI/39131#csidx55426871fa886eba2111199b1e4ec18