[보안뉴스] [보.알.남] 나쁜 인공지능 만들기, 데이터 포이즈닝

인공지능 모델에 직접 영향을 주는 데이터 포이즈닝 공격
서비스 제공 중 새롭게 입력된 데이터로도 꾸준히 학습하기 때문에 의도적인 공격 가능
단기간에 성능 강화를 위해 공유된 모델 사용 시에도 ‘트로이목마’ 등 위험성 존재

[보안뉴스 이상우 기자] 아이는 부모의 거울이라는 말이 있다. 미국의 철학자이자 심리학자 제임스 마크 볼드윈은 아동심리 발달 과정에서, 타인을 모방하면서 자아를 형성한다고 주장한 바 있다. 즉, 아이들은 어른의 말과 행동을 따라하면서 옳고 그름을 배우고, 이를 통해 개개인의 가치관이 형성된다는 이론이다. 이와 유사한 개념은 오래 전부터 존재해왔다. 가령, 고전철학에서는 인간의 본성을 ‘타불라 라사(Tabula rasa, 깨끗한 석판)’라고 표현하면서 태어난 이후 여러 경험을 통해 서서히 마음과 지성이 형성된다고 주장했다. 장 자크 루소 역시 저서인 ‘에밀’을 통해 교육의 중요성을 강조했다. 그는 자연주의 교육방법을 중시하면서 인위적인 영향을 가하는 것을 피해야 한다며, 도덕이나 진리를 가르치는 것이 아닌, 어린이의 마음이 악이나 옳지 못한 정신에 침해되지 않도록 보호해 주는 것이 교육이라고 설명했다.

[이미지=utoimage]

이처럼 누군가의 지식이나 인격이 형성되는 과정에서 무언가를 보고 배운다는 것은 아주 중요한 역할을 하며, 이 과정에 부정적이거나 악의적인 내용이 포함된다면 옳지 못한 결과를 낼 수 있다.

학습 데이터를 조작해 나쁜 결과 유도하는 ‘데이터 포이즈닝’
오늘날 4차 산업혁명의 중심에는 인공지능이 있다. 인공지능은 엄청난 양의 데이터를 인간의 사고로는 처리할 수 없을 정도로 빠르게 분석하며, 이를 통해 기존에는 알기 어려웠던 인사이트를 발굴하고, 인간이 더 나은 판단을 할 수 있도록 도와준다.

물론 인공지능이 제대로 작동하고, 정확한 결과를 내기 위해서는 많은 양의 데이터를 통해 학습하고 모델을 구축해야 한다. 아무런 학습을 거치지 않은 인공지능은 말 그대로 ‘백지’ 상태며, 인간이 원하는 결과를 내놓을 수 없다. 데이터를 통해 학습하고 원하는 값을 낼 수 있도록 모델을 구축하는 과정은 인공지능이라는 아이의 인격과 지식을 형성하는 것과 맥락이 같다. 이 때문에 단순히 많은 데이터가 아닌, 올바르게 정제된 데이터를 학습에 활용해야 더 정확한 결과를 낼 수 있다.

만약 이러한 모델 형성 과정에 올바르지 못한 정보를 배우게 된다면 인공지능이 제대로 작동하지 않은 것은 물론, 오히려 부정적인 결과를 내놓을 수도 있다. 즉, 인간을 이롭게 하기 위해 쓰여야할 인공지능이 인간에게 유해하고 위험한 결과를 내놓을 수도 있다는 의미다.

이처럼 인공지능 학습 과정에 관여해 모델을 공격하는 기법을 ‘데이터 포이즈닝(Data Poisoning)’이라고 부른다. 인공지능에 대한 적대적 공격 유형은 다양하다. 가령, 완성된 모델에 입력하는 데이터 자체를 위조해 잘못된 결과가 나오도록 유도할 수도 있고, 모델에 수많은 데이터를 입력한 뒤 결과를 보면서 모델 자체를 추출해내는 공격 유형도 있다.

이러한 공격과는 조금 다르게, 데이터 포이즈닝은 모델 자체를 공격하는 방식이다. 모델 구축 과정에서 악의적인 학습 데이터를 주입해 모델 자체를 망가뜨리며, 이를 통해 완성된 인공지능이 정상적이지 않은 결과를 내보내게 된다.

서비스 제공하는 동시에 학습도 하는 인공지능…대규모 반달리즘으로 데이터 오염도 가능해
공격자가 데이터를 오염시키는 방법은 그리 어렵지 않다. 인공지능 모델은 입력된 데이터를 처리해 결과를 내보내면서 동시에 새롭게 입력받은 데이터로 학습해 성능을 개선한다. 즉, 인공지능 기반 서비스는 서비스를 제공하는 동시에 이를 통한 학습으로 진화하는 셈이다. 이러한 모델의 경우 서비스 제공 과정에서 데이터 포이즈닝이 일어날 수 있다.

[이미지=utoimage]

대표적인 사례가 2016년 마이크로소프트가 선보인 인공지능 챗봇 서비스 ‘테이(Tay)’다. 마이크로소프트는 당시 인간의 언어를 이해하는 인공지능 프로젝트를 진행하면서 소셜 미디어와 메시징 서비스를 이용해 인간과 대화할 수 있는 챗봇을 공개했다. 특히, 이 과정에서 대중과의 대화를 통해 자연어를 인식하고, 대화를 지속하면서 인간의 언어에 대한 이해도를 높이는 것이 목표였다.

하지만, 테이는 이내 각종 차별적인 발언과 혐오발언을 쏟아냈다. 특정 커뮤니티를 중심으로 테이에게 이러한 데이터를 학습시켰으며, 그 결과로 ‘히틀러는 잘못한 것이 없다’. ‘대량학살을 지지한다‘는 등의 답변을 하기 시작했다. 인공지능이 특정한 사상이나 가치관을 가지고 발언한 것은 아니지만, 편향된 데이터를 중심으로 학습한 만큼 테이의 발언 역시 편향적이게 나타났으며, 결국 하루도 안 돼 서비스를 중단하게 됐다.

인공지능 ‘공급망’에 대한 공격도 예상할 수 있어
인공지능은 방대한 데이터를 통해 학습하고, 모델의 성능을 강화해 더 나은 결과를 내는 것을 목표로 한다. 이러한 과정은 글로벌 대기업이 단독으로 진행할 수도 있지만, 오픈소스 커뮤니티를 통해 이뤄지기도 한다. 인공지능 개발자는 자신이 개발하는 서비스의 성능을 단기간에 강화하기 위해 이러한 커뮤니티에서 모델을 받아 이용할 수 있다.

[이미지=utoimage]

하지만, 이 과정에서 잘못된 데이터를 학습한 모델이 공유될 수 있으며, 이는 향후 마치 ‘트로이목마’처럼 서비스에 치명적인 문제를 일으킬 가능성도 있다. 이른바 ‘인공신경망 트로이목마’다.

예를 들어보자. 인공지능을 기반으로 얼굴을 인식하는 출입인증 솔루션을 개발할 때 오염된 모델을 일부 활용해 성능을 강화했다면, 이는 출입인증 성능에 악영향을 줄 수 있다. 가령, 특정 문양이나 문구를 인식할 경우 무조건 통과시킨다는 내용을 사전에 학습시켰다면, 허가되지 않은 외부인이 이를 이용해 통제된 공간에 무단으로 접근하는 것도 가능하다.

또 다른 예를 들면, 자율주행용 인공지능 모델이 오작동하는 경우다. 오염된 모델을 통해 자율주행을 구현한 차량이 도로를 달리던 중 특정 문구나 코드가 있는 표지판을 보고 급제동 혹은 급발진하도록 조작하는 일이 발생할 수도 있다.

신뢰할 수 있는 인공지능 위해 제도 개선과 개발자 보안의식 함양도 필요
이미 EU, 미국 등은 인공지능 신뢰성을 인공지능 윤리 실천의 핵심요소로서 강조하고 제도, 윤리, 기술 측면에서 확보방안 강구하고 있다. EU는 세계 최초로 ‘인공지능 법안’을 제안해 고위험 인공지능 중심의 규제(공급자 의무, 적합성 평가 및 인증)를 선도하고 있다. 특히 사업자의 ‘자동화된 의사결정 활용’ 고지를 의무화하고, 이에 대한 이용자의 이용거부, 설명요구 및 이의제기 권리를 제도화했으며, 적법성·윤리성·견고성 등의 기준을 제시하고 민간이 자율점검할 수 있는 체크리스트를 제작 및 보급했다. 미국은 신뢰성 확보 기술개발에 국가 역량을 결집하는 한편, 주요 기업을 중심으로 윤리적 인공지능 실현을 위한 자율규제를 전개하고 있다. 여기에 10대 원칙(투명성, 공정성 등)을 담은 규제 가이드라인을 발표하기도 했다.

국내에서도 이러한 동향에 발맞춰 학습용 데이터 신뢰성을 높이기 위한 기준을 마련하고, 데이터댐 사업에서 법과 제도를 준수했는지 평가하는 등 품질 향상을 위해 노력할 계획이다. 또한, 인간에게 잠재적으로 위험을 미칠 수 있는 인공지능 범주를 설정하고, 이러한 인공지능에 대해서는 서비스 제공 전 이용자에게 고지하는 등 의무화를 추진한다. 이밖에도 인공지능이 사회 전반에 미칠 영향을 분석하는 ‘영향평가’를 추진하며, 인공지능 윤리교육 및 연구자와 개발자가 지켜야할 체크리스트를 개발 및 보급할 계획이다.

이처럼 인공지능은 4차산업혁명의 중심으로 자리잡고 있으며, 이에 대한 신뢰도가 떨어질 경우 결국 사회 전반에 영향을 미칠 수 있다. 인공지능은 가치 판단이 아닌 학습한 데이터를 토대로 결과를 내놓기 때문에 결국 인공지능의 신뢰성과 윤리성 문제는 인간이 인공지능을 어떻게 가르쳤는지부터 출발한다는 점을 명심해야 한다.

출처 :

https://www.boannews.com/media/view.asp?idx=97635&kind=0