‘AI의 블랙박스화’ 막겠다··· 오픈소스로 알고리즘 공개 선언한 IBM

IBM은 인공지능 개발자가 알고리즘 작동 방식을 더 잘 파악할 수 있도록 돕는 오픈소스 소프트웨어 툴 세트를 발표했으며, 이는 향후 알고리즘의 편견을 피하는 데 도움이 될 것으로 기대된다.

Credit: Magdalena Petrova

IBM은 개발자들이 인공지능의 의사결정 방식을 파악하는 데 도움이 되는 새로운 오픈소스 소프트웨어를 출시해 인공지능 블랙박스 알고리즘을 깨고자 분투하고 있다.

블랙박스 알고리즘은 신문 구독과 상품 구매 등 단순한 것부터 헤지펀드가 투자하는 주식이나 보험사가 가입을 승인하는 고객까지 사람들이 점차 일상적으로 의존하고 있는 시스템의 핵심에 있는 복잡한 코드다. 이것들은 디자인이 점차 복잡해지고 있으며 시스템이 결론에 도달한 방식을 모를 때도 있는  정보를 받을 수 있다. 또한 역사적으로 디자인에 대한 감독이나 책임성이 거의 없었다.

IBM은 현재 페어네스 360 키트(Fairness 360 Kit)를 통해 AI개발자들이 일련의 대시보드를 통해 창작물의 내부를 살펴보고 의사결정 근거를 파악하는 데 도움이 되기 위해 개발된 소프트웨어를 오픈소스화하고 있다.

이 소프트웨어는 IBM 클라우드에서 서비스로써 운용되며 IBM 리서치가 해당 오픈소스 커뮤니티에 AI 편향 감지 및 완화 툴킷을 공개할 예정이다. 이를 통해 알고리즘 의사결정에 대한 실시간 통찰을 얻고 내재된 편향에 대한 의혹을 감지함으로써 심지어 감지된 편향을 완화하는 데 도움이 될 수 있는 새로운 데이터 파라미터를 추천할 수 있다.

이 통찰이 대시보드와 자연어로 제공되어 “의사결정에 가중치를 둔 인자, 추천에 대한 신뢰성, 신뢰성의 근거 인자를 보여준다”고 해당 업체가 언론 보도를 통해 밝혔다.

또한 IBM은 “고객 서비스, 규제, GDPR 준수성 등의 준수성을 위해 모델의 정확도, 성능, 공정성에 대한 기록과 AI 시스템의 혈통이 손쉽게 추적된다”고 이야기했다. 

이 소프트웨어는 광범위하고 사용자 정의 가능한 용도를 지원하기 위해 왓슨(Watson), 텐서플로(Tensorflow), 스파크ML(SparkML), AWS 세이지메이커(AWS SageMaker), 애저ML(AzureML) 등의 다양한 인기 머신러닝(ML) 프레임워크의 모델을 사용해 개발되었다.

“다른 오픈소스 리소스는 훈련 데이터의 편향 확인에만 집중했지만 IBM 리서치가 개발한 IBM AI 페어네스 360 툴킷은 AI 모델의 편향 확인 및 완화에 도움이 될 것이다. 세계적인 오픈소스 커뮤니티가 협력하여 과학을 발전시키고 AI의 편향을 더욱 쉽게 해결할 수 있기를 바란다”고 IBM은 덧붙였다.

알고리즘의 편향
AJL(Algorithmic Justice League)의 설립자 겸 MIT 미디어 연구소 컴퓨터 공학자로 안면 인식 시스템의 인종적 편향을 발견하는 데 도움이 된 젠더 쉐이즈(Gender Shades) 프로젝트를 진행했던 조이 볼라뮈니가 알고리즘의 편향을 인식하는 데 크게 기여했다.

캐시 오넬(Cathy O’Neil)의 수학 파괴 무기(Weapons of Math Destruction)와 프랭크 파스칼(Frank Pasquale)의 블랙박스 사회: 돈과 정보를 제어하는 비밀 알고리즘(The Black Box Society: The Secret Algorithms That Control Money and Information) 등의 인기 저서도 이 문제에 대한 인식을 높이는데 도움이 되었으며 기술 업계에서 이에 대해 행동을 취하기 시작한 것 같다.

미국의 프로퍼블리카(ProPublica) 소속 연구원과 저널리스트들이 미국 사법계에서 재범의 가능성을 예측하기 위해 널리 사용하고 있는 알고리즘인 COMPAS가 흑인 피고에 대해 인종적으로 편향적이라고 보고하면서 악명 높은 AI 편향의 예가 알려지게 되었다.

더럼(Durham)의 영국 경찰은 시민 자유 그룹들로부터 용의자가 추가 범죄를 저지를 위험이 있는지 예측하기 위해 유사한 알고리즘을 사용했다고 비난을 받았다.

영국 민주당 지지자 겸 경찰관 한나 코치만은 “편견을 방지하기 위해 프로그램을 엄격한 관리하에 엄격히 시험하고 배치해야 하며 AI만을 근거로 인권에 영향을 끼치는 결정을 내려서는 안 된다”고 밝혔다.

최근 액센츄어가 발표한 ‘임계 질량: 멈출 수 없는 AI의 발전 관리하기‘ 연구에 따르면 AI를 도입하는 조직 중 70%가 개발자를 위한 윤리 교육을 수행하고 있다고 한다.

AAI(Accenture Applied Intelligence)의 AI 책임 연구원 룸만 초우드허리는 “조직들은 AI가 사람들을 편향적이고 불평등하게 대우하게 만든다는 우려에 대응하기 시작했다”며 “긍정적인 단계이지만 조직들은 히포크라테스 선서(Hippocratic Oath)의 ‘해가 되지 않는’ 정신을 지향하는 AI 윤리 강령을 초월해야 한다”고 말했다.

AAI UK의 책임자 레이 아이텔 포터는 “기업들은 이론을 현실화할 수 있는 방법에 대해 생각해야 한다. 그들은 투명하고 설명 가능하며 책임감 있는 AI를 보장하는 탄탄한 거버넌스(Governance) 프로세스에 따르는 사용 및 기술 지침을 통해 그렇게 할 수 있다”고 덧붙였다.

다른 업체들
IBM만 이러한 노력을 기울이는 것은 아니다. 최근, 구글은 개발자들이 머신러닝 모델의 성능 기록 내부를 살펴보는데 도움이 되는 ‘what-if’ 툴을 출시했다.

기술 거대기업 마이크로소프트와 페이스북도 알고리즘의 편향을 감지하여 회피하는 데 도움이 되는 툴을 공개하겠다고 발표했다.

최근 독일 공급업체인 SAP가 외부 AI윤리 자문단을 설치했다고 전해졌다. 액센츄어의 연구에 따르면 응답자 중 63%가 윤리 위원회를 보유하고 있는 것으로 나타났다.

존경받는 패널에는 엘랑겐뇌르베르크대학교(University of Erlangen-Nuernberg)의 시스템 기술(윤리학) 회장 피터 다브록, CTIS(Cornell Tech Information Science)의 헬렌 니센바움, 스탠포드대학의 공공 정책 및 법률 강사 겸 SLAL(Susan Liautaud & Associates Limited)의 상무이사 수잔 리아타우드가 포함된다.

패널은 개발, 전략, 인적자원 부서의 임원으로 구성된 SAP의 기존 AI 운영 위원회와 협업한다.

SAP의 CFO 루카 무칙은 “SAP가 윤리적인 데이터 사용을 핵심 가치로 여긴다”고 말했다. “우리는 정보기업을 가능하게 하고 실제로 사람들의 삶을 개선하는 소프트웨어를 개발하고 싶다. 이런 원칙은 AI가 인간의 재능을 강화하는 기술이 되는 기초가 될 것이다.”

리아타우드는 “AI가 엄청난 기회를 제공하지만 사회와 인간에 대한 이례적이고 때로는 예측할 수 없는 윤리 문제를 발생시킨다”고 말했다. 이어서 “AI 윤리 자문 패널을 통해 우리는 인류와 사회에 기여하는 윤리적인 AI를 완성할 수 있다”고 전했다.

하지만 투명하고 윤리적인 AI의 이점은 단순히 도덕적인 문제가 아니고 앞으로 알고리즘에 대한 공적 신뢰를 쌓아야 한다.

인텔 AI 프로덕트 그룹(Intel AI Products Group)의 데이터 공학 책임자 잉잉 리우는 액센츄어 보고서의 일환으로 “AI의 의사결정 방식을 이해하면 신뢰를 쌓고 효과적인 인간 감독이 가능해진다”고 말했다. 리우는 “AI를 배치하는 개발자와 고객의 경우 알고리즘 투명성과 책임성뿐만이 아니라 AI 시스템이 인간이 아님을 알리는 신호를 보내도록 하는 것을 통해 광범위한 도입을 위해 필요한 신뢰를 쌓을 수 있게 된다”고 설명했다.

블랙박스 알고리즘
또한 이런 툴은 알고리즘 디자인의 블랙박스를 여는데 유용하다는 점이 입증될 수 있다.

TLS(Times Literary Supplement)에서 출판된 그의 저서 신들의 죽음(The Death of Gods)에서 칼 밀러는 이렇게 말했다. “알고리즘이 정말 단순한 것에서 터무니없이 복잡한 것으로 바뀌었다. 이전과는 달리 과업을 달성하고 문제를 해결할 수 있다. 실제로 헤아릴 수 없이 복잡한 세상을 인간보다 더 잘 다룰 수 있다. 하지만 그런 것이 가능하기 때문에 그 작동 방식이 터무니없어졌다.”

이 저서에서 익명을 요구한 한 대형 기술기업의 연구원은 밀러에게 다음과 같이 말했다. “힘은 있지만 책임감은 없는 것이다. 힘이 너무 세고 책임은 너무 없다. 개념적으로 추상적인 힘이 아니다. 일상을 위한 진정한 힘이다. 물질적이면서도 문화적이고 금융적이다. 이런 메커니즘을 알아야 한다.”

그 연구원이 밀러에게 설명한 현재 알고리즘의 문제는 기하급수적인 데이터와 컴퓨팅 능력의 성장으로 알고리즘 훈련을 위해 엄청난 데이터를 제공할 수 있지만 우리는 인간으로서 알고리즘이 결론에 도달하는 데 실제로 도움이 된 입력값이 무엇인지 정의하기가 어려워진 것이다. 하나의 블랙박스인 것이다.

해당 연구원은 “현실적으로 문제가 있을 때만 내부를 살펴본다. 그리고 실제로 무슨 일이 일어났는지 이해하는 것이 물리적으로 불가능하다”고 결론 내렸다. 그는 “알고리즘이 할 일을 하는 것처럼 보이고 사람들이 불평하지 않는다면 현실을 파악하기 위해 모든 지침과 추상화된 코드 계층을 실제로 살펴볼 유인이 크지 않은 것이 현실이다”고 덧붙였다.

핀터레스트(Pinterest)의 수석 과학자 겸 스탠포드대학교의 머신러닝 교수인 또 다른 연구원 주어 레스코벡은 밀러에게 “우리는 한 단계 발전하여 선입견 없이 알고리즘을 평가할 방법을 찾아야 한다. 우리는 그들의 결정을 해석하고 설명할 수 있어야 한다. 우리가 최적의 알고리즘을 원하는 것이 아니다. 우리는 전문가가 살펴보고 이상한 일이 일어나지 않고 있다고 말할 수 있을 만큼 단순한 것을 원한다. 우리는 이런 것들을 이해관계 결정 환경에서 사회적인 배치에 대비시킬 방법을 진지하게 생각해 보아야 한다. 일정 수준의 품질을 확보하기 위해서는 어떻게 디버깅(Debugging)해야 할까?”고 말했다.

대형 기술업체들이 최소한 점차 자체 알고리즘에 내재된 위험이 적절한 감독 없이 사회를 위협하고 있다는 점을 인식하고 블랙박스를 해소할 조처를 하고 있는 것으로 보인다. 문제는 그 결과가 만족스러운지 여부다. ciokr@idg.co.kr

원문보기: 
http://www.ciokorea.com/t/22000/AI/39723?page=0,1#csidxfab558f38bb7ff4bf75bd81aef7985f