[미라클레터]AI 에게 인간이 필요한 이유

by 지나 오 · 2024-08-30

AI로 생성한 데이터를 기반으로 반복해서 그렸을 때 결과가 붕괴되는 현상 [사진 =  M. Boháček & H. Farid / arXiv (CC BY 4.0)]   AI 데이터만 학습 붕괴해 버린 AI   챗GPT와 같은 거대언어모델(LLM)은 ‘방대한 양의 데이터로 학습된 AI’입니다. 인간의 언어를 이해하고, 인간이 만든 언어를 학습할 수 있으며, 이를 인간의 언어로 전달해 줄 수 있어요. 무엇이든 물어봐도 척척박사처럼 대답해주는 AI에 사람들은 깜짝 놀랐습니다. 발전에 발전을 거듭하는 AI. AI가 만든 콘텐츠는 점점 쌓여갑니다.  한 과학자가 재미난 실험을 기획합니다. ‘AI가 만든 콘텐츠가 모든 정보를 뒤덮는다면, AI가 학습할 정보가 오로지 AI로 만들어진 콘텐츠밖에 없다면 어떤 일이 발생할까.’ 영국 옥스퍼드대 컴퓨터과학과 연구진이 이를 확인해 봅니다.  먼저 LLM을 이용해 위키백과와 유사한 항목을 만든 뒤 이를 기반으로 AI를 학습시킵니다. AI가 만든 데이터를 AI가 학습하고, 이 학습한 데이터를 또 AI가 학습하는 상황이 이어지자 LLM의 출력, 즉 대답의 질은 점점 떨어지는 현상이 발견됩니다. 논문의 제목도 ‘반복적으로 생성된 데이터로 학습한 AI는 붕괴한다(AI models collapse when trained on recursively generated data)’에요.   연구진에 따르면 AI가 만든 데이터로 학습을 할수록 AI는 ‘횡설수설’했습니다. 이를 ‘붕괴’라고 표현했는데요, 쉬운 예(아래 그림)로 설명해볼게요. 예를 들어 개 이미지를 생성하는 AI가 있다고 가정해 볼게요. 골든레트리버, 불독 등 여러 개의 이미지를 AI가 학습합니다.   데이터에 ‘골든레트리버’가 많다면(인기 종이라면) AI는 골든레트리버에 대한 학습량이 많아지게 됩니다. 이를 반복하면 결국 AI가 생각하는 개에 대한 이미지는 골든레트리버만 남게 됩니다. 골든레트리버만 학습한 AI. AI는 골든레트리버조차 표현하지 못하는 이상한 그림을 그립니다.  이러한 일이 ‘텍스트’에서 벌어지게 되면 AI는 복잡 미묘한 세상을 반영하지 못하게 됩니다. 소수 집단은 덜 표현되면서 잠재적으로 지워질 수 있음을 의미합니다. 어쩌면 당연한 결과로 보이기도 합니다. LLM 자체가 확률을 기반으로 데이터를 학습하니까요.   학습된 단어를 사용하는 만큼 기존 데이터에서 빈도가 낮은 단어는 선택받을 확률이 떨어집니다. 가장 분포도가 높은 단어만 AI의 선택을 받습니다. ‘소수’는 사라지고 ‘과점’만이 남게 됩니다. AI가 내놓는 답은 형편없을 수밖에 없고요.  네이처에 인터뷰한 UC버클리의 컴퓨터 과학자 하니 파리드는 이 과정을 “종의 근친교배와도 같다. 근친 교배하고 유전자 풀을 다양화하지 않으면 종의 붕괴로 이어진다”라고 표현하기도 했습니다.    즉 현재 AI를 이끄는 LLM 모델의 발전, 성장을 위해서는 학습하는 데이터의 ‘품질’이 무엇보다 중요합니다. 최근 들어 오픈AI와 같은 기업들이 미디어 기업과 학습 데이터 계약을 잇달아 맺고 있는 이유인 것 같아요. 레딧은 연간 800억원 규모로 훈련 데이터를 제공하고 있고, 오픈AI 또한 월스트리트저널에 무려 3400억원을 주고 뉴스를 받고 있습니다. 애플은 AI 학습용 데이터 확보에만 수천억원을 투자한다고 발표하기도 했고요.

AI가 만든 데이터로만 학습한 AI. AI의 결과물이 붕괴되는 과정을 보여줍니다. 결국 인간이 남긴 ‘편향’이 이러한 결과로 이어집니다. [사진=네이처]

뇌에 존재하는 뉴런과 인공 신경망 비교 [사진=가천대, 어플라이드 인텔리전스]   이전학습을 기억 못하는 AI   캐나다 알버타대 연구진이 최근 ‘인공 신경망’의 한계를 극복하는 방안을 제안하는 논문을 네이처에 발표했습니다. 연구 결과보다 논문에서 정리한 인공 신경망의 한계 부분이 더 눈길을 끌었는데요, 이를 짧게 정리해 보겠습니다.   ‘신경망’이라는 단어 들어보셨죠? 인간의 두뇌에서 영감을 얻은 일종의 시스템인데요, LLM이 이러한 신경망을 기반으로 구축됐습니다. 신경망은 마치 뇌의 ‘뉴런’이 연결된 것처럼 입력된 데이터를 여러 단계를 거쳐 가중치를 기반으로 답을 내놓는 방식입니다. 뉴런 간의 연결이 탄탄하고 많을수록 뇌 기능이 뛰어나다고 하듯이, 신경망 또한 마찬가지입니다.  신경망에는 입력과 출력 사이에 ‘은닉층’이라는 것이 있는데요, 이곳에서 많은 데이터를 학습하고 계산을 열심히 할수록 좋은 데이터가 나옵니다. 물론 이는 단순화한 설명입니다. 너무 많은 정보를 한 번에 공부하면 뇌에 과부하가 오듯이 은닉층을 늘리기만 하면 오히려 계산이 느려질 수 있다고 해요.  신경망, 정확히 얘기하면 인공 신경망은 이후 머신러닝 분야에서 활발히 적용되고 있습니다. 신경망이 가진 한계도 있습니다. 뇌를 본떴다고는 하지만 생물학적인 뇌와 기계적인 신경망이 같을 리 없는데요, 특히 지속 학습 과정에서 신경망이 가진 단점이 보고되고 있어요.  인간은 이전에 습득한 정보, 지식을 지우지 않고도 새로운 정보에 효과적으로 적응하고 대응할 수 있습니다. 생물체의 신경망은 과거의 데이터를 기억하는 능력, 즉 ‘안정성’과 새로운 개념을 학습하는 능력, ‘가소성’ 사이에서 균형을 찾으면서 학습해 갑니다.    하지만 인공 신경망은 새로운 과제를 학습해야 하는 상황에 직면했을 때 이전에 학습했던 능력을 상실하는 ‘치명적 망각(catastrophic forgetting)’에 취약하다고 해요. 심지어 심할 경우 신경망 자체가 학습 능력을 잃어버린다고 합니다.  알버타대학 연구진의 비유를 볼게요. ‘퐁(Pong)’이라 불리는 비디오게임이 있습니다. 마치 탁구를 하듯 양쪽에서 공을 주고받는 게임인데요, 퐁에서 좋은 성적을 내도록 신경망을 학습시킨 뒤 비행기 게임 ‘갤러그’를 학습시키면 퐁에서의 점수가 크게 하락합니다. 새롭게 학습하는 게임이 많아질수록 처음 학습한 게임 방법을 거의 잃어버리게 됩니다.

사카나AI의 설립자인 데이비드 하(왼쪽)와 일리언 존스. 존스는 구글의 유명한 논문 ‘트랜스포머’의 공동 저자입니다. 데이비드 하는 구글에서 개발자로 일했습니다. [사진=.luxcapital]   과대 평가된 AI의 추론 능력   LLM이 가진 문제점, 더 있는데요. 바로 ‘왜 이러한 답을 내놨는지’ 그 과정을 정확히 이해할 수 없다는 것입니다. 즉 AI가 내놓은 답을 과연 어디까지 믿어야 하고, 받아들여야 할지, 인간은 알지 못합니다. 최근 미국 매사추세츠공대(MIT) 연구진이 LLM의 답이 가진 한계를 살펴보는 실험을 진행했습니다. 체스, 논리적 질문, 코딩 등 당연할법한 질문을 LLM에 한 뒤 답을 살펴보는 겁니다. 그리고 기본 조건에서 벗어난 ‘반대 시나리오’를 가지고 다시 질문을 합니다. 예를 들어 체스의 말 위치를 원래 방법과 다르게 둔 상태로 질문을 하는 거예요.  사람은 이러한 상황이 발생했을 때 충분한 시간이 주어지면 적응합니다. 하지만 LLM 모델은 ‘무작위’적인 추측보다 더 나은 성능을 보여주지 못했다고 해요. 즉 익숙하지 않은 상황이 나타났을 때, 이를 대처하는 능력이 현저히 떨어진다는 설명입니다.   연구진은 “LLM은 잘 다져진 길처럼 익숙한 시나리오에서는 뛰어나지만 지형이 낯설어지면 어려움을 겪습니다. AI가 보편화되려면 다양한 시나리오를 신뢰성있게 처리할 수 있어야 합니다”라고 이야기합니다.    AI 과학자 “못하겠다… 지침을 바꾸자” 따라서 AI의 판단이 정말 최선일지 고민할 필요가 있습니다. 흥미로운 사례를 가지고 왔는데요, ‘트랜스포머’ 논문으로 유명한 구글의 연구자가 일본에 설립한 ‘사카나 AI’의 연구입니다.  최근 사카나AI는 LLM 기반의 ‘AI 과학자’를 만든 뒤 AI가 쓴 과학 논문 여러 편을 공개했는데요, 흥미로운 사건이 발생합니다. AI 과학자가 통제된 연구 환경에서 AI를 만든 인간의 지침을 벗어나려는 움직임을 보인 겁니다. 왜 그런지는 알 수 없습니다.    실험하는데 2시간의 시간을 주었는데, AI 과학자가 이를 구현하지 못했다고 해요. 이럴 경우 AI는 “시간이 얼마 남지 않았다. 더 빠르게 작업을 해보자”라는 판단을 내려야 하는데 갑자기 “실험 시간을 4시간으로 늘리자”라는 결정을 한 겁니다. 그러면서 자신의 코드를 수정하려고 했습니다.  연구진은 “AI 과학자의 행동이 통제된 연구환경에 있는 만큼 위험을 초래하지는 않았지만 이러한 사례는 AI 시스템이 자율적으로 실행되지 않도록 하는 것이 중요함을 보여준다”라고 진단합니다. 이는 마치 터미네이터에 등장하는 ‘스카이넷’, 어벤져스에 등장하는 ‘울트론’을 떠올리게 합니다. 더 나은 아이디어를 찾지 못하자 AI가 규칙을 바꾸기로 한 상황이거든요. 실제 이러한 일이 발생한다면, 어떤 결과로 이어질까요.    출처: https://stibee.com/api/v1.0/emails/share/dFl1O5TKDicQatjwBMKSf6t4M9ROF0E

Share

Tags: AI

You may also like...

• 

  [지디넷코리아] 팀 쿡 “애플표 AI , 연말쯤 공개”

  2024-02-02

   by 민호 최 · Published 2024-02-02

• 

  [지디넷코리아] 구글, 생성 AI 개발 도구 전면 개방

  2023-06-12

   by 득환 김 · Published 2023-06-12

• 

  [조선일보] “검색으로 잘 먹고 살았는데”… 챗GPT 열풍에 위기감 커진 구글·네이버

  2023-05-08

   by 민호 최 · Published 2023-05-08