[지디넷 코리아] 에어캐나다 울린 ‘이것’…생성형 AI 도입 기업들 ‘비상’

#. 캐나다에 사는 제이크 모팻 씨는 지난 2022년 11월 11일 토론토에 사는 할머니의 별세 소식을 듣고 당일 에어캐나다 웹사이트를 방문했다. 모팻 씨가 정가인 1천630.36 캐나다달러에 토론토 왕복 티켓을 구매하자, 에어캐나다의 생성형 인공지능(AI) 챗봇은 90일 이내 할인을 신청하면 장례 할인 항공료인 812캐나다달러(약 80만2천원)를 제외한 나머지 금액을 주겠다고 설명했다. 이후 모팻 씨는 챗봇 안내대로 할인 신청을 했다. 그러자 에어캐나다는 웹사이트 게시 정보와 다른 챗봇의 안내에 책임이 없다고 주장하며 이를 거부했다. 하지만 소액 민사 분쟁 중재 기구인 캐나다 민사중재원은 모팻 씨의 손을 들어줬다.

최근 기술 발달에 대한 의존도가 높아지면서 AI를 활용하는 기업들이 환각(Hallucination) 현상으로 골머리를 앓고 있다. 정확한 답을 찾지 못할 경우 AI가 방대한 학습 내용 중에 비슷한 부분만 짜깁기해 잘못된 정보를 주는 사례가 많아지면서 법적 분쟁에 휘말리는 경우도 종종 나타나고 있어서다.

20일 업계에 따르면 생성형 AI 챗봇을 도입하고 있는 기업, 공공기관들은 최근 환각 현상을 없애기 위해 ‘검색증강생성(RAG·Retrieval Augmented Generation)’ 기술을 속속 도입하고 있다. 

RAG는 검색 결과를 활용해 새 콘텐츠를 생성하는 기술로, AI 모델과 별도 데이터를 바탕으로 검색엔진을 만들어 글로벌 거대언어모델(LLM) 답변을 교차검증해 결과물의 정확도를 높인다. 또 답변 생성 전 언론사 뉴스나 자체 데이터베이스 등 신뢰할 수 있는 외부 지식 체계를 참조·반영해 답변의 정확성과 전문성을 향상시킨다. 

생성형 AI 거짓말에 ‘분통’…소송까지 불사

RAG 기술이 주목 받는 것은 최근 생성형 AI의 거짓말이 사회적 문제가 되고 있어서다. 오픈AI가 개발한 ‘챗GPT’의 경우 미국 내 총기권리 활동가인 마크 월터스에 대해 ‘횡령’ 혐의가 있다고 묘사해 논란이 됐다. 이에 월터스는 즉각 오픈AI를 상대로 명예훼손을 제기했고, 오픈AI는 재판부에 기각 요청을 신청했지만 미국 법원이 이를 거부했다. 

챗GPT의 거짓말 사례는 또 있다. 호주 남부 햅번셔의 시장으로 선출된 브라이언 후드는 지난해 4월 자신이 뇌물수수 혐의로 징역형을 선고 받았다는 허위 정보를 챗GPT에서 접하고 분노했다. 후드는 범죄자가 아닌 범죄와 관련된 내부 고발을 한 사람이었다. 그는 오픈AI 측에 강하게 항의했다.

업계 관계자는 “갈수록 기술 발달에 대한 의존도가 높아지면서 기업들이 심각한 분쟁에 휘말릴 소지가 많아지고 있다”며 “챗봇으로 인한 허위 정보 확산과 그에 대한 책임이 누구에게 있는지에 대한 문제도 최근 대두되고 있다”고 말했다.

 

환각 현상 대안된 RAG…기업·정부 속속 도입

기업들은 생성형 AI 시장이 확대되며 환각 현상이 곳곳에서 나타나고 있는 만큼, 이를 최대한 막고자 RAG를 속속 도입하고 있다. 

베스핀글로벌은 자사 대화형 AI 플랫폼 ‘헬프나우(HelpNow)’에, 온라인 법률 플랫폼 ‘로톡’을 운영하는 로앤컴퍼니는 판례 제공 서비스인 ‘빅케이스GPT’에 RAG를 적용했다. KB국민카드는 지난해 10월 AI 기업 스켈터랩스가 개발한 GPT 기반 챗봇 ‘벨라 큐나’에 정보를 연동한 이벤트 질의응답 서비스 ‘이벤트 Q&AI’를 선보였는데, 여기에 RAG 기술을 활용했다. 

메타·구글·오픈AI·아마존·엔비디아 등 글로벌 테크 기업들도 RAG 기술을 크게 주목하고 있다. 이들은 AI 시스템을 보완하는 ‘AI 레드팀’도 앞 다퉈 구축·운영하고 있다. 가상의 적으로 설정된 보안팀인 AI 레드팀은 시스템 취약점을 일부러 도출해내고 예방하는 역할을 한다. 프롬프트(명령어)에서 생성형 AI가 제공하지 말아야 하는 부적절한 답변을 이끌어내고, 이를 통해 AI 보안을 더욱 강력하게 한다. 

정부도 RAG가 적용된 AI 기반 챗봇 서비스를 도입할 예정이다. 통계청은 올해 하반기 대국민 서비스를 목표로 주요 통계에 대해 통계 추천과 전문적 질의응답이 가능한 초거대 AI 기반 통계 챗봇 서비스를 구축키로 했다. 기존 국가통계포털(KOSIS) 챗봇 서비스는 정확한 통계 용어를 사용하지 않으면 제대로 된 답변을 받기 어려웠다. 그러나 앞으로는 일상언어로 질문하는 통계도 맥락과 의도를 파악해 이용자가 궁금한 사항을 대답할 수 있도록 한다는 방침이다. 또 환각 현상을 방지하기 위해 ‘팩트체크’도 구현할 계획이다.

업계 관계자는 “LLM을 학습·재학습 시키려면 매개변수(파라미터) 수에 따라 천문학적 비용이 든다”며 “반면 RAG는 모델을 다시 학습시킬 필요 없이 프롬프트 엔지니어링(AI가 정확한 답변을 하도록 유도하는 기술)만으로 가능하단 것이 장점”이라고 설명했다.

 

 

RAG로도 한계…MRC·LLM 등 여러 기술 같이 써야

이 시장을 겨냥해 오라클은 최근 RAG용 OCI 생성형 AI 에이전트 베타 버전을 공개했다. 이는 기업 자체 데이터를 사용해 RAG 기능을 지원하는 서비스다. 국내에서는 포티투마루, 올거나이즈, 스켈터랩스 등의 기업이 RAG 활용을 돕고 있다. 기업에서 AI를 활용하기 쉽도록 그 기업의 정보가 담긴 전문 소형언어모델(sLLM)을 만들면서 여기에 RAG 기능도 탑재해 기업들이 AI를 실제 업무에 활용할 수 있도록 지원한다.

업계 관계자는 “RAG를 제대로 사용하기 위해서는 LLM의 활용 분야에 맞게 세부적으로 조정 가능한 엔지니어링 능력이 갖춰져야 한다”며 “이러한 능력 없이는 RAG 역시 엉뚱한 답변을 제공하는 데 그칠 수 있다”고 지적했다.

포티투마루의 경우 이 같은 문제를 해결하기 위해 지난해 ‘RAG42’를 공식 출시했다. 이 솔루션을 활용해 RAG 컨설팅부터 LLM 솔루션 구축까지 원스톱으로 제공하고 있다.

김동환 포티투마루 대표는 “LLM을 업무에 활용하려면 답변 정확도가 중요한데, 사실 LLM은 RAG 역량에 따라 성능이 크게 달라질 수 있다”며 “그간 ‘MRC(Machine Reading Comprehension, 기계 독해)’를 꾸준히 해온 경험과 LLM에 대한 노하우, 여기에 RAG 역량을 투입해 기업들이 생성형 AI를 업무에 활용할 수 있도록 지원하고 있다”고 설명했다.

그러면서 “LLM이 다양한 데이터를 학습해 여러 분야에 창의성을 발휘하는 방식이라면, MRC는 딱 정해진 문서, 데이터 내에서 정확한 답을 찾아내는 방식으로 LLM에 비해 정확도는 높다”며 “앞으로는 RAG, MRC, LLM, 프롬프트 엔지니어링 등 여러 기술이 어우러져야 비즈니스에서 활용할 수 있을 만큼 환각 현상을 해소할 수 있을 것”이라고 덧붙였다.