[블로터]벡터DB가 정답 준다는 착각 버려라…베스핀글로벌의 경고

한선호 베스핀글로벌 최고AI책임자(CAIO) 부사장이 3월31일 서울시 서초구 양재동 엘타워에서 열린 ‘BESPIN AI Partners Day 2026’에서 발표하고 있다. /사진=박현준 기자

 

인공지능(AI) 도입에 나선 기업들이 한 가지 기술적 함정에 빠지는 경우가 늘고 있다. 바로 벡터 데이터베이스(벡터DB)를 만능 해결사로 오해하는 것이다. 한선호 베스핀글로벌 최고AI책임자(CAIO) 부사장은 3월31일 서울시 서초구 양재동 엘타워에서 열린 ‘BESPIN AI Partners Day 2026’에서 이 함정을 정면으로 짚었다.

벡터DB는 기업의 문서를 잘게 쪼개(청크·chunk) 수치화한 뒤 저장하고 질문이 들어오면 가장 비슷한 조각들을 꺼내 AI가 답변을 만들도록 돕는 기술이다. 도서관에서 비슷한 주제의 책을 찾아 사서에게 건네주는 역할에 비유할 수 있다. 하지만 이 방식은 본질적으로 ‘확률 기반’이다. 가장 그럴듯한 조각을 가져올 뿐 정답을 보장하지 않는다. 한 부사장은 “벡터DB가 정답을 준다고 착각하면 안 된다”고 강조했다. 특히 데이터 간 계층 구조나 복잡한 관계를 파악하는 데는 한계가 뚜렷하다. 공장 가동률처럼 여러 조건을 동시에 따져야 하는 복합 추론 질문을 던지면 정확한 답이 잘 나오지 않고 표(정형 데이터)와 다양한 문서(비정형 데이터)를 결합해 답을 만들어내는 것도 어렵다.

한 부사장이 대안으로 제시한 것은 그래프 데이터베이스(그래프 DB)와 온톨로지(ontology·개념 간 관계를 체계적으로 정의한 지식 구조) 기반 접근이다. 일반 DB가 엑셀 표라면 그래프 DB는 마인드맵이다. 표는 행과 열로만 관계를 표현하지만 마인드맵은 개념들이 선으로 얽혀 복잡한 관계를 직관적으로 제시한다.

한 부사장이 제시한 보험사 사례가 이를 잘 보여준다. 암 진단비 특약이 위암과 연결되고 위암은 다시 ‘소화기 질환’ 카테고리에 속하며 그 카테고리는 특정 직업군과 연결되는 식으로 관계망을 구성한다. 질문이 들어오면 이 연결 고리를 따라가며 답을 찾기 때문에 벡터DB처럼 ‘비슷한 문서 조각’을 찾는 게 아니라 명확한 관계의 경로를 추적한다. 이처럼 보험 상품·약관·특약·질병의 관계를 그래프 구조로 연결하자 일부 정보만으로도 전체 맥락을 파악할 수 있게 됐다. 이로써 AI 환각(hallucination·AI가 틀린 정보를 그럴듯하게 만들어내는 현상)을 줄일 수 있었다. 그는 “그래프DB와 온톨로지를 함께 활용해야 한다”며 “실제 기업 환경에서 무엇이 작동하는지를 면밀히 따져봐야 한다”고 강조했다.

생성형AI(구글 제미나이)의 도움을 받아 시각화하고 기자가 최종 검토·확인해 제작한 그래픽입니다. 그래픽에 포함된 데이터와 내용은 기자가 직접 취재한 결과물입니다.

기술 선택만큼 중요한 것이 조직 문화와 추진 방식이다. 한 부사장은 AI 도입 성공의 핵심 조건으로 세 가지를 꼽았다. 핵심 업무 프로세스를 다시 설계하지 않으면 투자 대비 효과(ROI)를 기대하기 어렵고, 도입 단계를 잘게 나눠 지속적으로 성과를 점검해야 한다는 것이다. 무엇보다 ‘대규모언어모델(LLM)보다 데이터 품질, 프로세스 정비, AI를 받아들이는 조직 문화가 더 중요하다’는 것이 한 부사장의 지론이다. 그는 “기업의 정보기술(IT)과 AI가 따로 놀아선 안 된다”며 “하나의 목표를 향해 함께 달려가고 제대로 아는 파트너와 함께하는 것이 AI 전환(AX) 성공의 출발점”이라고 말했다.

한편 이날 김수연 EY 전무, 김진유 PWC 전무, 최영준 아마존웹서비스(AWS) 데이터&AI SA 리더 등의 전문가들이 ‘기업의 성공적인 AI 운영’에 필요한 방안 등에 대해 발표했다.