[디지털데일리]AI 검색 시대에 ‘야후 스타일’이 돌아온다고? [real! AI pro]

[디지털데일리 이건한 기자] 독자분들은 ‘야후(Yahoo)’를 기억하시나요? 2000년대 중반, 구글이 뜨기 전까지 전세계 인터넷 검색시장을 주무르던 강자였죠. 당시 야후의 특장점은 ‘디렉토리 기반 검색’ 인터페이스였습니다. 쉽게 말하면 초기 인터넷 시절, 웹 공간에 불규칙하게 산재되어 있던 정보들을 야후에서는 유사한 주제로 묶어 제공함으로써 사용자들이 필요한 정보를 쉽게 찾을 수 있도록 했던 건데요. 게다가 인간 큐레이터들이 정확한 정보를 대신 선별해주는 방식이었기 때문에 품질에 대한 신뢰도 또한 높았습니다.

[ⓒ DALL·E AI 생성 이미지]

그러나 구글이 자동화된 웹페이지 분류와 신뢰도 분석이 가능한 페이지랭크(PageRank) 알고리즘 기반의 검색 서비스를 활성화하면서 야후는 몰락하기 시작했습니다. 당시 인간 큐레이터의 속도로는 도저히 자동화된 검색엔진의 대규모 웹페이지 처리 속도를 따라잡을 수 없었기 때문이죠.

그런데 요즘 “AI 기반의 3세대 검색엔진은 다시 야후와 같은 모습일 것”이란 흥미로운 전망이 나오기도 합니다. AI가 인간 큐레이터의 역할을 대신하고, 구글 방식의 장점은 점차 옅어지고 있기 때문이란 분석인데요. 본 기사에서는 이런 전망과 관련된 인사이트를 글로벌 AI 검색기업 ‘라이너’의 허훈 테크리드가 알기 쉽게 설명해 드립니다.

[ⓒ 디지털데일리]

어느새 ‘레거시’가 되어가는 구글식 검색

안녕하세요, 허훈입니다. 지난 이야기(AI가 바꿀 ‘검색’과 ‘부’의 패러다임)에 이어 오늘은 AI 검색과 기존 검색 방식의 비교를 통한 차별화 지점, 발전과 방향성 등을 나눠보려 합니다.

우선 한 번이라도 써본 사람은 모두 공감하는 AI 검색의 강점은 편리함과 속도입니다. 어느덧 ‘전통적인 검색’이라 부를 수 있게 된 구글의 방식은 인터넷 공간에 저장된 방대한 웹페이지에서 사용자의 검색 키워드와 부합하는 문서를 찾고, 적합한 순서대로 나열해주는 것입니다. 이는 과거 인터넷 사용자가 급증하고 웹페이지 숫자도 폭증하던 시절, 야후의 수동식 웹페이지 분류 방식을 제치고 주류가 되기에 효과적인 방식이었습니다. 또한 지금도 충분히 유효한 방식이긴 합니다.

하지만 단점은 검색 결과로 제공되는 웹페이지 목록을 사용자가 일일이 살펴보고, 접속하여 핵심 내용을 찾고, 끝으로 신뢰성까지 판단해야 한다는 ‘수고’에 있습니다. 구글 검색결과 최상단에 노출된 페이지에 언제나 내가 원하는 정보가 담겨 있지 않다는 점만 해도 그렇지요. 실제로 구글식 검색은 이제 수집된 정보가 너무 많아지면서 오히려 저품질 페이지를 모두 걸러내기 점점 힘들어지고 있다는 한계에 봉착하고 있기도 합니다.

반면 AI 검색은 이런 탐색 과정 전반을 AI 에이전트가 대신 수행합니다. 질문을 던지면 AI는 스스로 적절한 웹페이지를 탐색 후, 그 안에서 필요한 정보만 발췌해 사용자가 원하는 방식으로 보여주죠. 대부분 답변의 출처까지 제공하므로 사용자는 완성된 정보를 확인 후 그 정보를 신뢰할지 여부만 결정하면 됩니다. 또한 AI는 동시에 여러 질문에 대한 답변도 제공할 수 있으므로, 동일한 주제의 검색이라면 이제 AI 검색의 효율이 압도적으로 좋은 것이 현실입니다.

2002년 6월29일자, 디렉토리 인터페이스가 적용된 야후 한글 페이지 [ⓒ Wayback machine]

이런 점도 야후 이전 인터넷 사용자들이 웹페이지 주소(URL)나 파일명을 모르면 정보를 제때 찾기조차 어려웠던 시절, 인간 큐레이터가 직접 그 수고를 덜어준 야후의 방식이 사용자들에게 폭발적인 호응을 얻었던 것과 다르지 않습니다. 역시 역사는 돌고 도는 것인가도 싶지만, 확실한 건 이제 다시 현재 구글식 검색이 ‘레거시(Legacy, 옛것)’로 불릴 날도 멀지 않아 보인다는 것인데요. 정보가 너무 적은데 찾기조차 힘들었던 문제가, 지금은 너무 많은데 양질의 정보를 선별하기 어려운 문제로 바뀌면서 사용자들에게는 이제 다시 ‘똑똑하고 자동화된 큐레이터’인 AI의 가치가 높아지고 있다는 의미입니다.

“더 정확하고, 더 친절하게” AI 검색은 지금

이 가운데 요즘은 라이너, 서치GPT, 뤼튼, 퍼플렉시티 등 이제 국내외 할 것 없이 다양한 AI 검색 서비스들이 빠르게 성장하며 주목받고 있습니다. 지금은 각자의 방식으로 이 시장을 발전시켜 나가고 있는데요. 저는 특히 ‘검색의 본질’을 중심으로 사용자경험(UX) 개선에 집중하는 라이너의 방향이 향후 전체 AI 검색 시장이 나아갈 방향과도 일치할 것이라고 확신합니다.

우선 앞서 말했듯 AI 검색의 강점은 ‘빠르고 신속하게 신뢰할 수 있는 정보를 제공하는 것’입니다. 이를 위해 다양한 기술, 인터페이스 개선 노력이 필요한데요. 기술적으로 검색 도메인(분야) 압축도 중요합니다. 부연하자면 검색이란 목적에 따라 크게 정보 획득, 상품 간 비교, 상품 구매, 특정 사이트 접속 등으로 나뉩니다. 이때 보다 사용자 최적화된 검색을 제공하려면 검색엔진이 각 목적에 부합하는 도메인의 정보만을 선별적으로 수집할수록 좋습니다.

검색의 4가지 목적성 [ⓒ 라이너]

예컨대 지금 구글, 빙 같은 범용 검색엔진은 ‘개인화(Personalization)’ 같은 단어를 검색하면 개인화 기술에 대한 정보뿐 아니라 개인화 쇼핑몰 등 전자상거래 특화 문서까지 모두 찾아서 보여주는데요. 이 방식은 위 4가지 검색 목적의 가능성을 모두 만족하기 위해 사용자에게 불필요한 페이지까지 모두 노출하므로 비효율적인 측면이 있습니다.

반면 언어 이해 능력이 좋은 LLM(대형언어모델) 기반 AI는 사용자가 입력한 질문에서 핵심 키워드뿐 아니라 목적, 맥락을 구분하는 능력이 뛰어납니다. 이를 통해 AI 개발사는 검색 시 불필요한 도메인은 제외하도록 할 수 있도록 각자만의 방식으로 최적화할 수 있습니다.

시기적으로도 AI 검색 초기인 지금 사용자들이 주로 ‘정보 획득’에 대한 수요가 큽니다. 따라서 저희 서비스도 해당 성능과 UX 개선에 집중하고 있고요. 특히 라이너의 초기 서비스인 ‘웹페이지 하이라이트’ 데이터도 적극 활용하고 있습니다. 하이라이트는 인터넷 사용자들이 웹페이지 서칭 중 유용하다고 판단한 데이터에 직접 형광펜을 긋듯 표시한 정보인데요. 과거 인간 큐레이터의 역할이 그랬듯, 범람하고 산개된 정보 속에서도 인간이 직접 검증한 정보이기 때문에 그만큼 고품질 검색 도메인 판별 시 높은 신뢰성을 보증합니다.

또한 단순히 ‘정답과 출처’만 제공하는 건 다소 친절하지 않은 방식입니다. 특히 AI 검색은 아직 오답을 정답처럼 제공하는 ‘환각’에서 100% 자유롭지 못한 한계도 있습니다. 이를 아는 사용자들은 기껏 AI가 검색결과를 내놓아도 직접 출처에 접속해서 내용이 잘 생성되었는지 확인하는 등, AI 검색의 강점을 온전히 누리지 못하는 모습을 보이기도 합니다.

따라서 AI 검색 사업자들은 검색 결과에 대한 사용자의 신뢰성 검증 절차도 간소화해주는 노력이 필수적입니다. 이 때문의 라이너는 출처 페이지에서 해당 인용 문장을 직접 하이라이트한 결과까지 결과물에 제공하는 UI를 구현, 사용자들에게 좋은 평가를 받기도 했습니다. 반복된 비유지만, 이 역시 과거 인간 큐레이터가 그랬듯, AI의 능력을 적극 활용해 최대한 검색 사용자들의 수고를 줄이기 위한 노력이 오늘날 다시 좋은 결실로 이어진다는 점이 확인되는 것 같습니다.

검색 결과값 요약, 하이라이트, 인용구절 표시 등이 적용된 라이너 [ⓒ 라이너 PC버전]

AI 검색 시대에도 ‘포털’은 유효할 수 있다

그런데 이런 생각도 들 수 있습니다. 신속한 정보 검색이 주를 이루는 AI 검색이 대세가 되면 앞으로 ‘네이버’와 같은 포털 지향의 검색 서비스가 사라질까요? 꼭 그렇지 않습니다. 저는 서비스의 형태와 지향점이 중요할 것이라고 생각합니다. 예를 들어 AI 검색, AI 운세, AI 캐릭터, AI 투자 등 AI란 개념 아래 다양한 세부 서비스를 모두 AI로 구성하는 플랫폼이 있다고 가정합시다. 사용자 입장에서 서비스가 지나치게 크고 비용 효율적이지 않을 수 있습니다.

반면 AI 검색을 중심에 두고, 이 기능을 활용하는 사용자들이 공통의 관심사를 공유하도록 커뮤니티 형성을 돕거나, 필요한 부가 서비스를 제공한다면? 충분히 유의미한 서비스 전략이 될 수 있을 것입니다. 실제로 네이버의 성공 전략 중 하나도 검색을 통한 정보 탐색 경험을 제공하면서, 동시에 다양한 라이프스타일 정보와 서비스를 조화롭게 연계해 낸 것이었습니다.

AI 환각은 점차 ‘작은 문제’가 될 것

한편으로 여전히 많은 분들이 AI 검색의 환각 부작용을 우려합니다. 안타깝지만 지금의 LLM(거대언어모델) 구조와 검색의 특성상 환각을 100% 제거하는 건 사실상 불가능해 보이긴 합니다.

최근에는 AI 환각 가능성을 줄이기 위해 RAG(검색증강생성)란 일종의 ‘지식사전’을 LLM과 함께 사용하는 방법이 널리 쓰이곤 합니다. RAG는 LLM이 사전에 사전학습하지 못한 데이터, 가령 스포츠 분야에서 ‘야구’나 ‘축구’ 데이터는 충분히 익혔는데 ‘컬링’에 대한 정보가 부족할 경우, 컬링에 대한 고품질 정보가 집약된 데이터를 LLM에 보조적으로 제공하는 방법으로 설명할 수 있겠는데요. 한마디로 AI에게 특정 참고서를 주고 그 안에서 답을 찾도록 하는 거죠.

하지만 맹점도 있습니다. RAG 자체의 신뢰성 문제말입니다. LLM 자체는 오히려 기술적으로 환각을 제거할 수 있게 되더라도, 생성형 AI 기술 발전으로 콘텐츠 생성이 너무 쉬워진 현대 환경에서 가짜 정보와 선전 문서는 지금도 굉장히 쉽게 대량으로 만들어지고 있습니다. 결국 실시간 정보를 다루기 위한 RAG에 이런 가짜 정보가 섞일 가능성도 높아질 수밖에 없는데요. 애초에 잘못된 참고서를 AI에게 주는 격이기에 향후엔 RAG로 인한 환각이 발생하는 일도 적지 않을 것으로 예상되고 있습니다.

물론 환각을 100% 잡진 못해도, 이는 점점 작은 문제가 될 겁니다. 우선 AI 검색의 속도나 정확성은 지금도 충분히 기존 검색 못지않은 수준이므로 큰 걱정이 필요하지 않습니다. 무엇보다 고무적인 건 AI 검색 사용자들의 인식이 점차 성숙하고 있다는 점도 있고요. 이제 사용자들은 처음 챗GPT가 등장했을 때처럼 AI를 ‘만능’으로만 보는 것이 아니라, 그 한계를 충분히 인지하고 AI가 제공하는 정보를 비판적으로 검토하는 태도를 익히고 있다는 이야기입니다. 이를 통해 기존 검색보다 빠른 속도와 정확도란 AI 검색의 이점은 유지되면서, 인간 사용자와 상호보완도 이뤄지기 때문에 AI 검색의 완성도는 더욱 높아지고 있다고 볼 수 있습니다.

이밖에 이를 돕기 위한 AI 개발사들의 노력도 지속되고 있습니다. 무엇보다 최적의 UI/UX 설계를 통해 사용자가 정보의 정확성을 더욱 쉽게 판단할 수 있도록 돕는 건 기본입니다. 시스템 측면에서도 허위정보나 신뢰성 낮은 정보는 더욱 강력하게 필터링할 수 있는 기술이 나날이 고도화되고 있고요. 나아가 고품질 도메인을 선별하는 과정에 전문가가 개입하거나, 콘텐츠 파트너십을 통한 정보 검증 방식을 추가하는 것도 상황에 따라 충분히 고려될 수 있는 방안이 될 것입니다.