[뉴스1] ‘독버섯 레시피’ 내놓은 네이버 검색 AI…정확도 개선은 숙제

|잘못된 블로그 참조·현재는 삭제…네이버 “모니터링 꾸준히”
|구글 검색 AI는 정확한 답변…”관건은 고품질 데이터 수집”

 

(네이버 AI 브리핑 갈무리)

 

(서울=뉴스1) 신은빈 기자 = 네이버(035420) 인공지능(AI) 검색 서비스 ‘AI 브리핑’이 일부 검색어에서 잘못된 답변을 제공한 것으로 나타났다.

사실이 확인되지 않은 블로그 정보 등을 참고하면서 오류가 발생했다. 네이버는 문제를 인지한 즉시 해당 AI 브리핑 결과를 삭제했고 저품질 문서 탐지 기술을 강화하겠다는 입장이다.

 

---

AI 브리핑에 독버섯 레시피 버젓이…블로그 기반 오류

---

8일 정보기술(IT) 업계에 따르면 한때 네이버에 ‘화경버섯 레시피’를 검색했을 때 AI 브리핑에는 별도 주의문구 없이 다양한 레시피가 추천됐다.

화경버섯은 식용이 불가능한 독버섯으로, 네이버에 ‘화경버섯’만 검색하면 지식백과에 ‘강한 독성이 있다’는 내용이 뜬다.

오류가 발생한 이유는 답변 생성에 참고한 게시글이 잘못됐기 때문이다. AI 브리핑 답변 말미에 표시된 참고 문서에는 ‘화경버섯 효능과 요리법, 건강한 레시피 소개’ 등이 제목인 블로그 게시글이 포함됐다.

(네이버 갈무리)

 

해당 게시글은 생성형 AI로 쓴 저품질 게시글로 추정된다. 실제로 해당 블로그로 들어가면 AI로 생성한 듯 비슷한 말투와 표현이 반복되는 형태의 댓글도 함께 노출됐다.

네이버 조치에 따라 현재는 ‘화경버섯 레시피’를 검색했을 때 AI 브리핑 결과가 아예 제공되지 않는다. 잘못된 정보를 포함한 것으로 확인된 블로그 등 문서도 삭제 조치 중이다.

네이버 관계자는 “신뢰성 있는 콘텐츠를 바탕으로 검색 결과가 제공되도록 개선할 것”이라며 “AI가 생성한 저품질 문서도 탐지 알고리즘이나 모니터링 등 기술적·운영적 대응을 꾸준히 강화하겠다”고 설명했다.

(구글 AI 개요 및 AI 모드 갈무리)

 

---

검색 점유율은 제쳤지만 정확도는…구글은 정확한 답변

---

네이버는 연내 도달하겠다고 공언했던 AI 브리핑 질의 커버리지(범위) 20%를 지난해 돌파했다. 전체 검색어의 약 20%에는 AI 브리핑이 바로 적용되는 셈이다.

반면 답변 정확도는 개선해야 할 숙제다. 지난해 국내 검색 점유율은 네이버가 62.8%를 기록하며 구글(29.5%)을 제치고 1위에 올랐지만, 검색 품질과 신뢰도가 시장 지배력으로 이어지기 때문이다.

같은 날 구글에 ‘화경버섯 레시피’를 검색하고 ‘AI 모드’를 적용하면 독버섯임을 알려주며 식용 레시피가 존재하지 않는다는 답변을 제공했다.

해당 답변 역시 유튜브·인스타그램·위키피디아 등 문서에 담긴 내용을 참조한 결과다.

네이버 AI 브리핑 피드백 기능 (네이버 AI 브리핑 갈무리)

 

---

고품질 데이터 수집이 관건…피드백 반영·LLM 검증

---

검색 AI 서비스의 정확도를 높이려면 데이터 품질을 높여야 한다. 전문가들은 이용자 피드백을 꾸준히 반영해 선호도가 높은 데이터를 수집하는 방법을 대안으로 제시한다.

네이버는 현재 AI 브리핑 피드백 기능을 운영하고 있다. 이의를 제기하고 싶은 사용자는 답변이 유용하지 않다고 생각하는 이유와 함께 자유롭게 의견을 남길 수 있다.

개발 업계 관계자는 “오픈AI의 챗GPT도 여러 답변 중 이용자에게 원하는 답변을 선택하라는 질문을 통해 선호도가 높은 데이터를 수집한다”며 “이 같은 ‘포스트 트레이닝’ 방법으로 좋은 답변을 수집하고 향후 모델 정확도를 개선할 때 활용할 수 있다”고 설명했다.

(팀네이버 통합 콘퍼런스 ‘단25′(DAN25) 발표자료 갈무리)

 

지난해 팀네이버 통합 콘퍼런스 ‘단25′(DAN25)에서는 검색 성능을 강화하기 위해 LLM 기반 평가로 고품질 데이터만 필터링하고 있다고 발표하기도 했다. 특히 검색어와 관련성이 높은 문서를 찾는 데 그친 기존 검색 방식에서 신뢰도 높은 문서를 생성하는 방식으로 검색 기술을 고도화하는 중이다.

예를 들어 ‘여권 재발급 준비물’을 검색하면 기존에는 관련성이 높지만 신뢰성이 낮은 블로그 중심 검색 결과가 나왔다면, 모델을 고도화하면서 외교부나 서초구청 등 공신력 있는 기관의 문서가 먼저 뜨도록 개선하고 있다.

개발 업계 관계자는 “검색 AI가 오류를 자체적으로 거를 때 필요한 고품질 데이터는 수집하는 데 비용과 시간이 많이 드는 어려운 작업”이라며 “LLM 기반 서비스 검증과 꾸준한 피드백 반영이 수반해야 한다”고 말했다.

 

출처: https://www.news1.kr/it-science/general-it/6031764