네이버 이미지검색의 진화 – 딥러닝 이미지 분석 기술, 문서 검색 기술, 대규모 데이터 처리 기술의 조화

최근 스마트렌즈 등 이미지로 검색하는 이미지검색 서비스가 사용자들에게 새로운 검색 경험을 제공하며 많은 사랑을 받고 있습니다. 그러나 문서 검색 기술에 기반해 텍스트로 이미지를 찾는 이미지검색 (이하 ‘이미지검색’) 서비스 또한 일평균 1,500만 여개의 질의를 처리하며 여전히 수많은 사용자들의 요구를 처리하고 있습니다. 

이미지검색은 웹/뉴스/동영상과 함께 가장 기본이 되는 검색 서비스입니다. 최근 인공지능 기반 챗봇이나 QA시스템이 각광 받으면서 이미지검색의 중요성은 날로 높아져 가고 있습니다.

네이버 이미지검색은 최고의 컨텐츠 유통 플랫폼인 네이버의 자체 이미지들 뿐만 아니라 좋은 이미지 소스를 가지고 있는 일부 외부 사이트의 이미지도 수집 기술과 제휴를 통해 선별적으로 검색결과에 반영해 왔습니다. 그러나 기존의 이미지검색은 일부 주제의 질의들에 대해서는훌륭한 검색결과를 제공해 주지만, 좋은 이미지를 가지고 있는 수많은 외부 출처의 이미지까지 전부 검색해 주지는 못하는 한계점을 가지고 있기도 했습니다. 

그래서 네이버 이미지검색은 수집 기술 강화 프로젝트인 그리핀 프로젝트를 통해 수집된 수많은 웹문서 내 이미지들을 네이버 이미지검색에 반영하여 글로벌 서비스 사용으로 눈높이가 높아진 사용자의 검색 니즈를 만족시키기 위한 프로젝트를 진행하였습니다.

네이버 이미지검색 서비스가 웹이미지검색 서비스로 진화하기 위해서는 여러 도전과제들이 있습니다. 웹문서 내 이미지를 추가하기 이전에도 네이버 이미지검색은 네이버의 다양한 탭검색 서비스 중 가장 많은 색인 건수를 기록하고 있었으며, 이를 효과적으로 가공하고 검색하기 위해 어떤 서비스보다 많은 기술들을 사용하고 있습니다. 뿐만 아니라 글로벌 서비스 대비 사용자의 유해 이미지에 대한 엄격한 기준, 수많은 스팸들로부터 고품질 이미지를 고르기 위한 이미지 분석도 필요합니다. 이렇게 가공하고 분석된 이미지에 대한 정보들이 사용자의 요구에 맞게 효과적으로 정렬될 수 있도록 검색 품질도 개선되어야 합니다.

네이버 이미지검색은 웹이미지검색 서비스로 진화하기 위해, 검색 서비스 개발에 필요한 전체 프로세스를 위와 같은 기술에 최적화 된 새로운 플랫폼으로 개발하였습니다. 그리고 각 기술들은 검색 서비스 개발 프로세스 전반에 걸쳐 아래와 같은 핵심 요구사항들을 만족시키는 데에 기여하고 있습니다.

이미지검색 개발 프로세스의 ‘정제’ 단계에서는 다양한 출처 이미지의 대규모 처리가 핵심 요구사항입니다. 네이버 내부 출처 이미지들과 네이버 밖의 수많은 웹문서 내 이미지들은 각기 다른 데이터 크기와 수명을 갖고 있습니다. 이러한 데이터들을 함께 다루기 위해 다양한 출처들을 통합하여 효과적인 저장 구조를 갖춤으로써 더 빠르고 정확한 정제가 가능하도록 하였습니다. 
 
‘색인어 추출’ 단계에서는 문서의 제목(title)외에도 이미지 태그와 시각적/구조적 거리를 추정하여 이미지를 설명하는 텍스트를 추출하는 방법을 고도화 하였습니다. 이 기술은 웹문서 내 이미지와 해당 이미지의 색인어를 결정하는데 중요한 역할을 합니다. 참고로 이미지검색의 색인대상 이미지는 중복 이미지를 제외하고도 수십억 건에 달하기 때문에, 문서 내 텍스트 전체를 색인어로 사용하는 것은 성능이나 품질 면에서 매우 비효율적입니다. 그 밖에 문서 구조 분석을 통한 다양한 텍스트 검색 피처를 개발하여 적용하였고, 최근에는 딥러닝 기반 Image Annotation 기법을 이용하여 이러한 색인어 추출을 고도화하는 실험을 진행하고 있습니다.

‘이미지 분석’ 단계에서는 이미지로 된 문서의 문맥 (semantic) 정보를 파악하기 위한 분석을 수행하는데 텍스트로 된 문서를 검색하는 전통적인 검색과는 다른, 이미지검색만을 위한 필수적인 절차입니다. 이는 기본적인 이미지 속성 정보 (얼굴/사진/클립아트/라인아트/에니메이션등) 뿐만 아니라 인물중심의 이미지인지, 어떤 피사체를 담고있는지 등의 정보를 말하고, 이러한 정보는 이미지검색 품질 개선에 매우 유용하게 활용되고 있습니다. 이러한 이미지 속성 뿐만 아니라 인물/패션/인테리어 등의 딥러닝 기반 이미지 인식기를 개발하여 이미지를 이해하고 이를 검색에 활용하고 있습니다. 이와 함께 사용자의 유해 이미지에 대한 엄격한 기준을 만족시키기 위해, 정확도 98% 이상의 성인 이미지 분류기를 개발하여 유해한 이미지가 사용자에게 노출되지 않도록 검색에 활용하고 있습니다.
 
딥러닝 기반 이미지 내용 분석을 위해서는 GPU 사용이 필수적이며, 이를 검색에 활용하기 위해서는 수십억 건의 이미지를 효과적으로 분석할 수 있어야 합니다.  이미지검색팀은 네이버 검색에서 자체 개발한 GPU 리소스 매니저 C3DL 환경에서 자동으로 분류 모델을 배포하고 수십억건의 이미지에 대해 분류 정보를 추정 (inferencing)하는 도구를 개발하여 사용하고 있습니다.

검색 품질 개선을 위해서는 다양한 피처를 추가하고, ‘테스트 컬렉션을 생성’한 뒤 빠르게 ‘색인’하여 ‘품질을 평가’하는 작업이 효과적으로 반복되어야 합니다. 

이미지검색은 네이버의 흩어진 이미지와 웹문서 내 이미지들을 하나의 컬럼 기반 비관계형 분산 데이터베이스 (Distributed NoSQL)에 저장하여 이미지에 대한 피처들을 효과적으로 관리하도록 하였으며, 이를 통해 빠르게 테스트 컬렉션을 생성할 수 있도록 하였습니다. 검색 서비스를 위한 컬렉션 메이커는 이 저장소를 이용하여 최신 정보를 가져와 서비스용 컬렉션을 생성하거나, 신규 피처가 추가된 테스트 컬렉션을 생성하는 역할을 담당합니다. 이렇게 생성된 컬렉션은 네이버 검색의 고성능 검색엔진을 이용하여 서비스됨과 동시에 빠르고 유연한 인터페이스를갖는 오픈소스 검색엔진 (ElasticSearch) 클러스터에 색인되어 다양한 실험이나 평가에 활용됩니다.

이미지검색의 랭킹 모델은 기본적으로 텍스트 유사도에 의한 Core Ranking 과 이미지 유사도에 의한 2^nd Ranking 으로 구성되어 있습니다. 
Core Rankning 은 전통적인 문서 검색 기술에서 사용하는 확률 기반 정보 검색 이론을 바탕으로 설계되었으며, 2^nd Ranking 의 핵심 역할을하고 있습니다. 이미지 유사도에 의한 2^nd Ranking 은 형태가 변하지 않는 사전적 질의에 대해 별도로 구축한 대표 이미지 데이터베이스와 네이버의 다양한 서비스로부터 수집된 고품질 이미지로부터 CNN (Convolutional Neural Network) 기반의 Deep Feature 를 추출하여 유사도를 계산하여 랭킹에 활용하고 있습니다.

이미지검색에서 사용하고 있는 랭킹 모델은 신규 피처를 발굴하고 평가해 점진적으로 개선되고 있습니다. 최근 활발히 연구되고 있는 Boosting 기법을 이용해 과거 검색 피처들의 중요도를 분석하고, 분석된 결과에 따라 불필요한 피처는 제거되기도 합니다. 이러한 기계학습 기반의 랭킹 모델을 활발히 적용하기 위해 다양한 실험들을 진행하고 있으며, 이를 학술적인 평가 방법 외에도 글로벌 경쟁사의 검색결과와 비교하는 블라인드 테스트를 통해 꾸준히 랭킹 모델을 개선시키고 있습니다.

이러한 과정들을 통해 현재 네이버 이미지검색은 연초 대비 두 배 이상의 이미지를 색인하여 약 60억 건을 검색 결과에 반영하고 있으며, 질의에 따라 기존 랭킹 모델 대비 평균 네 배에서 많게는 수 천 배 가량 많은 검색결과를 제공하고 있습니다. 특히 기존 네이버 이미지검색에 비해 롱테일 질의 (소량이지만 다양한 주제 질의)/영문 질의/기업•관공서 관련 질의/타서비스 (인스타그램 등) 관련 질의에 대한 검색 품질이 대폭 향상되었습니다. 
 
대규모 웹이미지 수집 기술 및 검색 랭킹 모델은 지금도 발전을 거듭해 나가고 있습니다. 네이버 이미지검색은 네이버 웹문서 검색과 함께 WWW (World Wide Web)과의 연결을 확장하는 중요한 채널이 되도록 계속 진화해 나가겠습니다.