[신문과방송] 조선일보 ‘챗봇’ 서비스: 취향 저격 뉴스, 손쉽고 정확하게 받아보기

2016년은 가상현실(VR), 증강현실(AR) 등 새로운 기술이 미디어계를 포함한 산업계 전반에 큰 반향을 일으킨 해였다. 조선일보 디지털뉴스본부도 그런 기류에 발맞추어 VR저널리즘 서비스를 대대적으로 론칭했으며, 시장과 관련 업계에서 많은 관심을 받았다.

2017년엔 새로운 디지털 전략 방향을 고민해야 했다. 팀 내부 논의를 거쳐 주요 전략 방향으로 검토된 프로젝트는 크게 두 가지였다. 먼저 2016년 7월 국내외에서 광풍을 몰고 온 ‘포켓몬고’의 기반 기술 AR을 저널리즘과 접목하는 프로젝트를 생각했다. 다른 하나는 인공지능(AI)을 뉴스와 접목하는 기획이었다.

AR의 경우 당시 포켓몬고의 성공 요인은 기술적 요소인 AR이 아닌, 포켓몬이 갖고 있는 막강한 IP(지적재산권, Intellectual Property)가 핵심 요소라고 판단했다. AR의 저변을 확대하기 위해서는 콘텐츠도 중요하지만, AR을 제대로 구현할 수 있는 하드웨어의 보급이 주요 기반이라는 의견이 다수였다. 따라서 AR 저널리즘은 아직은 시기상조이며 성공 가능성도 불투명하다는 데 의견이 모아졌다.

 

왜 ‘챗봇’인가?

따라서 AI를 접목한 저널리즘이 좀 더 시의적절 하고, 실현 가능한 것이라고 판단했다. AI를 접목한 저널리즘으로는 로봇 저널리즘과 챗봇 두 가지가 검토 대상에 올랐다. 국내외 사례 중심으로 연구를 진행하면서 관련 업계의 주요 플레이어들과 협의를 진행했다.

로봇 저널리즘의 경우 해외에서는 워싱턴포스트의 ‘헬리오그래프’(경기 점수와 메달 집계 등 스포츠 속보를 웹사이트 등에 제공), LA타임스의 ‘퀘이크봇’(미국지질조사국에서 제공하는 데이터를 기반으로 지진이 일어나면 즉시 관련 기사를 작성·게시), 그 외 포브스의 퀼(Quill), AP통신의 워드스미스(Wordsmith) 등이 서비스되고 있었다. 국내에선 파이낸셜뉴스가 국내 최초로 로봇 작성 기사를 송출하기 시작한 뒤 매일경제와 해럴드경제, 전자신문 등이 뒤를 잇고 있었다.

로봇 저널리즘은 특정 영역에서 빠르게 기사를 작성함으로써 내부 인력을 효율적으로 운용할 수 있는 장점이 있다. 또 초당 기사 1건이 생성되는 등 속도 측면에서 언론사 트래픽을 확보하는 데 비교적 용이하다는 평가도 나온다. 재축적된 데이터를 통해 데이터 기반 저널리즘을 실현할 수 있으며 상황을 기반으로 해 개인화한 정보를 제공할 수 있기도 하다. 또 오타, 맞춤법 오류 등 실수를 최소화하면서도 재가공하기 편리하다. 그러나 현재까지 로봇 저널리즘은 고정된 템플릿을 바탕으로 주식 시세나 스포츠 경기의 점수를 넣어 기사를 완성하는 형태라는 점에서 이용 가능 범위가 경제나 스포츠, 연예 분야 등으로 한정돼 있다. 이는 조선일보의 주요 콘텐츠 특성과는 맞지 않았다. 그리고 이미 많은 국내 미디어사가 해당 서비스를 진행하고 있다는 점에서 새롭게 시장을 선도할 수 있는 서비스라고 하기엔 그 의미가 많이 퇴색했다고 판단해 선택하지 않았다.

챗봇은 사용자에게 맞춤형 뉴스 서비스를 제공할 수 있으며, 기계적 반응이 아닌 실제 사람과 얘기하는 것 같은 유저 대응이 가능하다는 특징이 가장 매력적인 요소다. CNN과 NYT는 외부 메신저 앱(페이스북 메신저 등)과 연동해, 쿼츠(Quartz)는 자사의 모바일 앱에서 기존 미디어사가 제공하는 리스트 방식의 뉴스 앱이 아닌 채팅봇으로 사용자와 소통하고 있었다. 쿼츠의 경우 2016년 2월 기존 운영 중인 뉴스 앱을 채팅봇으로 전면 개편했다. 독자가 “What is today’s news?”를 화면에 입력하면 기사 링크를 제공하는 식이었다. 예스 또는 노 같은 피드백을 통해 기사 선호도를 체크함으로써 독자에게 맞춤형 기사를 제공하기도 한다. 챗봇 저널리즘의 선두주자라는 평가가 무리는 아니다.

반면 아직까지 뉴스 챗봇 대부분은 채팅이라는 방식으로 뉴스의 전달에만 초점을 맞추는, 기술적으로는 매우 낮은 단계인 사실도 부정할 수 없다. 실제 국내 언론사들은 2017년 4월 연합뉴스가 페이스북 챗봇을 활용한 챗봇 뉴스 서비스를 테스트 형태로 공개한 적이 있을 뿐 채팅봇에 그리 큰 관심을 보이지 않아왔다. 언론사 자체 시스템 구축이 미미하고 뉴스 트래픽의 대다수가 네이버 등에서 이뤄지는 환경상의 문제가 있었기 때문이다.

 

조선일보만의 챗봇 개발

조선일보는 자체 챗봇을 운영하기 위해 필요한 DB와 기술을 가진 파트너사, 혹은 DB를 재구축할 파트너사와 협력해 챗봇 저널리즘을 본격적으로 시도하기로 했다. 챗봇 저널리즘을 통해 기사를 효율적으로 유통시키는 한편 독자 반응과 데이터를 수집, 데이터 기반 저널리즘을 실현할 토대를 마련할 수 있을 것으로 봤다. 딥러닝 기술을 통해 사용자의 취향을 학습, 사용자 성향에 맞춘 뉴스 콘텐츠를 추천하고, 향후 사용자의 반응을 수집해 개인화 기사 서비스 또는 서비스 저널리즘으로 확대하는 것을 목표로 삼았다.

 

조선일보가 자체적으로 챗봇을 개발하는 건 시간과 비용 측면에서 효율성이 떨어진다고 판단했다. 챗봇을 기획 개발한 경험이 있는 파트너사를 선정해 공동으로 개발하기로 했다. 얼마 전 삼성전자가 인수한 플런티, 머니브레인 등 관련 업체와 논의를 진행한 끝에 파운트ai를 파트너사로 정했다. 조선일보가 추진하고자 하는 프로젝트 방향과 기술적으로 가장 부합한 리소스를 보유한 게 선정 이유였다.

챗봇이 주목받는 이유는 사용자에게 익숙한 채팅 환경에서 서비스를 제공해 편의성을 증대하고 적절한 콘텐츠 추천이 가능하다는 데 있다. 즉, 사용자가 직접 웹사이트를 통해 필요한 정보를 검색하는 게 아니라 상대적으로 익숙한 대화형 인터페이스를 통해 맞춤형 정보를 제공받을 수 있게 한다. 따라서 조선일보 뉴스 챗봇 개발을 통해 사용자가 미디어 챗봇을 이용하는 의도와 어떤 타입의 뉴스를 주로 검색하는지 확인하고, 선호하는 플랫폼(카카오톡, 페이스북) 및 UX(User Experience) 취향(버튼, 자연어) 등을 파악하고자 했다. 세부적으로 보면 대시보드를 통해 챗봇을 이용하는 사용자의 현황을 실시간으로 확인할 수 있고, 응답률·사용률 등의 데이터를 분석해 사용자가 어떤 형태의 UX를 선호하고 자주 사용하는지 파악함으로써 새로 유입되는 사용자와 현재 이용 중인 사용자의 편의성을 증대시키기 위해 필요한 요소를 쉽게 알 수 있다.

챗봇의 구조는 기본적으로 시스템이 먼저 제안한 항목에서 선택하는 트리 구조와 사용자가 단어를 직접 입력하는 두 가지 방식을 동시에 채용했다. 사용자가 챗봇에 대화를 신청하면 먼저 사용자의 마지막 챗봇 이용 시간을 통해 세션을 확인한다. 이후 문장을 분류해 트리(버튼) 메뉴에서 해결할 수 있는 경우 조선일보DB에 저장되어 있는 정보를 룰베이스 기반으로 제공한다. 만약 트리(버튼) 메뉴에서 해결할 수 없다면 먼저 자연어처리 과정을 통해 해당 문장의 의도를 파악한다. 이후 1차 분류기를 통해 원하는 의도의 하위 분류기로 전달하고, 최종적으로 질의에 맞는 응답을 제공하게 된다.[그림1]참조

사용자가 조선일보 챗봇을 이용할 수 있는 플랫폼은 카카오톡과 페이스북으로 정했다. 사용자가 챗봇을 이용하기 위해서는 카카오톡의 경우 플러스친구에서 ‘조선일보’를 친구로 추가한 뒤 대화창 밑의 ‘1. 챗봇 시작하기’ 버튼을 눌러 대화를 나누면 된다. 페이스북에선 조선일보를 검색해 들어가 메신저로 1:1 대화를 진행하면 원하는 본사 뉴스를 볼 수 있다.

현재 종합 및 속성별 뉴스, 외국어 학습, 주식 현황, 날씨, 오늘의 운세 등을 서비스하고 있으며 종합뉴스 탭을 누르면 정치, 경제, 연예 등 원하는 분야의 뉴스를 한눈에 확인할 수 있다. 속성별 뉴스 코너에선 ‘댓글’이 많은 뉴스와 ‘좋아요’가 많은 뉴스 등을 알려준다. 채팅창에 특정 기업 이름을 입력하면 상장사일 경우 당일 주가를 확인할 수 있으며, 그날의 전반적인 주식 시황과 업계 최신 뉴스도 볼 수 있다. 또 종합 뉴스 탭에서 외국어 학습을 누르면 지면에 나온 ‘영·중·일 한마디’ 등 일일 외국어 학습을 할 수 있다. 날씨를 알고 싶으면 “오늘 ◯◯(지역명) 날씨를 알려줘” 식으로 질문하면 된다. 날씨는 동 단위까지 확인할 수 있다. 그 외 특정 기자가 쓴 기사를 보고 싶다면 해당 기자명을 입력하기만 하면 된다.

 

미디어 챗봇은 진화 중

기존 카카오톡, 페이스북 메신저에 API(Application Programming Inerface)를 연동시키는 형태로 고려했기 때문에 UI(User Interface) 수정이 어려운 부분을 감안하고 기획과 방향성을 잡았다. 조선일보 기사를 기반으로 한 뉴스 챗봇이기 때문에, 기존 기사 카테고리와 연결해 기사를 제시해주는 방식과 ‘키워드’ 검색을 통한 기사 전달 형태로 진행했다. 이 과정에서 검색 시 해당 ‘키워드’와 ‘기사’가 정확히 연결되어야 했는데, 기존 검색 시스템이 다소 ‘구식’이라 노출되는 기사의 정확도가 일부 떨어져 지속적인 보정 작업이 필요했다.

또 딥러닝 기술을 활용한 챗봇은 기본적으로 데이터가 많으면 많을수록 정확도가 높아지는 것이 장점인데, 기존 조선일보 데이터를 활용하기 힘든 부분이 있어 DB를 처음부터 다시 쌓기로 했다. 국내에서는 아직 뉴스 챗봇 사용자가 많지 않았고 특히 트리 구조가 아닌 자연어의 경우 ‘욕설’ 등을 제외한 유의미한 데이터를 확보하는 것이 쉽지 않은 점도 난관이었다. 오픈 베타 테스트 기간에 욕설을 학습한 AI가 다소 거친 언어를 답변으로 내놓는 상황도 있었다. 마치 2016년 마이크로소프트가 야심만만하게 내놓은 인공지능 챗봇 ‘테이’가 엉뚱하게 반유대주의, 유색인종 비하, 여성 비하에 해당하는 발언을 내놓으면서 생긴 논란처럼 말이다. 그 외 다양한 추가 대답 문구 삽입의 어려움, 일부 알고리즘 꼬임으로 인한 응답 오류 및 충돌, 국내 동일 지명으로 인한 날씨 정보 오류 등 정확한 대답을 위한 지속적인 수정이 필수적이었다.

프로젝트 실행 후 로그데이터 분석 결과 미디어 챗봇은 주로 뉴스 및 이슈 전달을 위해 이용됐다. 카테고리별로는 정치, 비즈, 스포츠 등의 뉴스를 검색하는 사용자가 많은 것으로 나타났다.[그림2+3]참조 인터페이스 측면에서는 트리(버튼)와 카카오톡으로 미디어 챗봇에 접근하는 비율이 자연어와 페이스북으로 접근하는 비율보다 높게 나타났다. 향후 이를 기반으로 사용자의 취향 및 성향에 따른 맞춤형 콘텐츠 서비스로 확대한다면 미디어 챗봇에 대한 이용률과 만족도를 더욱 높일 수 있을 것으로 판단된다.

현재 조선일보의 챗봇은 딥러닝 기술을 적용, 인공지능 로봇이 사용자와의 대화를 통해 일상용어를 배워가면서 사용자가 원하는 특정 기사의 제공 능력이 향상되도록 설계된 ‘학습형 챗봇’이다. 이용 횟수가 많지 않은 서비스 초반에는 로봇의 지능도 아직 미완성 상태여서 사용자가 원하는 답을 얻지 못하는 경우가 종종 발생하곤 한다. 하지만 이용자가 많으면 많을수록 딥러닝이 이뤄져 챗봇의 능력도 그만큼 향상될 수 있다.

챗봇이 저널리즘에서 주목받는 이유 중 하나는 사용자가 챗봇과 대화를 통해 뉴스를 전달받는 쌍방향 저널리즘에 있다. 기존의 미디어는 구독자에게 일방적으로 정보를 전달해왔지만, 챗봇은 사용자와의 대화를 통해 사용자의 의도 및 취향을 파악함으로써 사용자 각각의 성향에 따른 맞춤 정보를 제공할 수 있다. 또한 최근 챗봇을 활용한 다양한 대화형 서비스 사례가 증가하고 있는 만큼 챗봇은 또 하나의 독립적인 매체가 되어가고 있다. 이러한 추세에 따라 저널리즘에서도 뉴스용 AI 챗봇이 새로운 뉴스 전달 방식의 한 방법으로 자리 잡을 수 있을 것으로 예측된다.

 

넘어야 할 문제들

챗봇이 저널리즘으로 사용자에게 다가가기 위해서는 아직 풀어야 할 과제가 적지 않다. 먼저 챗봇은 아직 대중에게 다소 생소한 매체다. 최근 챗봇 관련 서비스를 운영하는 업체가 늘어나고 있고, 여러 미디어에서 챗봇에 대한 언급이 증가하면서 대중의 관심을 끌고 있긴 하다. 하지만 아직 젊은 연령층에만 편중되어 있기 때문에 전 연령층이 미디어 챗봇에 적응하고 활용하기까지는 어느 정도 시간이 필요할 것으로 보인다.

두 번째로는 챗봇에 대한 관심이 일시적일 수도 있다는 점이다. 새로운 기술에 대한 호기심으로 말미암아 사람들이 챗봇에 관심을 갖고 있지만, 익숙해지고 난 뒤에도 이러한 관심이 지속될지는 확신하기 어렵다. 실제 로그데이터에도 챗봇의 이용 건수가 처음 출시했을 때와 비교해 점차 줄어드는 경향이 일부 관찰되며, 사용성을 높이기 위한 챗봇의 UX 등 사용자와의 커뮤니케이션 방식이 지속적으로 개선돼야 한다고 판단된다. 특히 자연어처리 성능의 강화가 필요하며, 사용자가 많아질수록 데이터가 축적돼 자연어처리 성능이 향상되므로 관련 인프라 확보 방안을 고민하고 이를 실행해야 한다.

따라서 서비스 초기에 성능 향상을 위한 기본 데이터 확보·축적의 단계를 넘어서야 하는 인프라 확보 문제를 해결하는 것과 챗봇의 성능을 평가하기 위한 명확한 지표를 마련하는 부분이 전략적 키포인트라고 할 수 있다.

 

 

 

 

출처 : http://blog.naver.com/PostView.nhn?blogId=kpfjra_&logNo=221215864585&redirect=Dlog