[news1] 책 1400만권 분량 학습한 코난LLM, 성능·비용 잡았다

도원철 코난테크놀로지 상무이사가 코난LLM으로 보고서 작성을 시연하고 있다.(코난테크놀로지 제공)/뉴스1

몇 개의 문장으로 된 명령어를 입력한 지 2초 만에 인공지능(AI)이 3000자가량의 보고서를 뚝딱 만들어 냈다.

인공지능 소프트웨어 전문기업 코난 테크놀로지는 17일 서울 영등포구에서 열린 간담회에서 자체 개발한 언어모델 ‘코난 LLM’을 공개하며 성능을 선보였다.

보고서 초안 작성뿐 아니라 간단한 명령어로 문서 내 자료가 수정되고 표를 작성하는 등 업무 활용 기능을 시연했다.

코난LLM은 대규모 언어모델(LLM)이다. 챗GPT 기반이 되는 GPT-3, GPT-4 등도 LLM이다.

코난 테크놀로지는 코난LLM이 도입 및 유지 비용에서 강점이 있다고 설명했다.

사측은 AI 학습 품질을 높여 적은 매개변수로도 성능을 유지한다는 전략을 채택했다고 부연했다.

임완택 전략기획본부장은 “매개변수가 크다는 것은 학습 비용도 많이 들고 기업에서 운용할 때 서버가 많이 필요해서 비용 이슈가 있다”며 “매개변수는 적더라도 (성능이 나올 수 있도록) 학습을 많이 했다”고 설명했다.

코난LLM은 국내 최대 분량의 데이터를 학습했다는 게 회사 설명이다. 이번에 시연된 버전은 4920억개 토큰을 학습했다.

11월 출시할 모델은 7000억개 토큰을 학습할 예정이다. 토큰은 데이터 처리의 단위를 말한다. 7000억개 토큰은 책 1400만여권 분량이다.

기업 시장 수요에 맞춰 논문, 보고서 등 고품질 데이터로 학습이 이뤄졌다.

문서를 다루는 모든 기업의 △문서 초안 생성 △문서 요약 △질의응답을 지원하고 ‘문서 초안 생성’에 집중해 미세 조정하여 각종 문서, 보고서, 보도자료 등의 초안을 빠르고 손쉽게 생성할 수 있다.

이날 시연에서 코난 LLM은 개인용 PC에서도 쓰이는 엔비디아사(NVIDIA)의 그래픽카드 RTX3090로도 무리없이 작동했다.

일부 기업은 기업 비밀 유출을 방지하기 위해 챗GPT 등 외부 생성 AI의 사용을 금하는 정책을 시행하고 있다.

코난 테크놀로지는 기업의 보안 우려가 해소될 수 있도록 코난LLM을 고객 기업 내에 자체 서버를 구축하는 ‘온프레미스’ 형태로 제공한다고 설명했다.

이번 LLM을 바탕으로 다른 인공지능 서비스를 개발하는 등 시장 수용에 대응할 계획이다.

김영성 코난테크놀로지 대표이사는 “생성형 AI 시장에 선제적으로 대응하고자 자사 고유의 대형 언어모델 개발에 매진했다”면서 “피드백을 경청해 서비스를 보완해 앞으로도 고객과 시장의 기대에 부응하겠다”고 말했다.