레모니 (사진=업타임)
레모니 (사진=업타임)

클라우드 없이도 생성 인공지능(AI)를 손쉽게 실행할 수 있는 초소형 온프레미스 솔루션이 미국에서 나왔다.

벤처비트는 11일(현지시간) 미국 스타트업 업타임 인더스트리가 클라우드 의존 없이도 강력한 대형언어모델(LLM)을 실행할 수 있는 온프레미스 솔루션 ‘레모니(Lemony)’를 공식 출시했다고 보도했다.

‘AI 박스(AI in a Box)’로 소개된 이 제품은 플러그 앤 플레이 방식의 하드웨어 노드로, 클라우드 기반 모델이 갖는 데이터 프라이버시 및 컴플라이언스(규제 준수) 리스크를 회피하면서도 고급 AI 기능을 로컬 환경에서 구현할 수 있다는 것이 특징이다.

레모니는 샌드위치 크기의 소형 기기로, 기업이 보유한 이메일, PDF, 내부 문서 등 방대한 사내 데이터를 로컬에서 안전하게 활성화하고 검색, 활용할 수 있도록 지원한다. 장비는 스택 가능한 구조로 설계돼 필요에 따라 노드를 추가하면 클러스터 형태로 확장이 가능하다. 각 노드는 LLM부터 특화된 경량 AI 에이전트와 검색 증강 생성(RAG) 기능까지 포함된 전체 기술 스택을 자체 구동할 수 있다.

고급 AI 기능을 단순하고 직관적으로 제공하는 것을 목표로 개발됐다. 사용자들은 장비를 PC나 사내 네트워크에 연결한 뒤 필요한 문서를 업로드하기만 하면 바로 AI 기능을 사용할 수 있다. 개발자나 IT 전문가가 아니더라도 AI 도입이 가능하도록 설계된 셈이다.

사샤 뷜레 공동 창업자 겸 CEO는 “기업들이 성능과 통제 사이에서 선택을 강요받지 않아야 한다”라며 “레모니는 그 두가지를 모두 제공하는 솔루션”이라고 강조했다.

이번 제품 출시는 IBM, 제트브레인스, 그리고 미국 공공기관에 납품 경험이 있는 샤라소프트 등과의 전략적 파트너십을 기반으로 한다.

IBM은 엔터프라이즈용 LLM ‘그래나이트(Granite)’ 시리즈를 사전 탑재해 로컬 배포를 지원하며, 제트브레인스는 AI 기반 코딩 도구를 하드웨어에 통합해 개발자에게 투명성과 감사 기능을 강화한 환경을 제공한다. 샤라소프트는 레모니를 공공 및 헬스케어 분야 고객에게 제공할 예정이다.

현재 미국과 유럽에서 생산되며, 법률, 보건, 물류, 금융 등 다양한 산업 분야의 고객들이 사전 도입을 완료한 상태다. 제품의 연합형(federated) 아키텍처는 조직 내 여러 팀이 자체 노드 또는 클러스터를 운영하면서도 AI 기반 인사이트 공유를 부서 단위로 세밀하게 통제할 수 있도록 지원한다.

레모니는 월 499달러(약 68만원)에 최대 5명의 사용자가 이용 가능하며, 하드웨어와 소프트웨어 접근, 업데이트, 기술 지원이 포함된다. 노드를 추가로 구입할 경우 가격이 인하되며, 부서별로 여러 노드를 적층해 고급 AI 환경을 구축할 수도 있다. 제품은 웹사이트에서 2주간 무료 체험이 가능하다.

업타임은 현재까지 벤처캐피털 트루 벤처스로부터 200만달러(약 27억원)의 시드 투자를 유치했다.