[지디넷코리아] “텍스트로 3D 세상 만든다”…구글 딥마인드, ‘지니 3’ 모델 공개

구글 딥마인드가 스스로 현실 세계를 학습·판단해 임무를 수행하는 대형 세계 모델(LWM)을 공개했다. 사람이 경험을 통해 세상을 이해하는 것처럼 사물 움직임과 상호작용을 실시간 학습해 3D 세계에서 재현할 수 있다는 게 특징이다. 

6일 테크크런치 등 외신에 따르면 구글 딥마인드가 실시간 작업을 스스로 수행하는 LWM ‘지니 3’를 미리보기 버전으로 공개했다고 공식 홈페이지를 통해 밝혔다. 해당 모델은 스스로 현실 세계를 탐색·학습해 문제를 스스로 해결하는 자율형 에이전트 구조로 이뤄졌다. 범용 인공지능(AI) 에이전트를 훈련하는 데도 사용 가능하다.

딥마인드는 지니 1과 2, 베오(Veo) 시리즈 기술을 통합해 지니 3을 설계했다. 지니 3는 텍스트 프롬프트만으로 3D 가상 세계를 실시간으로 만들 수 있다. 생성된 화면은 초당 24프레임, 720픽셀(p) 해상도로 수 분간 작동한다.

딥마인드는 지니 3의 가장 큰 특징으로 현실 세계와 가상 세계를 일관성 있게 유지한다는 점을 꼽았다. 지니 3가 가상 세계 안의 물건이나 움직임, 빛, 물 흐름 등 물리 현상을 실제처럼 자연스럽게 표현할 수 있다는 이유에서다. 

특히 지니 3 사용자는 3D 속 환경을 명령어로 변경할 수 있는 ‘프롬프트 가능한 세계 이벤트’ 기능을 이용할 수 있다. 예를 들어 ‘비가 오게 해줘’ 같은 텍스트를 입력하면, 해당 기능이 3D 세계 속 날씨를 실시간으로 변경하는 식이다.

지니 3는 사전 프로그래밍된 물리 엔진 없이 직접 사물 움직임과 상호작용을 실시간 학습해 재현한다. 이는 사람이 경험을 통해 세상을 이해하는 방식과 유사한 방식이다. 딥마인드는 “AI가 단순 영상·텍스트 생성에서 벗어나 일반인공지능(AGI) 수준으로 진화하고 있다는 것을 방증한다”고 홈페이지에서 밝혔다.

딥마인드는 지니 3를 자체 범용 AI 에이전트 ‘시마(SIMA)’에 적용했다는 점도 소개했다. 이를 통해 시마는 가상 세계에서도 사용자 명령어에 맞게 작업을 수행할 수 있게 됐다는 설명이다. 예를 들어 가상 창고 환경에서 ‘초록색 쓰레기 압축기로 가라’는 명령을 받은 시마는 해당 임무를 스스로 수행하고 목표를 달성할 수 있게 됐다.

다만 지니 3 기술이 당장 상용화될 만큼 완전하지는 않은 것으로 전해졌다. 다수 에이전트 간 복잡한 상호작용 구현이 어려울 뿐 아니라 현실과 가상세계 상호작용 시간이 수 분에 불과하다는 이유에서다. 또 시뮬레이션 정확도가 실제 지리 환경을 반영하기에는 역부족이다. 현재 소수 연구자와 창작자만 제한적으로 지니 3를 이용할 수 있다. 

구글 딥마인드 슐로미 프룩터 연구 디렉터는 “지니 3는 실시간으로 상호작용 가능한 최초의 범용 세계 모델”이라며 “이 기술은 AI 에이전트를 훈련할 수 있는 기반 플랫폼으로 AGI로 가는 중요한 이정표가 될 것”이라고 말했다.