[ai times] 스태빌리티, 0.5초 만에 3D 이미지 생성하는 비디오 모델 출시

(사진=스태빌리티 AI)
스태빌리티 AI가 3D 비디오 생성 모델 ‘스테이블 비디오 3D(SV3D)’보다 빠른 ‘스테이블 패스트 3D(SF3D)’를 공개했다. 최근 비디오 생성 인공지능(AI)는 실시간 처리를 위해 모델의 생성 속도를 높이는 데 초점을 맞추는 추세다.

벤처비트는 1일(현지시간) 스태빌리티 AI가 0.5초 만에 3D 비디오를 생성하는 ‘스테이블 패스트 3D(SF3D)’ 모델을 공개했다고 소개했다.

스태빌리티 AI는 SF3D가 3D 랜더링 비디오를 생성하는 데 최대 10분이 걸린 기존 SV3D보다 1200배 더 빠르게 비디오를 생성한다고 밝혔다.

SF3D의 핵심은 향상된 트랜스포머 네트워크를 사용해 입력 이미지로부터 고해상도의 트라이플레인(3D 볼륨 표현)을 생성하는 방식으로 고품질 3D 메시를 빠르게 재구성하는 것이다. 이 네트워크는 계산 복잡성을 급격히 증가시키지 않으면서 고해상도를 효율적으로 처리하도록 설계, 세밀한 디테일을 캡처하고 아티팩트를 줄일 수 있다. 

또 재료 추정 네트워크는 새로운 확률적 방법을 통해 금속성 및 거칠기 값을 예측해 이미지 품질과 일관성을 향상한다.

특히 SF3D 모델은 메시, 텍스처, 재료 속성 등 3D 이미지에 필요한 여러 요소를 결합해 컴팩트하고 즉시 사용할 수 있는 3D 자산을 만들 수 있다.

스테이블 패스트 3D (영상=스태빌리티 AI)

스태빌리티 AI는 SF3D 모델이 디자인, 건축, 소매, 가상 현실, 게임 개발 등 여러 산업에서 많은 실용적인 유용성을 가질 것으로 기대하고 있다. 

이 모델은 스태빌리티 AI의 스테이블 어시스턴트 챗봇과 스태빌리티 AI API를 통해 사용할 수 있으며, 허깅페이스에서 연구 및 상업적 용도로 다운로드할 수 있다. 연간 수익이 100만달러(약 14억원)를 초과하는 기업의 경우, 스태빌리티 AI로부터 상업용 엔터프라이즈 라이선스를  획득해야 한다.

한편, 최근 비디오 생성 AI 스타트업들은 생성 속도를 높이는 경쟁을 펼치고 있다. 

런웨이는 전날 11초 만에 10초 길이의 영상을 생성하는 ‘젠-3 알파 터보’ 모델을 출시했다. 중국의 지푸 AI가 최근 공개한 ‘잉’ 모델은 30초 만에 6초짜리 비디오를 생성, 눈길을 끌었다.

또 상하이 AI연구실과 막스 플랑크 정보학연구소, 난양이공대학교 연구진은 라이브 비디오 스트림을 실시간으로 스타일 변환하는 AI 도구 ‘라이브2디프(Live2Diff)’를 공개했다.

출처 : AI타임스(https://www.aitimes.com)