[slashCam] ToonCrafter – 애니메이션 동영상을 위한 제너레이티브 AI 인터프레임 생성

ToonCrafter는 새로운 방식으로 애니메이션 동영상을 보간하는 문제를 해결하는 것을 목표로 하는 GitHub의 AI 프로젝트입니다. 목표는 그려진 두 프레임 사이에 여러 이미지를 생성하여 이 두 이미지 사이에서 눈의 움직임을 유동적으로 만드는 것입니다. 프레임 사이의 일반적인 보간은 기껏해야 뒤틀림처럼 보이기 때문에 여기서는 작동하지 않습니다. 또한 이전에 사용된 알고리즘은 일반적인 애니메이션의 과장된 비선형적이고 큰 움직임과 물체의 겹침(오클루전)에 종종 문제가 있어 결국 거의 항상 보간 결과가 믿을 수 없거나 완전히 실패하는 결과를 초래합니다.

반면에 생성형 AI 방법은 이미지 콘텐츠에 대한 고급 이해를 통해 물체의 변화와 움직임을 이론적으로 훨씬 더 잘 예측할 수 있다는 사실이 최근 몇 달 동안 이미 여러 차례 입증되었습니다. 따라서 이 문제 영역의 보간에 매우 적합할 수 있습니다.

ToonCrafter는 이제 이러한 제너레이티브 카툰 필름 보간을 제공합니다. 이 모델은 애니메이션 영화를 위해 특별히 훈련되었으며 현재 매우 인상적인 결과를 제공하는 것으로 보입니다. 그러나 Reddit의 비판적인 사용자들은 이 도구가 현재 320×512 해상도에서 초당 16프레임으로 제한되어 있으며 제시된 예제는 “희귀한 건포도”에 불과하다고 지적합니다. 대부분의 실제 사례에서 출력은 여전히 사용할 수 없습니다. 하지만 매우 엄선된 건포도는 놀라울 정도로 맛있어 보입니다:

 

ToonCrafter는 기본적으로 중간 이미지 생성을 위한 제너레이티브 AI 모델의 놀라운 가능성을 보여주며, 이러한 모델은 계속해서 크게 개선될 것입니다. 지금 여기서 개발이 멈추지 않는다면 미래에는 몇 장의 스틸 이미지만으로 애니메이션 만화를 생성하는 것이 가능해질 것으로 예상할 수 있습니다.

물론 제너레이티브 AI가 여기서 끝나는 것은 아닙니다. 실제 스틸 이미지를 사용하더라도 고품질의 프레임 간 애니메이션은 상상할 수 있을 뿐만 아니라 앞으로 몇 달 또는 몇 년 안에 현실화될 것입니다. 그리고 최근의 발전 과정을 지켜본 사람이라면 몇 개월이 더 가능성이 높다는 것을 알 것입니다.

출처 : https://www.slashcam.de/news/single/ToonCrafter—Generative-KI-Zwischenbild-Generieru-18615.html

Toon Crafter demo