Модель обработки видео позволяет переснять готовый ролик с новой траектории камеры без обучения, на одной видеокарте.
World in World берёт обычное видео и с помощью замороженной видео-модели LingBot-World 2.0 (14B параметров) переснимает ту же сцену с новой камеры: свободные облёты, панорамы, повороты, наезды. Также умеет замораживать кадр и вращать камеру вокруг застывшего момента (bullet time) и редактировать видео, меняя первый кадр так, чтобы правка применилась ко всему ролику. Работает без дообучения на одной видеокарте с 80 ГБ памяти.
Описание автора:Official implementation of WorldinWorld
