ИИ научился преобразовывать текст в видео

Корпорация OpenAI разработала модель преобразования текста в видео под названием Sora.

Sora может генерировать видео продолжительностью до одной минуты, сохраняя при этом визуальное качество, следуя подсказкам пользователя. Сегодня Sora доступна для специалистов "красных команд", чтобы оценить критические области на предмет вреда или рисков. Разработчики также предоставляют доступ ряду визуальных художников, дизайнеров и кинематографистов, чтобы получить отзывы о том, как усовершенствовать модель, чтобы она была максимально полезной для творческих профессионалов.
Модель может создавать сложные сцены с несколькими персонажами и точными деталями сюжета и фона. Она понимает язык, может точно интерпретировать подсказки и создавать персонажей с яркими эмоциями. Однако Sora не лишена и недостатков. Она имеет трудности с моделированием сложной физики и конкретных причинно-следственных связей, а также может создавать путаницу с пространственными деталями и точным описанием событий с течением времени.

Позднее OpenAI опубликовала технический документ, в котором описаны дополнительные возможности Sora в части рендеринга видеоигр. Sora способна генерировать видео любого разрешения и соотношения сторон, может выполнять различные задачи по редактированию изображений и видео, такие как создание циклов и изменение фона, а также может генерировать цифровые миры, включая рендеринг видеоигр. У Sora есть потенциал, чтобы проложить путь к реалистичным процедурно генерируемым играм на основе текстовых описаний. (По материалам Telegram-канала "Чёрный треугольник").