Сражение титанов: Sora против нового Runway AI

Sora нужно улучшить свои навыки, чтобы соответствовать новому видео-модели Runway AI. Мне всегда нравится возможность поиграть с генераторами видео на основе ИИ. Даже когда они ужасны, они могут быть развлекательными, а когда они справляются с задачей, могут быть удивительными. Поэтому мне было интересно поработать с новой моделью Gen-4 от Runway. Компания хвасталась, что Gen-4 (и его меньшая, более быстрая модель Gen-4 Turbo) может превзойти предыдущую модель Gen-3 по качеству и стабильности. Gen-4 якобы идеально решает проблему того, что персонажи могут и должны выглядеть как сами себя в разных сценах, а также обеспечивает более плавное движение и улучшенную физику окружения. Также предполагается, что он хорошо справляется с выполнением указаний. Вы предоставляете ему визуальную ссылку и описание текста, а он создает видео, которое похоже на то, что вы imaginthили. На самом деле, это очень похоже на то, как OpenAI рекламирует свой собственный создатель видео с ИИ, Sora. Хотя видео, которые создает Sora, обычно великолепны, они также иногда бывают ненадежными по качеству. Одна сцена может быть идеальной, а следующая - с персонажами, плавающими как призраки, или дверями, ведущими вникуда. Runway Gen-4 заявил о себе как о видеомагии, поэтому я решил протестировать его с учетом этого и посмотреть, смогу ли я создать видео, рассказывающие историю волшебника. Я придумал несколько идей для небольшой фэнтезийной трилогии, главной героиней которой стал бродячий волшебник. Я хотел, чтобы волшебник встретил эльфийскую принцессу и затем погнался за ней через магические порталы. Затем, когда он снова встречает её, она замаскирована под магическое животное, и он превращает ее обратно в принцессу. Целью не было создание блокбастера. Я просто хотел увидеть, насколько далеко может зайти Gen-4 с минимальным входом. Не имея никаких фотографий реальных волшебников, я использовал недавно обновленный генератор изображений ChatGPT, чтобы создать правдоподобные неподвижные изображения. Sora может не захватывать Голливуд, но я не могу отрицать качество некоторых изображений, созданных ChatGPT. Я сделал первое видео, затем использовал опцию Runway "исправить" семя, чтобы персонажи выглядели последовательно в видео. Я соединил три видео в один фильм ниже, с коротким перерывом между каждым. Вы можете заметить, что это не идеально. Есть некоторые странные движения объектов, и постоянство внешнего вида не идеально. Некоторые элементы фона мерцали ужасно, и я не стал бы показывать эти клипы на большом экране прямо сейчас. Однако движения, выражения и эмоции персонажей казались удивительно реальными. Более того, мне понравили варианты итерации, которые не перегружали меня слишком большим количеством ручных опций, но также предоставляли мне достаточно контроля, так что я чувствовал себя активно вовлеченным в создание, а не просто нажимал кнопку и молился о согласованности. Теперь, сможет ли он сокрушить Sora и множество профессиональных партнеров по кинематографии от OpenAI? Нет, определенно не прямо сейчас. Но я бы, вероятно, поэкспериментировал с ним, если бы я был любителем, который хотел относительно недорогой способ увидеть, как могут выглядеть некоторые из моих идей. По крайней мере, прежде чем тратить кучу денег на людей, необходимых для того, чтобы действительно сделать фильмы такими мощными, как моя идея о фильме. И если бы я стал достаточно уверенным в этом и хорошо бы использовал и манипулировал ИИ, чтобы получать от него то, что мне нужно, я, возможно, даже не стал бы думать о Sora. Вам не нужно быть волшебником, чтобы понять, что именно такое заклинание Runway надеется наложить на свою потенциальную пользовательскую базу.