Что такое Seedance 2.0, как получить доступ и генерировать видео. Тестирование самой передовой ИИ-модели для создания видео
В этой статье я протестирую технологию генерации видео Seedance 2.0 и прорведу проверку способности самой передовой ИИ-модели от ByteDance интерпретировать и анимировать сложные художественные стили Midjourney.
Я долго колебался, прежде чем приступить к написанию этой статьи, поскольку изучение данной модели потребовало нескольких недель исследований и тестирования. Высокий спрос на использование видеомодели Seedance 2.0 приводит к превышению лимита времени на многих платформах, что вызывает ошибки, ложные срабатывания систем защиты авторских прав и образование очередей, ожидание в которых может длиться буквально часами или даже днями.
Как известно, использование, а порой и злоупотребление созданием контента на основе онлайн-трендов вызвало тревогу у многих пользователей, особенно у тех, кто использует ИИ для генерации развлекательного контента, поскольку это привело к нарушению авторских прав. Эта ситуация привлекла еще больше внимания к видеомодели Seedance 2.0 и заставила многих считать ее лучшей моделью для генерации видео на сегодняшний день.
Друзья, буду рад, если вы подпишетесь на мой телеграм-канал про нейросети и про генерацию изображений - я стараюсь делиться только полезной информацией.
Рукопашный бой и бой с оружием
Если вы пользовались моделями для генерации видео, такими как Kling, Wan, Sora, Runway Gen, Hailuo, Minimax или Veo в любой из их версий, вы, вероятно, замечали определенные ограничения, которые иногда возникают. Несмотря на то, что они дают очень впечатляющие результаты, время от времени могут появляться артефакты, потеря текстур, неестественные движения и даже нереалистичная физика.
Компании продолжают работать над улучшением своих моделей для генерации видео, и теперь предлагают возможность добавлять как начальный, так и конечный кадр, чтобы уменьшить проблемы с согласованностью. Однако Азия, континент боевых искусств, продемонстрировала, что с помощью простого промпта можно перенести действие и звуки сражения на большой экран, как вы можете видеть ниже:
Промпт: Dynamic photoshoot featuring a woman striking poses, surrounded by vibrant backdrops. Wide-angle tracking shot captures her movements as camera flashes illuminate the scene. Soft, diffused lighting creates a lively atmosphere, enhancing her expressions. The visual style is bold and colorful, with a focus on sharp contrasts.
Промпт: Dynamic close-up of two ninjas engaged in an intense fight, showcasing swift movements and precise strikes. The setting is a misty bamboo forest, with soft dappled sunlight filtering through the leaves, creating a tense atmosphere. Use a wide-angle tracking shot to capture their fluid motions, emphasizing depth and parallax. The mood is suspenseful, with a slight slow-motion effect during key strikes to heighten drama.
После просмотра этих видеороликов, созданных с помощью Seedance 2.0, не остаётся сомнений в том, что эта модель способна успешно генерировать сцены с динамичным действием и превосходит другие модели для генерации видео благодаря своей способности обрабатывать сложные движения и сохранять реалистичную физику.
Midjourney
Еще одним преимуществом Seedance 2.0 является то, что, хотя она и не является моделью с функцией логического мышления, она представляет собой мультимодальную модель. Другими словами, она поддерживает преобразование «изображение в видео», «видео в видео» и «текста в видео». Это означает, что она может генерировать видео на основе исходного изображения или даже создавать видео с использованием до трех исходных видеороликов в качестве примера для движения камеры, композиции, визуального стиля или действий, чтобы обеспечить визуальную согласованность.
Очевидно, что эта модель предназначена для создания гиперреалистичных видео, что напрямую влияет на производство кинематографических сцен, рекламных роликов и визуализацию продуктов. Однако появилось также много видео с сценами из японских аниме, что свидетельствует о том, что модель может работать и с другими стилями.
Чтобы проверить, сохраняет ли модель стилевую согласованность и правильно ли интерпретирует исходное изображение, мы протестируем ее с помощью изображения с длинной выдержкой, сгенерированного в Midjourney с помощью следующего промпта:
Промпт: Hyperrealistic wide-angle basketball photography, a player performing a dynamic layup, flash freezing the player’s intense facial expression and strained muscles, while the player’s legs and shoes create distinct motion trails on the court, blur of the basketball hoop, dramatic low angle, sweat flying, vibrant stadium lights — ar 16:9 — raw — profile cm5giun no912pm — stylize 800
Получившееся видео:
Как видите, модель не поняла, что ей нужно было сгенерировать видео, сохранив весь световой след движения. Вместо этого она интерпретировала длительную выдержку как часть временного эффекта, хотя и угадала замысел, заложенный в изображении.
Трейлеры фильмов
Промпт: Futuristic movie poster featuring lost children in a lonely world’s designed by renowned artist Drew Struzan. Minimalist aesthetic evokes a sense of otherworldliness and scientific fiction. The poster is a testament to Drew Struzan’s artistic talent and his ability to create vivid, imaginative images that draw the viewer in. With its futuristic elements and attention to detail, this image is sure to capture the attention and imagination of those who see it.
Промпт: The woman holding the balloon looked ahead and, noticing something amiss, let go of it. The camera followed the balloon as it rose into the sky, revealing a desolate world from above — monsters were slowly closing in, silently approaching the girl from all directions. This dramatic dystopian scene was presented with exceptional visual quality.
Промпт: Short Trailer Prompt: STAR SEEDS Visuals: Scene 1: Cinematic wide shot. A group of children walking through thick, cold fog on a dark dirt path. Scene 2: A massive, mysterious dark silhouette emerges from the misty sky. Scene 3: Three powerful amber circular lights ignite from above, bathing the group in a warm, golden glow. Scene 4: Slow-motion shot of the children looking up in wonder as the light intensifies. Final: Black screen with metallic text: STAR SEEDS. Style: Cinematic sci-fi, misty atmosphere, high contrast between cold blues and warm amber lights. 4K, hyper-realistic.
Трейлеры получились реалистичными. Они не всегда в полной мере соответствуют промпту, но в целом сохраняют его эстетику, хотя появляющиеся новые элементы могут не вписываться в стиль промпта.
Сцена с широкоугольным видом на спортивную обувь, созданная в Midjourney
Промпт: Analog photography of a sports shoe stepping on a concrete curb, low-angle shot on a bright, sunny city street, dramatic upward perspective showing skyscraper in background, Shot on Kodak Ektachrome E100, Canon AE-1, 35mm lens, vivid color saturation, punchy contrast, deep blue sky, sunny day aesthetic, fine film grain, cross-processed look, urban streetwear mood — ar 16:9 — raw — stylize 250
Получившееся видео:
Промпт: A dynamic cinematic commercial scene showing a runner sprinting through a modern city at sunrise. The shot begins with an ultra-low angle close-up of a running shoe striking the pavement, captured on an ARRI Alexa Mini with a 24mm wide-angle lens, dust and tiny particles scattering in slow motion as the foot lands. The camera tracks alongside the runner in a smooth, energetic tracking shot, skyscrapers rising in the background while sunlight flares across the lens, emphasizing speed, rhythm, and determination. Sweat, breath, and movement convey the intensity of running through the city streets. The sequence cuts between slow-motion impacts of the shoes hitting the ground and wide cinematic shots of the runner moving through the urban landscape. As the runner accelerates toward the horizon, bold text appears on screen: “If you want to run, run with the best running shoes.” Epic sports commercial style, dramatic lighting, crisp textures, high contrast, cinematic motion blur, ultra-detailed 8K advertising quality. (Translated from Chinese)
В данном случае, чтобы избежать проблем с авторским правом, я не упомянул ни одного бренда и перевел промпт на китайский язык. Именно поэтому в конце видео появляется слоган «Если хочешь бегать, выбирай лучшие кроссовки» на китайском языке. Это приём, к которому прибегают некоторые пользователи, поскольку перевод промптов на китайский язык может задействовать другие механизмы защиты и снизить количество ложных срабатываний, связанных с авторским правом, хотя при этом возникает риск получения в результате текста на китайском языке. Здесь мы видим, что модель сохраняет широкоугольную перспективу и генерирует реалистичное, высококачественное видео с плавными движениями, которое отлично подходит для рекламы.
Изображение андроида из фарфора
Получившийся видеоролик:
Промпт: A cinematic surreal sequence inspired by the reference image: a luminous android in profile, its porcelain-like face fractured with glowing golden circuitry, standing in a dark void. The shot begins with a slow, contemplative close-up captured on an ARRI Alexa 65 with a 65mm anamorphic lens, soft rim lighting outlining the contours of the synthetic face while delicate streams of light pulse through the cracks like neural pathways. The camera performs a slow, hypnotic push toward the temple, where the glowing fractures converge, and seamlessly passes through the surface of the android’s head, transitioning into the interior of its mind. Inside, the perspective transforms into a floating cinematic journey through vast neural architectures and abstract computational landscapes, revealing impossible, shifting worlds contained within the processes of an artificial intelligence. Structures form and dissolve like thoughts, luminous geometries drift through darkness, and fragments of reality continuously emerge and recombine, suggesting unimaginable realms unfolding within machine cognition. The camera glides through these evolving environments as if navigating a dream, revealing the unthinkable possibilities hidden inside the mind of an AI. Ultra-cinematic atmosphere, volumetric light, deep contrast, subtle film grain, surreal scale, 8K cinematic quality
Этот пример, пожалуй, является одним из наиболее наглядных в статье. Seedance 2 может сохранять соответствие исходному изображению, но когда ему приходится генерировать новый контент, эстетика исходного изображения полностью нарушается: к фотографиям добавляется синяя сетка. Seedance 2 не понимает эстетического мира Midjourney, поскольку не был обучен на этом наборе данных, и при генерации нового контента создаёт гиперреалистичные элементы и современные визуальные эффекты.
Где можно попробовать Seedance 2.0 и как получить доступ
После изучения доступных вариантов я пришел к выводу, что если вы находитесь за пределами Китая, то в настоящее время воспользоваться Seedance довольно сложно. Я нашел несколько сайтов, которые утверждают, что предлагают Seedance 2.0, но многие из них являются мошенническими или используют более ранние версии. Например, сайт seedanceapi.org, несмотря на высокие позиции в результатах поиска, является мошенническим. Я не рекомендую оформлять подписку на какой-либо сервис, пока вы не убедитесь, что видео действительно было создано с помощью Seedance 2.0
Некоторые пользователи предлагают использовать VPN для доступа к doubao.com, но поскольку система требует китайский номер телефона, предлагаемый обходной путь заключается в том, чтобы сгенерировать изображение с помощью модели Seedream, а затем ввести промпт для видео в том же чате. Могу вас заверить, что в 100% случаев ответ будет таким: нагрузка слишком высока, и запрос не может быть обработан. Если вы подумываете о покупке виртуального китайского номера для получения SMS, то, помимо юридических вопросов, большинство виртуальных номеров не принимаются, поскольку они не являются оригинальными или уже были использованы. Дело в том, что в Китае для получения SIM-карты необходимо предъявить удостоверение личности.
Единственный сайт, который, как я смог убедиться, работает, — это syntx.ai (я рекомендую именно его) и youart.ai, а также Телеграм-бот SYNTX. Как только мне удалось получить видео, я проверил их с помощью программы для чтения метаданных MediaInfo, где в видео появляется название конвейера Dreamina, подтверждая, что выходные данные действительно поступают из системы Seedance.
Как мы уже видели, результаты Seedance 2.0 действительно впечатляют, поэтому вполне вероятно, что в скором времени другие компании выпустят усовершенствованные версии своих собственных видеомоделей.
Поскольку видео, сгенерированные с помощью Seedance 2.0, потенциально могут использоваться для обучения посредством дистилляции ИИ, другие компании, располагающие достаточными ресурсами, теоретически могут запускать большое количество запросов API, чтобы получать результаты от модели и совершенствовать свои собственные системы (возможно, это уже происходит). Об этой методике ранее сообщала компания Anthropic.
Однако, хотя Seedance 2.0 чрезвычайно мощна в кинематографии, рекламе и производстве аниме, модель не может последовательно выводить новый контент из художественных или сюрреалистических изображений, созданных Midjourney. Другими словами, у Midjourney все еще есть пространство для развития, если ей удастся улучшить свои возможности в области видео и точность промптов.
На данный момент Midjourney сосредоточена на улучшении обучения для 8-й версии с помощью своей системы ранжирования изображений, хотя я сомневаюсь, что это приведет к кардинальному скачку качества по сравнению с уже высоким уровнем. Учитывая текущую динамику развития, Midjourney, возможно, выиграет, если уделит больше внимания генерации видео и расширению стилистических возможностей, которые отличают ее от других моделей.
Вопрос, который мы все должны задать себе сегодня, заключается в том, позволяет ли массовое производство изображений и видео нам продолжать использовать наш творческий потенциал или же толкает нас к неконтролируемому потреблению контента. Для тех из нас, кто любит Midjourney, по-настоящему увлекательным может быть его способность придумывавть и создавать нереальные миры, а может быть, и нечто еще более глубокое и человеческое: возможность воплощения того, что мы едва можем описать словами. Надеюсь, вам понравилась статья. До встречи в следующей.
Источник статьи на английском