Осваиваем Seedance 2.0

Что такое Seedance 2.0

Модель генерации видео Seedance 2.0 от ByteDance теперь доступна в Text to Video, Image to Video и Video to Video на ZenCreator. Она построена на единой архитектуре, которая генерирует видео и звук вместе, как единый процесс, а не добавляет звук отдельно в конце.

В отличие от большинства видеомоделей, которые анимируют одну картинку, Seedance 2.0 считывает сцену целиком (кто в кадре, что происходит, где, как должна двигаться камера и в каком стиле) и строит связный клип на основе этого понимания.

В чём отличие

• Понимает всю сцену целиком, а не только картинку. Субъект, действие, окружение и камера складываются в один связный клип с заметно более стабильным движением, чем в предыдущих моделях.

• Поддерживает два режима генерации. Используйте стандартный режим с загрузкой First/Last Frame для контролируемого начала и конца, либо переключитесь на Reference Mode, чтобы объединить до 9 изображений и 3 аудиоклипов в качестве вводных для стиля, идентичности и движения, причём каждый из них напрямую упоминается по имени в промпте.

• Генерирует аудио и видео вместе. Звук и движение синхронизируются без отдельного шага липсинка или аудио.

• Точно редактирует существующий материал. В Video to Video можно поменять костюм, фон или освещение, сохранив исходное движение и тайминг нетронутыми.

Четыре типа входных данных: кто за что отвечает

Это самая полезная ментальная модель для работы с Seedance 2.0. У каждого типа входных данных своя роль: не просите один тип делать работу другого.

• Текст управляет пространственным: внешним видом, настроением, стилем, окружением.

• Изображение управляет идентичностью: точным видом персонажа, объекта или сцены.

• Видео управляет временным: таймингом, ритмом, движением камеры. На практике этот тип входных данных используется в Video to Video, где сам редактируемый клип служит видеореференсом.

• Аудио управляет ритмом и звуком: темпом, тем, как движение синхронизируется со звуком.

Правило: текст и изображение отвечают за то, как что-то выглядит, а видео и аудио за то, как оно движется и звучит. Описывать сложное движение стопкой наречий («быстро, плавно, внезапно») редко работает так же хорошо, как просто прикрепить видеореференс и позволить модели скопировать динамику.

Пять способов генерации

• Text to Video: только промпт, без исходных материалов. Максимальная гибкость.

• First Frame: одно изображение становится буквальным первым кадром видео.

• First + Last Frame: два изображения задают гарантированное начало и конец; модель выстраивает переход между ними.

• Reference Mode: несколько изображений и аудиоклипов используются как референсы стиля, идентичности или движения (не буквальный первый кадр). Что именно можно прикрепить, зависит от инструмента: см. обзор интерфейса ниже, что доступно конкретно в Image to Video.

• Video to Video: редактирование существующего клипа, где вы меняете то, что укажете, сохраняя всё остальное.

Частая путаница: загрузка одного изображения в Reference Mode не делает его первым кадром: модель воспринимает его как референс стиля/идентичности и строит реальный открывающий кадр на основе текста вашего промпта. Если хотите, чтобы фото буквально открывало клип, используйте режим First Frame.

Формула промпта

Каждый сильный промпт для Seedance 2.0 следует одной и той же структуре. Не всегда нужны все блоки, но Subject и Action составляют основу: без них сцена «плывёт».

1. Subject: кто или что в кадре

2. Action: один глагол, настоящее время, одно чёткое движение

3. Environment: локация, фон, атмосфера

4. Camera: размер плана, движение, ракурс

5. Lighting: источник и качество света

6. Style: визуальный язык: кинематографичный, редакционный и т. д.

7. Constraints: требования к стабильности и качеству

Модель придаёт наибольший вес первым 20–30 словам, поэтому ставьте Subject и Action прямо в начало.

Четыре правила, которые стабильно помогают:

• Одно действие на кадр: «идёт, поворачивается и улыбается» означает три действия и размытый результат

• Глаголы в настоящем времени: «катится», «поворачивается», «падает», а не «будет катиться»

• Конкретика важнее кучи прилагательных

• Описывайте, что должно быть в кадре, а не чего быть не должно (исключения оставьте для Constraints)

Комбинирование референсов: синтаксис тегов

Когда вы загружаете несколько изображений или аудиоклипов, помечайте их прямо в промпте, чтобы модель понимала, о каком из них речь. Точный формат тега зависит от инструмента, поэтому всегда проверяйте текст-подсказку в поле промпта, которая показывает актуальный синтаксис для этого инструмента.

В Image to Video референсы помечаются так:

• Изображения: [img1], [img2]... (до 9, нумерация по порядку загрузки)

• Аудио: [audio1], [audio2], [audio3] (до 3)

Пример: «Женщина с [img1] подходит к зеркалу. Её поза повторяет [img2]». Здесь [img1] задаёт, кто она, [img2] задаёт её позу. Текст связывает всё в одну сцену.

Обзор интерфейса: Seedance 2.0 Spicy в Image to Video

Вот как на самом деле выглядит генерация с Seedance 2.0 Spicy в Image to Video, шаг за шагом, в том порядке, в котором настройки появляются на экране.

1. Model. Выбрана Seedance 2.0 Spicy, обученная на NSFW версия Seedance 2.0 для этого инструмента (480p/720p, 5–15с).

2. Переключатель Reference Mode. Включите, чтобы прикрепить референсные изображения и аудио, которые можно упоминать в промпте. Оставьте выключенным, чтобы использовать одно изображение как буквальный первый кадр.

3. Reference Images (0/9). Загрузите до 9 изображений. Кликните по любой загруженной миниатюре, чтобы автоматически вставить её тег (например, [img1]) в промпт.

4. Reference Audio (0/3). Загрузите до 3 аудиофайлов (.wav или .mp3). Кликните по файлу, чтобы вставить его тег (например, [audio1]) в промпт.

5. Prompt. Опишите видео, используя формулу из семи блоков выше. Ссылайтесь на загруженные материалы с помощью вставленных токенов, например, «[img1] поворачивается к камере, [audio1] играет, пока она говорит».

6. Aspect Ratio. Задайте соотношение сторон итогового видео (например, 4:3).

7. Duration (seconds). Выберите из вариантов 5, 6, 8, 10, 12 или 15 секунд.

8. Resolution. 480p или 720p.

9. Generate Audio. Включите, чтобы сгенерировать аудио вместе с видео. Включение примерно удваивает стоимость в кредитах, поэтому проверьте цену, показанную над кнопкой Generate, перед подтверждением.

10. Generate Video. Проверьте стоимость в кредитах над кнопкой, затем запустите генерацию. Сначала проверьте открывающий кадр: если композиция или поза не те, уточните, действительно ли Reference Mode делает то, что вы ожидаете, в сравнении с буквальным первым кадром.

Частые проблемы и как их решить

• Результат выглядит обобщённо или безлико → слабый subject/action или нагромождение прилагательных. Перепишите с конкретным субъектом и одним чётким действием в первых словах.

• Кожа или поверхности выглядят пластиковыми или «3D» → добавьте «no 3D, no cartoon, no VFX» и «film grain, natural imperfections».

• Персонаж меняется между генерациями → используйте повторно то же референсное изображение, пометьте его тегом [img1] (или эквивалентным тегом, который показывает данный инструмент), и добавьте «maintaining consistent [subject]».

• Недостаточно мелких деталей при 720p → детализация не была явно запрошена. Добавьте «ultra-sharp detail» или «crisp texture».

• Камера или движение выглядят нестабильно → добавьте «stable [subject], smooth motion».

• Часть промпта как будто игнорируется → промпт слишком длинный, противоречивый, либо втискивает многокадровую последовательность в один абзац. Разбейте на отдельные, пронумерованные кадры.

Быстрый чек-лист перед генерацией:

• Subject и action в первых 20–30 словах?

• Одно действие на кадр, глагол в настоящем времени?

• Камера указана явно (размер + движение + ракурс)?

• Референсы правильно помечены тегами для используемого инструмента (например, [img1] / [audio1] в Image to Video)?

• Включены ограничения по стабильности для реализма (без 3D/мультфильма/VFX)?