Перейти к основному содержимому
Основные понятия

LoRA в Wan 2.2 и Wan 2.7: что это и как использовать

Последнее обновление 1 день назад

Этот гайд простым языком объясняет, что такое LoRA, зачем он нужен и как правильно использовать LoRA в моделях Wan 2.2 и Wan 2.7.

Что такое LoRA?

LoRA представляет собой готовое к использованию «дополнение», построенное поверх базовой модели генерации видео. Сама модель может генерировать видео практически на любую тему (модель без LoRA доступна в списке моделей на нашем сайте), а LoRA «настраивает» её под что-то конкретное: например, определённого персонажа, конкретный визуальный стиль или определённый тип движения.

Проще говоря: LoRA представляет собой предобученный набор, который гарантирует, что модель стабильно выдаёт нужный вам результат, а не что-то новое и непредсказуемое каждый раз.

Как это работает

Выбирая LoRA, вы по сути выбираете преднастроенный «режим» генерации. Модель продолжает работать как обычно, но учитывает то, чему её «обучил» этот LoRA, будь то внешность персонажа, стиль изображения или манера движения персонажа.

У каждого LoRA уже есть собственный настроенный промпт: добавлять ничего самостоятельно не нужно; всё уже настроено так, чтобы LoRA раскрылся наилучшим образом.

Важное замечание: промпт, привязанный к конкретному LoRA, не следует копировать и использовать в других инструментах или с другими LoRA. Он подобран и «доработан» специально под этот LoRA и эту конкретную модель. Вне этой связки он может вообще не сработать или дать совершенно другой, неожиданный результат.

Какие бывают типы LoRA?

  1. Standard LoRA для WAN 2.2 представляет собой стандартный LoRA, работающий по принципу «первого кадра», и результат генерации напрямую зависит от загруженного изображения. Если оно отличается от изображения в превью LoRA, результат может получиться совершенно другим или содержать артефакты и баги.

  2. Blink LoRA для WAN 2.2 представляет собой отдельный тип LoRA, который встраивает переход между сценами прямо внутри видео. Видео начинается с одной сцены (вашего исходного фото), а затем резко «перескакивает» на другую сцену или акт, при этом внешность персонажа остаётся прежней и узнаваемой. При использовании таких моделей LoRA не нужно добиваться совпадения превью и загружаемого для генерации фото.

  3. Paired LoRA для WAN 2.2 представляет собой отдельный тип LoRA, работающий сразу с двумя персонажами, а не с одним. Для генерации видео нужно загрузить два фото (по одному на каждого персонажа), и модель соберёт сцену их взаимодействия, сохранив внешность обоих. Такие LoRA полезны, когда нужно показать вместе именно двух конкретных персонажей, а не сгенерировать случайного партнёра.

  4. LoRA для WAN 2.7: данные LoRA для этой модели дополнительно дообучены и оптимизированы. Базовый принцип тот же, что и у Blink LoRA WAN 2.2. Практически все модели LoRA для этой версии демонстрируют такой эффект, что делает результаты генерации более стабильными.

В чём разница между LoRA в Wan 2.2 и Wan 2.7?

Wan 2.2 и Wan 2.7 представляют собой разные версии модели, и модели LoRA для них тоже разные: LoRA, созданный для одной версии, не будет работать с другой.

Вот как версии отличаются на практике:

Wan 2.2 + LoRA: более старая модель / поддерживает генерацию видео до 8 секунд / больший динамический диапазон / меньше артефактов / поддерживает несколько типов LoRA

Wan 2.7 + LoRA: более новая модель / поддерживает генерацию видео длиной до 15 секунд / может генерировать видео со звуком / однако иногда в кадре могут появляться артефакты, а сгенерированные видео менее динамичны, чем у Wan 2.2

Что выбрать?

Если для вас важны бо́льшая длительность и качество звука, выбирайте Wan 2.7.

Если важнее стабильная работа LoRA и более яркая, динамичная картинка, выбирайте Wan 2.2.

Как запустить LoRA: пошагово

  1. Выберите модель: Wan 2.2 или Wan 2.7

  2. Выберите нужный LoRA из списка доступных вариантов, исходя из персонажа, задачи или эффекта, которого хотите добиться.

  1. Добавьте фото в соответствии с выбранным LoRA.

  2. Задайте желаемую длительность и разрешение видео при использовании Wan 2.7 + LoRA.

  3. Запустите генерацию: промпт для выбранного LoRA уже встроен; дополнительная настройка не нужна.

  4. Дождитесь результата и, если нужно, попробуйте другой LoRA или другую модель, если результат вас не устроил.

Лучшие практики

  • Работая со Standard LoRA WAN 2.2, подготовьте изображение, похожее на показанное в превью. Это поможет получить более стабильные результаты.

  • Если нужно длинное видео (до 15 секунд) или видео со звуком, используйте Wan 2.7, но учтите, что динамика движения там немного более ограничена.

  • Не используйте промпт от LoRA для других моделей. Промпт от LoRA рассчитан исключительно на эту модель.

  • Если результат выглядит нестабильным или содержит артефакты, попробуйте укоротить видео или переключиться на другую версию модели.

  • Делайте оба фото для Paired LoRA в похожих условиях: один и тот же ракурс (например, оба анфас), похожее освещение и чёткое, ничем не закрытое лицо у каждого персонажа. Это значительно снижает риск, что персонажи «перепутаются» или получатся искажёнными.

Решение проблем

Результат сильно отличается от ожидаемого при использовании Standard LoRA (Wan 2.2): проверьте, насколько ваше фото похоже на изображение в превью LoRA; чем больше отличий, тем выше риск артефактов и непредсказуемых результатов. Постарайтесь найти фото, максимально похожее на превью по ракурсу, освещению и композиции.

Персонаж становится неузнаваемым при использовании Blink LoRA: убедитесь, что используете чёткое фото хорошего качества; хотя сходство с превью здесь не критично, качество исходного фото всё же влияет на результат. Попробуйте другое исходное фото, если изображение по-прежнему неузнаваемо.

Видео дёрганое и с глюками: в Wan 2.2 убедитесь, что знаете, какую версию LoRA выбрали, и что выбрали правильное фото. В Wan 2.7 попробуйте сократить длительность видео.

В видео заметны артефакты: это чаще случается в Wan 2.7; попробуйте сгенерировать заново или переключитесь на Wan 2.2, если стабильность и динамика важнее длительности и звука.

Видео получилось слишком статичным, не хватает динамики: это особенность Wan 2.7; для более яркой и динамичной картинки попробуйте Wan 2.2.

LoRA не даёт ожидаемых результатов: убедитесь, что вы не заменили встроенный промпт своим собственным.

Взаимодействие между персонажами выглядит неестественно: это ограничение конкретного LoRA; попробуйте другой Paired LoRA из списка, если результат не устраивает. Убедитесь, что оба фото были сделаны в достаточно высоком разрешении.

Один из персонажей больше не похож на загруженное фото: проверьте качество и чёткость обоих фото; убедитесь, что лицо каждого персонажа хорошо видно и ничем не закрыто.

Частые вопросы

Готовое расширение модели, которое настраивает генерацию под конкретного персонажа, стиль или сценарий.

Нет, промпт уже встроен в каждый LoRA, больше ничего делать не нужно.

Нет, промпт подобран специально под конкретный LoRA и модель, поэтому в другом месте он может не сработать или дать неожиданный результат.

Standard LoRA требует, чтобы ваше фото было похоже на превью, иначе могут появиться артефакты. Blink LoRA создаёт резкий переход сцены внутри видео и не требует сходства фото с превью.

Это тип LoRA для Wan 2.2, работающий сразу с двумя фото (по одному на каждого персонажа) и захватывающий сцену их совместного взаимодействия.

Два, по одному на каждого персонажа.

Нет, LoRA привязан к конкретной версии модели и не может переноситься между версиями.

До 8 секунд в Wan 2.2 и до 15 секунд в Wan 2.7.

Да, но только в Wan 2.7: Wan 2.2 звук не генерирует.

Это особенность модели: ради большей длительности и звука она жертвует частью динамического диапазона по сравнению с Wan 2.2.

Wan 2.7, если важны бо́льшая длительность и качество звука. Wan 2.2, если важнее стабильность LoRA и динамичная картинка.

Чаще всего это связано с моделью Wan 2.7 или с фото, сильно отличающимся от превью LoRA (для Standard LoRA).

Проверьте, не был ли изменён встроенный промпт, подходит ли фото под выбранный тип LoRA, и соответствует ли LoRA используемой версии модели.

Обычно из-за низкого качества исходного фото: используйте чёткое, хорошо освещённое изображение без объектов, закрывающих лицо.

Нет, для каждой генерации выбирается один LoRA под конкретную задачу: персонажа, стиль или сценарий.

Это было полезно?

Нужна помощь? Спросить команду